🤖 AI

AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling

AgentHER is een framework dat mislukte trajecten van LLM-agenten omzet in waardevolle trainingsdata door het Hindsight Experience Replay-principe toe te passen, waardoor de prestaties aanzienlijk verbeteren en de data-efficiëntie verdubbelt.

Oorspronkelijke auteurs: Liang Ding

Gepubliceerd 2026-03-24

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Liang Ding

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jonge, ambitieuze robot aan het trainen bent om een supermarkt in te lopen en boodschappen te doen. Je geeft hem de opdracht: "Koop een koperen draad voor minder dan 5 euro per kilo."

De robot loopt de hele winkel af, kijkt naar zeven verschillende leveranciers, noteert de prijzen en komt erachter dat de goedkoopste draad 5,30 euro kost. Hij faalt dus op de opdracht (hij kon niet onder de 5 euro komen), en in de traditionele wereld van kunstmatige intelligentie (AI) gebeurt er nu iets heel vervelends: je gooit die hele ervaring in de prullenbak.

Waarom? Omdat het resultaat niet klopte. Maar dat is zonde! De robot heeft namelijk wel een perfecte prijsvergelijking gedaan. Hij heeft de juiste stappen gezet, de juiste informatie gevonden, alleen de doelstelling was net iets te streng.

Dit is precies het probleem dat het nieuwe onderzoek AgentHER oplost. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Grote Probleem: De "Prullenbak" van de AI

Normaal gesproken leren AI-agenten alleen van hun successen. Als ze iets goed doen, wordt dat bewaard. Als ze falen (en dat doen ze vaak, tot wel 75% van de tijd!), wordt de data weggegooid.

De analogie: Stel je voor dat je een kok bent die leert koken. Als je een gerecht perfect maakt, eet je het op en onthoud je de recept. Maar als je per ongeluk te veel zout doet en het gerecht niet eetbaar is, gooi je het hele gerecht weg en vergeet je dat je de groenten perfect hebt gesneden. Je leert dus alleen van de perfecte maaltijden, terwijl je eigenlijk duizenden keren hebt geoefend met het snijden van groenten.

2. De Oplossing: "Hindsight Experience Replay" (Het "Ach, wat jammer"-moment)

De auteurs van dit papier halen een slim idee uit de wereld van robotsporten: Hindsight Experience Replay (HER).
In plaats van te zeggen: "Dit mislukte, gooi het weg," vragen ze: "Wat had deze robot wel kunnen bereiken met deze acties?"

De analogie: Terug naar de robot in de supermarkt. Hij faalde op "onder de 5 euro". Maar hij slaagde wel voor "vind de goedkoopste koperen draad" of "vind een draad rond de 5 euro".
AgentHER pakt die "mislukte" reis, kijkt wat er daadwerkelijk is gebeurd, en zegt: "Ah, dit is eigenlijk een perfecte les voor de opdracht: 'Vind de goedkoopste koperen draad, ongeacht de prijs.'"

3. Hoe werkt AgentHER? (De Vier Stappen)

Het systeem is als een slimme editor die door een berg mislukte verhalen bladert en ze herschrijft tot succesverhalen.

De Detectie (De Politieagent): Kijkt eerst of de mislukking "redding" waard is. Als de robot de hele winkel in brand heeft gestoken (een hallucinatie of ernstige fout), wordt het weggegooid. Maar als hij gewoon de verkeerde prijs had, is het redding waard.
De Uitkomst (De Samenvatter): Haalt de feitelijke successen uit de chaos. "Oké, hij heeft 7 winkels bezocht en de prijzen genoteerd."
De Herlabeling (De Schrijver): Dit is de magische stap. Een slimme AI (een LLM) schrijft een nieuwe opdracht die perfect past bij wat de robot heeft gedaan.
- Oude opdracht: "Koop voor < 5 euro." (Mislukt)
- Nieuwe opdracht: "Vind de goedkoopste koperen draad." (Geslaagd!)
- De dubbele check: Twee slimme AI's moeten het erover eens zijn dat deze nieuwe opdracht eerlijk is. Dit voorkomt dat de AI gaat liegen over wat er gebeurd is.
De Opslag (De Leraar): Het nieuwe verhaal (nieuwe opdracht + oude acties) wordt opgeslagen als een perfecte les om de robot opnieuw op te leiden.

4. Waarom is dit zo geweldig?

Je gooit niets weg: In plaats van 75% van je trainingsdata te dumpen, gebruik je nu bijna alles. Het is alsof je uit een vuilnisbak vol halfgegeten maaltijden een nieuw, heerlijk menu samenstelt.
Het werkt voor iedereen: Of je nu een kleine robot (1,5 miljard "hersencellen") of een gigantische super-intelligentie (72 miljard) bent, dit werkt voor iedereen. Kleine robots profiteren zelfs het meest, omdat ze vaak vastlopen op de details.
Twee keer zo efficiënt: Met AgentHER heeft een AI maar de helft van de succesvolle voorbeelden nodig om even goed te presteren als een AI die alleen van successen heeft geleerd.

Conclusie

AgentHER verandert de manier waarop we naar fouten kijken. In plaats van te zeggen: "Dit was een mislukking," zeggen we: "Dit was een succes voor een andere, net iets andere opdracht."

Het is alsof je een sportcoach bent die niet alleen kijkt naar de wedstrijden die je wint, maar ook naar de wedstrijden die je verloor. Hij zegt dan: "Je hebt de bal niet in het doel geschoten, maar je traptechniek was perfect. Laten we die techniek oefenen voor een andere doelpost."

Door deze slimme "terugblik" (hindsight) te gebruiken, leren AI-agenten sneller, beter en goedkoper, zonder dat er extra mensen of robots nodig zijn om nieuwe taken te doen. Het is een manier om elke mislukking om te zetten in een les.

1. Het Probleem: Data-Afval bij LLM Agenten

Huidige LLM-agenten (zoals GPT-4o) falen op de meerderheid van real-world taken (bijv. <15% succes op WebArena, <55% op ToolBench). Het standaard trainingsparadigma voor agenten is echter alleen succesvolle trajecten te gebruiken en alle mislukkingen (failures) te verwerpen.

Het probleem: Dit leidt tot een enorme verspilling van verzamelde ervaring. Omdat mislukkingen vaak 60-75% van de data uitmaken, gaat het grootste deel van de verzamelde informatie verloren.
De nuance: Een mislukking is zelden willekeurige ruis. Vaak voert de agent een correcte reeks acties uit, maar slaagt hij niet in de oorspronkelijke doelstelling (bijv. hij vindt de juiste leverancier, maar de prijs is net iets te hoog). Deze trajecten bevatten waardevolle, correcte tussenresultaten die als trainingsdata kunnen dienen voor een ander, haalbaar doel.

2. Methodologie: AgentHER

De auteurs introduceren AgentHER, een pipeline die het principe van Hindsight Experience Replay (HER) uit het Reinforcement Learning (RL) domein toepast op natuurlijke taal-agenten. Het kernidee is simpel: een traject dat faalt voor doel A, is vaak een perfecte demonstratie voor een ander, haalbaar doel B.

De pipeline bestaat uit vier fasen om mislukte trajecten om te zetten in hoogwaardige trainingsdata (voor SFT, DPO en ShareGPT):

Fase 1: Failure Detector (Foutdetectie)
- Classificeert het type fout (bijv. onvolledig, constraint violation, tool error, hallucinatie).
- Bepaalt of het traject herstelbaar is.
- Severity Weighting: Trajecten met ernstige fouten (zoals hallucinaties of catastrofale tool-misbruik) worden verworpen. Trajecten met minder ernstige fouten krijgen een gewicht ( $w$ ) dat later de trainingsverlies (loss) beïnvloedt. Dit reduceert labelruis.
Fase 2: Outcome Extractor (Resultaatextractie)
- Extraheert de feitelijke resultaten en observaties uit het traject (bijv. gevonden prijzen, entiteiten, numerieke data).
- Dit dient als anker voor de volgende fase om te voorkomen dat het model hallucinerende doelen genereert.
Fase 3: Prompt Relabeler (Herschepping van het Doel)
- Een LLM genereert een nieuw, haalbaar doel (prompt) dat het geëxtraheerde resultaat logisch beschrijft.
- Multi-Judge Verificatie: Om de kwaliteit te garanderen, moet een tweede, onafhankelijke LLM (de "judge") bevestigen dat het nieuwe doel correct is en het traject voldoet. Alleen als beide judges akkoord gaan, wordt het label geaccepteerd.
- Er is een vertrouwensdrempel ( $\theta$ ) en een retry-mechanisme (max 3 pogingen).
Fase 4: Data Augmenter (Data-Verrijking)
- Het gevalideerde paar (nieuw doel, origineel traject) wordt omgezet in trainingsformaten:
  - SFT (Supervised Fine-Tuning): Conversatieformaat met het nieuwe doel.
  - DPO (Direct Preference Optimization): Het nieuwe doel wordt als "gewenst" gemarkeerd en het originele (mislukte) doel als "ongewenst" voor hetzelfde traject.
  - ShareGPT: Compatibel met bestaande frameworks.

3. Belangrijkste Bijdragen

Nieuwe Formulering: De eerste systematische pipeline die HER koppelt aan natuurlijke taal-agent data. In tegenstelling tot eerdere werk dat alleen bestaande (goal, trajectory)-paren selecteert, genereert AgentHER een nieuw, haalbaar doel.
Robuustheidsmechanismen:
- Fout-zwaarte weging: Inspireerd door MQM-analyse, reduceert dit labelruis van 5,9% naar 2,3%.
- Multi-Judge Verificatie: Verhoogt de precisie van het relabelen van 94,1% naar 97,7%.
Efficiëntie en Schaalbaarheid: De methode werkt consistent over modellen van 1,5B tot 72B parameters en vereist geen extra interactie met de omgeving (offline training).

4. Resultaten

De methode is getest op WebArena (webnavigatie) en ToolBench (API-orkestratie) met modellen zoals GPT-4o, Qwen2.5 en LLaMA-3.1.

Prestatieverbetering: AgentHER verbetert de prestaties ten opzichte van alleen succesvolle SFT (SFT-Success) met +7,1 tot +11,7 procentpunten over vier model-families.
- Voorbeeld: Op WebArena steeg Qwen-7B van 18,9% (SFT-Success) naar 27,8% (AgentHER-MJ).
Data-efficiëntie: AgentHER bereikt dezelfde prestaties als een model getraind op 100% succesvolle data, maar gebruikt slechts 50% van de succesvolle demonstraties (2x data-efficiëntie).
Schaalbaarheid: De verbeteringen zijn consistent voor kleine (1,5B) en grote (72B) modellen. Kleine modellen profiteren het meest (+11,7 pp op ToolBench voor 7B modellen).
Iteratieve Verbetering: Bij iteratieve heruitrol (trainen op nieuwe mislukkingen van het verbeterde model) blijven de winsten cumuleren (+2,1 pp na extra rondes).
Cross-benchmark Transfer: Een model getraind op WebArena-data met AgentHER presteert beter op ToolBench dan een model getraind op alleen successen, wat aantoont dat het algemene vaardigheden leert en niet alleen taken memoriseert.

5. Betekenis en Conclusie

AgentHER daagt de fundamentele aanname uit dat mislukkingen in het trainen van LLM-agenten nutteloos zijn. Door te vragen "Welk taak lost dit traject eigenlijk op?", wordt elke mislukking omgezet in een waardevolle leermoment.

Praktische impact: Het maximaliseert de waarde van verzamelde data zonder extra menselijke annotatie of omgevingsinteractie.
Theoretische bijdrage: Het bewijst dat het HER-principe succesvol kan worden vertaald naar het domein van natuurlijke taal en complexe tool-gebruik, mits er zorgvuldig wordt omgegaan met feitelijke grondslagen en labelkwaliteit.
Toekomstperspectief: De auteurs zien potentie voor online AgentHER (tijdens deployen), uitbreiding naar multimodale data (screenshots) en het leren van de "hindsight-goal synthesis" module zelf.

Kortom, AgentHER transformeert het onderscheid tussen succes en falen van een absolute status naar een relatieve, taakafhankelijke eigenschap, waardoor elke mislukte deploy een curriculum wordt voor de volgende iteratie.