Technische Samenvatting: Het Trainen van Taalagenten om uit Ervaring te Leren

Probleemstelling

Huidige reflectiegebaseerde methoden voor Large Language Model (LLM)-agenten richten zich voornamelijk op zelfcorrectie binnen één enkele taakinstantie. Hoewel deze methoden effectief zijn voor het verfijnen van gedrag bij een specifiek probleem door middel van herhaalde pogingen, slagen ze er niet in om ervaring te destilleren tot herbruikbare lessen die de prestaties verbeteren bij toekomstige, onbekende taken. Deze beperking is kritiek in real-world scenario's waar taken niet herhaald kunnen worden (bijvoorbeeld schaakpartijen of koken) en waar inzichten uit één taakinstantie idealiter zouden moeten generaliseren naar vergelijkbare, onbekende taken. De centrale onderzoeksvraag die wordt aangepakt, is of LLM's getraind kunnen worden om zelfreflecties te genereren die cross-task zelfverbetering faciliteren, en zo ja, hoe dit bereikt kan worden zonder te vertrouwen op door mensen geleverde voorbeelden.

Methodologie

De In-context Training (ICT)-taak

De auteurs introduceren de In-context Training (ICT)-taak, een raamwerk ontworpen om het vermogen van een LLM om uit ervaring te leren voor cross-task zelfverbetering te evalueren. Het raamwerk maakt gebruik van een dual-LLM-architectuur:

1. Actor ($LLM_{act}$): Een operationele agent die interactie heeft met een omgeving op basis van een systeemprompt. Cruciaal is dat de actor in elke beurt van de ICT-taak geconfronteerd wordt met een nieuwe, onbekende batch taken en slechts één poging heeft per taak.
2. Reflector ($LLM_{refl}$): Een meta-agent die de door de actor verzamelde trajecten observeert en een verbeterde systeemprompt ($sp_i$) genereert die bedoeld is om de prestaties van de actor bij de volgende batch onbekende taken te verbeteren.

Het doel is dat de reflector episodes uit een trainingsset ($E_{train}$) analyseert en een systeemprompt genereert die de cumulatieve beloning van de actor maximaliseert op een vastgehouden validatieset ($E_{val}$) van onbekende taaktypes.

Trainingspijplijn

Om de reflector dit vermogen te laten leren, stellen de auteurs een Reinforcement Learning (RL)-gebaseerde fine-tuning-pijplijn voor:

• Datasetcreatie: De ICT-lus wordt meerdere keren uitgevoerd met een basismodel om een dataset van tuples $(sp_i, obs_i, \text{task batch})$ te genereren. Dit vangt diverse systeemprompts en de corresponderende meta-observaties (interactietrajecten).
• Beloningssignaal: De trainingsbeloning is direct afgeleid van ervaring. Voor een door de reflector gegenereerde kandidaat-systeemprompt wordt de beloning berekend door de vorige batch taken opnieuw af te spelen met het actor-model onder de nieuwe prompt. Dit moedigt de reflector aan om prestatieproblemen in de vorige batch te identificeren en oplossingen voor te stellen die generaliseren, in plaats van te overfitten op de directe batch.
• Optimalisatie: De reflector wordt gefine-tuned met behulp van het GRPO-algoritme (Group Relative Policy Optimization). Tijdens het trainen sampleert de reflector meerdere kandidaat-prompts, die worden gescoord door taken opnieuw af te spelen met een bevroren actor. De scores drijven de schatting van het voordeel en de parameterupdates aan.

Infrastructuur: MetaGym

De auteurs introduceren MetaGym, een generieke Python-bibliotheek voor het construeren van meta-omgevingen uit bestaande Gym-achtige omgevingen. Dit hulpmiddel faciliteert het creëren van de voor ICT vereiste dual-LLM-opstelling, en beheert taakinstantiatie, parallelle uitvoering en de interactie tussen actor en reflector.

Belangrijkste Bijdragen

1. Een Trainingspijplijn voor Cross-Task Zelfverbetering: Een methode om LLM's te fine-tunen zodat ze reflecties genereren die de prestaties verbeteren over onbekende taakinstanties heen, zonder te vertrouwen op door mensen geleverde labels of voorbeelden.
2. De In-context Training (ICT)-taak: Een nieuw evaluatieraamwerk dat online zelfverbeteringscapaciteiten meet waarbij taken niet herhaalbaar zijn, waardoor het model gedwongen wordt om overdraagbare strategieën te leren in plaats van specifieke oplossingen te memoriseren.
3. MetaGym: Een open-source bibliotheek die het construeren van meta-omgevingen mogelijk maakt voor onderzoek naar zelfverbeterende taalagenten.

Experimentele Resultaten

De aanpak werd geëvalueerd op twee benchmarks: ALFWorld (tekstgebaseerde huishoudelijke taken) en MiniHack (2D grid-world taken). In beide gevallen werden taaktypes opgesplitst in meta-train- en meta-testsets om ervoor te zorgen dat de reflector generaliseerbare strategieën leerde in plaats van specifieke taakinstanties te memoriseren.

• Cross-Task Verbetering: Getrainde reflectors presteerden consistent beter dan ongetrainde baselines (Qwen2.5-7B-Instruct) en initiële prompts over bijna alle vastgehouden taaktypes in beide benchmarks. Dit toont aan dat het vermogen om uit ervaring te leren op zichzelf een leerbare meta-vaardigheid is.
• Generalisatie Buiten Training: In sommige gevallen slaagden reflectors die op MiniHack waren getraind erin om de prestaties op ALFWorld-taken te verbeteren (en vice versa), wat wijst op overdraagbaarheid tussen substantieel verschillende omgevingen.
• Meta-Turns en Horizon: De prestaties bleven verbeteren na het aantal meta-turns dat tijdens het trainen was gezien (beurt 4), wat suggereert dat het model zijn eigen gegenereerde prompts recursief kan verfijnen.
• Batchgrootte-effecten: Grotere batchgroottes ($k=5$) leverden over het algemeen betere resultaten op, met name in MiniHack, door meer diverse ervaring te bieden en de sparsiteit van beloningssignalen te verminderen. In ALFWorld waren kleinere batches ($k=3$) echter soms voldoende, wat wijst op afnemende meerwaarde bij grotere batches afhankelijk van de omgeving.

Betekenis en Claims

Het paper beweert dat leren uit ervaring een leerbare capaciteit is. Door de focus te verschuiven van zelfcorrectie binnen één enkele taak naar zelfverbetering over een familie van taken, bieden de auteurs een pad voor het ontwikkelen van algemene agenten die zich kunnen aanpassen aan open-ended omgevingen.

Het werk benadrukt dat:

• Reflectiemechanismen getraind kunnen worden om herbruikbare lessen te extraheren, waardoor ze voorbijgaan aan het huidige paradigma waarbij agenten lessen voor elke nieuwe taak opnieuw moeten "leren".
• Deze capaciteit verkregen kan worden zonder menselijk toezicht, uitsluitend vertrouwend op de eigen interactiegegevens van de agent.
• Het voorgestelde raamwerk (ICT) en hulpmiddel (MetaGym) een gestandaardiseerde manier bieden om zelfverbeterende agenten te evalueren en te onderzoeken, wat potentieel de aandacht van het vakgebied kan verschuiven naar cross-task generalisatie.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat het onderhouden van aparte actor- en reflectormodellen rekenkundig duur is en dat de huidige afhankelijkheid van een vastgehouden set voor evaluatie real-world scenario's niet perfect nabootst, waar dergelijke sets niet beschikbaar zijn. Zij suggereren dat toekomstig werk levenslang leren zonder vaste stopcriteria zou kunnen verkennen.