Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning

Titel en Context

Het paper introduceert SuperIgor, een nieuw kader (framework) voor taken waarbij een AI-agent instructies in natuurlijke taal moet volgen. De onderzoekers (Volovikova et al.) adresseren de uitdaging om agents te leren complexe, lange-termijn doelen te bereiken in dynamische omgevingen zonder vooraf gedefinieerde subtaken of menselijke annotatie.

1. Het Probleem

Traditionele methoden voor instructie-opvolging vallen vaak in twee categorieën:

1. Leren van demonstraties: Vereist grote hoeveelheden hoogwaardige, door experts gegenereerde data, wat schaars en duur is.
2. Leren van ervaring (Reinforcement Learning - RL): Is schaalbaarder maar worstelt met het "credit assignment"-probleem. Agents krijgen vaak pas beloning aan het einde van een lange taak (spaarzame beloning), waardoor het moeilijk is om te leren welke specifieke acties hebben bijgedragen aan het succes.

Bestaande planning-methoden gebruiken vaak een vooraf gedefinieerde set subdoelen. Dit beperkt de flexibiliteit en vereist vaak enorme taalmodellen (LLMs) en handmatige kennis. De centrale vraag is: Hoe kunnen we een lage-niveau beleid (policy) leren voor instructie-opvolging in omgevingen zonder vooraf gedefinieerde vaardigheden of subdoelen?

2. Methodologie: Het SuperIgor Framework

SuperIgor lost dit op door een zelflerend, iteratief co-trainingsproces te introduceren dat een Taalmodel (LLM) en een RL-agent koppelt. Het proces bestaat uit vier fasen die in cycli worden herhaald:

A. Planning en Generatie (LLM)

In plaats van instructies direct aan de agent te geven, genereert een LLM gestructureerde plannen (reeksen van subtaken) op basis van de instructie.

• Ontologie-gebaseerde generatie: Het systeem bouwt eerst een "subtask bank" en een ontologie (afhankelijkheidsrelaties tussen taken) om consistentie te garanderen.
• Iteratieve verfijning: In de eerste cyclus worden plannen gegenereerd in "zero-shot" modus. In latere cycli worden plannen gefilterd en herschikt op basis van de prestaties van de RL-agent.

B. Beleidsoptimalisatie (RL Agent)

De RL-agent leert de gegenereerde plannen uit te voeren in de omgeving (geïmplementeerd in de CrafText benchmark, een dynamische, gedeeltelijk waarneembare wereld).

• Skill Curriculum Learning: Om het probleem van spaarzame beloningen aan te pakken, wordt een curriculum gebruikt. De agent begint met het leren van eenvoudige, enkele subtaken. Zodra een taak een succespercentage (SR) van boven de drempel (bijv. 70%) bereikt, wordt deze als "beheerst" gemarkeerd. De training wordt dan uitgebreid naar complexere plannen die deze beheerste taken combineren met één nieuwe, onbeheerste taak.
• Actie-ruimte: De agent leert niet alleen acties uit te voeren, maar ook wanneer een subtaak is voltooid (via een DONE-actie) om door te gaan naar de volgende stap in het plan.

C. Validatie en Feedback

De kwaliteit van de plannen wordt geëvalueerd door de succesratio van de RL-agent te meten. Plannen die vaak falen, worden minder waarschijnlijk gemaakt voor toekomstige training.

D. LLM Fine-tuning (DPO)

Het taalmodel wordt bijgeschaafd met Direct Preference Optimization (DPO).

• Het model leert plannen te rangschikken op basis van de feedback van de RL-agent (succesvolle vs. mislukte uitvoeringen).
• Dit creëert een feedbacklus: de RL-agent verbetert door betere plannen te krijgen, en de LLM verbetert door plannen te genereren die de RL-agent beter kan uitvoeren.

3. Belangrijkste Bijdragen

1. Zelftoezichtend trainingsparadigma: SuperIgor elimineert de noodzaak voor handmatig geannoteerde datasets. Plannen worden gegenereerd en verfijnd door de interactie tussen LLM en RL-agent.
2. Skill Curriculum Learning: Een speciaal curriculum dat de agent helpt om complexe taken te leren onder omstandigheden met spaarzame beloningen, door stapsgewijs vaardigheden op te bouwen.
3. State-of-the-art Generalisatie: Het framework presteert uitstekend op "out-of-distribution" taken (nieuwe objectcombinaties en herschreven instructies) in de CrafText-benchmark.

4. Resultaten

De experimenten werden uitgevoerd in de CrafText-omgeving met het FOCUS-dataset (900+ instructies).

• Effectiviteit: SuperIgor-agenten behalen een succesratio van 0.34–0.44 op atomische taken en 0.21 op gecombineerde taken. Dit is aanzienlijk beter dan baselines die alleen op instructies trainen (0.10–0.19).
• Generalisatie:
  • Op nieuwe objectcombinaties (New Objects) presteert SuperIgor robuuster dan agents getraind op door mensen geschreven "Oracle"-plannen. Waar Oracle-agenten sterk dalen bij nieuwe combinaties, daalt SuperIgor minder sterk. Dit wordt toegeschreven aan het leren van meerdere alternatieve plannen per instructie, wat variatie in het trainingsproces introduceert.
  • Parafraase-resistentie: De agenten presteren even goed op herschreven instructies als op de originele instructies, wat aantoont dat ze de betekenis en niet de specifieke woordkeuze hebben geleerd.
• Iteratieve Verbetering: Na twee cycli van training en DPO-finetuning steeg de prestatie aanzienlijk (bijv. van 0.06 naar 0.21 op gecombineerde taken), wat aantoont dat het co-trainingsproces effectief is.
• Ablatie-studies:
  • Zonder het curriculum faalt de agent zelfs met goede plannen.
  • Zonder de ontologie-gebaseerde planning werkt het curriculum niet goed.
  • DPO is cruciaal om de plannen te prioriteren die leiden tot succesvol gedrag.

5. Betekenis en Conclusie

SuperIgor toont aan dat het combineren van taalgebaseerde planning met reinforcement learning, zonder menselijke tussenkomst, leidt tot robuuste instructie-opvolgende agents. Het overwint de beperkingen van traditionele RL-methoden (spaarzame beloningen) en de beperkingen van pure LLM-methoden (gebrek aan verankering in de fysieke wereld).

De belangrijkste doorbraak is de zelfgidsende cyclus: het systeem leert niet alleen wat er gedaan moet worden, maar ook hoe het beste gepland moet worden om dat te bereiken, gebaseerd op de eigen ervaringen in de omgeving. Dit maakt het framework zeer schaalbaar voor complexe, open-ended omgevingen waar vooraf gedefinieerde vaardigheden ontbreken.

Beperkingen: De methode is afhankelijk van de kwaliteit van het initiële taalmodel voor het genereren van de subtask-ontologie. Als het model inconsistente of cyclische afhankelijkheden genereert, kan dit de training verstoren, hoewel empirisch blijkt dat middelgrote modellen (zoals Qwen-14B) hier goed in presteren.