SCALAR: Learning and Composing Skills through LLM Guided Symbolic Planning and Deep RL Grounding

Het paper introduceert SCALAR, een bidirectioneel raamwerk dat LLM-planning koppelt aan Deep RL via een geleerde vaardigheidsbibliotheek, waarbij RL-uitkomsten worden gebruikt om de LLM-specificaties iteratief te verfijnen, wat resulteert in aanzienlijk betere prestaties in complexe omgevingen zoals Craftax.

De kern

Stel je voor dat je een zeer slimme, maar nogal onervaren assistent hebt. Deze assistent (de LLM of Large Language Model) is een meester in het lezen van handleidingen en het bedenken van complexe plannen. Hij kan je vertellen wat je moet doen om een diamant te vinden in een grot: "Eerst een houten pickax maken, dan een oven bouwen, dan ijzer smeden..."

Het probleem is dat deze assistent nooit zelf heeft geprobeerd te graven. Hij weet de theorie, maar hij heeft geen "spieren". Als je hem vraagt om de pickax daadwerkelijk te maken, faalt hij omdat hij niet weet hoe hij de hamer moet vasthouden of hoeveel hout hij precies nodig heeft.

Aan de andere kant heb je een RL-agent (Reinforcement Learning). Dit is een robot die alles leert door te proberen en te falen. Hij is heel goed in het bewegen van zijn armen en het vinden van de juiste beweging, maar hij is volledig blind voor het grote plaatje. Hij weet niet waarom hij een pickax moet maken, en hij raakt snel vastgelopen in een doolhof van proben en fouten.

SCALAR is de oplossing: een samenwerking tussen de slimme denker en de handige uitvoerder. Hier is hoe het werkt, vertaald in alledaags taal:

1. De Architect en de Bouwer

In plaats van dat de assistent (LLM) het hele plan in één keer probeert uit te voeren, werkt hij samen met de bouwer (RL).

• De Assistent (LLM) zegt: "Laten we een vaardigheid maken die 'Hout Ophalen' heet. Je hebt een bijl nodig en je moet naar de bomen gaan."
• De Bouwer (RL) probeert dit. Hij loopt naar de bomen, zwaait met zijn armen en pakt het hout.

2. De Feedback-Loop (Het "Proefje")

Hier komt het slimme deel. De assistent dacht misschien dat je 5 stukken hout nodig had, maar de bouwer merkt dat hij er maar 3 nodig heeft om de taak te voltooien.

• In oude systemen zou de assistent zijn plan nooit corrigeren.
• Bij SCALAR kijkt de assistent naar de resultaten van de bouwer. Hij ziet: "Oh, ik dacht 5, maar de robot deed het met 3. Ik pas mijn instructie aan!"
• Dit noemen ze Trajectorie-analyse. Het is alsof je een kok bent die een recept schrijft, de kok het kookt, en dan terugkijkt: "Oh, ik had te veel zout gezet, ik schrijf het recept aan."

3. De "Checkpoint" (Het Opslaan van de Stand)

Stel je voor dat je een heel lange reis maakt om een diamant te vinden. Je moet eerst door een bos, dan een rivier oversteken, dan een berg beklimmen.

• Zonder SCALAR zou de robot elke keer opnieuw moeten beginnen bij de start, het bos doorlopen, de rivier oversteken, en pas dan de berg beklimmen. Dat is enorm veel tijdverspilling.
• SCALAR gebruikt een truc genaamd Frontier Checkpointing. Zodra de robot veilig de bergtop heeft bereikt (de "frontier"), slaat hij de exacte staat van de wereld op.
• De volgende keer dat hij moet oefenen om de diamant te vinden, start hij niet bij de start, maar springt hij direct naar de bergtop. Hij hoeft de lange weg niet opnieuw te lopen. Dit bespaart enorme hoeveelheden tijd en energie.

4. De Resultaten: Van "Nooit" naar "Succes"

De auteurs hebben dit getest in een spel genaamd Craftax (een soort Minecraft-achtige wereld).

• De oude methoden: De slimme assistent kon het plan wel bedenken, maar de robot faalde bij het uitvoeren. Ze haalden zelden diamanten en kwamen nooit in de diepe mijnen (de "Gnomish Mines").
• Met SCALAR: Door de assistent en de robot te laten samenwerken en voortdurend de instructies te verbeteren, haalde het systeem 88% van de diamanten.
• Het meest indrukwekkende: Ze haalden het doel om de diepe Gnomische mijnen te bereiken in 9% van de gevallen. De beste oude methoden haalden dit 0% (ze faalden volledig).

Samenvattend

SCALAR is als het geven van een leraar aan een sporter.

1. De leraar (LLM) bedenkt de trainingsschema's en de theorie.
2. De sporter (RL) traint en doet de zware arbeid.
3. De leraar kijkt naar de prestaties van de sporter, ziet waar de sporter vastloopt, en past het schema aan.
4. Ze gebruiken een "tijdsparkeermeter" (checkpoint) om niet elke dag opnieuw te hoeven beginnen met de warming-up.

Hierdoor wordt het mogelijk voor AI om niet alleen te praten over complexe taken, maar ze ook daadwerkelijk te doen in moeilijke, onvoorspelbare werelden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SCALAR: Learning and Composing Skills through LLM Guided Symbolic Planning and Deep RL Grounding" in het Nederlands.

Probleemstelling

De kernuitdaging bij het ontwikkelen van agenten op basis van Large Language Models (LLM's) is het "grounden" van hun acties in de fysieke wereld waarin ze opereren. Hoewel LLM's uitstekend presteren bij het genereren van hoog niveau code of scripts voor bestaande API's (zoals in Minecraft-achtige omgevingen), hebben ze moeite om taal direct te vertalen naar laag niveau motorische controle.

Bestaande methoden die LLM's gebruiken om beloningsfuncties (reward functions) of subdoelen voor Reinforcement Learning (RL) te genereren, werken vaak in een "one-shot" modus: de LLM stelt een specificatie op, en de RL-agent probeert dit te leren. Als de LLM echter fouten maakt in de specificatie (bijvoorbeeld door de verkeerde hoeveelheid middelen te schatten of een verborgen voorwaarde te missen), faalt het trainingsproces zonder dat er feedback is om deze fouten te corrigeren. Er is een behoefte aan een framework dat de symbolische planning van LLM's combineert met de leerkracht van RL, met een mechanisme voor iteratieve correctie.

Methodologie: SCALAR

De auteurs introduceren SCALAR (Self-Supervised Composition and Learning of Skills with LLM Planning and Reinforcement Learning). Dit is een bidirectioneel framework dat LLM-planning koppelt aan diep RL via een geleerde bibliotheek van vaardigheden (skills).

Het proces verloopt in een gesloten lus met de volgende componenten:

1. Symbolische Operator Propositie (LLM):

   • De LLM leest de spelhandleiding en stelt kandidaat-vaardigheden voor als symbolische operatoren (in de stijl van STRIPS).
   • Elke vaardigheid wordt gedefinieerd door:
     • Precondities: Wat er nodig is voordat de vaardigheid kan worden uitgevoerd (bijv. "hout aanwezig", "tafel geplaatst").
     • Effecten: Wat er verandert na succes (bijv. "ijzeren pikhouweel verkregen", "hout verbruikt").
     • Beloningsfunctie: Een code-generatie die de RL-agent feedback geeft.
   • De LLM fungeert hier als een hypothesegenerator; de specificaties zijn niet per definitie correct.

2. Vaardigheidssamenstelling en Planning:

   • Een planner (STRIPS-stijl) bouwt een afhankelijkheidsgrafiek op. Om een nieuwe doel-vaardigheid te leren, moet de planner eerst een reeks reeds getrainde vaardigheden sequentiëren om de precondities van de nieuwe vaardigheid te bereiken.
   • Dit creëert een hiërarchische structuur waar complexe taken worden opgesplitst in kortere, beheersbare sub-taken.

3. RL Training (Options):

   • Voor elke vaardigheid wordt een "option" (een RL-beleid) getraind.
   • Frontier Checkpointing: Om de sample-efficiëntie te verbeteren bij diepe voorwaardeketens, slaat het systeem de omgevingstoestand op op het moment dat de precondities voor het eerst worden voldaan (de "frontier"). Tijdens training kan de agent worden gereset naar deze checkpoint, waardoor tijd wordt bespaard die anders zou worden besteed aan het herhalen van reeds beheerste vaardigheden.
   • Gecombineerde Updates: Alle actieve beleidslijnen (zowel de nieuwe als de prerequisite-vaardigheden) worden gezamenlijk bijgewerkt met PPO (Proximal Policy Optimization) om catastrofaal vergeten te voorkomen.

4. Trajectanalyse en Correctie (De Bidirectionele Feedback):

   • Dit is het kerninnovatiepunt. Na het trainen van een vaardigheid analyseert het systeem de succesvolle trajecten.
   • De LLM vergelijkt de oorspronkelijke symbolische specificatie (precondities, effecten, resource-vereisten) met de feitelijke observaties uit de trajecten.
   • Als er discrepanties zijn (bijv. de LLM dacht dat 3 ijzer nodig was, maar het traject toont aan dat 1 voldoende was, of vice versa), wordt de specificatie gecorrigeerd.
   • De geactualiseerde specificatie update de vaardigheidsgrafiek, en de training wordt herhaald met de verbeterde specificatie. Dit zorgt voor een zelfcorrigerend systeem.

Belangrijkste Bijdragen

1. Bidirectioneel LLM-RL Framework: Een cyclus waarbij RL-uitvoeringsresultaten worden gebruikt om de initiële LLM-specificaties iteratief te verfijnen, in plaats van een eenrichtingsverkeer.
2. Pivotal Trajectory Analysis: Een methode om precondities en effecten te corrigeren door succesvolle uitvoeringen te analyseren, waardoor systematische fouten in de LLM-priors (zoals verkeerde resource-schattingen) worden opgelost.
3. Frontier Checkpointing: Een techniek om de sample-efficiëntie te verhogen door training te starten vanaf het punt waar prerequisite-taken voltooid zijn, wat cruciaal is voor langdurige taken.
4. Compositional Skill Learning: Het succesvol leren van complexe, diepe voorwaardeketens door vaardigheden te modulariseren en te combineren.

Resultaten

De methode is geëvalueerd op Craftax en Craftax-Classic, open-ended RL-benchmarks met lange horizon-taken en schaarse beloningen.

• Diamond Collection (Craftax-Classic): SCALAR bereikte een succespercentage van 88,2% voor het verzamelen van diamanten. Dit is een 1,9x verbetering ten opzichte van de beste baseline (PQN-RNN op 46,9%) en een 2,5x verbetering ten opzichte van de beste PPO-baseline.
• Gnomish Mines (Craftax): Dit is een extreem moeilijke taak die strijdvaardigheid vereist (8 orcs doden) en een lange voorwaardeketen. Bestaande methoden faalden hier volledig (0% succes). SCALAR bereikte een succespercentage van 9,1%, wat de eerste keer is dat deze mijlpaal is gehaald in de volledige Craftax-omgeving.
• Ablatie Studies:
  • Zonder Trajectanalyse daalde het succes bij diamantverzameling naar 67,3% en faalde de methode volledig bij het betreden van de Gnomish Mines (0%). Dit onderstreept het belang van het corrigeren van LLM-priors.
  • Zonder Frontier Checkpointing daalde de prestatie bij diepe taken (zoals het betreden van de Gnomish Mines) van 9,1% naar 1,3%, wat aantoont dat deze techniek essentieel is voor sample-efficiëntie bij lange ketens.

Betekenis en Impact

SCALAR overbrugt de kloof tussen het symbolische redeneringsvermogen van LLM's en de motorische leerkracht van RL.

• Automatisering van Reward Engineering: Het vermindert de behoefte aan handmatige engineering van beloningsfuncties en vaardigheidspecificaties door LLM's in te zetten, die vervolgens door interactie met de omgeving worden verfijnd.
• Robuustheid: Het systeem is in staat om fouten in de initiële kennis (bijvoorbeeld verkeerde craft-recipes) te detecteren en te corrigeren zonder menselijke tussenkomst.
• Toepasbaarheid: Hoewel het paper zich richt op spelomgevingen, biedt het een blauwdruk voor het toepassen van LLM's in robotica en industriële processen, waar complexe taken vaak bestaan uit sequenties van sub-taken met strikte voorwaardelijke afhankelijkheden.

Kortom, SCALAR bewijst dat een combinatie van LLM-gestuurde symbolische planning en diep RL, ondersteund door een feedbacklus voor specificatie-correctie, aanzienlijk superieure resultaten oplevert voor complexe, langdurige taken dan traditionele monolithische RL-methoden of eenrichtings LLM-RL benaderingen.