Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning

Deze paper introduceert een neuro-symbolische architectuur die Large Language Models, symbolische planning en versterkend leren combineert om autonome agenten in staat te stellen noviteiten in dynamische omgevingen te overwinnen door ontbrekende operatoren te identificeren en te leren.

De kern

Stel je voor dat je een robot hebt die je helpt in de keuken. Deze robot is slim, maar hij heeft een heel strikt "receptenboek" (zijn planningssysteem) waarin precies staat hoe hij dingen moet doen: "open de koelkast", "pakt de melk", "giet in het glas".

Maar wat gebeurt er als je een nieuwe, vreemde voorwerp in de keuken zet? Stel, je legt er een slimme deksel op een pot, of je gebruikt een raar vormig pootje om een moer vast te houden. De robot kijkt in zijn boekje en zegt: "Huh? Dit staat er niet bij. Ik weet niet hoe ik hiermee om moet gaan." Hij raakt in de war en stopt.

Dit is het probleem dat deze wetenschappers van de Universiteit Tufts willen oplossen. Ze hebben een nieuwe manier bedacht om robots te leren omgaan met onbekende dingen, door drie slimme onderdelen te laten samenwerken.

Hier is hoe het werkt, vertaald in een verhaal:

1. De Drie Heldendelen

De robot krijgt een team van drie experts:

• De Symbolische Planner (De Strikte Chef): Hij houdt het receptenboek bij. Hij weet precies welke stappen nodig zijn om een doel te bereiken, maar hij is erg star. Als er een nieuw ding is dat niet in het boekje staat, kan hij niets doen.
• De LLM (De Slimme Verbeelding): Dit is een groot taalmodel (zoals een super-intelligente chatbot) dat alles over de wereld weet. Hij heeft "gezond verstand". Hij weet dat als er een deksel op een pot zit, je die eerst moet openen. Hij kan nieuwe "recepten" (operatoren) bedenken die de robot nog niet kent.
• De Reinforcement Learning Agent (De Oefenaar): Dit is de robot die daadwerkelijk beweegt. Hij leert door te proberen, vallen en opstaan. Maar zonder goede instructies is dat heel langzaam en willekeurig.

2. Het Probleem: De "Gaten" in het Recept

Stel, de robot moet koffie zetten, maar de koffiebonen zitten in een nieuwe lade die hij nog nooit heeft gezien.

• De Chef (Symbolische Planner) zegt: "Ik kan geen plan maken, want ik weet niet hoe ik een lade open moet maken."
• De robot zou nu zomaar kunnen gaan duwen en trekken (willekeurige zoektocht), maar dat duurt eeuwen.

3. De Oplossing: Het Team werkt samen

Hier komt het nieuwe systeem om de hoek kijken:

Stap 1: De Verbeelding vult de gaten
De robot vraagt aan de Slimme Verbeelding (LLM): "Hé, ik zie een lade. Hoe pak ik die aan?"
De LLM denkt na (gebruikmakend van zijn kennis over de wereld) en zegt: "Oké, je moet eerst de lade openen, en dan de bonen eruit pakken."
De LLM schrijft dit op als een nieuw "recept" in het boekje van de Chef. Plotseling heeft de Chef weer een plan!

Stap 2: De Oefenaar krijgt een trainingsplan
Nu de Chef een plan heeft, moet de robot de nieuwe beweging (het openen van de lade) eigenlijk leren.
Hier wordt het slim: in plaats van de robot blindelings te laten proberen, schrijft de Slimme Verbeelding een trainingsprogramma voor de robot.

• Hij bedenkt een beloningssysteem: "Als je de ladehandvat een beetje naar je toe trekt, krijg je een puntje. Als hij helemaal open is, krijg je een grote prijs."
• Dit is als een coach die de robot vertelt: "Probeer eerst dit, en als dat lukt, probeer dan dat."

Stap 3: De "Genetische" Selectie
De LLM bedenkt niet één trainingsprogramma, maar er zijn er drie tegelijk. De robot probeert ze allemaal. Het systeem kijkt welke methode het beste werkt en gooit de twee slechtste weg. Dit is als een talentenjacht waarbij je alleen de beste zanger overhoudt.

4. Het Resultaat

In plaats van dat de robot urenlang zomaar tegen de lade duwt (wat waarschijnlijk niets oplevert), leert hij in een handomdraai hoe hij de lade open moet maken.

• Vroeger: Robots faalden als er iets nieuws was.
• Nu: De robot gebruikt zijn "verbeelding" om het probleem te begrijpen, en zijn "oefenkracht" om het te leren, geleid door slimme tips.

Waarom is dit belangrijk?

Vroeger moesten programmeurs voor elk nieuw ding dat een robot zou kunnen tegenkomen, handmatig code schrijven. Dat is onmogelijk als je een robot in een echte, chaotische wereld wilt zetten.

Met deze methode kan de robot:

1. Nieuwe dingen herkennen (een lade, een deksel, een raar potje).
2. Zelf bedenken hoe je ermee omgaat (door de LLM).
3. Snel leren hoe je het fysiek doet (door de slimme beloningen).

Het is alsof je een robot geeft die niet alleen een handleiding heeft, maar ook een verstandige mentor die hem helpt als hij in een situatie komt waarvoor er geen handleiding bestaat. De robot wordt daardoor veel flexibeler en kan zich aanpassen aan de echte wereld, waar dingen altijd veranderen.

Technische samenvatting

1. Het Probleem

In dynamische, open-wereld omgevingen komen autonome robots vaak "noviteiten" (nieuwe objecten of situaties) tegen waarvoor hun vooraf gedefinieerde planningsdomein geen geschikte operatoren bevat. Traditionele symbolische planners (zoals die werken met PDDL) falen wanneer ze geen reeks operatoren kunnen vinden om een doel te bereiken, omdat de benodigde interacties met nieuwe objecten (bijvoorbeeld een lade openen of een deksel van een pot halen) ontbreken in hun kennisbank.

Bestaande hybride methoden die proberen dit op te lossen door Reinforcement Learning (RL) agents te laten ontdekken welke operatoren nodig zijn, zijn vaak inefficiënt, vooral in continue ruimtes. Het toevallig ontdekken van bruikbare toestanden door willekeurige exploratie is extreem tijdrovend en vaak onmogelijk bij complexe taken.

2. Methodologie

De auteurs stellen een neuro-symbolische architectuur voor die drie componenten integreert:

1. Symbolische Planning: Voor hoog-niveau taakplanning.
2. Groot Taalmodel (LLM): Voor gezond verstand redeneren, het identificeren van ontbrekende operatoren en het genereren van code (beloningsfuncties).
3. Reinforcement Learning (RL): Voor het leren van de lage-niveau controlepoli's (bewegingen) voor de nieuwe operatoren.

Het proces verloopt via een Plan-Learn-Execute-lus:

• Stap 1: Identificatie van ontbrekende operatoren (Hybride Planner):
  Wanneer de symbolische planner vastloopt, activeert deze een "Search-and-Prompt" algoritme. De planner gebruikt het LLM om, gebaseerd op de huidige staat, het doel en de bestaande operatoren, een ontbrekende operator te suggereren die de nieuwe objecten betreft. Het LLM genereert een PDDL-achtige definitie (parameters, precondities en effecten). Een symbolische "search-ahead" algoritme verifieert of deze nieuwe operator een geldig plan mogelijk maakt.
• Stap 2: Sub-doel Curriculium en Beloningsfuncties:
  Zodra een nieuwe operator is gedefinieerd, worden de effecten ervan behandeld als een reeks geordende sub-doelen. Het LLM genereert meerdere kandidaten voor dichte beloningsfuncties (dense reward shaping functions) in Python-code. Deze functies geven feedback aan de RL-agent op basis van numerieke observaties (bijv. afstand tussen grijper en object) om de agent te sturen naar het bereiken van de sub-doelen.
• Stap 3: RL Training met Selectie:
  Er worden meerdere PPO-agents (Proximal Policy Optimization) gelanceerd, één voor elke kandidaat-beloningsfunctie. Tijdens het trainen worden de slechtst presterende agents periodiek verwijderd (geïnspireerd door genetische algoritmen). De training verloopt in fases: de agent moet eerst het eerste sub-doel bereiken voordat beloning voor het volgende sub-doel wordt vrijgegeven.
• Stap 4: Executie:
  Zodra een succesvol beleid (policy) is gevonden voor een operator, wordt deze opgeslagen als een "executor" en kan de robot het oorspronkelijke plan uitvoeren.

3. Belangrijkste Bijdragen

1. LLM-gedreven Identificatie van Ontbrekende Operatoren: In plaats van te vertrouwen op toevallige ontdekking door RL, gebruikt het systeem de common-sense redeneercapaciteiten van LLMs om structureel de exacte ontbrekende operatoren te definiëren die nodig zijn voor nieuwe objecten.
2. LLM-gegenereerde Dichte Beloningsfuncties: Het systeem laat het LLM code schrijven voor complexe beloningsfuncties die de RL-agenten efficiënter sturen dan traditionele methoden. Dit versnelt het leerproces aanzienlijk in continue ruimtes.
3. Robuuste Architectuur voor Noviteit: De combinatie van symbolische validatie en LLM-gestuurde RL lost het probleem op van het "open-world" probleem waarbij robots vastlopen bij nieuwe objecten.
4. Empirische Validatie: De methode is getest in de MimicGen simulatieomgeving over vier domeinen van toenemende moeilijkheidsgraad (Keuken, Noot-Assemblage, Koffie-Doos, Koffie-Lade).

4. Resultaten

De evaluatie toont aan dat de voorgestelde methode (LG - LLM Guided) significant beter presteert dan state-of-the-art baselines zoals Operator Discovery (OD), LEAGUE-Sparse (LS) en Reward Machine (RM).

• Operator Discovery: De traditionele OD-methode faalde in alle moeilijkere domeinen (Noot, Koffie) binnen de tijdslimiet van 1 miljoen stappen, terwijl de hybride planner in alle domeinen succesvol de ontbrekende operatoren identificeerde.
• Leerprestaties: De LG-agent bereikte een succesratio van >90% voor alle geteste operatoren, terwijl de baselines vaak onder de 20% bleven of volledig faalden.
• Statistische Significantie: Wilcoxon-getekende tests bevestigen dat de LG-agent significant beter presteert dan zowel LS als RM (p < 0.05) op zowel succesratio als voortgang.
• Efficiëntie: De tijd om een plan te vinden en operatoren te leren was aanzienlijk korter dan bij OD-methoden (bijvoorbeeld 681 seconden vs >7 uur voor de "Coffee-Drawer" taak).
• Robuustheid: Het gebruik van meerdere kandidaat-beloningsfuncties en het selectief verwijderen van slechte kandidaten (zoals getoond in Figuur 6) vermindert het risico dat een slecht geschreven beloningsfunctie het hele leerproces blokkeert.

5. Betekenis en Toekomstperspectief

Dit werk markeert een belangrijke stap in het maken van robots die echt adaptief zijn in open-wereld omgevingen. Het overbrugt de kloof tussen het symbolische redeneren (wat er moet gebeuren) en het leren van vaardigheden (hoe het gedaan moet worden) door de kracht van LLMs te benutten voor beide taken.

• Significantie: Het bewijst dat LLMs niet alleen nuttig zijn voor het genereren van tekst of code, maar ook als een cruciale "brug" kunnen fungeren om robots te laten omgaan met onvoorbereide situaties zonder menselijke tussenkomst.
• Toekomst: De auteurs plannen om dit framework te testen op fysieke robots met behulp van open-vocabulaire perceptiemodules (zoals OWLv2) om de overgang van simulatie naar realiteit (Sim-to-Real) te faciliteren. Daarnaast wordt onderzocht hoe visueel-taalmodellen kunnen worden gebruikt om niet alleen operatoren, maar ook nieuwe predikaten (concepten) autonoom te bedenken.

Kortom, deze studie biedt een robuust kader voor noviteitadaptatie, waarbij robots niet langer vastlopen bij nieuwe objecten, maar deze actief kunnen leren manipuleren door slimme samenwerking tussen symbolische logica en datagedreven leren.