💬 NLP

Bootstrapping Cognitive Agents with a Large Language Model

Dit artikel stelt een framework voor dat interpreteerbare cognitieve architecturen bootstrapt met behulp van de ruisgevoelige algemene kennis van grote taalmodellen, waarbij wordt aangetoond dat deze hybride aanpak door middel van belichaamde keuken-taken een grotere efficiëntie bereikt dan het uitsluitend vertrouwen op LLM's, terwijl het tegelijkertijd domeinspecifieke kennisverificatie en -updates mogelijk maakt.

Oorspronkelijke auteurs: Feiyu Zhu, Reid Simmons

Gepubliceerd 2026-02-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Feiyu Zhu, Reid Simmons

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren koken in een keuken. Je hebt twee heel verschillende hulpmiddelen om je te helpen:

De "Super-Lezer" (Large Language Model): Dit is als een robot die elk boek, elke website en elk recept op het internet heeft gelezen. Het weet dat "tomaten meestal in de koelkast leven" en dat "je een mes nodig hebt om een appel te snijden." Het is echter een beetje warrig. Het verzint soms dingen (hallucinaties), raakt in de war door specifieke details en het is erg duur om telkens om advies te vragen wanneer het een arm moet bewegen.
De "Strenge Bibliothecaris" (Cognitieve Architectuur): Dit is als een robot met een zeer georganiseerd, stapsgewijs regelboek. Het is ongelooflijk betrouwbaar en gemakkelijk te begrijpen. Als je zegt "Regel 1: Als de koelkast open staat, kijk dan naar binnen," zal het precies dat doen. Maar het begint met een leeg boek. Je moet handmatig elke regel schrijven voor elke enkele situatie, wat een enorme menselijke inspanning kost.

Het Grote Idee van het Papier:
De auteurs, Feiyu (Gavin) Zhu en Reid Simmons van Carnegie Mellon University, besloten deze twee te combineren. Ze hebben een systeem gecreëerd waarbij de Super-Lezer de initiële regels schrijft voor de Strenge Bibliothecaris, en de Bibliothecaris neemt het daarna over.

Denk aan dit:

De Bootstrapping-fase: Je vraagt de Super-Lezer: "Hoe vind ik een ei?" De Super-Lezer zegt: "Nou, eieren liggen meestal in de koelkast of een kastje." De robot probeert dit vervolgens in de keuken. Als het werkt, schrijft de robot dit op als een permanente, strikte regel in zijn eigen regelboek: "Als ik een ei nodig heb, controleer eerst de koelkast."
De Leerfase: De robot blijft dit doen. Hij probeert een tomaat te snijden. Als hij vastloopt, vrauagt hij de Super-Lezer om een hint. De Super-Lezer suggereert een strategie, en de robot verandert die strategie in een permanente regel.
Het Resultaat: Uiteindelijk heeft de robot zijn eigen volledige regelboek. Hij heeft de dure Super-Lezer niet meer nodig om hulp te vragen. Hij volgt gewoon zijn eigen regels.

Waarom is dit beter dan alleen de Super-Lezer gebruiken?
Het papier testte dit in een gesimuleerde keuken met taken zoals "zoek een tomaat", "snijd een appel" en "maak de aan counters schoon".

Kosten en Snelheid: De Super-Lezer vragen voor elke beweging (zoals "beweeg naar links", "pak mes", "snijd") is also...">thought
thought
Stel je voor dat je een robot probeert te leren koken in een keuken. Je hebt twee heel verschillende hulpmiddelen om je te helpen:

De "Super-Lezer" (Large Language Model): Dit is als een robot die elk boek, elke website en elk recept op het internet heeft gelezen. Het weet dat "tomaten meestal in de koelkast leven" en dat "je een mes nodig hebt om een appel te snijden." Het is echter een beetje warrig. Het verzint soms dingen (hallucinaties), raakt in de war door specifieke details en het is erg duur om telkens om advies te vragen wanneer het een arm moet bewegen.
De "Strenge Bibliothecaris" (Cognitieve Architectuur): Dit is als een robot met een zeer georganiseerd, stapsgewijs regelboek. Het is ongelooflijk betrouwbaar en gemakkelijk te begrijpen. Als je zegt "Regel 1: Als de koelkast open staat, kijk dan naar binnen," zal het precies dat doen. Maar het begint met een leeg boek. Je moet handmatig elke regel schrijven voor elke enkele situatie, wat een enorme menselijke inspanning kost.

Denk aan dit:

De Bootstrapping-fase: Je vraagt de Super-Lezer: "Hoe vind ik een ei?" De Super-Lezer zegt: "Nou, eieren liggen meestal in de koelkast of een kastje." De robot probeert dit vervolgens in de keuken. Als het werkt, schrijft de robot dit op als een permanente, strikte regel in zijn eigen regelboek: "Als ik een ei nodig heb, controleer eerst de koelkast."
De Leerfase: De robot blijft dit doen. Hij probeert een tomaat te snijden. Als hij vastloopt, vraagt hij de Super-Lezer om een hint. De Super-Lezer suggereert een strategie, en de robot verandert die strategie in een permanente regel.
Het Resultaat: Uiteindelijk heeft de robot zijn eigen volledige regelboek. Hij heeft de dure Super-Lezer niet meer nodig om hulp te vragen. Hij volgt gewoon zijn eigen regels.

Waarom is dit beter dan alleen de Super-Lezer gebruiken?
Het papier testte dit in een gesimuleerde keuken met taken zoals "zoek een tomaat", "snijd een appel" en "maak de aan counters schoon".

Kosten en Snelheid: De Super-Lezer vragen voor elke beweging (zoals "beweeg naar links", "pak mes", "snijd") is als een consultant bellen voor elke stap bij het bouwen van een huis. Het is traag en kost veel geld (aan rekenkracht). Dit nieuwe systeem roept de consultant slechts een paar keer om regels te leren, en bouwt daarna zelf het huis. Het papier vond dat deze methode aanzienlijk minder "tokens" (de munteenheid van AI-rekenkracht) gebruikte dan wanneer de AI voor elke actie wordt gevraagd.
Betrouwbaarheid: De Super-Lezer wordt soms gek. Het kan denken dat een mok een kopje is en stoppen met zoeken naar de mok. De Strenge Bibliothecaris volgt echter zijn eigen geverifieerde regels. Als de regel zegt "controleer de gootsteen", dan controleert hij de gootsteen, zelfs als de Super-Lezer er ooit naast zat.
Generalisatie: Zodra de robot de regel leert "Als ik iets moet vinden, controleer dan waar het gewoon wordt bewaard", kan hij deze regel toepassen op elk object (eieren, messen, kopjes) zonder dat hij opnieuw getraind hoeft te worden.

Hoe het met Fouten Omgaat:
Het systeem heeft een ingebouwde "criticus". Als de robot een regel probeert en in een lus terechtkomt (zoals een object oppakken en op dezelfde plek weer neerzetten), realiseert hij zich dat er iets mis is. Hij vraagt de Super-Lezer om de regel te herstellen, waardoor deze specifieker wordt (bijv. "Pak het object alleen op als het niet al op de doelplek ligt").

De Kernboodschap:
Dit papier laat zien dat je niet hoeft te kiezen tussen een slimme maar luidruchtige AI en een domme maar betrouwbare robot. Door de slimme AI de initiële instructiehandleiding te laten schrijven voor de betrouwbare robot, krijg je een systeem dat slim, goedkoop in gebruik en gemakkelijk te begrijpen is. De robot leert van de "luidruchtige" kennis van de AI, maar filtert deze door zijn eigen logische brein om een schone, efficiënte set instructies te creëren voor het uitvoeren van keuken taken.

Technische Samenvatting: Het bootstrappen van cognitieve agenten met een Large Language Model

Probleemstelling

Large Language Models (LLM's) beschikken over uitgebreide, zij het ruisgevoelige, algemene wereldkennis, maar lijden aan beperkingen zoals vatbaarheid voor adversariële aanvallen, hallucinaties en afnemende meeropbrengst bij schaling. Daartegenover staan cognitieve architecturen die uitstekende interpreteerbaarheid, flexibiliteit voor updates en gestructureerd redeneren bieden via declaratieve en procedurele geheugens; echter vereisen ze traditioneel intensieve handmatige arbeid om productieregels te instantiëren, wat hun toepassing beperkt tot eenvoudige omgevingen. De kernuitdaging die wordt aangepakt, is hoe de kennis die in LLM's is gecodeerd kan worden gebruikt om cognitieve architecturen te bootstrappen zonder de gebrekkige interpreteerbaarheid van de LLM of de afhankelijkheid van handmatige regelcreatie van de cognitieve architectuur over te nemen.

Methodologie

De auteurs stellen een framework voor dat LLM's combineert met een op maat gemaakte cognitieve architectuur om een belichaamde agent te creëren die in staat is om keuken-taken uit te voeren. Het systeem werkt volgens een "waarnemen-plannen-handelen"-cyclus, waarbij de generatie van kennis wordt gescheiden van de toepassing van kennis.

Architectuuroverzicht

De agent bestaat uit vier primaire componenten:

Wereldkennisbasis: Een woordenboek van algemene kennis (bijv. "tomaten horen in de koelkast") afgeleid van LLM's.
Omgevingskennis: Declaratief geheugen dat de huidige staat en observaties van de agent weerspiegelt (bijv. status van de grijper, inhoud van de tafel).
Procedureel Geheugen: Een verzameling productieregels (preconditie $\rightarrow$ effect) die het gedrag dicteren. In tegenstelling tot standaard planningsoperatoren weerspiegelen deze regels contextuele kennis en worden ze in de loop van de tijd versterkt.
Taakstapel (Task Stack): Een mechanisme geïnspireerd door ACT-R en SOAR om een hiërarchie van taken en subtaken te beheren.

Bootstrappingproces

De agent leert via een curriculum van taakfamilies (bijv. zoek een/een <object>, snijd een/een <object>). Het proces voor een enkele taak omvat:

Instantiatie: Variabelen in de taakfamilie worden ingevuld met concrete omgevingsobjecten.
Uitvoeringspoging: De agent probeert de taak uit te voeren met bestaande productieregels.
Actiekeuze (LLM-query): Als er geen regel van toepassing is of een cyclus wordt gedetecteerd, raadpleegt de agent de LLM. De prompt bevat de huidige taak, een samenvatting van de staat en beschikbare opties. De LLM gebruikt Chain-of-Thought (CoT) prompting om strategieën te analyseren en een actie voor te stellen.
Productiegeneratie: De LLM wordt opnieuw geraadpleegd om een productieregel te genereren op basis van de actie. Dit is een tweestaps-proces:
- Engelse Beschrijving: De LLM generaliseert de specifieke actie naar een regel (bijv. "verken onverkende plaatsen waar het object gewoonlijk wordt bewaard").
- Codegeneratie: De LLM zet de Engelse beschrijving om in uitvoerbare Python-code die voldoet aan een specifieke interface.
Versterking en Verbetering:
- Verificatie: De gegenereerde code wordt opnieuw afgespeeld tegen de huidige staat om te controleren of de preconditie-checks passeren.
- Critic-mechanisme: Een critic-LLM analyseert de eindcondities van de taak en stelt wijzigingen voor om overmatige beperking (onnodige condities) of overgeneralisatie (ontbrekende kritieke precondities) te voorkomen.
- Utility-update: Een beloningssignaal (eenheid-beloning bij taakvoltooiing) wordt via het kortste pad van productietoepassingen teruggekoppeld met behulp van Bellman-backups. Dit actualiseert de utility van de producties, waardoor de agent regels kan prioriteren die leiden tot succesvolle voltooiing en conflicten tussen toepasbare regels kan oplossen met een noisy-optimal selectiestrategie.

Belangrijkste Verschillen

In tegenstelling tot benaderingen die LLM's gebruiken om voor elke stap directe plannen te genereren, gebruikt dit framework de LLM alleen om algemene, generaliseerbare productieregels te genereren. Zodra een regel is geleerd, voert de agent deze uit zonder verdere LLM-interventie, waardoor de kennis wordt gegrond in de specifieke instantie van de omgeving.

Belangrijkste Bijdragen

Hybride Framework: Een nieuwe agent-architectuur die LLM's integreert voor kennisgeneratie met een cognitieve architectuur voor redeneren en uitvoering.
Bootstrappen vanaf nul: Een demonstratie van hoe een agent complexe, meerstaps keuken-taken kan leren uitvoeren (vinden, snijden, opruimen) beginnend met minimale menselijke input (alleen de namen van de taakfamilies).
Efficiëntie en Generalisatie: Bewijs dat het framework aanzienlijk minder tokens vereist om in nieuwe omgevingen te opereren vergeleken met het voor elke actie raadplegen van een LLM, aangezien geleerde regels overdraagbaar zijn.

Experimentele Resultaten

Het framework werd geëvalueerd in de AI2THOR-simulator met drie taakfamilies: find a/an <object>, slice a/an <object> en clear the countertops. De agent werd vergeleken met een baseline die de LLM bij elke stap voor acties raadpleegt (Action-Only).

Succespercentage: De gebootste agent bereikte een succespercentage van 100% (15/15) over alle taakinstanties, inclus�els waar het correct identificeerde dat een taak onmogelijk was (bij het zoeken naar niet-bestaande objecten). De Action-Only baseline faalde op één instantie door een valse aanname waarbij "mug" met "cup" werd gelijkgesteld.
Efficiëntie: De gebootste agent had drastisch minder tokens nodig. Bijvoorbeeld, in de slice-taak gebruikte de gebootste agent 0 tokens tijdens het testen (door vertrouwen op geleerde regels), terwijl de Action-Only baseline meer dan 102.000 tokens gebruikte. In de find-taak gebruikte de gebootste agent ~917 tokens vergeleken met ~54.754 voor de baseline.
Gedragsverschillen: De gebootste agent vertoonde meer systematisch gedrag, zoals het plaatsen van objecten op aanrechtbladen voordat er gesneden wordt of het gebruik van individuele kastjes voor opslag, gedreven door specifieke geleerde productieregels. De baseline handelde op basis van geval per geval, wat soms leidde tot minder optimale strategieën (bijv. snijden in de koelkast).
Statistische Significantie: Terwijl de aantal stappen vergelijkbaar waren voor de find en slice taken, nam de gebootste agent aanzienlijk meer stappen in de clear taak (p-waarde 0.001) vanwege een specifieke geleerde regel die het gebruik van unieke lege recipiënten voor elk object afdwingt, terwijl de baseline dezelfde recipiënt hergebruikte.

Betekenis en Claims

Het artikel claimt dat deze aanpak erin slaagt om het "beste van beide werelden" te combineren: de ruisgevoelige maar rijke kennis van LLM's en de interpreteerbaarheid en updateflexibiliteit van cognitieve architecturen.

Generalisatie: Het framework demonstreert dat door een LLM gegenereerde kennis kan worden gedestilleerd in productieregels die generaliseren over nieuwe objecten en omgevingen zonder hergeneratie.
Kosteneffectiviteit: Door kennisgeneratie te ontkoppelen van uitvoering, vermindert het systeem de computationele kosten en het tokenverbruik die nodig zijn voor implementatie in nieuwe scenario's aanzienlijk.
Interpreteerbaarheid: De productieregels bieden een verifieerbare beslisboom, wat uitlegbaarheid biedt met betrekking tot feature-belangrijkheid, leerprocessen en beleidsbeslissingen op hoog niveau.
Beperkingen: De auteurs erkennen dat het systeem afhankelijk is van goed gedefinieerde lage-niveau interfaces (sim-to-real gap) en dat de Engs-naar-code generatiestap processen vereist die in taal uitdrukbaar zijn, wat de toepasbaarheid kan beperken voor vaardigheden die niet gemakkelijk in taal te vatten zijn (bijv. beeldhouwen).

Het werk positioneert zichzelf als een alternatief voor puur datagedreven fundamentmodellen, en suggereert een pad naar gepersonaliseerde agenten waarbij productieregels expliciet kunnen worden aangepast om aan individuele voorkeuren te voldoen zonder uitgebreide hertraining.