Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning

Dit artikel presenteert een neuro-symbolische architectuur die uit een paar ongelabelde demonstraties generaliseerbare symbolische vaardigheden leert, waarmee complexe, langdurige taken in onbekende en rommelige omgevingen kunnen worden gepland en uitgevoerd door middel van visuele taalmodellen en gradiëntgebaseerde planning.

De kern

Stel je voor dat je een robot wilt leren om een complexe taak te doen, zoals het maken van een kop koffie of het afwassen. Het grootste probleem is dat robots vaak "blind" zijn voor het grote plaatje. Ze zien duizenden kleine bewegingen (handen bewegen, grijpen, draaien), maar ze begrijpen niet dat al die bewegingen samen één zinnetje vormen: "Koffie zetten".

Dit artikel beschrijft een slimme nieuwe manier om robots dit te leren, met een systeem dat we een "Neuro-Symbolische Vaardigheidsontdekker" kunnen noemen. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Recepten" vs. De "Kookstijl"

Stel je voor dat je een kok wilt leren koken. Je geeft hem duizenden video's van mensen die brood uit de koelkast halen.

• De oude manier: De robot probeert elke beweging letterlijk na te bootsen. Als de broodtrommel net iets anders staat, raakt hij in paniek omdat hij de exacte beweging niet kent.
• De nieuwe manier (deze paper): De robot leert het concept "brood halen". Hij begrijpt dat het niet uitmaakt of je links of rechts in de koelkast grijpt; het doel is hetzelfde. Hij haalt de "geest" van de beweging uit de "vlees" van de beweging.

2. De Oplossing: Een Drie-staps Systeem

Het systeem werkt in drie hoofdonderdelen, die we kunnen vergelijken met een Chef-kok, een Boekhouder en een Architect.

Stap 1: De Chef-kok (De Neuro-Netwerk)

De robot kijkt naar een paar video's van iemand die iets doet (bijvoorbeeld: een glas pakken). De robot heeft geen labels; hij weet niet wat hij ziet.

• Hoe het werkt: De robot gebruikt een slim algoritme (een Vector Quantized Autoencoder) om te zoeken naar patronen. Het is alsof de robot duizenden verschillende bewegingen bekijkt en zegt: "Hé, deze 50 bewegingen voelen allemaal hetzelfde aan, ook al zijn ze net iets anders uitgevoerd."
• De Analogie: Het is alsof je een grote bak met verschillende soorten pasta ziet. De robot groepeert ze: "Spaghetti, Penne en Fusilli". Hij maakt een abstracte "Spaghetti-kaart" en een "Penne-kaart". Hij leert dat alle variaties van spaghetti onder die ene kaart vallen.
• Het resultaat: De robot heeft nu een lijst met "vaardigheden" (zoals 'pakken', 'zetten', 'gieten'), maar hij weet nog niet hoe ze heten. Het zijn alleen maar nummers in zijn hoofd.

Stap 2: De Boekhouder (De AI-Taalmodel)

Nu de robot de vaardigheden heeft gegroepeerd, moet hij weten hoe ze heten.

• Hoe het werkt: De robot maakt foto's van de bewegingen die hij heeft gegenereerd. Hij geeft deze foto's aan een slimme AI (zoals GPT of Gemini, een "Multi-Modal LLM").
• De Analogie: De robot zegt tegen de AI: "Kijk naar deze foto's. Wat gebeurt hier?" De AI kijkt en zegt: "Ah, dit is 'een glas uit de vaatwasser halen'."
• Het resultaat: De robot koppelt nu zijn abstracte nummers aan echte woorden. Vaardigheid #1 is nu "Glas pakken".

Stap 3: De Architect (Het Planningsysteem)

Nu de robot de vaardigheden kent en hun namen, kan hij plannen maken voor lange, complexe taken.

• Hoe het werkt: Als je zegt: "Maak koffie", denkt de Architect: "Oké, eerst moet ik het kopje pakken, dan naar de machine gaan, dan op de knop drukken, en dan terugbrengen."
• De Magie: De Architect gebruikt de woorden (symbolen) om het plan te maken. Maar zodra het plan klaar is, moet de robot de fysieke bewegingen uitvoeren. Hier komt de "Gradient-based planning" om de hoek kijken.
• De Analogie: Stel je voor dat de Architect zegt: "Grijp het kopje." De robot weet wat hij moet doen, maar niet waar het kopje precies staat in de rommelige kast. De robot gebruikt dan wiskunde om zijn beweging te "fine-tunen" alsof hij een GPS-route aanpast terwijl hij rijdt, totdat zijn hand precies op het kopje landt.

3. Waarom is dit zo speciaal?

• Minder data nodig: Je hoeft niet duizenden uren video te maken. Met slechts een paar voorbeelden (zelfs als ze ongelabeld zijn) kan de robot de vaardigheden zelf ontdekken.
• Werken in de chaos: De robot kan werken in een rommelige keuken. Omdat hij het concept van "pakken" heeft geleerd, niet de exacte beweging, kan hij een kopje pakken dat half onder een bord ligt, iets wat een traditionele robot niet zou kunnen.
• Samenwerking: Het combineert de creativiteit en het taalbegrip van moderne AI (LLMs) met de precisie en wiskunde van robotica.

Samenvatting in één zin

Dit artikel presenteert een robot die leert om abstracte vaardigheden te ontdekken uit een paar voorbeelden, die deze vaardigheden naamt met behulp van een slimme taal-AI, en die vervolgens plannen maakt om complexe taken uit te voeren, zelfs in onbekende en rommelige omgevingen.

Het is alsof je een robot niet leert hoe je een muur moet metselsteentje voor steentje, maar hem leert wat "een muur bouwen" is, zodat hij zelf kan bedenken hoe hij dat doet, waar hij ook staat.

Technische samenvatting

Probleemstelling

Het leren van lange-horizonplanning in continue ruimte-actie-ruimtes (zoals in de echte wereld) is een complex probleem. Bestaande methoden proberen dit op te lossen door abstracties te gebruiken om hoog-niveau besluitvorming te scheiden van laag-niveau perceptie en controle. Echter, het trainen van grote modellen (zoals LLMs) met ruwe robotdata is moeilijk omdat deze data complex, luidruchtig en beperkt is (vaak alleen in gecontroleerde labomgevingen verzameld).

De kernuitdaging is hoe men een brug kan slaan tussen:

1. Real-world omgevingen: Waar robots continu, ongelabelde data genereren.
2. Generieke virtuele agenten (LLLMs): Die sterke redeneervermogens hebben op basis van tekst, maar geen directe toegang hebben tot robotische acties of de fysieke wereld.

Er is behoefte aan een systeem dat ongelabelde, lage-niveau demonstraties kan omzetten in discrete, hoge-niveau symbolische vaardigheden, zodat een LLM deze kan gebruiken voor planning, terwijl de robot de complexe, continue uitvoering zelfstandig regelt.

Methodologie

Het paper stelt een nieuw leerarchitectuur voor die bestaat uit drie hoofdfasen: vaardigheidsontdekking (skill discovery), zelftoezicht (self-supervision) en multi-level planning.

1. Modelarchitectuur: Neuro-Symbolische Vaardigheidsontdekking

Het model gebruikt een Conditional Neural Movement Primitives (CNMP) architectuur gecombineerd met Vector Quantization (VQ).

• Input: Sensormotorische trajecten (bijv. pose van de end-effector) van ongelabelde demonstraties.
• Proces:
  • Het model encodeert trajecten naar een latente ruimte.
  • Een vector-quantisatie-laag (bottleneck) forceert het model om continue variaties van een vaardigheid te groeperen in discrete vectoren. Bijvoorbeeld: "een sandwich uit de koelkast halen" is één hoge-niveau vaardigheid, maar de exacte positie in de koelkast is een lage-niveau variatie.
  • Het model leert een verdeling voor elke discrete vector die de lage-niveau variaties van die specifieke vaardigheid dekt.
• Output: Een set discrete symbolen (vectoren) die elke ontdekte vaardigheid vertegenwoordigen, zonder dat de data vooraf gelabeld was.

2. Zelftoezicht (Self-Supervised Learning)

Om de betrouwbaarheid van de gegenereerde lage-niveau plannen te verbeteren, wordt een tweede trainingsfase voorgesteld:

• Nadat het eerste model de demonstraties heeft gegroepeerd (geclusterd), worden deze clusters gebruikt als pseudo-labels.
• Een nieuw model wordt vanaf nul getraind met deze ontdekte labels. In plaats van dat het model zelf de dichtstbijzijnde vector kiest op basis van afstand, worden de demonstraties expliciet toegewezen aan de ontdekte cluster-vectoren. Dit verhoogt de prestaties van de lage-niveau planning aanzienlijk.

3. Multi-Level Planning Pipeline

Het systeem gebruikt een tweeledige planning aanpak:

• Hoog-niveau Planning (Symbolisch):
  • De ontdekte vaardigheidsvectoren worden gelabeld door een Multi-Modal Large Language Model (VLM/LLM). Het LLM bekijkt snapshots van de uitvoering en geeft de vaardigheden semantische namen (bijv. "pickup", "place").
  • Het LLM ontvangt een doel, een afbeelding van de omgeving en de lijst van gelabelde vaardigheden. Het genereert een plan als een geordende lijst van symbolische acties.
  • De LLM gebruikt ook visuele taalmodellen (zoals DINO) om objectlocaties te detecteren en te annoteren.
• Laag-niveau Planning (Continu):
  • Voor elke stap in het hoge-niveau plan wordt de bijbehorende vaardigheidsvector gebruikt als input voor de decoder van het robotmodel.
  • Een gradient-based planning methode wordt toegepast: de input-vector wordt geoptimaliseerd via gradient descent om de voorspelde objectlocatie op het moment van contact te minimaliseren (MSE-verlies tussen voorspelling en daadwerkelijke objectlocatie).
  • Dit zorgt ervoor dat de robot de vaardigheid kan uitvoeren op nieuwe locaties, zelfs als deze niet exact in de demonstraties stonden.

Belangrijkste Bijdragen

1. Neuro-Symbolische Vaardigheidsontdekking: Een end-to-end architectuur die discrete, hoge-niveau symbolen leert uit ongelabelde, continue robottrajecten zonder vooraf gedefinieerde predicates.
2. Zelftoezicht voor Robuustheid: Een methode om de kwaliteit van lage-niveau plannen te verbeteren door gebruik te maken van de door het systeem zelf ontdekte clusters als trainingslabels.
3. Integratie van VLMs en Gradient-Based Planning: Een pipeline die VLMs gebruikt voor semantische labeling en hoge-niveau planning, gekoppeld aan een gradient-based aanpak voor nauwkeurige, continue uitvoering in nieuwe situaties.
4. Generalisatie: Het systeem kan lange-horizon taken plannen en uitvoeren in onbekende omgevingen en met nieuwe objectposities, slechts geleerd op basis van een paar demonstraties.

Resultaten

De methode werd getest in zowel gesimuleerde (keukenomgeving) als echte wereldexperimenten (UR-10 en XArm7 robots).

• Vaardigheidsontdekking: Het model slaagde erin om demonstraties correct te clusteren in discrete vaardigheden. Zelfs als de grootte van de vaardigheidsruimte niet exact overeenkwam met het aantal echte vaardigheden, kon het model effectief groeperen.
• Labeling door LLMs: Multi-Modal LLMs (GPT-4.1 en Gemini) konden de ontdekte vaardigheden succesvol labelen. De combinatie van objectdetectie (DINO) en LLM-analyse verbeterde de planning significant.
• Planning Prestaties:
  • Hoog-niveau: Het systeem presteerde goed op korte, middellange en lange taken (>7 acties), met name wanneer objectdetectie (DINO) werd gebruikt voor accurate objectlijsten.
  • Laag-niveau: Het zelftoezicht model presteerde aanzienlijk beter dan het onbeheerde model. Met slechts 2 of meer demonstraties per vaardigheid kon het systeem generaliseren naar nieuwe objectposities en complexe taken (zoals koffie zetten, vaatwasser laden, planten water geven) succesvol uitvoeren.
  • In lange-horizon taken (>7 acties) bereikte het systeem een succespercentage van ongeveer 65% (met Gemini+DINO), wat een sterke prestatie is voor complexe robotica.

Betekenis en Toekomstperspectief

Dit paper biedt een veelbelovende oplossing voor het "reality gap" in robotica. Het stelt in staat om robuuste, generaliseerbare robotcontrole te bouwen zonder enorme hoeveelheden gelabelde data of het trainen van enorme modellen op ruwe sensordata. Door de taak te splitsen in een symbolische laag (voor redeneren) en een neurale laag (voor uitvoering), kunnen generieke AI-agenten effectief worden ingezet in de fysieke wereld.

Beperkingen:

• Demonstraties moeten een vergelijkbare verdeling volgen om als dezelfde vaardigheid te worden geclassificeerd.
• Het systeem is afhankelijk van de perceptie en redeneercapaciteiten van de externe agent (LLM).
• Het vereist expert-demonstraties (imitatie learning).

Toekomstig werk:
De auteurs suggereren het integreren van "effect predicates" (wat gebeurt er na de actie?) om foutdetectie mogelijk te maken en de prestaties bij zeer lange planningen verder te verbeteren.