From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models

Deze paper introduceert een methode die voorgeprende vision-language modellen gebruikt om symbolische wereldmodellen te leren uit korte demonstraties, waardoor robots in staat zijn om via planning complexe, lange-horizon taken in nieuwe omgevingen en met nieuwe doelen op te lossen.

De kern

Hier is een uitleg van het paper "From Pixels to Predicates" in eenvoudig, creatief Nederlands.

Van Pixels naar Regels: Hoe een Robot Leren Denken met een AI-Mentor

Stel je voor dat je een robot wilt leren om een rommelige kamer op te ruimen. Je kunt de robot niet simpelweg programmeren met een lijstje van 1000 regels voor elke mogelijke situatie (bijv. "als er een sok op de vloer ligt, pak hem op"). De wereld is te groot en te veranderlijk.

In plaats daarvan geven we de robot een paar korte video's van een mens die de kamer opruimt. De uitdaging is: hoe leert de robot uit deze paar video's hoe hij elke kamer moet opruimen, zelfs als er nieuwe objecten zijn, de meubels anders staan of de doelen anders zijn?

Dit paper introduceert pix2pred, een slimme methode die dit probleem oplost door de robot te laten "dromen" van regels, met behulp van een moderne AI-mentor (een Vision-Language Model of VLM).

Hier is hoe het werkt, stap voor stap, met een paar analogieën:

1. Het Probleem: De "Blinddoek" van de Robot

Normaal gesproken ziet een robot alleen pixels (kleine vierkantjes van kleur). Voor een computer is een "sok" op de vloer gewoon een roze vlek. Het weet niet dat het een sok is, of dat het opgeruimd moet worden.
Om een robot slim te maken, moeten we hem leren om die pixels te vertalen naar betekenisvolle regels (in de vaktaal: predicaten). Bijvoorbeeld: "Is de vloer schoon?" of "Houdt de robot de sok vast?".

2. De Oplossing: De AI als Creatieve Mentor

De onderzoekers gebruiken een krachtige AI (zoals GPT-4 of Gemini) als een creatieve mentor.

• De Opdracht: De robot kijkt naar de video's van de mens die opruimt.
• De Vraag: De AI-mentor wordt gevraagd: "Kijk naar deze beelden. Welke regels of concepten zijn hier belangrijk? Bedenk nieuwe regels die we nog niet kenden."

De AI is hier heel goed in. Hij bedenkt duizenden mogelijke regels, zoals:

• "Is er iets op de tafel?"
• "Is de doos leeg?"
• "Is het een rubberen dweil?"
• "Is de vloer schoon?"

Het is alsof je een kind laat kijken naar een film en vraagt: "Wat zie je hier? Wat is belangrijk?" Het kind schrijft dan een heel groot lijstje met observaties op.

3. De Filter: De "Schaal" van de Robot

Nu heeft de robot een enorm lijstje met duizenden regels. Maar hij kan niet met duizenden regels werken; dat zou hem verwarren en traag maken. Hij heeft een compacte set nodig.

Hier komt de slimme truc van het paper:
De robot probeert met verschillende combinaties van regels plannen te maken. Hij vraagt zichzelf af: "Als ik alleen deze regels gebruik, kan ik dan een goed plan bedenken om de kamer op te ruimen?"

• Als een regel (bijv. "Is de lucht blauw?") helpt bij het plannen, blijft hij.
• Als een regel (bijv. "Is het een roze vlek?") niet helpt of verwarrend is, wordt hij weggegooid.

Dit is als het sorteren van een grote zak met Lego-stenen. Je gooit alle losse, onbruikbare stukjes weg en houdt alleen de stenen over die je echt nodig hebt om een kasteel (het plan) te bouwen.

4. Het Resultaat: Een Robot die Kan Generaliseren

Zodra de robot zijn eigen kleine setje regels heeft gevonden, kan hij plannen.
Stel, tijdens de training zag de robot alleen een mens die een tafel afveegde.
Nu komt de robot in een nieuwe kamer met een nieuwe doos en een nieuwe dweil.

• Een simpele robot zou vastlopen omdat hij de doos nog nooit heeft gezien.
• Onze robot denkt: "Ah, ik heb de regel 'Is de doos leeg?' geleerd. Ik zie dat de doos vol zit. Ik heb ook de regel 'Gooi inhoud eruit' geleerd. Dus ik gooi de inhoud eruit, pak de dweil en veeg de tafel."

Hij gebruikt de regels die hij heeft "uitgevonden" om een nieuw probleem op te lossen, zelfs als hij dat specifieke probleem nooit eerder heeft gezien.

Waarom is dit speciaal?

• Van Beeld naar Regels: De robot leert direct uit beelden (pixels) zonder dat mensen handmatig regels moeten programmeren.
• Korte Training: Het heeft maar een paar video's (demonstraties) nodig, niet duizenden uren.
• Wereldwijd Toepasbaar: Het werkt in de simuleerde wereld én in de echte wereld (met een Boston Dynamics Spot-robot). De robot kan bijvoorbeeld een flesje uit een prullenbak halen, de prullenbak leegmaken, en dan een tafel afvegen, zelfs als hij dat exacte scenario nooit heeft geoefend.

Samenvattend in één zin:

De onderzoekers hebben een manier bedacht om robots een "AI-mentor" te geven die uit video's duizenden mogelijke regels bedenkt, waarna de robot zelf de slimme, korte lijst met regels kiest die hem in staat stelt om als een echte planner te denken en nieuwe, complexe taken op te lossen.

Het is alsof je een robot niet leert wat hij moet doen, maar hem leert hoe hij moet denken over wat hij ziet.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models" in het Nederlands.

Titel: From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models

Auteurs: Ashay Athalye, Nishanth Kumar, et al. (MIT, Princeton, Cambridge, RAI Institute)

---

1. Het Probleem

Het centrale doel van robotica is om langdurige beslissingen te nemen op basis van lage-niveau sensorische input (pixels) om een breed scala aan taken uit te voeren in complexe omgevingen. Bestaande methoden kampen met twee grote uitdagingen:

1. Generalisatie: Robots moeten taken kunnen uitvoeren met nieuwe objecten, in nieuwe omgevingen en met nieuwe doelstellingen die niet tijdens het trainen zijn gezien.
2. Afname van de horizon: Veel huidige benaderingen (zoals imitatie-leren zonder model) worstelen met taken die lange reeksen van acties vereisen (long-horizon), omdat ze vaak patroonherkenning gebruiken in plaats van echt redeneren.

De auteurs stellen dat het leren van abstracte symbolische wereldmodellen de oplossing is. Deze modellen gebruiken symbolische predikaten (bijv. "IsEraser", "TableClear") om relaties tussen objecten te beschrijven. Dit maakt efficiënte planning mogelijk. Het probleem is echter dat het definiëren van deze predikaten handmatig veel werk is en dat het automatisch leren ervan uit ruwe beelden (pixels) zeer moeilijk is, vooral zonder expliciete supervisie over welke predikaten er nodig zijn.

2. Methodologie: pix2pred

De auteurs introduceren pix2pred, een methode die voorgeprogrammeerde Vision-Language Models (VLM's) combineert met een optimalisatie-algoritme om symbolische wereldmodellen te leren uit een klein aantal demonstraties.

Het proces verloopt in drie hoofdfasen:

A. Voorstellen van Predikaten (Predicate Proposal)

In plaats van handmatig predikaten te definiëren, gebruikt de methode een VLM (zoals GPT-4o of Gemini) om een grote pool van kandidaat-predikaten te genereren.

• Input: De VLM krijgt een reeks beelden (voorbij en na een actie) en de tekstuele beschrijving van de uitgevoerde vaardigheden (skills).
• Output: De VLM genereert een lijst van mogelijke ground atoms (bijv. "EraserOnTable") en lift deze naar geparameteriseerde predikaten (bijv. OnTop(?obj, ?surface)).
• Diversiteit: De prompt vraagt de VLM om synoniemen en antoniemen te genereren om een diverse pool te creëren, zodat cruciale concepten niet worden gemist.

B. Implementatie en Labeling

De gegenereerde predikaten worden direct geëvalueerd op beelden met behulp van de VLM.

• De VLM fungeert als een classifier die bepaalt of een predikaat waar (true), onwaar (false) of onbekend is voor een specifieke toestand.
• Om de nauwkeurigheid te verhogen, gebruikt het systeem "Chain-of-Thought" prompting (de VLM moet zijn redenering uitleggen) en "Set-of-Marks" prompting (objecten in de afbeelding worden gelabeld met hun namen).

C. Optimalisatie en Subselectie (Hill-Climbing)

Niet alle voorgestelde predikaten zijn nuttig; veel zijn redundant of ruisig. De kern van pix2pred is een hill-climbing optimalisatie-algoritme dat een compacte subset van predikaten selecteert.

• Doelfunctie: Het algoritme zoekt de combinatie van predikaten en symbolische operatoren (PDDL-stijl) die de planningsefficiëntie maximaliseert. Het doel is om een model te vinden dat de demonstraties correct verklaart en tegelijkertijd generaliseert.
• Ruisbestendigheid: Omdat VLM's niet perfect zijn, bevat het algoritme mechanismen om ruis te hanteren, zoals "soft precondition intersection" (een predikaat hoeft niet in 100% van de gevallen waar te zijn om als precondition te worden geaccepteerd) en het verwijderen van operatoren die op te weinig data zijn gebaseerd.

D. Planning en Deploy

Tijdens de testfase (inference):

1. De robot gebruikt de VLM om de huidige wereldtoestand te vertalen naar een abstracte toestand (waarden van de geselecteerde predikaten).
2. Een zoekgebaseerde planner (zoals een PDDL-planner) gebruikt het geleerde symbolische model om een reeks vaardigheden te vinden die het doel bereiken.
3. De lage-niveau vaardigheden worden uitgevoerd, eventueel met replanning als de toestand verandert.

3. Belangrijkste Bijdragen

1. Automatische Predikaatuitvinding: Het is de eerste methode die VLM's gebruikt om niet alleen te plannen, maar om de taal (predikaten) van het wereldmodel zelf te uitvinden uit ruwe beelden, zonder voorafgaande kennis van de concepten.
2. Zero-shot Generalisatie: De methode kan taken oplossen met objecten, aantallen en doelstellingen die volledig nieuw zijn voor het trainingssetje, dankzij het leren van semantisch betekenisvolle abstracties.
3. Robuustheid tegen Ruis: Door een subselectie-procedure te gebruiken die rekening houdt met de onnauwkeurigheid van VLM's, slaagt het systeem erin om betrouwbare wereldmodellen te bouwen, zelfs als de VLM soms fouten maakt bij het labelen van afzonderlijke frames.
4. Real-World Validatie: Het systeem is succesvol getest op een echte Boston Dynamics Spot-robot in complexe omgevingen (schoonmaken en sap persen), getraind op slechts enkele menselijke demonstraties.

4. Resultaten

De auteurs hebben hun methode getest in vijf domeinen: drie gesimuleerde (Kitchen, Burger, Coffee) en twee real-world (Cleanup, Juice).

• Vergelijking met Baselines: pix2pred presteert aanzienlijk beter dan bestaande methoden zoals ViLa (die direct plannen zonder abstractie) en VLM-only benaderingen.
  • In de "Burger"-domeinen (lange horizon, complexe stapeling) behaalde pix2pred hoge succespercentages, terwijl ViLa faalde omdat het probeerde demonstraties na te bootsen in plaats van te redeneren.
  • De "subselectie" van predikaten bleek cruciaal: het direct gebruiken van alle door de VLM voorgestelde predikaten leidde tot overfitting en falen.
• Generalisatie: Het systeem slaagde erin om taken op te lossen met:
  • Nieuwe objecten (andere soorten fruit, andere meubels).
  • Nieuwe omgevingen (andere kamers, achtergronden).
  • Langere horizons dan tijdens het trainen (bijv. het maken van meerdere hamburgers in plaats van één).
  • Complexe doelstellingen die het combineren van meerdere getrainde vaardigheden vereisten.
• Real-World Succes: Op de Boston Dynamics Spot-robot slaagde het systeem erin om taken uit te voeren die tijdens het trainen nooit waren gezien, zoals het legen van een prullenbak om een gum te halen, en vervolgens de tafel schoon te maken.

5. Betekenis en Conclusie

Deze paper markeert een belangrijke stap in de richting van general-purpose robots. Door de perceptuele kracht van Vision-Language Models te koppelen aan de redeneerkracht van symbolische planning, overwint pix2pred de beperkingen van zowel pure imitatie-leren (geen generalisatie) als pure VLM-planning (geen structureel redeneren).

De kernboodschap is dat robots niet hoeven te leren "wat ze moeten doen" voor elke specifieke situatie, maar hoeven te leren "hoe de wereld werkt" (via symbolische predikaten). Dit stelt hen in staat om zich aan te passen aan onbekende situaties met slechts een handvol voorbeelden. De methode opent de deur naar robots die kunnen leren van menselijke video's en direct toepasbaar zijn in nieuwe, onvoorbereide omgevingen.

Beperkingen:

• De methode vereist dat objecten in de scène expliciet worden beschreven (descriptoren).
• Het optimalisatieproces kan traag zijn bij zeer grote verzamelingen van demonstraties.
• Het systeem is afhankelijk van de kwaliteit van de VLM; als de VLM fundamenteel misleidend is, kan het model falen.