Technische Samenvatting: Fysiek Leefbare Wereldmodellen: Een Pleidooi voor Query-geconditioneerde Belichaamde AI

1. Probleemstelling

Huidige wereldmodellen voor belichaamde AI zijn primair geoptimaliseerd voor het voorspellen van toekomstige observaties op basis van het verleden. Hoewel deze modellen vaak visueel plausibele rollouts produceren, falen ze frequent in het representeren van de onderliggende fysieke structuur die vereist is om interventie-queries te beantwoorden. Het kernprobleem is structureel: onderscheidende fysieke systemen kunnen identieke observaties genereren, maar zich anders gedragen onder interventie (bijv. variërende massa, wrijving, viscositeit of restitutie).

Gevolgelijk kunnen observatie-predictieve modellen onhaalbare acties aanbevelen, de uitkomsten van interacties verkeerd voorspellen, of gedragingen als veilig certificeren die in de werkelijkheid onveilig zouden zijn. Dit falen is niet louter een kwestie van onvoldoende data of architecturale schaal; het komt voort uit het onvermogen van huidige trainingsregimes om de latente fysieke variabelen (zoals dichtheid of contacttoestand) uniek te identificeren die de uitkomst van een actie bepalen wanneer die variabelen niet direct observeerbaar zijn. Het artikel betoogt dat belichaamde AI wereldmodellen nodig heeft die fysiek leefbaar zijn: geconstrueerd om specifieke interventie-queries te beantwoorden door de minimale fysieke abstractie te representeren die voldoende is om de relevante onderscheidende kenmerken voor die query te behouden.

2. Methodologie

2.1 Gecontroleerde Evaluatiesuite

Om de beperkingen van huidige observatie-predictieve modellen bloot te leggen, hebben de auteurs een suite van gecontroleerde benchmarks geconstrueerd waarbij de zichtbare scène vast blijft staan terwijl de latente fysieke parameters variëren. De evaluatie richt zich op drie modelfamilies:

1. Vision-Language Models (VLM's): Getest op statische beeldvoorspelling van fysieke uitkomsten.
2. Video Diffusion Models: Getest op het genereren van video-continuaties vanuit keyframes.
3. Action-Conditioned Latent Predictors: Getest op planning- en controle-taken (met behulp van V-JEPA 2).

De benchmark-scenario's omvatten:

• Rigide Lichaamsinteracties: Een bal die een helling afrolt om bloktorens met variërende dichtheid (hout versus staal) of restitutie (stuiterend versus rigide) te raken.
• Deformabele Interacties: Botsingen met jelly-wanden met variërende stijfheid en configuratie.
• Rigide-Vloeistof Koppeling: Een bal die een beker raakt gevuld met vloeistoffen van variërende viscositeit (water versus honing-achtige viscositeit).
• Contact-afhankelijke Duwacties: Een robotarm die een muur duwt op verschillende hoogtes of met verschillende vloerwrijvingscoëfficiënten.
• Viscositeit-afhankelijk Gieten: Een robot die vloeistoffen van variërende viscositeiten giet, wat verschillende houdduur en bewegingsprofielen vereist om een doelvolume te bereiken.

2.2 Voorgestelde Framework: Query-geconditioneerde Constructie

Het artikel stelt een verschuiving voor van "observatie-extrapolatie" naar de query-geconditioneerde constructie van fysiek leefbare wereldmodellen. Deze benadering steunt op een autonome orchestrator die dynamisch een wereldmodel samenstelt voor een specifieke query. Het constructieproces omvat:

1. Query-analyse: De orchestrator identificeert de fysieke onderscheidende kenmerken die nodig zijn om de query te beantwoorden (bijv. hangt de taak af van massa, wrijving of vloeistoftraagheid?).
2. Abstractie-selectie: Het selecteert de eenvoudigste set variabelen, parameters en beperkingen die voldoende zijn om deze onderscheidende kenmerken te behouden. Dit voorkomt de noodzaak van een universele, hoog-getrouwe simulator.
3. Component-compositie: Het model wordt samengesteld uit modulaire, compatibele componenten:
   • Perceptie & Representatie: Brengt sensordata (beelden, LiDAR, kracht-koppel) in kaart naar fysieke variabelen (positie, snelheid, materiaaleigenschappen).
   • Toestand & Parameter-schatting: Schat latente grootheden (bijv. viscositeit, massa) of houdt onzekerheidsmarges aan als deze niet geïdentificeerd kunnen worden.
   • Actie-specificatie: Definieert toelaatbare interventies binnen de geselecteerde variabele ruimte.
   • Dynamica & Beperkingen: Evolueert de toestand onder interventie met behulp van analytische vergelijkingen, numerieke solvers (bijv. MPM voor vloeistoffen), geleerde surrogaten of hybride vormen, waarbij de fysieke structuur die de uitkomst bepaalt, wordt behouden.
   • Query-niveau Respons: Levert het specifieke antwoord dat vereist is (bijv. een traject, een bereikbaarheidsset, een parameterschatting of een veiligheidscertificaat).

De orchestrator fungeert als een closed-loop selectieproces dat routeert tussen analytische, numerieke en geleerde modellen, en de constructie herziet als componenten niet compatibel zijn of als de query verandert.

3. Belangrijkste Bijdragen

1. Structureel Argument: Het artikel stelt dat observatie-predictieve wereldmodellen structureel inadequaat zijn voor belichaamde interventie omdat ze perceptuele regelmatigheden verwarren met fysieke dynamica. Het stelt dat belichaamde wereldmodellen per query geconstrueerd moeten worden, gecentreerd rond de fysieke onderscheidende kenmerken waar de interventie van afhangt.
2. Empirische Demonstratie van Falen: Door middel van gecontroleerde experimenten tonen de auteurs aan dat VLM's, video diffusiemodellen en latente predictieve modellen er niet in slagen queries correct te beantwoorden wanneer latente fysieke variabelen (dichtheid, restitutie, viscositeit, contacthoogte) veranderen terwijl het visuele uiterlijk constant blijft.
   • VLM's missen vaak drempelwaarde-uitkomsten of construeren kwalitatief incorrecte scenario's bij een lage context.
   • Diffusiemodellen produceren visueel coherente video's die contact, vloeistof- of deformabele dynamica schenden.
   • Latente predictoren genereren visueel plausibele trajecten die fysiek onhaalbaar zijn (bijv. het negeren van wrijving of koppelbeperkingen).
3. Modulair Ontwerpframework: Het artikel definieert een modulair framework voor het construeren van fysiek leefbare wereldmodellen. Het specificeert de operaties die een orchestrator moet uitvoeren om deze modellen samen te stellen, waarbij benadrukt wordt dat de "juiste" abstractie niet het meest gedetailleerde model is, maar het eenvoudigste model dat de voor de query relevante onderscheidende kenmerken behoudt.

4. Resultaten

De experimentele resultaten benadrukken systematische foutmodi over verschillende modelfamilies heen:

• Visuele Plausibiliteit vs. Fysieke Validiteit: Modellen genereren vaak rollouts die er realistisch uitzien, maar de natuurwetten niet respecteren (bijv. een bal die door een beker gaat, of een jelly-wand die zich als een rigide blok gedraagt).
• Sensitiviteit voor Latente Variabelen: Wanneer fysieke parameters zoals materiaaldichtheid of vloeistofviscositeit worden gewijzigd, falen observatie-predictieve modellen om hun voorspellingen dienovereenkomstig aan te passen, en vervallen vaak in de meest visueel gelijkaardige trainingsdistributie.
• Controle-fouten: In planningstaken optimaliseren actie-geconditioneerde modellen voor latente visuele gelijkenis in plaats van fysieke haalbaarheid, wat leidt tot trajecten die falen bij uitvoering in een fysica-simulator (bijv. een robotarm die een muur duwt op een hoogte die tot kantelen leidt in plaats van glijden, of die geen rekening houdt met de materiaaleigenschappen van de muur).

In contrast hiermee slaagt de voorgestelde query-geconditioneerde benadering erin deze fouten aan te pakken door expliciet de relevante latente variabelen te representeren en te schatten (bijv. door viscositeit af te leiden uit een verkennend gietproces voordat het hoofdgietproces wordt gepland) en passende dynamica te gebruiken (bijv. MPM-simulatie voor vloeistofinteractie).

5. Betekenis en Claims

Het artikel claimt dat fysieke leefbaarheid een noodzakelijke eigenschap is voor wereldmodellen die gebruikt worden voor planning, controle, contrafactisch redeneren en veiligheidsanalyse. De betekenis ligt in:

• Herdefiniëren van het Doel: De verschuiving van het doel van "het voorspellen van de volgende observatie" naar "het beantwoorden van interventie-queries met fysieke consistentie."
• Ontwerpprincipe: Het vaststellen dat het juiste wereldmodel de eenvoudigste abstractie is die voldoende is voor de query, in plaats van een maximaal gedetailleerde simulatie.
• Interpretabiliteit en Verifieerbaarheid: De modulaire decompositie maakt modellen interpreteerbaar, hun componenten verifieerbaar en hun outputs controleerbaar tegen de query.
• Feasibility Test: Het bieden van een criterium om bestaande modellen te evalueren: behouden zij de fysieke onderscheidende kenmerken die relevant zijn voor de interventie?

De auteurs erkennen dat het creëren van een autonome orchestrator die in staat is om de juiste abstractie te identificeren en componenten samen te stellen, een openstaand onderzoeksveld blijft. Ze merken ook op dat fysieke leefbaarheid de fundamentele identificeerbaarheidslimieten niet overwint; latente grootheden kunnen nog steeds actieve interactie of conditionele responsen vereisen als ze niet uit passieve observatie kunnen worden afgeleid. Echter, het artikel stelt dat deze benadering een klasse van fouten identificeert die niet louter door opschaling (scaling) opgelost kunnen worden en motiveert architecturen die expliciet acties, toestand, dynamica en beperkingen representeren.