IMPLY: Physically Anchored Consistency for World-Model Rollouts

Stel je een robot voor die zijn volgende zet kan plannen door eerst te visualiseren wat er zal gebeuren. Hij duwt een blok, en nog voordat zijn arm beweegt, voert hij een mentale simulatie van de toekomst uit: het blok glijdt, stopt en komt tot rust. Voor een dergelijke kunstmatige intelligentie om nuttig te zijn, moet de robot zijn eigen verbeelding kunnen vertrouwen. Als de simulatie fout is, botst de robot tegen een muur of laat hij een kwetsbaar object vallen. Jarenlang hebben wetenschappers geprobeerd uit te zoeken hoe je kunt bepalen of de mentale simulatie van een robot betrouwbaar is. Het standaardantwoord is geweest om te zoeken naar consistentie. Als de robot de toekomst tien keer op dezelfde manier visualiseert, en alle tien de versies zien er hetzelfde uit, gaan we ervan uit dat de simulatie goed is. Als de tien versies allemaal verschillend zijn, gaan we ervan uit dat de robot in de war is. Het is een eenvoudige, logische controle: als het verhaal dat de robot zichzelf vertelt elke keer hetzelfde is, dan moet het verhaal wel waar zijn.

Maar er zit een fout in deze logica die een nieuwe studie heeft blootgelegd. Een robot kan elke keer exact hetzelfde verhaal vertellen en toch volkomen ongelijk hebben. Stel je voor dat een robot een algemene regel heeft geleerd: "Wanneer ik iets duw, glijdt het meestal ongeveer tien centimeter." Als de robot een zwaar, stroef blok tegenkomt dat eigenlijk slechts twee centimeter zou moeten glijden, zal zijn algemene regel hem nog steeds vertellen dat hij tien centimeter moet verwachten. Als hij deze simulatie tien keer uitvoert, zullen alle tien de resultaten identiek zijn. De robot is perfect consistent, maar hij begrijpt het specifieke object voor hem niet. Hij heeft de realiteit van de situatie genegeerd ten gunste van een veilige, gemiddelde gok. Dit is het blinde vlek die onderzoekers Aman Mehta en Riya Baviskar van plan zijn te verhelpen. Ze stellen een nieuwe manier voor om de verbeelding van een robot te controleren, een manier die niet alleen vraagt of de robot het met zichzelf eens is, maar of de robot het eens is met de fysieke wereld.

De onderzoekers testten hun idee in een gecontroleerde digitale omgeving waar een virtuele puck een doos raakt, waardoor deze over een tafel glijdt. In de echte wereld hangt hoe ver die doos glijdt af van twee dingen: hoe zwaar de doos is en hoeveel wrijving de tafel met de doos heeft. Als je een zware doos langzaam duwt, stopt hij misschien snel. Als je een lichte doos met dezelfde snelheid duwt, glijdt hij misschien veel verder. Een slimme robot zou het gewicht en de wrijving van de doos kunnen begrijpen door simpelweg te kijken hoe deze beweegt. De onderzoekers creëerden een test waarbij ze een computermodel vroegen om te visualiseren wat er zou gebeuren als het de doos met vijf verschillende snelheden zou duwen. Ze controleerden vervolgens of de verbeelding van het model fysiek zinvol was.

De oude methode, die ze zelfconsistentie noemen, keek simpelweg of de vijf gevisualiseerde toekomsten met elkaar overeenkwamen. Ze ontdekten dat deze methode spectaculair faalde tegen een specifiek type fout. Ze bouwden een "dummy"-model dat de doos volledig negeerde en simpelweg de gemiddelde glijdende afstand voorspelde voor elke duw. Omdat dit dummy-model altijd hetzelfde antwoord gaf, scoorde het perfect op de zelfconsistentie-test. Het leek een genie volgens de oude controle, ook al wist het niets van het object. De nieuwe methode, die de auteurs verankerde consistentie (anchored consistency) noemen, werkt anders. Voordat ze het model vragen de toekomst te visualiseren, lieten de onderzoekers het twee echte duwen van dezelfde doos zien. Het model zag de doos een specifieke afstand glijden bij een lage snelheid en een andere afstand bij een hogere snelheid. Deze twee echte observaties fungeren als een anker, een vast punt in de realiteit.

Wanneer het model vervolgens probeert de vijf nieuwe duwen te visualiseren, controleert de nieuwe methode of die gevisualiseerde toekomsten verklaard kunnen worden door hetzelfde fysieke object dat de twee echte duwen veroorzaakte. Als het model de "dummy" was die het object negeerde, zouden de gevisualiseerde toekomsten niet overeenkomen met de echte ankers. De wiskunde zou niet kloppen. De nieuwe methode betrapte deze fout elke keer; het gaf een perfecte score voor het detecteren van de fout, terwijl de oude methode het volledig miste. In tests met 200 verschillende objecten kon de nieuwe methode een model onderscheiden dat de fysica echt begreep van een model dat slechts de gemiddelde waarde gokte, terwijl de oude methode het verschil niet eens kon zien.

De onderzoekers namen deze test vervolgens mee naar een complexer, real-world scenario met behulp van een geavanceerd AI-model genaamd V-JEPA 2-AC. Dit model was getraind om videoframes van bewegende objecten te voorspellen. Ze gaven het model de kans om iets te leren over een specifiek object door eerst twee echte duwen te tonen. Wanneer het model deze informatie kreeg, slaagde het erin het gedrag van het object te volgen en de toekomstige bewegingen met hoge nauwkeurigheid te voorspellen. Echter, wanneer ze de echte duwen vervingen door die van een ander object, raakte het model de weg kwijt. Het begon de bewegingen van het verkeerde object te voorspellen, of helemaal niets.

Hier werd het verschil tussen de twee methoden scherp. De oude zelfconsistentie-check kon het verschil niet zien tussen het model dat de juiste informatie gebruikte en het model dat de verkeerde informatie gebruikte. Het gaf beide bijna identieke scores, wat in feite neerkwam op het gooien van een muntje om te beslissen welke beter was. De nieuwe verankerde methode merkte de fout echter onmiddellijk op. Wanneer het model de geschiedenis van het verkeerde object gebruikte, schoot de nieuwe score omhoog, wat duidde op een mismatch tussen de verbeelding en het anker. De nieuwe methode identificeerde het juiste bewijs in 73% van de gevallen, vergeleken met de 52% succesrate van de oude methode, die niet beter was dan willekeurige gokken. Bovendien was de nieuwe score zo accuraat dat deze precies kon voorspellen hoe fout de toekomstige voorspellingen van het model waren, wat bijna perfect correleerde met de werkelijke fout.

De studie toont aan dat een robot om de wereld echt te begrijpen, niet alleen kan vertrouwen op zijn eigen interne overeenstemming. Het moet verbonden zijn met bewijsmateriaal. Een model dat de verkeerde fysica heeft geleerd, is net zo consistent met zichzelf als een model dat de juiste fysica heeft geleerd. De enige manier om hen uit elkaar te houden, is door te controleren of de verbeelding van het model past bij de specifieke, geobserveerde realiteit van het object waarmee het interageert. Door de consistentiecontrole te verankeren aan twee echte observaties, creëerden de onderzoekers een hulpmiddel dat kan detecteren wanneer een robot de realiteit van het object voor zich negeert. Dit betekent niet dat de robot nu perfect is, maar het biedt een betrouwbare manier om te weten wanneer de robot tegen zichzelf liegt, een cruciale stap naar het bouwen van machines die veilig en effectief door een fysieke wereld kunnen navigeren.