Robots worstelen al lang met het begrijpen van de fysieke wereld, niet alleen als een verzameling plaatjes, maar als een ruimte waar dingen bewegen, botsen en veranderen. Decennialang hebben onderzoekers geprobeerd machines te leren wat er vervolgens gebeurt door ze video's te tonen. Deze systemen leren de volgende frame van een film te raden, in de hoop dat als ze de visuele toekomst kunnen voorspellen, ze ook kunnen uitzoeken hoe ze een robotarm moeten bewegen om die toekomst te laten plaatsvinden. Er zit echter een fundamentele fout in deze aanpak: een video is slechts een plat projectie van een driedimensionale wereld. In een foto kan een klein object in de verte er even groot uitzien als een groot object in de buurt, en een paar pixels beweging kunnen een kleine verschuiving of een enorme sprong betekenen, afhankelijk van de camerahoek. Dit maakt het voor een robot ongelooflijk moeilijk om precies te weten hoe ver hij moet reiken of hoe hard hij moet duwen, omdat de visuele taal van een camera niet de taal spreekt van fysieke afstand.

Om deze kloof te overbruggen, heeft een team van onderzoekers een nieuw soort model ontwikkeld dat de platte afbeeldingen volledig overslaat en direct in een driedimensionale ruimte werkt. In plaats van te proberen de volgende afbeelding te voorspellen, voorspelt dit systeem hoe punten in de ruimte zullen bewegen. Het behandelt de wereld als een verzameling coördinaten die verschuiven en stromen, waardoor de robot de fysieke gevolgen van zijn acties kan begrijpen op een manier die consistent is, ongeacht waar de camera naar kijkt. Deze verschuiving van het kijken naar een film naar het in kaart brengen van een fysieke ruimte vertegenwoordigt een belangrijke stap naar het geven van een echt gevoel voor hoe de wereld werkt aan robots, wat hen dichter brengt bij het vermogen om complexe taken uit te voeren zoals het ordenen van een plank of het inpakken van een tas met dezelfde betrouwbaarheid die een mens bezit.

De onderzoekers achter dit werk, die hun creatie UNITAS noemen, zetten zich af tegen een specifiek probleem: hoe je wat een robot ziet, wat hij doet en hoe de wereld reageert, verenigt binnen één enkel, gedeeld kader. Eerdere pogingen vertrouwden vaak op vooraf getrainde videogeneratoren, die uitstekend zijn in het creëren van realistisch ogende beelden, maar vaak niet voldoen aan de wetten van de fysica. Een videomodel kan voorspellen dat een kopje over een tafel glijdt, maar het kan ook voorspellen dat het kopje uitrekt of vervormt op manieren die onmogelijk zijn in de werkelijkheid, of dat de achtergrond verschuift terwijl die stil zou moeten blijven staan. Het nieuwe model, UNITAS, verwerpt deze visueel-georiënteerde aanpak. In plaats daarvan bouwt het een "3D-native" wereld waar elke waarneming, elke robotbeweging en elke verandering in de omgeving wordt beschreven met dezelfde metrieke taal van driedimensionale coördinaten.

In dit systeem kijkt de robot niet alleen naar een camerabeeld; het construeert een mentale kaart van de ruimte om zich heen. Wanneer de robot zijn hand of grijper beweegt, volgt het model het pad van specifieke punten in die hand terwijl ze door de lucht reizen. Tegelijkertijd volgt het hoe de punten op een nabijgelegen object, zoals een vaas of een boek, verschuiven als reactie daarop. De onderzoekers trainden het model op een enorme mix van gegevens, waaronder opnames van echte robots, simulaties van bimanuele taken en video's van menselijke handen die vergelijkbare handelingen uitvoeren. Door de beweging van een menselijke hand en een robotgrijper als hetzelfde type driedimensionaal traject te behandelen, leerde het model een universele taal van beweging. Het leerde dat of er nu een menselijke vinger of een metalen klauw beweegt, de fysica van hoe zij een object duwen hetzelfde blijft.

De kern van dit systeem is een methode voor het representeren van tijd en beweging die overeenkomt met hoe mensen de fysieke wereld ervaren. In plaats van videoframes te tellen, die qua snelheid kunnen variëren afhankelijk van de camera, meet het model de tijd in werkelijke seconden. Het breekt een beweging af in een enkele, continue token die het volledige pad van een punt over een specifieke duur vertegenwoordigt. Dit stelt het systeem in staat om gegevens uit verschillende bronnen te verwerken, sommige opgenomen op hoge snelheid en andere op lage snelheid, zonder in de war te raken. Wanneer het model een taak krijgt, zoals "steek de bloem in de vaas", genereert het niet alleen een video van de actie. Het berekent het precieze driedimensionale pad dat de grijper moet afleggen en voorspelt exact hoe de punten op de bloem en de vaas zullen bewegen om die actie mogelijk te maken.

De resultaten van deze aanpak zijn opmerkelijk. In een reeks rigoureuze tests toonde het model een niveau van precisie dat eerdere systemen niet konden evenaren. Wanneer het werd gevraagd te voorspellen hoe een scène zou veranderen nadat een robot bewoog, verminderde UNITAS de fout in zijn voorspellingen met bijna de helft vergeleken met de beste bestaande 3D-modellen. In gesimuleerde omgevingen die ontworig zijn om complexe manipulatievaardigheden te testen, behaalde het systeem een succespercentage van 99,8 procent op een standaard benchmark genaamd LIBERO, waarmee het grotere modellen die vertrouwen op videogeneratie overtrof. Nog belangrijker is dat wanneer de onderzoekers het model testten op echte robots in de fysieke wereld, het een hoog prestatievermogen behield. Bij taken zoals het ordenen van boeken op een plank en het inpakken van een bal in een tas, slaagde de robot respectievelijk 90 procent en 80 procent van de tijd, wat aanzienlijk beter is dan andere toonaangevende methoden.

De onderzoekers testten ook hoe goed het systeem omging met veranderingen in de omgeving, zoals verschillende camerahoeken of onverwachte obstakels. Omdat het model geworteld is in een vaste driedimensionale ruimte in plaats van een verschuivend camerabeeld, bleef het robuust wanneer de visuele input veranderde. Het kon nog steeds uitrekenen hoe de robotarm correct moest bewegen, zelfs als de camera werd verplaatst of als de verlichting veranderde. Dit suggereert dat het model werkelijk de geometrie van de taak heeft geleerd, in plaats van alleen een specifiek visueel patroon te hebben onthouden. Het vermogen om de fysieke uitkomst van een actie te voorspellen, in plaats van alleen het visuele uiterlijk, lijkt de sleutel te zijn tot deze robuustheid.

Een van de meest veelbelovende aspecten van dit werk is het vermogen om kennis over te dragen tussen verschillende soorten robots en zelfs tussen mensen en machines. Het model werd getraind op gegevens van menselijke handen, eenarmige robots en tweearmige robots, maar kon de geleerde kennis naadloos toepassen op elk van deze vormen. Wanneer een menselijke hand een taak demonstreerde, kon het model die beweging vertalen naar een plan voor een robotgrijper, en vice versa. Deze unificatie suggereert dat de fysieke regels van manipulatie universeel zijn, en dat een machine, door zich te richten op de driedimensionale stroom van materie, kan leren om met de wereld te interageren op een manier die onafhankelijk is van zijn specifieke lichaamsvorm.

De implicaties van dit onderzoek reiken verder dan alleen betere robotprestaties. Door de wereld te behandelen als een gedeelde metrieke ruimte waar acties en gevolgen direct aan elkaar gekoppeld zijn, hebben de onderzoekers een nieuw fundament gelegd voor belichaamde intelligentie. Deze aanpak beweegt weg van het idee dat een robot de wereld moet "zien" zoals een mens dat doet, met alle ambiguïteiten van perspectief en verlichting. In plaats daarvan geeft het de robot een direct begrip van de fysieke ruimte. Het model hoeft geen video van de toekomst te bedenken; het berekent simpelweg de trajectorie van punten in de ruimte. Deze helderheid maakt snellere en betrouwbaardere besluitvorming mogelijk, aangezien het systeem geen tijd hoeft te verspillen aan het interpreteren van visuele illusies of het corrigeren voor camera-artefacten.

Uiteindelijk ligt het succes van UNITAS in de eenvoud van het concept, ook al is de wiskunde erachter complex. Het erkent dat voor een robot om de wereld te manipuleren, hij de wereld in drie dimensies moet begrijpen, niet twee. Door zijn voorspellingen te funderen in fysieke coördinaten en tijd te meten in seconden in plaats van frames, bereikt het model een niveau van nauwkeurigheid en betrouwbaarheid dat voorheen onbereikbaar was. De onderzoekers hebben aangetoond dat wanneer je stopt met proberen een robot een film te laten kijken en begint hem de fysieke ruimte te leren mappen, hij kan leren bewegen met een zelfvertrouwen en precisie die ons dichter brengen bij de droom van algemene robots die ons in ons dagelijks leven kunnen helpen. De weg vooruit is duidelijk: de toekomst van robotmanipulatie ligt niet in betere camera's, maar in een dieper, directer begrip van de driedimensionale wereld die wij allemaal delen.