Towards Embodied Cognition in Robots via Spatially Grounded Synthetic Worlds

Stel je voor dat je een spelletje verstoppertje speelt met een vriend in een enorme, rommelige woonkamer. Je verstopt je achter de bank en je vriend staat bij de deur. Als jij roept: "Ik zie de rode bal aan mijn linkerkant!", moet je vriend iets verrassend lastigs doen: ze kunnen niet gewoon naar links kijken vanaf hun eigen plek; ze moeten mentaal in jouw schoenen stappen, ronddraaien om de kamer vanuit jouw perspectief te zien, en dan uitzoeken waar die rode bal zich ten opzichte van hen bevindt. Deze mentale gymnastiek wordt "Visual Perspective Taking" genoemd. Het is een superkracht die mensen hebben, waardoor we kunnen begrijpen wat anderen zien, denken en voelen. Voor robots om echt met ons te kunnen omgaan, met ons te spelen of ons in onze huizen te helpen, hebben ze deze zelfde superkracht nodig. Op dit moment zijn robots vaak als mensen die de wereld alleen door hun eigen ogen kunnen zien; ze worstelen ermee om te begrijpen dat "links" voor hen misschien "rechts" voor jou is. Dit artikel duikt in de wereld van Kunstmatige Intelligentie (AI) om te zien of we robots dit mentale draai-act kunnen leren, specifweg door gebruik te maken van een speciaal soort trainingsdata die fungeert als een video game simulator.

De onderzoekers achter dit artikel, Joel Currie en zijn team, pakken een specifiek probleem aan: robots en de AI-hersenen die hen aansturen zijn goed in het herkennen van objecten, maar ze zijn erg slecht in het begrijpen van precies waar die objecten zich in de 3D-ruimte bevinden, vooral wanneer ze vanuit verschillende hoeken worden bekeken. Terwijl sommige oudere robotmethoden rigide wiskundige regels gebruiken om de ruimte te bepalen, suggereren het team dat moderne "Vision-Language Models" (AI die afbeeldingen kan zien en tekst kan lezen) de toekomst kunnen zijn, maar alleen als we ze beter kunnen onderwijzen. Het artikel betoogt dat deze slimme modellen momenteel falen in ruimtelijk redeneren, niet omdat ze "dom" zijn, maar omdat ze niet zijn getraind op genoeg data die een object perfect koppelt aan de exacte locatie ervan.

Om dit op te lossen, heeft het team een gloednieuwe "trainingsgym" voor robots gecreëerd, maar in plaats van een echte kamer, bouwden ze een digitale kamer binnen een krachtige video game engine genaamd NVIDIA Omniverse. Denk aan een digitale zandbak waarin ze een enkele, licht vervormde kubus kunnen plaatsen, een foto kunnen maken met een camera op een willekeurige hoogte, en een zin kunnen schrijven die deze beschrijft. Het magische deel is dat, omdat ze deze wereld in een computer hebben gebouwd, ze de exacte wiskunde weten van waar de kubus zich bevindt, tot op de millimeter nauwkeurig. Ze genereerden een dataset vol met deze scènes, waarbij een afbeelding, een taalprompt en een precieze "4×4 transformatiematrix" (een fancy wiskundig rooster dat precies vertelt hoe het object gepositioneerd is) aan elkaar werden gekoppeld.

In dit eerste experiment vroeg het team de AI niet om de hele puzzel van de 3D-ruimte in één keer op te lossen. In plaats daarvan concentreerden ze zich op een simpelere, fundamentele vaardigheid: raden hoe ver het object weg is langs de Z-as (de dieptelijn ten opzichte van de camera), terwijl de rest ongewijzigd bleef. Ze willen zien of de AI naar de foto en de beschrijving kan kijken en correct kan raden naar die afstand. Als de AI dit kan leren in hun perfecte, synthetische wereld, is de hoop dat het uiteindelijk de volledige, chaotische complexiteit van een echte kamer zal kunnen aan. Het artikel presenteert dit als een "proof-of-concept", wat betekent dat het een test in een vroege fase is om te zien of het idee werkt. Ze beweren niet dat ze vandaag de dag de robotintelligentie al hebben opgelost; eerder leggen ze de eerste steen van een fundament. Ze hebben deze dataset openbaar gemaakt zodat andere wetenschappers hun eigen robots kunnen trainen, met als doel een toekomst waarin robots werkelijk kunnen begrijpen "wat anderen zien" en onze wereld kunnen navigeren met dezelfde ruimtelijke oriëntatie die wij als vanzelfsprekend beschouwen.