I robot hanno lottato a lungo per comprendere il mondo fisico non solo come una collezione di immagini, ma come uno spazio in cui le cose si muovono, collidono e cambiano. Per decenni, i ricercatori hanno cercato di insegnare alle macchine a prevedere cosa accadrà dopo mostrandone dei video. Questi sistemi imparano a indovinare il fotogramma successivo di un film, sperando che, se riusciranno a prevedere il futuro visivo, potranno anche capire come muovere un braccio robotico per far sì che quel futuro avvenga. Tuttavia, vi è un difetto fondamentale in questo approccio: un video è solo una proiezione piatta di un mondo tridimensionale. In una fotografia, un piccolo oggetto lontano può sembrare grande quanto un oggetto vicino, e pochi pixel di movimento possono rappresentare un piccolo spostamento o un salto enorme a seconda dell'angolo della telecamera. Ciò rende incredibilmente difficile per un robot sapere esattamente quanto debba allungarsi o quanto forte debba spingere, perché il linguaggio visivo di una telecamera non parla il linguaggio della distanza fisica.

Per colmare questo divario, un team di ricercatori ha sviluppato un nuovo tipo di modello che salta completamente le immagini piatte e lavora direttamente nello spazio tridimensionale. Invece di cercare di prevedere l'immagine successiva, questo sistema prevede come si muoveranno i punti nello spazio. Tratta il mondo come una collezione di coordinate che si spostano e fluiscono, permettendo al robot di comprendere le conseguenze fisiche delle sue azioni in modo coerente, indipendentemente da dove la telecamera stia guardando. Questo passaggio dal guardare un film al mappare uno spazio fisico rappresenta un passo significativo verso il dare ai robot un vero senso di come funziona il mondo, avvicinandoli alla capacità di eseguire compiti complessi come organizzare uno scaffale o preparare una borsa con la stessa affidabilità di un essere umano.

I ricercatori dietro questo lavoro, chiamando la loro creazione UNITAS, si sono posti l'obiettivo di risolvere un problema specifico: come unificare ciò che un robot vede, ciò che fa e come il mondo cambia in risposta, tutto all'interno di un unico framework condiviso. I tentativi precedenti spesso si affidavano a generatori di video pre-addestrati, che sono eccellenti nel creare immagini realistiche ma spesso falliscono nel rispettare le leggi della fisica. Un modello video potrebbe prevedere che una tazza scivoli su un tavolo, ma potrebbe anche prevedere che la tazza si allunghi o si deformi in modi impossibili nella realtà, o che lo sfondo si sposti quando invece dovrebbe rimanere immobile. Il nuovo modello, UNITAS, rifiuta questo approccio incentrato sul visivo. Invece, costruisce un mondo "nativo 3D" dove ogni osservazione, ogni movimento del robot e ogni cambiamento nell'ambiente è descritto utilizzando lo stesso linguaggio metrico delle coordinate tridimensionali.

In questo sistema, il robot non si limita a guardare un feed video; costruisce una mappa mentale dello spazio circostante. Quando il robot muove la mano o una pinza, il modello traccia il percorso di punti specifici di quella mano mentre viaggiano nell'aria. Contemporaneamente, traccia come i punti su un oggetto vicino, come un vaso o un libro, si spostano in risposta. I ricercatori hanno addestrato il modello su una vasta miscela di dati, inclusi video di robot reali, simulazioni di compiti bimanuali e video di mani umane che eseguono azioni simili. Trattando il movimento di una mano umana e di una pinza robotica come lo stesso tipo di traiettoria tridimensionale, il modello ha imparato un linguaggio universale del movimento. Ha imparato che, che si tratti di un dito umano o di un artiglio metallico, la fisica del modo in cui spingono un oggetto rimane la stessa.

Il cuore di questo sistema è un metodo di rappresentazione del tempo e del movimento che si allinea con il modo in cui gli esseri umani sperimentano il mondo fisico. Invece di contare i fotogrammi video, che possono variare di velocità a seconda della telecamera, il modello misura il tempo in secondi effettivi. Suddivide un movimento in un singolo token continuo che rappresenta l'intero percorso di un punto durante una specifica durata. Ciò consente al sistema di gestire dati provenienti da diverse fonti, alcuni registrati ad alta velocità e altri a bassa velocità, senza confondersi. Quando al modello viene assegnato un compito, come "inserire il fiore nel vaso", esso non genera semplicemente un video dell'azione. Calcola la traiettoria tridimensionale precisa che la pinza deve intraprendere e prevede esattamente come i punti del fiore e del vaso si muoveranno per accogliere tale azione.

I risultati di questo approccio sono sorprendenti. In una serie di test rigorosi, il modello ha dimostrato un livello di precisione che i sistemi precedenti non potevano eguagliare. Quando gli è stato chiesto di prevedere come una scena sarebbe cambiata dopo il movimento di un robot, UNITAS ha ridotto l'errore nelle sue previsioni di quasi la metà rispetto ai migliori modelli 3D esistenti. In ambienti di simulazione progettati per testare abilità di manipolazione complesse, il sistema ha raggiunto un tasso di successo del 99,8 percento in un benchmark standard noto come LIBERO, superando modelli più grandi che si affidano alla generazione di video. Ancora più importante, quando i ricercatori hanno testato il modello su robot reali nel mondo fisico, esso ha mantenuto alte prestazioni. In compiti come organizzare libri su uno scaffale e infilare una palla in una borsa, il robot ha avuto successo il 90 e l'80 delle volte, rispettivamente, superando significativamente altri metodi d'avanguardia.

I ricercatori hanno anche testato quanto bene il sistema gestisse i cambiamenti nell'ambiente, come diverse angolazioni della telecamera o ostacoli imprevisti. Poiché il modello è ancorato a uno spazio tridimensionale fisso piuttosto che a una vista della telecamera variabile, è rimasto robusto quando l'input visivo cambiava. È stato comunque in grado di capire come muovere correttamente il braccio robotico anche se la telecamera veniva spostata o se l'illuminazione cambiava. Ciò suggerisce che il modello ha veramente appreso la geometria del compito, piuttosto che aver solo memorizzato un particolare schema visivo. La capacità di prevedere l'esito fisico di un'azione, piuttosto che solo l'aspetto visivo, sembra essere la chiave di questa robustezza.

Uno degli aspetti più affascinanti di questo lavoro è la sua capacità di trasferire la conoscenza tra diversi tipi di robot e persino tra esseri umani e macchine. Il modello è stato addestrato su dati provenienti da mani umane, robot a braccio singolo e robot a due braccia, eppure è stato in grado di applicare fluidamente ciò che ha imparato a qualsiasi di queste configurazioni. Quando una mano umana dimostrava un compito, il modello poteva tradurre quel movimento in un piano per una pinza robotica, e viceversa. Questa unificazione suggerisce che le regole fisiche della manipolazione sono universali e che, concentrandosi sul flusso tridimensionale della materia, una macchina può imparare a interagire con il mondo in modo indipendente dalla propria specifica forma corporea.

Le implicazioni di questa ricerca vanno oltre la semplice migliore prestazione dei robot. Trattando il mondo come uno spazio metrico condiviso in cui azioni e conseguenze sono direttamente collegate, i ricercatori hanno fornito una nuova base per l'intelligenza incarnata. Questo approccio si allontana dall'idea che un robot debba "vedere" il mondo nello stesso modo di un essere umano, con tutte le ambiguità di prospettiva e illuminazione. Al contrario, fornisce al robot una comprensione diretta dello spazio fisico. Il modello non ha bisogno di immaginare un video del futuro; calcola semplicemente la traiettoria dei punti nello spazio. Questa chiarezza consente un processo decisionale più rapido e affidabile, poiché il sistema non deve perdere tempo a interpretare illusioni visive o a correggere artefatti della telecamera.

In definitiva, il successo di UNITAS risiede nella semplicità del suo concetto, anche se la matematica che vi sta dietro è complessa. Riconosce che, affinché un robot possa manipolare il mondo, deve comprenderlo in tre dimensioni, non due. Ancorando le sue previsioni a coordinate fisiche e misurando il tempo in secondi anziché in fotogrammi, il modello raggiunge un livello di accuratezza e affidabilità che prima era fuori portata. I ricercatori hanno dimostrato che quando si smette di cercare di far guardare un film a un robot e si inizia a insegnargli a mappare lo spazio fisico, esso può imparare a muoversi con una fiducia e una precisione che ci avvicinano al sogno di robot general-purpose capaci di aiutarci nella nostra vita quotidiana. Il percorso da seguire è chiaro: il futuro della manipolazione robotica non risiede in telecamere migliori, ma in una comprensione più profonda e diretta del mondo tridimensionale che tutti condividiamo.