-sight: Unifying Vision-Language-Action and Latent World Modeling
-sight è un modello fondazionale robotico unificato che integra il controllo visione-linguaggio-azione con la modellazione del mondo latente predicendo futuri token spaziali e azioni direttamente nello spazio dei token nativi del VLM, raggiungendo prestazioni allo stato dell'arte su diversi benchmark senza fare affidamento sulla ricostruzione di pixel o su encoder esterni.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dall'autore. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
I robot hanno lottato a lungo per muoversi nel mondo con la fluidità intuitiva di un essere umano. Sebbene possano essere programmati per ripetere un movimento specifico alla perfezione, spesso falliscono quando l'ambiente cambia leggermente o quando un compito richiede una sequenza di passaggi che devono adattarsi in tempo reale. Per colmare questo divario, gli scienziati hanno sviluppato sistemi che combinano visione, linguaggio e azione. Questi sistemi permettono a un robot di comprendere un comando come "metti la tazza sul tavolo" e poi capire come muovere il proprio braccio per farlo. Tuttavia, rimane un ostacolo significativo: la maggior parte di questi sistemi guarda solo il momento presente. Vedono la scena attuale e decidono la mossa successiva, ma non anticipano veramente ciò che accadrà dopo. Senza questa capacità di prevedere il futuro immediato, i robot possono inciampare quando un compito richiede il coordinamento di movimenti complessi, come camminare trasportando un oggetto o navigare attorno a ostacoli che si spostano mentre si muovono.
Un nuovo approccio chiamato Z-sight, sviluppato dai ricercatori di Maven Robotics e dell'Università della Southern California, tenta di risolvere questo problema dotando il robot di una sorta di "lungimiranza". Invece di limitarsi a reagire a ciò che vede in questo momento, il sistema impara a prevedere come apparirà il mondo visivo una frazione di secondo nel futuro, e utilizza questa previsione per guidare le proprie azioni. Non si tratta di generare un video completo del futuro, il che sarebbe computazionalmente costoso e lento. Invece, il sistema prevede i pattern visivi essenziali che il cervello del robot utilizza per comprendere la scena. Imparando a immaginare il momento successivo mentre decide simultaneamente la mossa successiva, il robot può pianificare il proprio percorso in modo più fluido, gestendo compiti complessi che precedentemente causavano il blocco o il fallimento di altri sistemi.
I ricercatori hanno costruito questo sistema addestrandolo su una vasta collezione di dati, inclusi migliaia di ore di video che mostrano esseri umani che svolgono compiti quotidiani e registrazioni di vari robot. Il processo di addestramento è stato suddiviso in fasi. Prima, il sistema ha imparato a comprendere i movimenti umani e il linguaggio da video di persone che compiono azioni come aprire porte o piegare vestiti. Successivamente, è stato esposto a dati provenienti da diversi tipi di robot, imparando a tradurre quelle osservazioni di tipo umano nelle specifiche meccaniche del movimento robotico. Infine, il sistema è stato perfezionato su un robot specifico, un machine umanoide chiamato Unitree G1, per padroneggiare compiti come spingere una sedia sotto un tavolo o gettare la spazzatura in un cestino. Durante tutto questo processo, il sistema è stato istruito a fare due cose contemporaneamente: prevedere lo stato visivo futuro del mondo e generare le azioni fisiche necessarie per raggiungere quello stato.
L'innovazione principale risiede nel modo in cui il sistema gestisce queste previsioni. Molti tentativi precedenti di dare lungimiranza ai robot si basavano sulla generazione di interi fotogrammi video del futuro o sull'uso di sistemi separati e statici per indovinare cosa sarebbe successo. Questi metodi erano troppo lenti o scollegati dal modo in cui il robot vede il mondo. Z-sight evita queste insidie prevedendo il futuro direttamente nello stesso "linguaggio visivo" che il robot usa per comprendere il presente. Non cerca di ricreare un video perfetto nei pixel; invece, prevede i token visivi astratti che rappresentano la scena. Ciò consente al robot di vedere il futuro come un insieme di possibilità strettamente integrate con la sua comprensione attuale, consentendogli di regolare le proprie azioni al volo mentre il futuro previsto si dispiega.
I risultati di questo approccio sono stati testati sia in simulazioni informatiche che in esperimenti nel mondo reale. In un ambiente simulato progettato per testare la coordinazione di tutto il corpo, il sistema ha raggiunto un tasso di successo dell'81,9 percento su una varietà di compiti complessi, superando i metodi esistenti più forti con un margine significativo. Testato sul robot fisico Unitree G1 in una stanza reale, ha avuto successo nel 73,3 percento dei tentativi su sei diversi compiti, che includevano lo spostamento di oggetti, la navigazione intorno ai mobili e l'esecuzione di faccende domestiche multi-fase. In confronto, il secondo miglior sistema ha avuto successo solo nel 53,3 percento di questi tentativi nel mondo reale. I ricercatori hanno scoperto che la capacità del sistema di anticipare il futuro era cruciale per compiti che richiedevano una sequenza di movimenti, come camminare verso una sedia, spingerla e poi posizionare un oggetto sopra di essa. Senza questa lungimiranza, il robot avrebbe spesso completato la prima parte del compito, ma poi si sarebbe bloccato nel tentativo di passare alla fase successiva.
Per garantire che i miglioramenti derivassero dal meccanismo di lungimiranza stesso e non solo dal possedere un modello più grande o complesso, i ricercatori hanno condotto diversi esperimenti controllati. Hanno testato versioni del sistema che non potevano prevedere il futuro e hanno scoperto che queste versioni performavano significativamente peggio, anche quando avevano la stessa potenza di calcolo. Hanno anche testato se il sistema dipendesse dal contenuto specifico delle sue previsioni o solo dal fatto stesso di fare una previsione. Quando hanno sostituito il futuro previsto con rumore casuale o con l'immagine statica corrente, le prestazioni del robot sono crollate, indicando che stava realmente utilizzando i dettagli specifici della sua previsione futura per guidare i propri movimenti. Inoltre, il sistema è riuscito a gestire queste previsioni e decisioni complesse in modo incredibilmente veloce, elaborando un blocco di 30 passi in soli 110 millisecondi, un tempo sufficiente per controllare un robot in tempo reale senza ritardi.
Lo studio ha anche esplorato come il sistema si comporta quando le cose vanno male. Interrompendo intenzionalmente il flusso di previsione durante i test, i ricercatori hanno osservato che il robot poteva adattarsi. Se al sistema veniva detto che la sua previsione non era affidabile, esso faceva maggiore affidamento su ciò che poteva vedere in quel momento, piuttosto che indovinare cosa potesse accadere. Questa flessibilità suggerisce che il sistema ha imparato un modo robusto per bilanciare la pianificazione con la reazione. I ricercatori hanno notato che, sebbene il sistema sia altamente efficace, attualmente prevede il futuro basandosi solo su ciò che vede, senza testare esplicitamente diverse scelte di azione prima di impegnarsi in una. Ciò lascia aperta la possibilità che versioni future possano confrontare diversi potenziali esiti prima di agire, migliorando ulteriormente la sua capacità di pianificazione.
In definitiva, Z-sight dimostra che un robot non ha bisogno di generare video completi del futuro per capire cosa accadrà dopo. Imparando a prevedere il futuro nello stesso spazio visivo astratto che usa per comprendere il presente, il sistema raggiunge un livello di coordinazione e adattabilità che era precedentemente difficile da ottenere. Questo approccio permette al robot di muoversi con un senso di continuità, colmando il divario tra il vedere il mondo e l'agire in esso. Il successo di questo metodo sia sui robot umanoidi simulati che reali suggerisce che questo modo di combinare percezione, previsione e azione potrebbe diventare una base standard per macchine più capaci e autonome in futuro.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.