Mamba-based Selective State Space Modeling Improves the Accuracy-Complexity Tradeoff of SmolVLA Vision-Language-Action Experts
Questo articolo dimostra che l'integrazione della modellazione a stato spaziale selettivo basata su Mamba nell'esperto di azione di SmolVLA migliora significativamente il compromesso tra accuratezza e complessità per i modelli Vision-Language-Action, ottenendo tassi di successo superiori rispetto ai baseline Transformer durante l'esecuzione a lungo termine, riducendo al contempo la complessità dei parametri del 24% sotto ri-pianificazione per azione.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
I robot stanno imparando a comprendere il mondo non solo guardandolo, ma anche leggendo istruzioni e poi muovendo le braccia per svolgere un lavoro. Questo campo, noto come visione-linguaggio-azione, si basa su potenti cervelli informatici che prendono l'immagine di una scena e una frase che descrive un compito, per poi capire esattamente come muovere una mano robotica per completarlo. La sfida per gli ingegneri è bilanciare velocità e intelligenza. Se un robot pensa troppo prima di ogni minimo movimento, si muove così lentamente da diventare inutile. Ma se pianifica una lunga sequenza di movimenti in una volta sola per risparmiare tempo, rischia di commettere errori perché il mondo potrebbe cambiare mentre sta eseguendo quei passaggi pre-pianificati. L'obiettivo è trovare un modo affinché il robot sia sia veloce che accurato, un equilibrio che è stato difficile da raggiungere.
Un team di ricercatori ha trovato un nuovo modo per far pendere questo equilibrio a favore della velocità senza sacrificare l'accuratezza. Hanno testato un nuovo tipo di architettura informatica, originariamente progettata per l'elaborazione del linguaggio, all'interno del cervello di un robot. Sostituendo il motore di pensiero standard con questo nuovo design, hanno scoperto che il robot poteva pianificare sequenze di movimenti molto più lunghe e riuscire comunque nell'impresa. Nei loro test, quando al robot era permesso eseguire una sequenza completa di cinquanta movimenti prima di controllare nuovamente l'ambiente circostante, il nuovo design ha avuto successo nel compito quasi l'otto per cento in più rispetto al vecchio design. Questo miglioramento è significativo perché significa che i robot potrebbero operare molto più velocemente nel mondo reale, facendo meno pause per pensare, pur portando a termine il lavoro correttamente.
I ricercatori sono partiti con un popolare cervello robotico chiamato SmolVLA, che è già noto per essere efficiente e accurato. Questo sistema funziona guardando un feed video e un'istruzione testuale, per poi predire un "chunk" (un blocco) di movimenti futuri. Invece di decidere un solo movimento alla volta, predice una serie di azioni, come un breve filmato di ciò che il braccio dovrebbe fare dopo. Il robot esegue quindi i primi movimenti di quella serie, si ferma, guarda di nuovo il mondo e pianifica una nuova serie. Il numero di movimenti che esegue prima di fermarsi è chiamato orizzonte di esecuzione. Se si ferma dopo ogni singolo movimento, è molto accurato ma molto lento. Se esegue l'intera serie senza fermarsi, è veloce ma incline agli errori se l'ambiente cambia.
Per risolvere questo problema, il team ha sostituito la parte del cervello del robot che gestisce la tempistica di queste sequenze di movimento. Il sistema originale utilizzava un metodo standard chiamato auto-attenzione (self-attention), che è come un riflettore che permette a ogni parte del piano di movimento di guardare indietro a ogni altra parte per rimanere coordinata. I ricercatori l'hanno sostituito con un metodo diverso chiamato Mamba, che elabora le informazioni in un modo più simile a un flusso costante di aggiornamenti piuttosto che a un riflettore. Questo nuovo metodo è molto più leggero sulle risorse informatiche, richiedendo circa il ventiquattro per cento in meno di parametri da apprendere, eppure gestisce il flusso del tempo in modo diverso.
Il team ha messo alla prova entrambe le versioni del cervello robotico in un ambiente simulato pieno di quaranta diversi compiti, che vanno dallo impilare blocchi allo spostare oggetti verso obiettivi specifici. Hanno fatto eseguire ai robot questi compiti sotto tre diverse condizioni: fermandosi dopo ogni singolo movimento, fermandosi dopo venticinque movimenti e fermandosi dopo i pieni cinquanta movimenti. Quando i robot si fermavano dopo ogni movimento, entrambe le versioni si comportavano in modo quasi identico, con il nuovo design che eguagliava il tasso di successo dell'originale. Tuttavia, man mano che ai robot veniva chiesto di eseguire sequenze più lunghe senza fermarsi, la differenza diventava evidente. Il robot con il nuovo design Mamba manteneva la posizione molto meglio. Quando gli veniva chiesto di eseguire cinquanta movimenti prima di controllare, il nuovo design ha avuto successo nel sessantuno virgola otto per cento dei tentativi, mentre il vecchio design ha avuto successo solo nel cinquanta tre virgola nove per cento.
Questo divario si è ampliato ulteriormente su tipi specifici di compiti. Quando il robot doveva spostare oggetti in posizioni precise, il nuovo design ha migliorato i tassi di successo di quasi il diciotto per cento all'orizzonte più lungo. Anche nei compiti che coinvolgevano disposizioni spaziali, è migliorato del dieci per cento. I ricercatori hanno scoperto che il nuovo design era particolarmente bravo a mantenere i movimenti successivi in una sequenza coordinati con quelli precedenti, anche quando il robot stava agendo su un piano che non veniva più aggiornato con nuove informazioni visive. Ciò suggerisce che la nuova architettura ha un vantaggio naturale nel predire come una sequenza di azioni debba svilupparsi nel tempo.
Lo studio conferma che il modo in cui un robot pianifica i suoi movimenti conta tanto quanto la frequenza con cui controlla l'ambiente circostante. Cambiando il motore interno che coordina una sequenza di azioni, i ricercatori hanno dimostrato che i robot possono essere resi più veloci ed efficienti senza diventare goffi. Il nuovo design non solo ha migliorato il tasso di successo per le sequenze lunghe, ma ha anche ridotto il numero totale di parametri informatici necessari per far funzionare il sistema. Ciò significa che in futuro i robot potrebbero essere impiegati in contesti reali in cui devono agire rapidamente e continuamente, facendo affidamento su piani più lunghi che rimangono accurati per periodi più estesi. Il lavoro dimostra che la scelta dell'architettura giusta può sbloccare un migliore compromesso tra velocità e precisione, portando il sogno di assistenti robotici veloci e affidabili un passo più vicino alla realtà.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.