Deltoris: Enabling Real-time VLA Inference in Embodied AI via Bit-level Sparsity and Speculative Inference

Immaginate un robot che cerca di imparare a giocare a prendere la palla. Per farlo, ha bisogno di un cervello che possa vedere la palla, comprendere le regole e decidere esattamente come muovere il braccio. Nel mondo della robotica, questo "cervello" è spesso un tipo speciale di programma per computer chiamato modello Vision-Language-Action (VLA). Pensatelo come un traduttore super intelligente che trasforma ciò che il robot vede e sente in movimenti fisici. Per molto tempo, questi robot sono stati un po' lenti e goffi perché la matematica necessaria per farli muovere era incredibilmente pesante, come cercare di correre una maratona portando uno zaino pieno di mattoni.

Recentemente, gli scienziati hanno scoperto un nuovo modo per insegnare ai robot come muoversi, chiamato "diffusione". Immaginate un robot che impara a camminare inciampando prima in una stanza nebbiosa e poi diradando lentamente la nebbia passo dopo passo finché non trova il percorso perfetto. Questo metodo rende i movimenti dei robot molto più fluidi e permette loro di gestire meglio le nuove situazioni rispetto a prima. Tuttavia, c'è un problema: questo processo di "diradamento della nebbia" è così computazionalmente pesante che è troppo lento per l'uso in tempo reale. Un robot deve prendere decisioni da 50 a 200 volte al secondo per mantenere l'equilibrio e la sicurezza, ma questi nuovi modelli richiedevano troppo tempo, come una lumaca che cerca di vincere una gara contro un ghepardo. Questo è il problema che un team di ricercatori si è proposto di risolvere: come possiamo rendere questi robot super intelligenti e fluidi nel movimento abbastanza veloci da stare al passo con il mondo reale?

Entra in scena Deltoris, un sistema ingegnoso progettato per velocizzare questi cervelli robotici senza renderli meno intelligenti. I ricercatori si sono resi conto che i robot non vivono in un mondo dove tutto cambia istantaneamente. Se un robot sta allungando la mano verso una tazza, la vista della tazza da un millisecondo all'altro è quasi esattamente la stessa. È come guardare un film in cui il 98% dei fotogrammi è identico; non serve ridisegnare l'intera immagine ogni volta, basta disegnare la piccola parte che è cambiata.

Deltoris sfrutta questa osservazione attraverso una tecnica chiamata temporal-aware bit-level sparsity (sparsità a livello di bit consapevole del tempo). Invece di ricalcolare l'intero problema matematico per ogni singolo movimento, il sistema calcola solo la differenza tra il momento attuale e quello precedente. È come inviare un messaggio di testo che dice solo "Ho mosso la mano su di 5 cm" invece di riscrivere la tua intera biografia ogni volta che ti muovi. Questo evita una enorme quantità di lavoro inutile, riducendo i calcoli di oltre il 90%.

Tuttavia, c'era un ostacolo. Inviando solo la "differenza", il sistema doveva continuamente recuperare le vecchie informazioni dalla memoria per confrontarle con quelle nuove, creando un ingorgo nel flusso dei dati. Per risolvere il problema, il team ha aggiunto un secondo trucco chiamato speculative inference (inferenza speculativa). Immaginate un allenatore che ha un assistente piccolo e veloce che predice le prossime mosse della partita, e poi un grande allenatore, lento ma super intelligente, che controlla tutte queste predizioni insieme in un gruppo. Questo permette al sistema di caricare i dati pesanti una sola volta e usarli per verificare più passaggi, risolvendo l'ingorgo del traffico.

Per far accadere tutta questa magia, i ricercatori non si sono limitati a scrivere un software; hanno costruito un chip hardware personalizzato (un acceleratore) progettato specificamente per gestire questi calcoli di "differenza". Hanno creato una speciale catena di montaggio di minuscoli processori che lavorano insieme perfettamente, assicurando che nessuno rimanga inattivo in attesa dei dati.

I risultati dei loro esperimenti sono impressionanti. Quando hanno testato Deltoris contro le GPU mobili standard (come quelle nei telefoni di fascia alta) e altri chip specializzati per la robotica, è stata una vittoria schiacciante. Deltoris è stato fino a 34,2 volte più veloce delle GPU mobili e 6,1 volte più veloce dei precedenti acceleratori specializzati. Forse ancora più importante, ha consumato fino a 822 volte meno energia, il che è fondamentale per i robot alimentati a batteria. Il team ha anche verificato che il robot non si confondesse a causa di queste scorciatoie; l'accuratezza è rimasta quasi esattamente la stessa, con un calo di prestazioni minimo e trascurabile.

In breve, Deltoris dimostra che essendo intelligenti su cosa calcoliamo (solo i cambiamenti) e su come lo calcoliamo (raggruppando le predizioni), possiamo finalmente dare all'IA incarnata la velocità e l'efficienza di cui ha bisogno per muoversi nel nostro mondo in tempo reale. È un passo significativo verso robot che non possono solo pensare, ma possono anche agire velocemente come noi.