💻 computer science

LaST $_{0}$ : Latent Spatio-Temporal Chain-of-Thought for Robotic Vision-Language-Action Model

LaST $_0$ è un framework robotico Vision-Language-Action che supera i limiti di latenza e rappresentazione del ragionamento linguistico esplicito impiegando una catena di pensiero spazio-temporale latente e token-efficient all'interno di un'architettura dual-system Mixture-of-Transformers, ottenendo così significativi miglioramenti del tasso di successo in diverse attività di manipolazione nel mondo reale.

Autori originali: Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

Pubblicato 2026-06-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come cucinare un uovo. Gli dici: "Preleva l'uovo dalla padella e mettilo sul pane".

Il Vecchio Modo (Ragionamento Esplicito):
In passato, per farlo, il robot avrebbe dovuto fermarsi, pensare ad alta voce e scrivere un saggio passo dopo passo prima di muovere il braccio. Potrebbe dire: "Per prima cosa, devo abbassare la mano. Poi, devo inclinare la padella. Poi, devo prelevare..."
Mentre il robot è impegnato a scrivere questo saggio, l'uovo si sta raffreddando o, peggio, la padella si sta ribaltando. Questo "pensare ad alta voce" richiede troppo tempo (latenza), rendendo il robot lento e goffo. Inoltre, alcune cose sono difficili da descrivere con le parole, come la sensazione esatta dell'uovo che scivola o la forma 3D della padella.

Il Nuovo Modo (LaST0):
Il paper introduce LaST0, un cervello robotico che pensa in modo diverso. Invece di generare parole per spiegare cosa farà, utilizza un "Processo di Pensiero Silenzioso e Invisibile" (Chain-of-Thought Spazio-Temporale Latente).

Ecco come funziona LaST0, usando analogie semplici:

1. Il "Film Silenzioso" vs. Lo "Script"

Invece di generare parole per spiegare ciò che sta per fare, LaST0 genera un film silenzioso e interno del futuro.

Cosa vede: Non guarda solo l'immagine; immagina la forma 3D dell'uovo, la consistenza della padella e come si sente il proprio braccio robotico (propriocezione).
La parte "Latente": Questi pensieri non sono parole leggibili; sono pacchetti di dati compatti e ad alta velocità. È la differenza tra leggere un lungo libro di ricette (lento) e avere la memoria muscolare di uno chef (veloce e intuitiva). Questo permette al robot di "sentire" la fisica della situazione senza incastrarsi nel vocabolario.

2. La Squadra "Cervello e Corpo" (Sistema Duale)

LaST0 divide il suo cervello in due esperti specializzati che lavorano insieme, come un Comandante Strategico e un Atleta Riflessivo.

Il Comandante (Esperto di Ragionamento Lento): Questa parte lavora a una velocità inferiore. Guarda il quadro generale, immagina i prossimi secondi del "film silenzioso" e elabora il piano. Chiede: "Se muovo il mio braccio in questo modo, dove si troverà l'uovo tra 0,5 secondi?". Lo fa solo occasionalmente (come controllare una mappa ogni pochi secondi).
L'Atleta (Esperto di Azione Rapida): Questa parte è velocissima. Non si ferma a pensare al grande piano. Osserva semplicemente l'ultimo aggiornamento del Comandante e reagisce istantaneamente all'ambiente circostante. Gestisce i movimenti ad alta velocità necessari per afferrare l'uovo prima che cada.

La Connessione Magica: Condividono un "legame telepatico" (Attenzione Condivisa). Il Comandante aggiorna l'Atleta con un nuovo piano, e l'Atlete lo esegue immediatamente. Ciò significa che il robot può pensare profondamente al futuro senza rallentare i suoi movimenti attuali.

3. Perché è Migliore

Velocità: Poiché non spreca tempo a scrivere frasi, il robot è 14 volte più veloce dei metodi precedenti che "pensavano ad alta voce". Può reagire in tempo reale, proprio come un essere umano.
Comprensione della Fisica: Cattura cose che le parole non possono descrivere. Comprende il "peso" e la "scivolosità" dell'uovo attraverso il suo modello 3D interno, non solo attraverso il testo.
Consistenza: Poiché immagina un "film" continuo del futuro, le sue azioni sono fluide e connesse. Non scatta a scatti; fluisce.

I Risultati

I ricercatori hanno testato questo robot su 10 diversi compiti del mondo reale, dai semplici trucchi da tavolo a compiti complessi che coinvolgono robot mobili e mani destre (come le mani umane).

Tasso di Successo: LaST0 ha avuto successo dal 13% al 14% in più rispetto ai migliori robot precedenti.
Compiti Lunghi: È stato particolarmente bravo in compiti lunghi e complicati (come prelevare un uovo, metterlo sul pane e ripetere il processo), dove altri robot si sarebbero confusi e avrebbero fallito.

In Sintesi:
LaST0 è un robot che smette di "parlare" a se stesso e inizia a "sentire" il futuro. Utilizzando una simulazione interna silenziosa dello spazio e del tempo 3D, e dividendo il suo cervello in un pianificatore lento e un esecutore veloce, si muove con la velocità e la grazia di un essere umano, piuttosto che con l'esitazione di un computer che legge un manuale.

Riassunto Tecnico: LaST0 – Latent Spatio-Temporal Chain-of-Thought per Modelli Robotici Vision-Language-Action

1. Definizione del Problema

I modelli Vision-Language-Action (VLA) hanno recentemente dimostrato una forte capacità di generalizzazione integrando la comprensione semantica dei modelli Vision-Language (VLM) con le policy di controllo robotico. Tuttavia, gli approcci esistenti che tentano di migliorare le capacità di ragionamento affrontano due limitazioni fondamentali nella manipolazione robotica:

Latenza di Inferenza: I metodi che generano esplicitamente tracce di ragionamento linguistico (Chain-of-Thought) o predicono osservazioni visive future prima di agire incorrono in un significativo overhead di generazione autoregressiva. Questa latenza limita la risoluzione temporale richiesta per il controllo robotico a ciclo chiuso in tempo reale.
Collo di Bottiglia Rappresentazionale: Il ragionamento esplicito è confinato nello spazio linguistico, che fatica a catturare fedelmente attributi fisici "ineffabili" e dinamiche robotiche fini che sono difficili da verbalizzare. Gli agenti robotici richiedono il ragionamento su stati fisici e geometrici che spesso superano la capacità espressiva del linguaggio naturale.

2. Metodologia: Framework LaST0

Gli autori propongono LaST0, un modello VLA unificato che abilita un comportamento di tipo "ragiona-prima-di-agire" efficiente attraverso una Latent Spatio-Temporal Chain-of-Thought (LaST CoT). Invece di generare testo o immagini, il modello esegue il ragionamento all'interno di uno spazio latente continuo e compatto.

Architettura Core

LaST0 è costruito su un design Mixture-of-Transformers (MoT), inizializzato dal backbone Janus-Pro (DeepSeek-LLM 1.5B). Esso decoppia il ragionamento e il controllo in due esperti specializzati che condividono un contesto di auto-attenzione globale ma operano a frequenze diverse:

Esperto di Ragionamento Lento (Slow Reasoning Expert): Opera a una bassa frequenza (ad esempio, ogni $k$ -esimo timestep). Esegue l'inferenza autoregressiva per generare la LaST CoT, una sequenza di token latenti che rappresentano la dinamica fisica futura.
Esperto di Azione Veloce (Fast Acting Expert): Opera al tasso di controllo nativo ad alta frequenza. Genera comandi di azione continui condizionati da osservazioni ad alta frequenza e dalle rappresentazioni latenti periodicamente aggiornate dall'esperto di ragionamento.

Latent Spatio-Temporal CoT

La LaST CoT è uno spazio latente efficiente in termini di token che predice autoregressivamente i futuri stati attraverso tre modalità su un orizzonte temporale $H$ :

Latenti Visivi 2D: Codificati da futuri frame RGB utilizzando un encoder SigLIP-Large congelato.
Latenti Geometrici 3D: Codificati da futuri point cloud utilizzando un encoder Uni3D pre-addestrato (usato solo durante l'addestramento per fornire target di verità fondamentale).
Latenti della Propriocezione Robotica: Codificati da futuri stati del robot (angoli articolari, velocità, stato della pinza).

Queste modalità sono intercalate cronologicamente ( $z^v_1, z^p_1, z^s_1, \dots$ ) per modellare le dipendenze spazio-temporali accoppiate. Durante l'addestramento, l'esperto di ragionamento è supervisionato tramite una loss di similarità del coseno rispetto alle sequenze latenti di verità fondamentale derivate dalle osservazioni future, piuttosto che tramite la predizione di token discreti.

Strategia di Addestramento

Pre-addestramento: LaST0 è pre-addestrato su un corpus diversificato di oltre 400K traiettorie da Open-X-Embodiment, DROID e RoboMIND.
Supervised Fine-Tuning (SFT): Il modello subisce un'ottimizzazione congiunta in cui l'esperto di ragionamento minimizza la loss di regressione latente, e l'esperto di azione minimizza la loss di Flow Matching.
Addestramento a Frequenza Eterogenea: L'esperto di azione è addestrato con rapporti operativi lento-veloce casualmente miscelati (ad esempio, 1:1, 1:2, 1:4). Ciò consente al modello di selezionare adattivamente le frequenze di esecuzione appropriate durante il deployment, garantendo la robustezza quando il tasso di aggiornamento del ragionamento varia.

3. Contributi Chiave

Latent Spatio-Temporal CoT: Un nuovo framework che esegue il ragionamento in uno spazio latente compatto, catturando dinamiche fisiche e robotiche fini (2D, 3D e propriocezione) che sono difficili da verbalizzare, supportando al contempo una modellazione temporalmente coerente.
Architettura Dual-System MoT: Un design che coordina il ragionamento latente a bassa frequenza con la generazione di azioni ad alta frequenza tramite uno schema Mixture-of-Transformers. Ciò consente un ragionamento deliberativo senza compromettere la reattività del controllo in tempo reale.
Efficienza in Addestramento e Inferenza: Sostituendo la generazione esplicita di testo/immagini con la regressione latente e utilizzando la coordinazione asincrona delle frequenze, il metodo ottiene accelerazioni significative rispetto agli approcci CoT espliciti.

4. Risultati Sperimentali

Gli autori hanno valutato LaST0 attraverso benchmark di simulazione e del mondo reale, confrontandolo con i modelli VLA allo stato dell'arte (ad esempio, OpenVLA, $\pi_0.5$ , CoT-VLA, SpatialVLA).

Benchmark di Simulazione

RLBench: Su 10 diverse attività di manipolazione, LaST0 ha raggiunto un tasso medio di successo dell'82%, superando il baseline più forte (HybridVLA-7B al 74%) dell'8%. Ha inoltre dimostrato una velocità di inferenza superiore (15.4 Hz) rispetto ai metodi CoT espliciti (1.1 Hz).
LIBERO: LaST0 ha raggiunto un tasso medio di successo allo stato dell'arte del 98.1%, superando $\pi_0.5$ (96.9%) e OpenVLA-OFT (97.1%). In particolare, eccelle nella suite LIBERO-Long (95.6%), dimostrando una gestione efficace di compiti a lungo orizzonte.

Esperimenti nel Mondo Reale

Valutato su 10 compiti complessi che spaziano dalla manipolazione su tavolo (braccio singolo/doppio), alla manipolazione mobile e al controllo manuale destro:

Performance: LaST0 ha raggiunto un tasso medio di successo del 72% sulla piattaforma Franka, superando significativamente SpatialVLA (41%), $\pi_0.5$ (59%) e CoT-VLA (50%).
Robustezza a Lungo Orizzonte: In un compito a lungo orizzonte che richiede tre esecuzioni consecutive di successo (posizionare ripetutamente un uovo sul pane), LaST0 ha mantenuto tassi di successo del 66% $\to$ 47% $\to$ 33% attraverso i passaggi, mentre $\pi_0.5$ è sceso a 47% $\to$ 20% $\to$ 7%.
Generalizzazione: Il modello si è generalizzato con successo a piattaforme mobili (AgileX) e mani umanei destre (TienKung 2.0), gestendo la manipolazione di oggetti articolati complessi.

5. Significato e Rivendicazioni

Il paper sostiene che LaST0 affronti il critico compromesso tra profondità di ragionamento e velocità di inferenza nei modelli robotici VLA. Spostando il ragionamento dallo spazio linguistico a uno spazio latente fisicamente fondato, il framework cattura le dinamiche fisiche "ineffabili" essenziali per una manipolazione robusta senza la penalità di latenza della generazione di testo autoregressiva.

Gli autori sottolineano che l'architettura dual-system permette al modello di mantenere i benefici del "ragiona-prima-di-agire" (coerenza temporale, comprensione fisica) pur operando a frequenze adatte al controllo in tempo reale. I risultati suggeriscono che il ragionamento latente sia un paradigma più efficace ed efficiente per l'IA incarnata (embodied AI) rispetto alla predizione esplicita di testo o immagini, particolarmente per compiti che richiedono interazioni fisiche fini e pianificazione a lungo orizzonte.