💻 computer science

Native Video-Action Pretraining for Generalizable Robot Control

LingBot-VA 2.0 è un modello fondazionale video-azione progettato da zero per l'incarnazione robotica, caratterizzato da un tokenizer semantico visivo-azione, preaddestramento causale, un backbone MoE sparsa e uno schema di inferenza asincrona per ottenere un controllo robusto e generalizzabile con pochi esempi in ambienti reali.

Autori originali: Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Gua

Pubblicato 2026-07-10

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Guanxing Lu, Zifan Shi, Yongkun Wen, Yujie Zhao, Weixuan Tang, Xinyang Wang, Chaojian Li, Jiapeng Zhu, Ka Leong Cheng, Nan Xue, Xing Zhu, Yujun Shen, Yinghao Xu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come giocare a un videogioco. La maggior parte delle persone oggi prova a farlo prendendo un'IA cinematografica super intelligente, aggiungendole qualche tasto extra per "muovi a sinistra" o "prendi", e sperando che capisca il resto. Gli autori di questo articolo, tuttavia, sostengono che questo sia come cercare di insegnare a un pesce a cavalcare una bicicletta semplicemente agganciandogli una sella. È lo strumento sbagliato per il lavoro.

Invece, hanno costruito LingBot-VA 2.0, un cervello robotico progettato fin dalle fondamenta specificamente per comprendere come il mondo fisico si muove e reagisce. Pensatelo non come un regista cinematografico, ma come un coach con la "visione del futuro" che osserva una scena, predice esattamente come cambierà un istante dopo e dice al robot esattamente cosa fare per far sì che quel futuro accada.

Perché il vecchio modo non funzionava

L'articolo argomenta esplicitamente contro l'attuale tendenza di "riutilizzare" i generatori di video. Questi vecchi modelli sono stati addestrati per creare film bellissimi dove l'obiettivo è solo apparire realistici. Sono "bidirezionali", il che significa che possono guardare al futuro per aiutare a predire il passato, il che è fantastico per montare un film ma terribile per un robot che deve agire adesso basandosi solo su ciò che vede proprio ora.

Gli autori hanno riscontrato tre grandi problemi con il vecchio approccio:

È troppo estetico, non abbastanza fisico: I vecchi modelli si concentrano sul rendere i pixel belli, non sul capire che se spingi una tazza, questa scivola. Non "capiscono" davvero la causa e l'effetto.
È troppo lento: I robot reali devono pensare centinaia di volte al secondo. I vecchi modelli impiegano troppo tempo per "denoizzare" (pulire) un fotogramma video, causando il congelamento o il ritardo del robot.
Dimentica le regole: Cercare di costringere un creatore di film a imparare i movimenti di un robot spesso lo porta a dimenticare la conoscenza generale appresa guardando miliardi di ore di video su internet.

Il nuovo ingrediente segreto: Quattro trucchi magici

Per risolvere questo problema, il team ha costruito LingBot-VA 2.0 utilizzando quattro principi di progettazione intelligenti:

1. Il "Traduttore di Significati" (Semantic Tokenizer)
Immaginate di avere un traduttore che non traduce solo le parole, ma traduce il sentimento della frase. I vecchi modelli traducevano il video in un insieme di minuscole patch di pixel. LingBot-VA 2.0 utilizza un nuovo "tokenizer" che traduce il video in un riassunto compatto e di alto livello che comprende cosa sono le cose e come si muovono. Allinea la visione del robot con un enorme "cervello visivo" pre-addestrato in modo che capisca che una "tazza" è una tazza, non solo una collezione di colori. Fondamentalmente, impara anche i "latent actions" (azioni latenti): un codice segreto che rappresenta il cambiamento tra due momenti, come la forza invisibile di una mano che afferra una tazza, senza bisogno che un essere umano etichetti ogni singolo movimento.

2. La "Strada a Senso Unico" (Causal Pretraining)
I montatori di film possono saltare avanti e indietro nel tempo. I robot no. Gli autori hanno addestrato il loro modello su un percorso rigoroso a "senso unico" (causale). Impara solo dal passato per predire il futuro. Non si sono limitati a modificare un vecchio modello; hanno addestrato l'intero sistema da zero su dati su scala web. Questo assicura che il cervello del robot sia naturalmente cablato per pensare in avanti nel tempo, evitando l' "amnesia" che accade quando si cerca di forzare un modello che guarda all'indietro ad agire in avanti.

3. La Rete dell' "Ape Operosa" (Sparse MoE)
Per rendere il robot abbastanza veloce da afferrare una palla volante, il modello utilizza un'architettura "Mixture of Experts" (MoE). Immaginate una biblioteca gigante dove, invece di far leggere ogni libro a tutti i bibliotecari, viene chiamato solo l'esperto specifico necessario per il compito. Questo permette al modello di essere enorme e intelligente (13 miliardi di parametri!) ma di "svegliare" solo una piccola frazione del suo cervello (circa 1,9 miliardi) per ogni passaggio. Ciò lo mantiene velocissimo senza perdere la sua intelligenza.

4. L'Inferenza a "Visione Cristallina" (Foresight Reasoning)
Questa è la parte più incredibile. Di solito, un robot aspetta che il computer finisca di pensare, poi si muove, poi aspetta che la telecamera si aggiorni, poi pensa di nuovo. Questo è troppo lento. LingBot-VA 2.0 utilizza il "Foresight Reasoning". Mentre il robot sta fisicamente muovendo il braccio per eseguire il Compito A, il computer sta già predicendo il Compito B in background.
Ma ecco la rete di sicurezza: se la predizione del robot devia (come immaginare che la tazza sia ancora sul tavolo quando invece è sul pavimento), il sistema si "ri-ancora" istantaneamente usando l'ultima immagine reale della telecamera. È come un pilota che vola un aereo guardando fuori dal finestrino e controllando contemporaneamente gli strumenti, correggendo la rotta istantaneamente se la realtà non corrisponde alla predizione.

Quanto funziona davvero?

Gli autori non l'hanno solo sognato; lo hanno testato rigorosamente.

Nel mondo reale: Hanno messo il robot in un laboratorio per compiti come smistare frutta, raccogliere penne e sistemare cassetti. LingBot-VA 2.0 ha superato significativamente i precedenti modelli migliori (come $\pi0.5$ e l'originale LingBot-VA). Ad esempio, nello "Smistamento Frutta", ha avuto successo nel 77% dei casi rispetto al 64% del secondo miglior modello.
In simulazione: Hanno testato il sistema in una complessa simulazione di un robot a due braccia chiamata RoboTwin. Ha raggiunto un tasso di successo del 93,6%, battendo tutti gli altri concorrenti.
Velocità: Grazie ai loro trucchi di velocità, il robot può prendere decisioni a una frequenza di picco di 225 Hz. Sono oltre 200 volte al secondo: abbastanza veloce per giocare a air hockey o prendere al volo un oggetto che cade.
Imparare velocemente: Il robot può imparare nuovi compiti con pochissimi esempi. In un test, ha imparato a organizzare piatti e tazze dopo aver visto solo 15 dimostrazioni per compito, e poteva persino generalizzare a nuove combinazioni di oggetti che non aveva mai visto prima semplicemente guardando un video umano (una tecnica chiamata "in-context learning").

Il punto fondamentale

L'articolo suggerisce che per costruire un robot veramente general-purpose, non possiamo semplicemente applicare vecchi strumenti video a bracci robotici. Abbiamo bisogno di un nuovo tipo di cervello che comprenda la fisica, si muova velocemente e impari dai vasti contenuti video di internet e dai dati reali dei robot simultaneamente. LingBot-VA 2.0 dimostra che questo è possibile, mostrando che un robot può essere sia un pensatore veloce che un esecutore preciso, pronto ad affrontare le faccende disordinate del mondo reale con solo poche istruzioni.

Sintesi Tecnica: Pre-addestramento Nativo Video-Azione per il Controllo Robotico Generalizzabile (LingBot-VA 2.0)

Definizione del Problema

Gli attuali modelli video-azione per il controllo robotico riutilizzano ampiamente architetture di generazione video generiche (progettate per la creazione di contenuti digitali) aggiungendo moduli di azione post-hoc. Gli autori sostengono che questo approccio sia intrinsecamente inadeguato per gli ambienti fisici a causa di tre limitazioni primarie:

Disallineamento della Rappresentazione: I classici Autoencoder Variazionali (VAE) ottimizzano la ricostruzione dei pixel, preservando il dettaglio visivo ma fallendo nel catturare la struttura semantica o la dinamica fisica. Di conseguenza, gli stati del mondo e le azioni rimangono in spazi latenti scarsamente allineati.
Latenza di Inferenza: I token video ad alta dimensionalità e i processi di denoising iterativi rendono i modelli esistenti troppo lenti per il controllo a ciclo chiuso ad alta frequenza richiesto dai robot reali.
Disallineamento del Segnale di Pre-addestramento: Gli obiettivi di pre-addestramento video su scala web non insegnano come le azioni rimodellino il mondo. Adattare modelli video bidirezionali al controllo causale tramite fine-tuning porta spesso al dimenticanza catastrofica dei priori ampi o dipende da dati robotici scarsi, limitando la scala della conoscenza di controllo acquisita.

Inoltre, esiste un disallineamento strutturale tra i meccanismi di attenzione bidirezionale dei backbone video pre-addestrati e la natura strettamente causale e orientata al tempo in avanti del controllo robotico a ciclo chiuso.

Metodologia

Il documento presenta LingBot-VA 2.0, un modello fondazionale video-azione costruito "da zero" per l'embodiment. L'architettura segue un percorso di pre-addestramento nativo, evitando l'adattamento di generatori video generici. Il sistema si basa su quattro principi di progettazione fondamentali:

1. Tokenizer Semantico Visivo-Azione

Allontanandosi dai VAE focalizzati sulla ricostruzione, gli autori introducono un tokenizer che allinea le rappresentazioni visive con la semantica e le azioni.

Allineamento Visivo: Il tokenizer visivo allinea le latenze orientate alla ricostruzione con un modello di fondazione visiva congelato (Perception Encoder) utilizzando un obiettivo di allineamento semantico. Ciò produce rappresentazioni compatte e ricche di semantica piuttosto che semplici approssimazioni di pixel.
Estrazione dell'Azione Latente: Senza utilizzare etichette di azione esplicite, il tokenizer apprende le azioni latenti ( $\ell_t$ ) attraverso la dinamica inversa e forward auto-supervisionata. Un Modello di Dinamica Inversa (IDM) predice una trasformazione compatta tra latenti visivi consecutivi, e un Modello di Dinamica Forward (FDM) ricostruisce il successivo latente. Questo colloca gli stati del mondo e le azioni in uno spazio latente semantico condiviso, permettendo ai video web non etichettati di fornire una supervisione rilevante per l'azione.

2. Paradigma di Pre-addestramento Causale

Il modello adotta una strategia di pre-addestramento causale per aggirare la dimenticanza catastrofica associata all'adattamento di architetture bidirezionali.

Architettura: Il backbone è un Causal Diffusion Transformer (DiT). Utilizza una struttura Mixture-of-Experts (MoE) per lo stream video (routing sparso) mantenendo lo stream delle azioni denso. Ciò espande la capacità del modello senza compromettere l'efficienza dell'inferenza.
Obiettivo di Addestramento: Il modello è pre-addestrato su dati immagine e video su scala web utilizzando un obiettivo di next-latent causale. Ciò assicura che il modello acquisisca ampi priori nativamente in forma causale.
Multi-Chunk Prediction (MCP): Per evitare che il modello si limiti a copiare l'aspetto visivo a breve termine, viene introdotto l'MCP come obiettivo ausiliario. Esso supervisiona la predizione di molteplici chunk futuri simultaneamente, costringendo lo spazio latente a codificare la dinamica a livello di traiettoria piuttosto che la semplice continuità locale.

3. Pianificazione Gerarchica e In-Context Learning

Pianificatore Gerarchico: Un pianificatore Vision-Language Model (VLM) di alto livello decompone obiettivi a lungo termine in sottotask strutturati (istruzioni, segnali di generazione, descrizioni della scena). Questo pianificatore opera in modo asincrono, fornendo contesto alla policy di basso livello senza bloccare il ciclo di controllo.
In-Context Learning (ICL): Il modello supporta la specificazione del task basata su video. I video di dimostrazione umana vengono codificati nello spazio latente condiviso e utilizzati come prompt visivi, permettendo al robot di inferire segnali procedurali per task rari o complessi senza aggiornamenti dei parametri.
Co-addestramento Uomo-Robot: Il modello è addestrato congiuntamente su dati robotici e video di manipolazione egocentrica umana. Le pose delle mani umane sono mappate in uno spazio funzionale del gripper robotico (6-DoF root pose + apertura scalare), consentendo al modello del mondo condiviso di apprendere la dinamica cross-embodiment utilizzando teste specifiche del dominio per la decodifica dell'azione di basso livello.

4. Ragionamento di Foresight per il Controllo in Tempo Reale

Per affrontare il collo di bottiglia seriale in cui la latenza del modello diventa latenza di controllo, gli autori propongono uno schema di inferenza asincrona chiamato Foresight Reasoning.

Esecuzione Parallela: Mentre il robot esegue l'attuale chunk di azione, lo stream di predizione prevede simultaneamente il prossimo latente visivo e il chunk di azione.
Re-grounding: Per prevenire la deriva da stati allucinati, il sistema effettua il re-grounding di ogni predizione sull'ultima osservazione reale. Un passo di dinamica forward appreso all'interno della policy stessa immagina l'esito dell'azione corrente, che viene poi corretto dal feedback sensoriale effettivo prima del passo successivo.
Accelerazione: Il sistema utilizza la distillazione di coerenza a pochi step, l'esecuzione compilata a bassa precisione (FP8), la gestione della cache KV paged/ragged e la riduzione dell'overhead di runtime per raggiungere prestazioni in tempo reale.

Contributi Chiave

Pre-addestramento Nativo Video-Azione: Il primo pre-addestramento full-stack di un modello video-azione (incluso un tokenizer semantico e un DiT causale) specificamente per il controllo robotico tramite auto-supervisione scalabile, invece di adattare componenti di generazione video generici.
Rappresentazione Semantica Condivisa: Uno spazio latente unificato per gli stati del mondo e le azioni, ancorato a un modello di fondazione visiva allineato al linguaggio, che stringe l'allineamento visione-linguaggio-azione per un migliore rispetto delle istruzioni e precisione.
Controllo Generale, Veloce e Preciso: La combinazione di inferenza MoE sparsa, distillazione a pochi step, Foresight Reasoning e deployment quantizzato consente l'esecuzione in tempo reale in ciclo chiuso (frequenza asincrona fino a 225 Hz). Il modello dimostra forti capacità di generalizzazione few-shot e zero-shot.

Risultati Sperimentali

Il documento valida LingBot-VA 2.0 attraverso benchmark in simulazione e nel mondo reale:

Deployment nel Mondo Reale: Valutato su un benchmark robotico interno (Smistamento Frutta, Raccolta Penne, Riordino Cassetti, Consegna Piatti). LingBot-VA 2.0 ha superato solidi baseline, incluso il modello VLA $\pi0.5$ e il precedente modello VA LingBot-VA, ottenendo tassi di successo e punteggi di progresso del task più elevati, particolarmente in task continui a lungo termine.
Simulazione (RoboTwin): Sul benchmark bimanuale RoboTwin, il modello ha raggiunto un tasso di successo medio del 93,6%, superando $\pi0.5$ (79,8%) e il precedente LingBot-VA (92,2%). Ha dimostrato robustezza con un divario minimo di prestazioni tra impostazioni pulite e con randomizzazione del dominio.
In-Context Learning: Il modello ha trasferito con successo segnali procedurali da video di dimostrazione umana a composizioni di task e disposizioni di oggetti non visti, senza fine-tuning.
Studi di Ablazione:
- Tokenizer: Sostituire il VAE standard con il tokenizer semantico visivo-azione ha migliorato significativamente le prestazioni, specialmente per orizzonti di predizione più lunghi.
- MCP: La multi-chunk prediction ha accelerato la convergenza (velocità di 2,3x nei passi di addestramento) e migliorato l'accuratezza finale.
- Accelerazione: La pipeline di inferenza ha ridotto la latenza da 927ms a 142ms per chunk, aumentando la frequenza di controllo asincrona da 35 Hz a 225 Hz.

Significato e Rivendicazioni

Gli autori affermano che LingBot-VA 2.0 rappresenta un passaggio dal "riutilizzo" di generatori video digitali alla "costruzione" di modelli nativi per l'embodiment fisico. Allineando l'obiettivo di pre-addestramento, lo spazio di rappresentazione e l'architettura di inferenza con i rigorosi requisiti causali e dinamici del controllo robotico, il modello ottiene:

Scalabilità: Acquisizione di conoscenza di controllo alla scala dei video web, anziché essere limitata dalle scarse dimostrazioni robotiche.
Generalizzazione: Capacità di adattarsi a nuovi task con poche dimostrazioni (10–15) e di trasferire tra diversi embodiment senza raccolta di dati su larga scala.
Vitalità in Tempo Reale: Dimostrare che complessi modelli fondazionali video-azione possono operare entro i ristretti vincoli di latenza del controllo a ciclo chiuso nel mondo reale.

Il documento conclude che, sebbene l'attuale sistema sia un robusto fondamento, il lavoro futuro potrebbe esplorare un addestramento congiunto più stretto di planner e policy, incorporando segnali di rinforzo interattivi e scalando verso tipi di embodiment più ampi.