💻 computer science

From Foundation to Application: Improving VLA Models in Practice

Il documento presenta LingBot-VLA 2.0, un modello fondazionale VLA che colma il divario tra la ricerca di laboratorio e l'applicazione nel mondo reale migliorando la generalizzazione attraverso un massiccio pre-addestramento multi-embodiment, espandendo gli spazi di azione per supportare la manipolazione dell'intero corpo e migliorando il ragionamento temporale tramite la modellazione della dinamica predittiva.

Autori originali: Wei Wu, Fangjing Wang, Fan Lu, He Sun, Shi Liu, Yunnan Wang, Yibin Yan, Yong Wang, Shuailei Ma, Xinyang Wang, Yibin Liu, Shuai Yang, Tianxiang Zhou, Kejia Zhang, Lei Zhou, Cheng Su, Nan Xue, Bin Tan

Pubblicato 2026-07-08

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Wei Wu, Fangjing Wang, Fan Lu, He Sun, Shi Liu, Yunnan Wang, Yibin Yan, Yong Wang, Shuailei Ma, Xinyang Wang, Yibin Liu, Shuai Yang, Tianxiang Zhou, Kejia Zhang, Lei Zhou, Cheng Su, Nan Xue, Bin Tan, Han Zhang, Youchao Zhang, Fei Liao, Xing Zhu, Yujun Shen, Kecheng Zheng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate di avere un brillante studente robot che ha trascorso anni a studiare in un'aula perfettamente controllata e silenziosa (il "laboratorio"). È bravissimo a risolvere enigmi quando le luci sono brillanti, il tavolo è vuoto e l'insegnante fornisce istruzioni precise. Ma non appena lo portate in una cucina affollata e rumorosa per cucinare la cena, si blocca. Non sa come gestire una sedia traballante, un cucchiaio scivoloso o un pavimento in movimento.

Questo articolo presenta LingBot-VLA 2.0, un importante aggiornamento progettato per trasformare quel "robot da aula classe" in un "robot pronto per la cucina". Gli autori sostengono che, per rendere i robot utili nel mondo reale, dobbiamo risolvere tre problemi specifici: varietà, movimento e preveggenza.

Ecco come ci sono riusciti, spiegato attraverso semplici analogie:

1. Il campo d'addestramento per "Super-Studenti" (Generalizzazione)

Il Problema: I robot precedenti venivano addestrati su dati molto specifici e limitati. Era come insegnare a uno studente a guidare solo su una singola pista vuota. Non riuscivano a gestire un'auto diversa o una strada piovosa.
La Soluzione: Il team ha costruito un massiccio "campo d'addestramento" con 60.000 ore di filmati.

Il Mix: Non hanno usato un solo tipo di robot. Hanno raccolto dati da 20 diversi corpi robotici (alcuni con un braccio, altri con due, alcuni con le ruote, altri con le gambe).
Il Tocco Umano: Hanno anche aggiunto 10.000 ore di video filmati dal punto di vista di un essere umano (come una GoPro sulla testa), che mostrano come gli umani muovono naturalmente mani e corpi per compiere dei compiti.
Il Risultato: Nutrendo il robot con questa "dieta" di esperienze diverse, gli è stato insegnato a essere un generalista. Non è più uno specialista di una singola stanza; è un tuttofare capace di adattarsi a diversi corpi robotici e ambienti disordinati.

2. La "Danza di Tutto il Corpo" (Spazio d'Azione Espanso)

Il Problema: La maggior parte dei robot veniva addestrata per muovere solo le braccia, come una persona seduta su una sedia con le mani legate alla scrivania. Non potevano muovere la testa per guardarsi intorno, torcere la vita, rotolare sulle ruote o usare dita delicate.
La Soluzione: LingBot-VLA 2.0 ha imparato a muovere il suo intero corpo.

L'Analogia: Immaginate un pianista che precedentemente era autorizzato a premere i tasti solo con le dita. Ora, può anche alzarsi in piedi, camminare verso il pianoforte, regolare la panca, girare la testa per leggere lo spartito e usare le dita dei piedi per battere il ritmo.
La Capacità: Il nuovo modello controlla la testa, la vita, la base mobile (ruote) e le mani destre. Ciò consente al robot di affrontare lavori complessi che richiedono coordinazione, come avvicinarsi a un frigorifero, aprire la porta e afferrare una bottiglia, tutto in un unico movimento fluido.

3. La "Palla di Cristallo" (Dinamica Predittiva)

Il Problema: I vecchi robot reagivano a ciò che vedevano in quel momento. Se una palla iniziava a rotolare, aspettavano che la colpissero per reagire. Mancavano di "ragionamento temporale" — la capacità di pensare a cosa accadrà successivamente.
La Soluzione: Il team ha insegnato al robot a predire il futuro.

L'Analogia: Invece di guardare semplicemente una scacchiera e muovere un pezzo, il robot sta ora giocando a un gioco in cui deve indovare come sarà la scacchiera tre mosse dopo, prima ancora di compiere la mossa.
Come funziona: Hanno usato due "insegnanti" per aiutare il robot a imparare questo:
1. Un Insegnante della Profondità: Mostra al robot quanto sono lontani gli oggetti (geometria).
2. Un Insegnante del Video: Mostra al robot come le cose si muovono nel tempo (causalità).
Il Risultato: Il robot può ora "immaginare" lo stato futuro di una scena. Sa che se spinge una tazza, questa scivolerà; sa che se apre una porta, questa oscillerà. Questo lo aiuta a pianificare in anticipo invece di limitarsi a reagire.

La Prova: Superare l'"Esame del Mondo Reale"

Per testare se questi cambiamenti hanno effettivamente funzionato, i ricercatori hanno sottoposto il robot a una serie di sfide difficili chiamate benchmark GM-100.

I Compiti: Non erano cose semplici come "prendi un blocco". Erano lavori complessi e multi-fase come "ordina gli snack in contenitori", "prendi ossa di giocattolo da un piatto" o "prendi una ciotola dal microonde".
L'Esito: LingBot-VLA 2.0 ha superato significativamente le versioni precedenti e altri modelli all'avanguardia. Non ha solo eseguito i compiti con maggiore frequenza; ha gestito molto meglio le variazioni disordinate del mondo reale. Ha inoltre dimostrato di poter gestire sequenze lunghe e complicate (come spostarsi da una stanza all'altra per pulire un fornello) senza perdersi.

Riassunto

In breve, LingBot-VLA 2.0 è un cervello robotico che è stato aggiornato per essere:

Più adattabile (addestrato su 20 diversi tipi di robot e video umani).
Più mobile (può muovere tutto il corpo, non solo le braccia).
Più lungimirante (può predire come cambierà il mondo nei prossimi secondi).

L'articolo afferma che questo sposta l'intelligenza robotica dal "successo in laboratorio" all' "applicazione pratica", rendendoli pronti ad aiutarci effettivamente nelle nostre case e nei nostri luoghi di lavoro.

Sintesi Tecnica: LingBot-VLA 2.0

Problematica

Nonostante i recenti progressi nei modelli foundation Vision-Language-Action (VLA), permane una significativa disparità tra i benchmark di laboratorio e l'implementazione robotica nel mondo reale. Gli attuali sistemi VLA spesso faticano ad affrontare tre limitazioni primarie durante la transizione verso applicazioni pratiche:

Generalizzazione Limitata: I modelli esistenti falliscono frequentemente nel generalizzare su diverse incarnazioni robotiche (configurazioni eterogenee) e fonti di dati, essendo spesso addestrati su set di task ristretti o hardware specifici.
Spazi di Azione Restretti: Molti sistemi sono confinati alla manipolazione standard a due braccia, mancando della capacità di controllare i gradi di libertà (DoF) dell'intero corpo, come basi mobili, busto, testa e mani destre, che sono essenziali per task complessi nel mondo reale.
Debole Ragionamento Temporale: Gli attuali modelli tendono a reagire alle osservazioni immediate piuttosto che anticipare l'evoluzione futura della scena e le conseguenze delle azioni, limitando la loro efficacia in ambienti dinamici.

Metodologia

Gli autori presentano LingBot-VLA 2.0, un sistema VLA migliorato progettato per colmare il divario tra le capacità a livello di foundation e l'implementazione pratica. La metodologia si concentra su tre domini funzionali:

1. Curatela di Dati su Larga Scala e Multi-Embodiment

Per migliorare la generalizzazione, gli autori hanno riprogettato la pipeline di elaborazione dei dati per curare un corpus di pre-addestramento di circa 60.000 ore:

Dati Robotici: ~50.000 ore di traiettorie che spaziano su 20 diverse configurazioni di robot (inclusi sistemi a braccio singolo, a due braccia, semi-umani e piattaforme umanoidi complete) con diversi DoF (braccia, mani, busto, basi mobili).
Dati Egocentrici: ~10.000 ore di video umani.
Pipeline di Elaborazione: La pipeline impiega un rigoroso filtraggio, inclusi:
- Controllo Qualità: Scarto di episodi con discontinuità nelle traiettorie, velocità/accelerazioni anormali (jerk) o segnali statici (>95% della durata).
- Verifica di Allineamento: Utilizzo della proiezione URDF e annotazione umana per garantire la coerenza tra i frame video e i segnali di stato.
- Ricostruzione Egocentrica: Per i video umani privi di azioni, il sistema utilizza lo SLAM per la stima della posa della telecamera e la stima della posa della mano (parametri MANO) per ricostruire traiettorie manuali continue nel sistema di coordinate del mondo.
Rappresentazione Unificata: Viene utilizzata una rappresentazione vettoriale canonica a 55 dimensioni per unificare i controlli eterogenei (braccia, gripper, mani, busto, testa, mobilità) in un unico spazio di azione, applicando il padding per le dimensioni mancanti.

2. Spazio di Azione Espanso e Architettura

Il modello è esteso per supportare uno spazio di azione più ampio oltre le standard configurazioni a due braccia, accogliendo:

Controllo del Corpo Intero (Whole-Body Control): Testa (2D), Busto (4D), Base Mobile (3D), Mani Destre (6D/12D) e Braccia (6D/7D).
Architettura Mixture-of-Experts (MoE): Gli autori introducono una MoE sparsa a livello di token e senza perdita (loss-free) all'interno dell'esperto d'azione.
- Struttura: Sostituisce le classiche reti Feed-Forward (FFN) con una combinazione di un esperto condiviso (per i priori universali) e molteplici esperti instradati (per la modellazione specializzata).
- Routing: Utilizza un meccanismo di routing basato su sigmoide (ispirato a DeepSeek-V3) per consentire ai token di attivare indipendentemente più esperti senza la competizione indotta dalla softmax.
- Bilanciamento del Carico: Impiega una strategia priva di perdita ausiliaria utilizzando correzioni di bias nel routing per garantire un utilizzo equilibrato degli esperti senza iniettare perdite esplicite di bilanciamento del carico nell'obiettivo primario.

3. Dinamica Predittiva tramite Dual-Query Distillation

Per migliorare il ragionamento temporale, il sistema formula la predizione futura come un task proxy utilizzando un framework di Dual-Query Distillation:

Dual Queries: Due query apprendibili, $Q_t$ (attuale) e $Q_{t+T}$ (futura), vengono aggiunte ai token visivi e testuali.
Teacher:
- LingBot-Depth: Fornisce la supervisione geometrica distillando le rappresentazioni di profondità per i frame attuali e futuri.
- DINO-Video: Un modello di rappresentazione video orientato alla robotica (costruito su DINOv3 con attenzione temporale causale) che fornisce priori semantici e feature visive sensibili al movimento.
Obiettivo: Il modello è addestrato per predire la profondità e le feature video sia per il passo temporale attuale che per quello futuro, incoraggiando il VLA a ragionare sull'evoluzione futura della scena e sulle conseguenze delle azioni.

Contributi Chiave

Scala e Diversità dei Dati: La creazione di un dataset di pre-addestramento di 60.000 ore che copre 20 diverse incarnazioni robotiche e video umani egocentrici, elaborati attraverso una nuova pipeline che unifica fonti di dati eterogenee.
Modellazione dell'Azione del Corpo Intero: L'estensione delle capacità VLA al controllo di complessi gradi di libertà del corpo intero (testa, busto, base mobile, mani destre) tramite una rappresentazione d'azione unificata.
Innovazione Architetturale: L'implementazione di un'architettura MoE sparsa a livello di token che scala efficientemente la capacità del modello mantenendo un utilizzo equilibrato degli esperti.
Ragionamento Temporale: L'introduzione di un framework di dual-query distillation che sfrutta modelli di profondità e di rappresentazione video per potenziare la capacità del modello di predire stati futuri e ragionare causalmente.

Risultati Sperimentali

Gli autori hanno valutato LingBot-VLA 2.0 sul benchmark GM-100 (9 task di manipolazione bimanuale) e su due task di manipolazione mobile a lungo termine.

Manipolazione Bimanuale (GM-100):
- Sulla piattaforma Agilex Cobot Magic, LingBot-VLA 2.0 ha ottenuto un punteggio di progresso del 66,2% e un tasso di successo del 34,4%, superando LingBot-VLA 1.0 (58,2%/30,0%) e $\pi_{0.5}$ (59,1%/32,2%).
- Sulla piattaforma Galaxea R1 Pro, ha ottenuto il 34,6% di progresso e il 15,6% di successo, superando $\pi_{0.5}$ (27,4%/8,9%).
- I miglioramenti sono stati più significativi nei task che richiedono un preciso grounding degli oggetti ed esecuzione orientata all'obiettivo (ad esempio, "Recupera portachiavi" ha raggiunto il 100% di successo su Agilex).
Manipolazione Mobile a Lungo Termine:
- Valutato su Astribot S1 (smistamento frigorifero) e Cobot Magic-ARX X5 (pulizia del fornello).
- LingBot-VLA 2.0 ha costantemente superato $\pi_{0.5}$ sia in contesti in-domain che out-of-distribution (OOD).
- Nei setting OOD (pose iniziali perturbate e oggetti non visti), LingBot-VLA 2.0 ha mantenuto un chiaro vantaggio nei tassi di successo, dimostrando robustezza nel completare intere traiettorie di task.
Studi di Ablazione:
- Target di Azione: Le azioni articolari relative hanno superato significativamente le azioni assolute (55,0% vs 33,7% di successo).
- Normalizzazione: La normalizzazione MeanStd ha prodotto i risultati migliori (55,0%) rispetto a MinMax o Q01-Q99, preservando la struttura a coda lunga delle distribuzioni di azione relativa.
- Funzione di Perdita: La L2 ha performato meglio in generale, sebbene la L1 sia stata superiore per task ricchi di contatto come "Squeeze Ketchup".

Significato e Claim

Il paper sostiene che LingBot-VLA 2.0 rappresenti un passo pragmatico verso l'avanzamento dei modelli foundation VLA dai successi di laboratorio all'applicabilità nel mondo reale. Gli autori sostengono che i sistemi VLA pratici debbano evolversi oltre il semplice scaling della dimensione del modello e dei dati per affrontare specifiche richieste del mondo reale:

Supporto a Più Incarnazioni: Gestire configurazioni robotiche eterogenee.
Spazi di Azione Più Ricchi: Abilitare il controllo della dinamica del corpo intero.
Comprensione Predittiva: Rafforzare il ragionamento temporale per anticipare i cambiamenti dinamici della scena.

I risultati validano che il potenziamento congiunto della generalizzazione, della copertura dello spazio d'azione e della modellazione della dinamica predittiva porti a miglioramenti costanti nelle capacità robotiche pratiche. Il lavoro posiziona LingBot-VLA 2.0 non solo come un miglioramento del modello, ma come un framework per allineare le capacità foundation-level dei VLA con le complessità del deployment nel mondo reale.