💻 computer science

InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation

Il paper presenta InternVLA-A1, un modello unificato basato su un'architettura Mixture-of-Transformers che combina comprensione semantica, previsione visiva e esecuzione di azioni per superare i limiti delle attuali soluzioni VLA e World Model, ottenendo risultati superiori su compiti di manipolazione robotica statici e dinamici grazie a un addestramento ibrido su oltre 692 milioni di frame.

Autori originali: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yan

Pubblicato 2026-02-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yang Tian, Bolun Wang, Hanqing Wang, Jiaheng Wang, Tai Wang, Xueyuan Wei, Chao Wu, Yiman Xie, Boyang Xing, Yuqiang Yang, Yuyin Yang, Qiaojun Yu, Feng Yuan, Jia Zeng, Jingjing Zhang, Shenghan Zhang, Shi Zhang, Zhuoma Zhaxi, Bowen Zhou, Yuanzhen Zhou, Yunsong Zhou, Hongrui Zhu, Yangkun Zhu, Yuchen Zhu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot a cucinare una torta o a riordinare una stanza. Fino a poco tempo fa, i robot erano come studenti molto bravi a leggere le istruzioni, ma terribilmente goffi quando dovevano mettere in pratica ciò che avevano letto. Se un robot vedeva una tazza che cadeva, poteva dire "Oh, la tazza sta cadendo!", ma non sapeva come muovere la mano per afferrarla al volo prima che si rompesse.

Il nuovo modello presentato in questo articolo, chiamato InternVLA-A1, è come un cuoco robot super-intelligente che non solo legge il libro di cucina, ma ha anche un "sesto senso" per prevedere come si muoveranno gli ingredienti.

Ecco come funziona, spiegato con parole semplici:

1. Il Problema: I Robot "Ciechi" al Futuro

I robot precedenti erano basati su modelli linguistici potenti (come ChatGPT ma con gli occhi). Capivano benissimo le parole e le immagini statiche.

L'analogia: Immagina di guardare una foto di un'auto che sta per investire un pedone. Un vecchio robot direbbe: "C'è un'auto e c'è un pedone". Ma non riuscirebbe a calcolare dove sarà l'auto un secondo dopo per schivarla.
Il limite: I robot attuali faticano nei momenti dinamici (nastri trasportatori che si muovono, oggetti che cadono) perché non riescono a "prevedere il futuro".

2. La Soluzione: Il "Cervello Triplo" di InternVLA-A1

Gli scienziati hanno creato un robot che ha tre "esperti" che lavorano insieme in un unico cervello. Immagina un'orchestra dove ogni musicista ha un compito specifico, ma leggono tutti la stessa partitura:

L'Esperto di Comprensione (Il Lettore): Guarda la scena e capisce cosa sta succedendo. "Quella è una tazza, è piena di caffè, e sta per cadere".
L'Esperto di Generazione (Il Visionario): Questo è il nuovo pezzo forte. Invece di fermarsi al presente, immagina il futuro. Chiede: "Se lascio cadere la tazza, dove atterrerà tra 2 secondi? Come si muoverà l'acqua?". Crea una "previsione video" mentale di ciò che accadrà.
L'Esperto di Azione (Il Motore): Prende le informazioni del Lettore e la previsione del Visionario, e dice: "Ok, so che la tazza cadrà lì, muovi il braccio ora per afferrarla".

3. Come ha imparato? (La Dieta del Robot)

Per diventare così bravo, il robot non ha solo guardato video di robot reali (che sono costosi e lenti da produrre). Ha seguito una dieta mista molto speciale:

Simulazioni (Il Campo di Addestramento Virtuale): Ha fatto milioni di ore di pratica in un mondo virtuale (come un videogioco super-realistico) dove ha imparato le leggi della fisica (come cadono gli oggetti, come si muovono i liquidi).
Robot Reali (La Pratica sul Campo): Ha visto robot veri che facevano cose nel mondo reale per imparare la "realtà" e i piccoli errori che i simulatori non catturano.
Video di Esseri Umani (L'Ispezione): Ha guardato video di persone che fanno cose con le mani (come cucinare o pulire). Questo gli ha insegnato la fluidità e la creatività del movimento umano, senza bisogno di costosi robot telecomandati.

4. I Risultati: Perché è un "Super-Robot"?

Quando hanno messo alla prova questo robot:

Nelle situazioni calme (come mettere un oggetto su un tavolo fermo), era già molto bravo, battendo i robot precedenti.
Nelle situazioni caotiche (come affettare un ingrediente che si muove su un nastro trasportatore veloce), è diventato incredibilmente superiore.
- L'analogia: Se i vecchi robot erano come un giocatore di calcio che guarda solo la palla ferma, InternVLA-A1 è come un portiere che calcola la traiettoria del pallone mentre è ancora in aria e si muove per prenderlo.

In Sintesi

InternVLA-A1 è un passo gigante verso robot che non sono solo "esecutori di comandi", ma partner intelligenti che capiscono il mondo fisico, prevedono cosa succederà e agiscono di conseguenza. È come dare al robot non solo gli occhi, ma anche un'immaginazione attiva per navigare nel nostro mondo caotico e in movimento.

Il risultato finale? Robot che possono lavorare in fabbriche veloci, aiutare in case disordinate e gestire situazioni impreviste molto meglio di qualsiasi cosa abbiamo visto finora.

1. Il Problema

I modelli attuali Vision-Language-Action (VLA), basati su Multimodal Large Language Models (MLLM), eccellono nella comprensione semantica ma falliscono nel dedurre le dinamiche del mondo fisico. Questo limite li rende fragili in ambienti dinamici (es. nastri trasportatori industriali) dove è necessario prevedere come gli stati evolveranno a causa di moto, inerzia e contatti.
D'altra parte, i World Models basati sulla previsione video offrono capacità predittive ma spesso mancano di un'adeguata ancoraggio semantico e soffrono di errori di previsione che compromettono l'azione.
La sfida principale è quindi creare un sistema unificato che combini la ragionamento semantico degli MLLM con la predizione dinamica dei World Models, permettendo ai robot di agire in modo robusto sia in scenari statici che altamente dinamici, superando il divario tra dati simulati e reali (sim-to-real gap).

2. Metodologia: InternVLA-A1

Il paper propone InternVLA-A1, un framework unificato che integra comprensione, generazione e azione in un'unica architettura basata su una Mixture-of-Transformers (MoT).

Architettura Unificata

Il modello coordina tre "esperti" distinti che interagiscono tramite un meccanismo di masked self-attention unificato:

Esperto di Comprensione (Understanding Expert): Basato su MLLM esistenti (InternVL3 o Qwen3-VL). Processa input multimodali (immagini e testo) per creare un contesto semantico condiviso.
Esperto di Generazione (Generation Expert): Un modulo leggero che prevede gli stati visivi futuri (visione a lungo termine). Utilizza un tokenizzatore VAE (COSMOS) per comprimere le immagini e un decoder parallelo (non autoregressivo) per generare previsioni future in tempo reale, evitando la latenza eccessiva dei generatori video tradizionali.
Esperto di Azione (Action Expert): Combina il contesto semantico e le dinamiche predette per generare comandi di controllo continui. Utilizza un obiettivo di Flow Matching per apprendere distribuzioni multimodali di azioni.

Meccanismo di Attenzione

I token dei tre esperti sono concatenati in un unico flusso. Una maschera di attenzione a blocchi garantisce un flusso di informazioni rigoroso:

L'esperto di Azione può vedere sia il contesto semantico che le previsioni future.
L'esperto di Generazione può vedere il contesto semantico.
L'esperto di Comprensione vede solo i propri input.
Questo design permette alla politica di agire basandosi non solo sull'osservazione corrente, ma sulla comprensione di come lo scenario evolverà.

Strategia di Addestramento Ibrida

Il modello viene pre-addestrato su un corpus eterogeneo di 692 milioni di frame, combinando tre fonti complementari:

Dati Simulati (InternData-A1, RoboTwin): Forniscono diversità su larga scala, coprendo oggetti rigidi, articolati, deformabili e fluidi.
Dati Robot Reali (AgiBot-World, RoboMind): Forniscono la fedeltà fisica necessaria per colmare il divario sim-to-real.
Video Umani Ego-centrici (EgoDex): Arricchiscono le rappresentazioni visive con interazioni complesse senza costi di teleoperazione.

L'obiettivo di ottimizzazione congiunta minimizza sia l'errore di previsione visiva futura che l'errore di predizione dell'azione (tramite Flow Matching).

3. Contributi Chiave

Architettura Unificata MoT: Prima integrazione efficace di ragionamento semantico, previsione visiva futura e esecuzione dell'azione in un singolo modello end-to-end, superando la separazione tra comprensione e dinamica.
Generazione Visiva Efficiente: Implementazione di un modulo di generazione visiva non autoregressivo e leggero, capace di operare a frequenze di controllo elevate (~13 Hz) senza sacrificare la capacità di guidare l'azione.
Ricetta di Dati Eterogenei: Dimostrazione che la combinazione di dati simulati, reali e video umani in un'unica pipeline di addestramento migliora significativamente la generalizzazione e riduce il gap sim-to-real.
Scalabilità: Implementazione del modello a due scale (2B e 3B parametri), mantenendo alte prestazioni anche con parametri ridotti grazie all'efficienza architetturale.

4. Risultati Sperimentali

Il modello è stato valutato su 12 task reali e benchmark di simulazione, mostrando prestazioni superiori rispetto agli stati dell'arte (come $\pi_0$ , $\pi_{0.5}$ e GR00T N1.5).

Manipolazione Statica: InternVLA-A1 (3B) raggiunge un successo medio del 75.1% su task reali, superando $\pi_{0.5}$ (+4.4%) e $\pi_0$ (+14.5%).
Manipolazione Dinamica: Il miglioramento è drastico in scenari dinamici (es. ordinamento su nastro trasportatore, raccolta ingredienti in movimento). InternVLA-A1 (3B) ottiene un +26.7% rispetto a $\pi_{0.5}$ , raggiungendo l'86.7% di successo medio. Questo conferma la capacità del modello di prevedere e reagire ai cambiamenti dell'ambiente.
Benchmark di Simulazione (RoboTwin 2.0): Supera $\pi_{0.5}$ del 2.6% sia nelle impostazioni facili che difficili, dimostrando robustezza nella generalizzazione cross-scenario.
Ablation Study:
- La rimozione della fase di pre-addestramento causa un crollo delle prestazioni del 51.6%.
- L'uso esclusivo di dati simulati funziona bene in simulazione ma fallisce nel mondo reale; l'aggiunta di dati reali e video umani è cruciale per la transferibilità.
- La rimozione dell'esperto di generazione riduce il successo medio da 77.0% a 57.6%, confermando il valore della previsione visiva futura.

5. Significato e Impatto

InternVLA-A1 rappresenta un passo avanti fondamentale verso robotica generale ("generalist robots").

Superamento del Limite Dinamico: Dimostra che integrare la previsione del futuro (foresight) direttamente nel processo decisionale dell'azione è essenziale per operare in ambienti non statici, un requisito critico per l'automazione industriale e domestica avanzata.
Efficienza dei Dati: La strategia di training ibrido dimostra che è possibile addestrare modelli robotici robusti senza raccogliere milioni di ore di dati reali costosi, sfruttando invece la diversità della simulazione e la ricchezza dei video umani.
Architettura Scalabile: L'approccio MoT offre una via percorribile per scalare le capacità cognitive e motorie dei robot mantenendo l'efficienza computazionale necessaria per l'implementazione edge.

In sintesi, InternVLA-A1 unifica la "mente" (comprensione), l'"immaginazione" (previsione futura) e il "corpo" (azione) in un unico sistema, risolvendo una delle principali limitazioni delle politiche robotiche attuali: la capacità di adattarsi a scenari in rapida evoluzione.