💻 computer science

OneTwoVLA: A Unified Vision-Language-Action Model with Adaptive Reasoning

Il paper presenta OneTwoVLA, un modello unificato visione-linguaggio-azione che integra ragionamento e azione in un unico sistema, superando i limiti degli approcci duali attraverso un meccanismo di switching adattivo e un pipeline di addestramento su dati sintetici per gestire compiti robotici complessi e a lungo termine.

Autori originali: Fanqi Lin, Ruiqian Nai, Yingdong Hu, Jiacheng You, Junming Zhao, Yang Gao

Pubblicato 2026-03-03

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Fanqi Lin, Ruiqian Nai, Yingdong Hu, Jiacheng You, Junming Zhao, Yang Gao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover cucinare una cena complessa, come un risotto o un cocktail. Se dovessi farlo da solo, useresti due "cervelli" diversi: uno veloce che ti dice "prendi il sale" e uno lento che pensa "oh, manca il pepe, devo fermarmi e riflettere". Il problema è che questi due cervelli non si parlano bene: quello lento potrebbe dirti di prendere il pepe quando non c'è, o potrebbe impiegare troppo tempo a rispondere mentre il tuo braccio è già fermo.

Il paper "OneTwoVLA" presenta una soluzione geniale per i robot: un unico cervello intelligente che sa fare entrambe le cose, ma in modo intelligente e adattivo.

Ecco come funziona, spiegato con parole semplici:

1. Il Robot "Due in Uno" (Uno e Due)

Il nome del progetto è un gioco di parole. Si basa sull'idea del famoso psicologo Daniel Kahneman, che divide il pensiero umano in due sistemi:

Sistema 1 (Il "Fai-da-te" veloce): È l'istinto. Quando il robot deve solo versare un liquido o afferrare un oggetto, agisce velocemente senza fermarsi a pensare troppo.
Sistema 2 (Il "Pensatore" lento): È la logica. Quando il robot si trova in una situazione difficile (ha sbagliato presa, deve pianificare i prossimi passi, o un umano gli chiede qualcosa), si ferma e "ragiona" ad alta voce.

L'innovazione di OneTwoVLA è che non sono due robot separati che si passano dei foglietti di carta. È un unico modello che decide da solo: "Ok, ora devo solo agire" oppure "Aspetta, ho bisogno di pensare un attimo". Questo evita i ritardi e gli errori di comunicazione.

2. La Metafora del Cuoco con la Ricetta

Immagina un robot che deve preparare un Vodka Sunrise (un cocktail).

Senza OneTwoVLA (Metodo vecchio): Un "capo" (il Sistema 2) guarda la foto degli ingredienti e dice al "cuoco" (il Sistema 1): "Metti la vodka". Il cuoco lo fa. Poi il capo dice: "Ora metti il succo". Ma se il capo è lento o si sbaglia, il cuoco resta in attesa o fa cose sbagliate.
Con OneTwoVLA: Il robot è sia il capo che il cuoco.
- Mentre versa il succo, agisce velocemente (Sistema 1).
- Improvvisamente, un umano dice: "Non voglio vodka all'arancia, voglio quella al limone!".
- Il robot si ferma, pensa: "Ah, ho sbagliato ingrediente. Devo mettere giù l'arancia e prendere il limone". Scrive mentalmente questo piano (Sistema 2).
- Poi riprende a versare il limone (Sistema 1) basandosi su quel nuovo pensiero.

3. Come ha imparato a pensare? (Il "Cibo" del Robot)

Per insegnare a un robot a ragionare, non basta dargli solo video di bracci robotici che muovono oggetti. Serve un "libro di cucina" con le spiegazioni.
Gli autori hanno creato un metodo geniale per generare migliaia di esempi artificiali:

Hanno usato un'intelligenza artificiale per inventare scene di tavoli con oggetti strani.
Hanno fatto "disegnare" queste scene da un'altra IA.
Hanno fatto scrivere a un'altra IA le istruzioni e, soprattutto, il ragionamento passo-passo (es: "Vedo che il limone è a destra, quindi devo muovermi lì").

Questo ha permesso al robot di imparare a "pensare" prima di agire, anche su oggetti che non ha mai visto nella realtà, ma solo nelle immagini generate.

4. Cosa sa fare questo robot?

Grazie a questo approccio, OneTwoVLA è diventato bravissimo in quattro cose:

Pianificare lunghe sequenze: Può preparare un piatto complesso (come uova e pomodori) o un cocktail senza perdere il filo del discorso.
Riprendersi dagli errori: Se il robot afferra male un oggetto e lo lascia cadere, non va in panico. Si ferma, pensa: "Ah, ho scivolato, devo riprovare più forte" e riprova.
Parlare con gli umani: Se un umano cambia idea a metà strada ("Fammi un caffè, no, aspetta, un tè"), il robot capisce, si adatta e cambia piano.
Capire il mondo: Se gli chiedi "Dammi l'oggetto per scrivere", capisce che è una penna, anche se non l'ha mai vista prima, perché ha letto milioni di descrizioni su internet.

In sintesi

OneTwoVLA è come dare a un robot un cervello umano: sa quando agire d'istinto e quando fermarsi a riflettere. Non è più una macchina stupida che esegue comandi a catena, ma un assistente che capisce il contesto, risolve i problemi da solo e collabora con noi in modo naturale. È un passo enorme verso robot che non solo ci aiutano a fare le cose, ma capiscono perché le stiamo facendo.

Titolo: OneTwoVLA: Un Modello Unificato Vision-Language-Action con Ragionamento Adattivo

1. Il Problema

I robot generalisti richiedono una sinergia tra capacità di ragionamento (pianificazione ad alto livello) e capacità di azione (esecuzione a basso livello). Le approcci attuali si basano spesso su framework dual-system (ispirati al sistema 1 e sistema 2 di Kahneman):

Un "Sistema 2" (es. un grande modello linguistico visivo, VLM) gestisce il ragionamento complesso.
Un "Sistema 1" (es. un modello Vision-Language-Action, VLA) esegue le azioni fisiche basandosi sugli output del sistema 2.

Limitazioni degli approcci attuali:

Mancanza di consapevolezza reciproca: Il sistema di ragionamento può generare comandi che il sistema di azione non è in grado di eseguire.
Latenza: Il ragionamento esplicito ad ogni passo o a intervalli fissi introduce ritardi significativi, rendendo il robot lento e poco reattivo agli imprevisti.
Generalizzazione limitata: I modelli VLA puri faticano con compiti a lungo termine (long-horizon) o in ambienti dinamici non visti durante l'addestramento.

2. Metodologia: OneTwoVLA

Il paper introduce OneTwoVLA, un singolo modello unificato Vision-Language-Action capace di integrare sia il ragionamento (Sistema 2) che l'azione (Sistema 1) in un'unica architettura, con la capacità di switchare adattivamente tra i due modi.

Architettura e Inferenza Adattiva:

Token di Decisione: Il modello utilizza due token speciali per decidere il proprio stato: [BOR] (Beginning of Reasoning) e [BOA] (Beginning of Action).
Modalità di Ragionamento: Quando il modello prevede [BOR], genera testo naturale che descrive:
- La scena (posizione degli oggetti).
- Un piano ad alto livello.
- Un riepilogo storico delle azioni compiute.
- Il prossimo passo immediato.
- Trigger: Questo avviene solo in momenti critici (completamento di un sottocompito, rilevamento di un errore, necessità di input umano).
Modalità di Azione: Quando il modello prevede [BOA], genera direttamente il "chunk" di azioni (comandi cinematici) basandosi sull'ultimo output di ragionamento disponibile.
Efficienza: Il modello opera principalmente in modalità azione, invocando il ragionamento solo quando necessario, minimizzando l'overhead computazionale e la latenza rispetto ai sistemi dual-system che ragionano costantemente.

Curatura dei Dati e Sintesi Scalabile:
Per addestrare il modello a ragionare in modo corporeo (embodied reasoning), gli autori hanno sviluppato due pipeline:

Dati Robot con Ragionamento Corporeo: Segmentazione delle dimostrazioni umane in intervalli di "ragionamento" (annotati con testo descrittivo) e intervalli di "azione". Il ragionamento include descrizioni della scena, piani, riepiloghi storici e istruzioni per il passo successivo.
Pipeline di Sintesi Scalabile: Per superare la scarsità di dati robotici, è stata creata una pipeline automatizzata che:
- Genera descrizioni testuali di layout di tavoli tramite LLM (Gemini 2.5).
- Sintetizza immagini realistiche tramite modelli Text-to-Image (FLUX.1-dev), applicando distorsioni a occhio di pesce e gripper robotici per simulare le osservazioni reali.
- Genera istruzioni e contenuti di ragionamento per queste immagini.
- Risultato: 16.000 campioni di dati sintetici ad alta qualità per il co-training.

Addestramento:
Il modello è basato su $\pi_0$ (un VLA esistente). Viene addestrato tramite co-training su dati robotici reali e dati vision-language sintetici, utilizzando una funzione di perdita cross-entropy per il testo e flow matching per le azioni continue.

3. Contributi Chiave

Modello Unificato Adattivo: Superamento del paradigma dual-system con un unico modello che decide autonomamente quando ragionare e quando agire, risolvendo problemi di latenza e disallineamento capacità.
Pipeline di Sintesi Dati Corporei: Un metodo scalabile per generare dati di ragionamento visivo-linguistico di alta qualità, essenziali per la generalizzazione.
Capacità di Recupero e Interazione: Il modello può rilevare errori in tempo reale, ragionare su strategie di recupero e interagire naturalmente con gli umani (chiedendo chiarimenti o adattandosi a comandi modificati).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su piattaforme robotiche reali (braccio Franka e sistema ARX a due bracci) su quattro capacità fondamentali:

Pianificazione a Lungo Orizzonte:
- OneTwoVLA ha superato i baselines ( $\pi_0$ e approcci dual-system) con un tasso di successo medio dell'87% (vs 57% di $\pi_0$ e 63% del dual-system).
- Eccelle nel tracciare lo stato del compito e correggere i piani dinamicamente (es. preparare cocktail, cucinare uova e pomodori).
Rilevamento e Recupero Errori:
- Tasso di recupero errori dell'80% (vs 57% di $\pi_0$ ). Il modello riconosce fallimenti (es. presa mancata, olio che scivola) e pianifica azioni correttive immediate senza attendere comandi esterni.
Interazione Uomo-Robot Naturale:
- Successo del 100% nelle interazioni di base (es. cambio di ingredienti a metà compito). Il modello chiede chiarimenti proattivamente e adatta il piano in tempo reale, a differenza dei sistemi dual-system che perdono il contesto.
Grounding Visivo Generalizzabile:
- In ambienti "Open-World" con oggetti mai visti nei dati robotici, la variante con co-training (OneTwoVLA-VL) ha raggiunto un successo del 73%, contro l'8% di OneTwoVLA senza dati sintetici e il 3% di $\pi_0$ .
- Dimostra una forte capacità di comprendere relazioni spaziali, attributi e caratteristiche semantiche.

5. Significato e Impatto

OneTwoVLA rappresenta un passo significativo verso robot autonomi più intelligenti e reattivi.

Sinergia Cognitiva: Dimostra che integrare ragionamento e azione in un unico modello, con attivazione adattiva, è superiore alla separazione rigida dei sistemi.
Efficienza: Risolve il collo di bottiglia della latenza, rendendo i robot praticabili per compiti complessi nel mondo reale.
Generalizzazione: La pipeline di sintesi dati dimostra che è possibile potenziare le capacità di ragionamento e generalizzazione dei robot senza dipendere esclusivamente da costose dimostrazioni umane su ogni scenario possibile.
Versatilità: Il modello gestisce compiti che richiedono non solo abilità motorie fini, ma anche comprensione semantica, pianificazione strategica e adattamento a imprevisti, avvicinandosi all'intelligenza fisica umana.

In sintesi, il lavoro propone un nuovo paradigma per il controllo robotico, dove il "pensiero" e l'"azione" sono fusi in un'unica entità adattiva, capace di operare in ambienti complessi e non strutturati con un livello di autonomia senza precedenti.