Sintesi Tecnica: OneVLA – Un Framework Unificato per Compiti Embodied

Problematica

Gli attuali modelli Vision-Language-Action (VLA) per l'intelligenza embodied affrontano un limite architettonico fondamentale: sono tipicamente vincolati a domini a compito singolo (navigazione o manipolazione) o richiedono varianti del modello specifiche per il compito per gestire molteplici attività. Sebbene modelli cross-task come UniVLA abbiano tentato di trasferire la conoscenza attraverso diverse incarnazioni robotiche, essi si affidano ancora a teste d'azione separate o configurazioni di modello specifiche per diversi compiti. Questa frammentazione ostacola lo sviluppo di agenti robotici veramente general-purpose capaci di interpretare fluidamente il linguaggio naturale e interagire fisicamente con l'ambiente circostante attraverso diversi domini. Il documento identifica due domande chiave: (1) Un'architettura VLA unificata può eseguire sia la navigazione che la manipolazione senza varianti specifiche per il compito? e (2) Questi due compiti fondamentali possono beneficiare mutuamente di un addestramento congiunto per migliorare le prestazioni complessive?

Metodologia

Gli autori propongono OneVLA, un'architettura VLA unificata progettata per generare sia risposte linguistiche che azioni robotiche per la navigazione e la manipolazione all'interno di un unico framework.

1. Architettura Unificata

• Encoder Vision-Language Unificato: Il modello utilizza un backbone condiviso composto da un Vision Transformer a 32 layer (che elabora immagini RGB multi-view) e un modello linguistico Transformer a 36 layer (che utilizza GQA). Le caratteristiche visive sono proiettate nella dimensione nascosta del modello linguistico ($d_h=2048$) per creare una rappresentazione multimodale unificata.
• Decoding Basato su Token: Per gestire i doppi output, il vocabolario è stato espanso con token speciali <text>...</text> e <action>...</action>. Ciò consente al modello di generare autoregressivamente una risposta testuale che spiega la comprensione del compito, seguita dalla sequenza di azioni, in un unico passaggio forward.
• Testa d'Azione Unificata: L'innovazione principale è una singola testa d'azione che concatena le dimensioni dell'azione della navigazione e della manipolazione in uno spazio unificato a 11 dimensioni:
  • Navigazione ($a_{navi} \in \mathbb{R}^4$): Distribuzione di probabilità discreta per i comandi (avanti, gira a sinistra, gira a destra, stop).
  • Manipolazione ($a_{mani} \in \mathbb{R}^7$): Controllo dell'end-effector a 7 DOF ($\Delta x, \Delta y, \Delta z, \Delta roll, \Delta pitch, \Delta yaw, g$).
• Meccanismo di Flow-Matching: La testa d'azione impiega un processo di diffusione di flow-matching per predire sequenze di azioni future. Impara a predire un campo di velocità minimizzando l'obiettivo di flow-matching, utilizzando un encoder d'azione, un backbone DiT con cross-attention e un decoder d'azione.
• Pesatura Specifica per il Compito: Per accomodare spazi d'azione eterogenei, il modello utilizza maschere di peso specifiche per il compito durante l'addestramento. Queste maschere assicurano che solo le dimensioni d'azione rilevanti contribuiscano al calcolo della perdita per un dato campione, permettendo l'apprendimento simultaneo senza il cambio di architettura.

2. Strategia di Addestramento Progressivo Multi-stadio

Per facilitare un forte trasferimento positivo e un rinforzo reciproco, gli autori impiegano una strategia di addestramento in tre fasi:

• Fase 1 (Fondamenta di Manipolazione): Addestra esclusivamente su dataset di manipolazione e dati VQA generali per stabilire robuste abilità di manipolazione e comprensione visivo-linguistica.
• Fase 2 (Trasferimento Cross-Task): Introduce i dati di navigazione nell'addestramento congiunto mantenendo i dati di manipolazione e VQA. Questa fase sfrutta la testa d'azione unificata per apprendere entrambi i compiti simultaneamente, abilitando il trasferimento di conoscenza tra i domini.
• Fase 3 (Potenziamento del Ragionamento): Integra i dati di Chain-of-Thought (CoT) per raffinare le capacità di ragionamento e la qualità del processo decisionale in entrambi i compiti.

3. Funzione di Perdita (Loss Function)

Il modello è addestrato end-to-end utilizzando una funzione di perdita composita:
$$L_{total} = \lambda_{vlm}L_{vlm} + \lambda_{text}L_{text} + \lambda_{action}L_{action}$$

• $L_{vlm}$: Cross-entropy standard per l'allineamento visivo-linguistico generale.
• $L_{text}$: Predizione del next-token per la fase di testo del ragionamento (inclusi i token di confine).
• $L_{action}$: Perdita di flow-matching calcolata con maschere di peso specifiche per il compito per gestire output eterogenei.

Contributi Chiave

1. Architettura Unificata: Proposta di OneVLA, il primo framework VLA capace di eseguire sia compiti di navigazione che di manipolazione senza richiedere varianti del modello specifiche per il compito o teste d'azione separate.
2. Componenti Innovative: Introduzione di una testa d'azione unificata con flow-matching e di una strategia di addestramento progressivo multi-stadio che facilita l'efficace potenziamento reciproco tra diversi domini di compito.
3. Evidenza Empirica di Beneficio Mutuo: Esperimenti esaustivi che dimostrano come l'addestramento congiunto su navigazione e manipolazione porti a significativi miglioramenti delle prestazioni per entrambi i compiti rispetto all'addestramento su compito singolo.
4. Nuovo Paradigma: Abbattimento delle barriere architettoniche tra domini di compito indipendenti per stabilire un nuovo paradigma per i sistemi robotici general-purpose.

Risultati Sperimentali

Gli autori hanno valutato OneVLA sia su benchmark simulati che nel mondo reale, confrontandolo con modelli specializzati a compito singolo e modelli cross-task esistenti.

• Benchmark Simulati:

  • Navigazione (VLN-CE): OneVLA ha raggiunto prestazioni state-of-the-art (SOTA), raggiungendo il 68,6% sul dataset R2R e il 58,2% sul dataset RxR. Questo ha superato significativamente UniVLA (rispettivamente 47,1% e 26,3%) e modelli di navigazione specializzati come StreamVLN.
  • Manipolazione (SimplerEnv): OneVLA ha ottenuto un tasso di successo medio del 64,5%, superando UniVLA-Mani (35,4%) e il modello SOTA di manipolazione $\pi0$-Fast (48,3%).
  • Efficienza: Notevolmente, il modello OneVLA da 3 miliardi di parametri ha superato tutti i modelli specifici per compito da 7 miliardi di parametri, dimostrando l'efficienza del design unificato.

• Esperimenti nel Mondo Reale:

  • Utilizzando un braccio robotico Franka Research 3 e una piattaforma robotica mobile, OneVLA ha ottenuto il 78,8% di successo nei compiti di manipolazione e il 77,5% nei compiti di navigazione.
  • Questi risultati rappresentano miglioramenti rispettivamente del 16,3% e del 35,0% rispetto a UniVLA in contesti reali, confermando la capacità del modello di generalizzare oltre la simulazione.

• Studi di Ablazione:

  • Addestramento Multi-stadio: Rispetto all'addestramento a stadio singolo, la strategia in tre fasi ha migliorato le prestazioni di R2R del 12,5% e di SimplerEnv del 18,3%.
  • Addestramento Congiunto: L'addestramento congiunto ha migliorato le prestazioni rispetto all'addestramento su compito singolo del 7,3% (R2R) e del 5,5% (SimplerEnv), validando l'ipotesi che le rappresentazioni condivise beneficino entrambi i domini.
  • Orizzonte d'Azione: Un orizzonte d'azione di 5 step temporali ha fornito il miglior equilibrio tra modellazione temporale e accuratezza della predizione.

Significato e Rivendicazioni

Il paper afferma che OneVLA apre la strada a sistemi robotici veramente general-purpose unificando le capacità embodied core (navigazione e manipolazione) in un unico framework coeso. Gli autori sostengono che questo approccio non sia solo architettonicamente più elegante — eliminando la necessità di varianti specifiche per il compito — ma anche superiore in termini di prestazioni. Dimostrando che l'addestramento congiunto porta a miglioramenti delle prestazioni reciproci, il lavoro suggerisce che un approccio unificato sia essenziale per far avanzare l'intelligenza embodied verso l'Intelligenza Artificiale Generale (AGI). Il modello e il codice sorgente sono rilasciati pubblicamente per supportare ulteriori ricerche in questa direzione.