StarVLA: A Lego-like Codebase for Vision-Language-Action Model Developing

Titolo: StarVLA: A Lego-like Codebase for Vision-Language-Action Model Developing

Autore: StarVLA Community & Von Neumann Institute, HKUST

---

1. Il Problema: Frammentazione nella Ricerca VLA

Lo sviluppo di agenti embodied generalisti richiede l'integrazione di percezione, comprensione del linguaggio e azione. Sebbene i modelli Vision-Language-Action (VLA) basati su modelli fondazionali multimodali abbiano fatto progressi rapidi, la ricerca attuale è afflitta da una grave frammentazione:

• Architetture Incompatibili: Esistono approcci basati su VLM (Vision-Language Models) e World Models, ma sono sviluppati in isolamento con codici e interfacce diverse.
• Mancanza di Riproducibilità: Le metodologie di training, i pipeline di elaborazione dati e i protocolli di valutazione variano drasticamente tra i diversi lavori, rendendo difficile un confronto sistematico e equo.
• Barriere all'Innovazione: La mancanza di un'astrazione unificata impedisce ai ricercatori di ricombinare facilmente componenti (es. cambiare il backbone o la testa di azione) per testare nuove idee.

2. Metodologia: L'Approccio "Lego-like"

StarVLA introduce un codice open-source che unifica gli approcci VLA in un framework modulare basato su una decomposizione Backbone–Action Head.

A. Astrazione Unificata

Il sistema tratta ogni metodo VLA come una politica che mappa input visivo-linguistici a sequenze di azioni future:

• Backbone Condiviso: Un modello fondazionale (es. VLM come Qwen-VL o World Model come Cosmos) che codifica osservazioni e istruzioni.
• Action Head Pluggable: Un modulo che mappa le rappresentazioni del backbone in comandi motori.
• Interfaccia I/O Unificata: Il framework accetta osservazioni "raw" (grezze) dall'ambiente, minimizzando il mismatch tra distribuzione di training e deployment reale.

B. Quattro Paradigmi di Decodifica Supportati

StarVLA implementa quattro strategie di decodifica delle azioni sotto lo stesso framework:

1. StarVLA-FAST: Tokenizzazione autoregressiva (simile a un LLM) per generare token di azione discreti.
2. StarVLA-OFT: Regressione parallela continua tramite un MLP leggero (ispirato a OpenVLA).
3. StarVLA-π (pi): Denoising tramite flow-matching condizionato agli stati nascosti del backbone (ispirato a $\pi_0$).
4. StarVLA-GR00T: Architettura a doppio sistema (System 1 veloce per l'azione, System 2 lento per il ragionamento).

C. Pipeline di Training e Valutazione

• Training Flessibile: Supporta Supervised Fine-Tuning (SFT), Co-training multimodale (per preservare le capacità di ragionamento del VLM) e Cross-embodiment learning (training su dataset di robot diversi).
• Valutazione Unificata: Utilizza un'interfaccia Server-Client (WebSocket) che permette di valutare i modelli su diversi benchmark (LIBERO, SimplerEnv, RoboTwin 2.0, RoboCasa-GR1, BEHAVIOR-1K) senza modificare il codice del modello. Questo stesso interfaccia funziona sia per la simulazione che per il deployment su robot reali.

3. Contributi Chiave

1. Piattaforma Unificata: È il primo framework open-source che integra nativamente sia approcci basati su VLM che su World Model, permettendo confronti diretti in condizioni identiche.
2. Modularità Estrema: I ricercatori possono scambiare backbone e action head indipendentemente, isolando l'impatto di ogni scelta architetturale.
3. Baseline Riproducibili: Fornisce ricette di training semplici e completamente riproducibili che, con un minimo ingegnerizzazione dei dati, raggiungono o superano le performance dello stato dell'arte.
4. Integrazione Benchmark: Supporta 7 benchmark principali con interfacce standardizzate, colmando il divario tra ricerca accademica e deployment reale.

4. Risultati Sperimentali

Il paper presenta risultati estesi su diversi benchmark, dimostrando l'efficacia del framework:

• LIBERO: StarVLA raggiunge performance competitive (es. 96.6% di successo medio con StarVLA-OFT e Qwen3-VL) con 6 volte meno step di training rispetto a OpenVLA-OFT, dimostrando un'efficienza dei dati superiore.
• SimplerEnv: Su robot WidowX e Google Robot, le varianti di StarVLA (con backbone Qwen o Cosmos) superano o eguagliano baseline recenti come GR00T e $\pi_0$, confermando la generalizzazione tra diversi backbone.
• RoboCasa-GR1: In un ambiente complesso di manipolazione humanoid, StarVLA-OFT ottiene il 48.8% di successo medio, superando $\pi_0.5$ (+11.8 punti) e GR00T-N1.6.
• RoboTwin 2.0: Le varianti StarVLA raggiungono tassi di successo superiori all'88% sia in condizioni pulite che randomizzate.
• Co-training Multimodale: Gli esperimenti mostrano che il co-training con dati visivo-linguistici previene il "dimenticare" le capacità di ragionamento del modello fondazionale durante il fine-tuning per l'azione, mantenendo alte performance sia nella manipolazione che nel grounding spaziale.
• Generalista vs. Specialista: Un singolo modello addestrato congiuntamente su tutti i benchmark (Generalist) mantiene performance competitive su tutti i dataset, superando le specializzazioni singole in alcuni casi (es. +8.5% su RoboCasa-GR1).

5. Significato e Impatto

StarVLA rappresenta un punto di svolta per la ricerca nell'Intelligenza Artificiale Embodied:

• Democratizzazione: Abbassa la barriera all'ingresso per la riproduzione di metodi complessi e il prototipaggio di nuovi approcci.
• Standardizzazione: Offre un terreno di gioco comune ("common ground") per confrontare architetture diverse (VLM vs. World Models) in modo equo.
• Scalabilità: Dimostra che un'unica architettura modulare può gestire compiti eterogenei e diversi robot, avvicinando la comunità all'obiettivo di agenti generalisti veri.
• Efficienza Computazionale: Fornisce metriche dettagliate sull'efficienza di training (single-node e multi-node), guidando la comunità verso configurazioni ottimali per l'addestramento su larga scala.

In sintesi, StarVLA non è solo un codice, ma una prospettiva generalizzata che suggerisce come i diversi paradigmi VLA siano in realtà variazioni di un unico framework strutturale, accelerando lo sviluppo di agenti robotici intelligenti e versatili.