💻 computer science

StellaVLA: In-Context Structured Demonstration for Generalizable Vision-Language-Action Models

StellaVLA è un framework di adattamento al tempo di inferenza per modelli Vision-Language-Action che sfrutta dimostrazioni strutturate a costo zero (ad esempio, piani di task e movimento 3D verbalizzato) come guida in-context per migliorare la generalizzazione attraverso scenari fuori distribuzione e diverse incarnazioni, raggiungendo prestazioni allo stato dell'arte sui principali benchmark senza latenza di inferenza.

Autori originali: Siyu Xu, Yunke Wang, Zijian Wang, Dihao Zhu, Chenghao Xia, Chengbin Du, Daochang Liu, Tao Huang, Chang Xu

Pubblicato 2026-08-13

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Siyu Xu, Yunke Wang, Zijian Wang, Dihao Zhu, Chenghao Xia, Chengbin Du, Daochang Liu, Tao Huang, Chang Xu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come preparare un sandwich. Potresti mostrargli un video di te che lo fai, e il robot potrebbe cercare di copiare esattamente i tuoi movimenti della mano. Ma cosa succede se il robot si trova in una cucina diversa, il pane è a sinistra invece che a destra, o il robot ha un tipo di braccio diverso? Improvvisamente, il robot si confonde e fa cadere il pane. Questo è un grande problema nel mondo della robotica, specificamente per un tipo di sistema intelligente chiamato modello Vision-Language-Action (VLA). Questi sono come robot super-intelligenti che possono "vedere" un'immagine, "leggere" un comando come "prendi la tazza" e poi "agire" muovendo il braccio. Il problema è che sono spesso come studenti che hanno memorizzato un test specifico ma falliscono quando le domande sono leggermente diverse. Faticano quando la scena cambia, appare un nuovo oggetto o l'angolo della telecamera si sposta. Per risolvere questo, gli scienziati di solito devono raccogliere migliaia di nuovi video e ri-addestrare il robot, il che richiede un tempo infinito.

Ma cosa succederebbe se il robot potesse semplicemente guardare un singolo esempio di qualcuno che esegue il compito e capire istantaneamente perché lo stava facendo, non solo cosa stava facendo? Questa è la grande domanda che questo articolo affronta. Invece di mostrare al robot un video grezzo di una mano che si muove, i ricercatori vogliono dare al robot una "guida di riferimento" che spieghi la logica dietro i movimenti. Vogliono che il robot impari il piano (come "afferra prima la maniglia") piuttosto che solo i pixel (come "muovi la mano alle coordinate X, Y, Z"). Se possono farcela, il robot potrebbe gestire situazioni nuove e strane senza dover fare un reboot totale.

Entra in gioco StellaVLA, un nuovo framework del team tecnico di StellarEdge AI che cerca di risolvere esattamente questo problema. Pensa a StellaVLA come a un robot che non si limita a guardare un film; legge il commento del regista mentre lo guarda.

Ecco come funziona: il team ha costruito un sistema che prende un video disordinato e grezzo di un robot o di un essere umano che svolge un compito e lo trasforma automaticamente in una dimostrazione strutturata. Immagina di prendere un video lungo e confuso di qualcuno che costruisce un castello Lego e di trasformarlo in un manuale di istruzioni chiaro e passo dopo passo. Il sistema scompone il compito in "sotto-obiettivi" (come "trova il mattoncino rosso") e descrive i movimenti in linguaggio semplice (come "muovi il braccio verso l'alto e verso destra"). Questo avviene automaticamente, senza che gli esseri umani debbano scrivere note, utilizzando un'IA potente per "leggere" il video e scrivere la storia.

Una volta che questi esempi "basati sulla storia" sono pronti, vengono conservati in una libreria. Quando il robot affronta un nuovo compito, non tira a indovinare. Cerca in questa libreria, trova la storia che meglio corrisponde e la usa come guida. Ma ecco la parte geniale: il robot viene addestrato in un modo speciale. Durante la sua "scuola", deve fare due cose contemporaneamente: deve imparare come muovere il braccio (l'azione) e deve imparare come spiegare il movimento a parole (il ragionamento). È come uno studente che deve risolvere un problema di matematica e scrivere anche i passaggi per ottenere il punteggio pieno. Questo costringe il robot a comprendere la logica del compito, non solo a imitare il movimento.

Tuttavia, l'articolo fa una distinzione molto importante su come questo funzioni nel mondo reale. Mentre il robot impara parlando con se stesso durante l'addestramento, quando effettivamente svolge il lavoro (inferenza), smette di parlare. La parte "esplicativa" del suo cervello viene spenta, e rimane attiva solo la parte "esecutiva". Perché? Perché parlare richiede tempo, e i robot devono muoversi velocemente. Spegnendo il chiacchiericcio durante il lavoro effettivo, il robot rimane super veloce e reattivo, ma beneficia comunque della profonda comprensione acquisita durante lo studio.

I risultati di questo approccio sono piuttosto promettenti, almeno nei test eseguiti dai ricercatori. In una serie di simulazioni chiamate LIBERO, il robot ha raggiunto un tasso di successo del 98,8%, che è molto alto. Quando lo hanno testato su una classifica più difficile chiamata VLA-Arena, che include situazioni complicate come nuovi oggetti o sfondi confondenti, StellaVLA ha ottenuto un punteggio complessivo di 0,63. Questo ha superato altri modelli forti, che hanno ottenuto circa 0,44 e 0,22. Anche quando il robot doveva gestire luci strane, diversi angoli di ripresa o oggetti che non aveva mai visto prima (come mettere una carota in una ciotola quando la carota era di un colore diverso), si è mantenuto meglio dei suoi concorrenti, ottenendo l'85,1% in un test di robustezza chiamato LIBERO-Plus.

I ricercatori hanno testato questo approccio anche su un vero braccio robotico nel mondo reale. Hanno scoperto che il robot può usare dimostrazioni provenienti da esseri umani, altri robot o persino simulazioni in realtà virtuale (XR) come sua guida. Non importava se l' "insegnante" appariva diverso; finché la "storia" del compito era chiara, il robot poteva seguirla. Ad esempio, quando gli è stato chiesto di mettere dei blocchi in un cassetto che non aveva mai visto prima, il robot non è semplicemente fallito; ha fatto progressi, raggiungendo un punteggio medio di 1,9 su 4, mostrando che stava cercando di seguire il piano anche se non riusciva a completare il lavoro perfettamente.

Tuttavia, l'articolo è attento a non sostenere che questo sia una soluzione magica per ogni problema. Il robot fatica ancora con compiti molto lunghi e complessi dove il piano deve cambiare a metà strada (come se una persona entrasse e spostasse i blocchi mentre il robot sta lavorando). In questi test a "lungo orizzonte" (long horizon), il tasso di successo è diminuito significamente, suggerando che, sebbene il robot sia bravo a seguire una storia pre-scritta, non è ancora pronto a improvvisare una trama completamente nuova al volo. Inoltre, l'articolo nota che, sebbene il robot sia molto costante nell'usare diversi tipi di dimostrazioni (umano vs robot), i test nel mondo reale hanno mostrato che ha ancora bisogno della guida giusta per lavorare perfettamente.

In breve, StellaVLA suggerisce che se vuoi che un robot sia intelligente e adattabile, non devi solo mostrargli cosa fare; devi spiegargli perché lo sta facendo. Trasformando i video grezzi in storie strutturate e logiche e insegnando al robot a comprendere tale logica, il sistema diventa molto più capace di gestire situazioni nuove e difficili. È un passo verso robot che non si limitano a copiare i nostri movimenti, ma comprendono realmente le nostre intenzioni.

Sintesi Tecnica: StellaVLA

Problematica

I modelli Vision-Language-Action (VLA) si sono affermati come un paradigma leader per la manipolazione robotica, traducendo input visivi e testuali in azioni fisiche. Tuttavia, permane un limite critico: questi modelli soffrono spesso di un collasso delle prestazioni quando incontrano scenari out-of-distribution (OOD), come cambiamenti nella scena, nel punto di vista o nelle proprietà degli oggetti. Gli attuali metodi di recupero richiedono tipicamente la raccolta di nuovi dati e l'aggiornamento dei pesi del modello, il che è inefficiente dal punto di vista dei dati e lento.

Sebbene l'In-Context Imitation Learning (ICIL) offra una via per l'adattamento al tempo di test senza aggiornamenti dei pesi, aggiungendo traiettorie esperte come contesto, gli approcci esistenti soffrono di "inerzia comportamentale". Essi trattano le dimostrazioni come sequenze grezze di osservazioni e azioni continue, incoraggiando un'imitazione superficiale. Senza comprendere il ragionamento sottostante (il "perché") dietro le azioni di un esperto, la policy tende a trattare la dimostrazione come rumore e ritorna ai suoi priori pre-addestrati, fallendo nel generalizzare a nuovi compiti.

Metodologia

StellaVLA affronta questo problema spostando l'ICIL dall'imitazione delle azioni all'imitazione del ragionamento che le sottende. Il framework introduce un contesto strutturato e aumentato dal ragionamento che permette alla policy di pianificare basandosi sull'intento semantico piuttosto che su semplici traiettorie di pixel.

1. Estrazione Automatica di Contesto Strutturato Offline

L'innovazione principale è una pipeline automatizzata che converte traiettorie esperte grezze (da robot reali, mani umane o dati retargettati da XR) in dimostrazioni strutturate a costo zero di annotazione umana.

Segmentazione Semantica: Un potente modello Vision-Language (VLM, ad es. Qwen3-VL) analizza le traiettorie grezze per scomporle in segmenti discreti e semanticamente significativi. Identifica sottogiobi di alto livello (ad es. "Afferrare la maniglia") basandosi sui cambiamenti visivi.
Verbalizzazione Cinematica: Utilizzando un paradigma "linguaggio-come-azione", le azioni fisiche all'interno di ogni segmento vengono tradotte deterministicamente in testo strutturato. Questo include:
- Razionale Semantico: Descrizioni di sottogiobi di alto livello.
- Razionale Cinematico: Descrizioni del movimento fine-grained, verbalizzando gli spostamenti nello spazio di lavoro 3D (ad es. "Spostare l'end-effector di $\Delta x, \Delta y, \Delta z$ ") e le proiezioni 2D sul piano della telecamera.
Rappresentazione Unificata: Questo processo crea un pool di traiettorie aumentate dal razionale ( $\tau_{rat}$ ) dove ogni time step è fondato su osservazioni, azioni, etichette di sottotask e razionali strutturati a livello di segmento. Ciò unifica diverse incarnazioni (umana, robotica, XR) in una rappresentazione semantica comune.

2. Paradigma di Dual-Training Parallelo

StellaVLA impiega un'architettura di training parallelo per interiorizzare sia il cosa fare che il perché.

Prompting con Recupero (Retrieval-Augmented Prompting): Durante il training, il sistema recupera una dimostrazione aumentata dal razionale top-1 basata sulla somiglianza dell'istruzione del compito. Questo funge da prefisso contestuale ( $P_{demo}$ ) fornendo un segnale implicito di in-context learning.
Esperti Duali: Il backbone VLA alimenta due teste parallele tramite una rappresentazione latente condivisa:
1. Esperto d'Azione: Un MLP leggero che regredisce chunk di azioni continue.
2. Esperto Spazio-Linguistico: Una testa autoregressiva che predice l'etichetta del sottotask e verbalizza il movimento 2D/3D dell'attuale chunk di azione.
Obiettivo Congiunto: Il modello è ottimizzato tramite una funzione di perdita congiunta ( $L = L_{act} + \lambda L_{lang}$ ), costringendo la rappresentazione condivisa a connettere la struttura del compito dimostrato con il movimento robotico richiesto.

3. Inferenza Asimmetrica e Caching

Per garantire un controllo ad alta frequenza e in tempo reale, StellaVLA decupla l'acquisizione del ragionamento dall'esecuzione.

Esecuzione Solo-Azione: Durante l'inferenza, l'esperto spazio-linguistico viene interamente rimosso. La policy esegue un singolo passaggio forward attraverso il backbone e l'esperto d'azione, guidata dal prefisso della dimostrazione con KV-cache. Ciò elimina l'overhead di decodifica autoregressiva, preservando la bassa latenza.
Caching del Prefisso: Poiché il prefisso della dimostrazione recuperata è statico per un dato episodio, la sua KV-cache viene calcolata una sola volta all'inizio, riducendo drasticamente l'impronta computazionale durante il rollout.

Contributi Chiave

Framework StellaVLA: Un VLA aumentato dal recupero che sposta l'ICIL dall'imitazione delle azioni all'imitazione del ragionamento, riducendo l'inerzia comportamentale in condizioni OOD.
Estrazione Strutturata a Costo Zero: Una pipeline automatizzata che converte dimostrazioni eterogenee (umane, robotiche, XR) in contesti strutturati e aumentati dal razionale senza annotazione umana.
Dual-Training Parallelo con Inferenza Asimmetrica: Una strategia di training che interiorizza il ragionamento spazio-linguistico pur rimuovendo la testa linguistica durante l'inferenza, garantendo il controllo in tempo reale senza sacrificare i benefici della guida strutturata.
Generalizzazione Cross-Embodiment: Capacità dimostrata di utilizzare dimostrazioni umane e XR come guida in-context per compiti con robot reali, unificando diverse fonti di dati attraverso una rappresentazione semantica strutturata.

Risultati Sperimentali

Il paper valuta StellaVLA attraverso benchmark di simulazione e robotica reale, confrontandolo con solidi baseline come $\pi0.5$ , LingBot-VLA e StarVLA-OFT.

Classifica VLA-Arena: StellaVLA raggiunge il primo posto con un punteggio complessivo di 0.63, superando significativamente $\pi0.5$ (0.44) e LingBot-VLA (0.22). Mostra una forza particolare nelle categorie "Task Workflows" e "Unseen Objects".
LIBERO (In-Distribution): Raggiunge una percentuale media di successo del 98.8%, dimostrando che il contesto strutturato non compromette le prestazioni in-distribution.
LIBERO-Plus (Robustezza Zero-Shot): Raggiunge un 85.1% di successo medio sotto sette tipi di perturbazioni (viewpoint, rumore, illuminazione, ecc.), superando il controllo corrispondente (StarVLA-OFT) di 10.1 punti. I maggiori guadagni si vedono nel viewpoint della telecamera (+23.5) e nel rumore del sensore (+19.7).
Valutazione su Robot Reale: Su un braccio AgileX Piper, StellaVLA raggiunge l'85.0% di successo in-distribution e il 75.0% su compiti OOD-L1 (cambiamenti di attributi dell'oggetto). Al contrario, i baseline scendono di 20–25 punti su compiti OOD simili.
Consistenza Cross-Source: Gli esperimenti mostrano che l'uso di dimostrazioni umane o XR come contesto produce predizioni d'azione quasi identiche all'uso di dimostrazioni robotiche (disaccordo < 0.03° sull'angolo del giunto), confermando l'efficacia della rappresentazione strutturata unificata.
Efficienza: La latenza di inferenza per il percorso solo-azione è di 88 ms. L'aggiunta dell'esperto spazio-linguistico per la decodifica aumenta la latenza a 3177 ms (circa 36 volte più lenta), validando la necessità del design di inferenza asimmetrica per il controllo in tempo reale.

Significato e Rivendicazioni

Il paper sostiene che il collo di bottiglia primario nella generalizzazione dei VLA attuali sia la mancanza di un ragionamento esplicito nelle dimostrazioni recuperate. Convertendo le traiettorie grezze in razionali gerarchici e strutturati (sottogiobi e descrizioni cinematiche), StellaVLA consente alla policy di ragionare sul compito piuttosto che limitarsi a mimare traiettorie di pixel.

La significatività risiede in tre aree:

Generalizzazione: Il contesto strutturato agisce come un template riutilizzabile per la pianificazione, permettendo al modello di adattarsi a compiti e ambienti OOD senza aggiornamenti dei parametri.
Efficienza: Il framework integra con successo capacità di ragionamento complesso durante il training mantenendo velocità di inferenza in tempo reale tramite la rimozione della testa linguistica durante il deployment.
Efficienza dei Dati: Permette l'uso di diverse fonti di dati eterogenei (umani, XR, robot) come guida in-context, superando i mismatch di embodiment attraverso una rappresentazione semantica condivisa piuttosto che richiedere spazi d'azione allineati.

Gli autori concludono che StellaVLA rappresenta un passo verso policy robotiche più robuste e generalizzabili che possono sfruttare il "perché" del comportamento esperto per navigare sfide impreviste.