Sintesi Tecnica: Wall-OSS-0.5

Definizione del Problema

La comunità della robotica ha adottato sempre più i modelli Vision-Language-Action (VLA) come fondamenta per le policy robotiche. Tuttavia, rimane una lacuna critica nella valutazione di questi modelli: i risultati più solidi vengono quasi invariabilmente riportati solo dopo l'affinamento (fine-tuning) specifico per il compito. Ciò lascia una domanda fondamentale senza risposta: il pretraining del VLA produce di per sé un comportamento robotico eseguibile, o serve solo come una migliore inizializzazione per l'apprendimento di policy a valle?

Le prove attuali suggeriscono che il solo pretraining potrebbe non produrre una policy direttamente utilizzabile. Il paper sostiene che, affinché il pretraining del VLA sia credibile, il checkpoint preaddestrato debba dimostrare capacità osservabili ed eseguibili su hardware fisico prima di qualsiasi adattamento specifico al compito.

Metodologia

Wall-OSS-0.5 è un modello VLA open-source da 4 miliardi di parametri costruito su un backbone VLM da 3 miliardi di parametri (Qwen2.5-VL-3B-Instruct). L'architettura e la strategia di addestramento sono progettate per soddisfare tre requisiti: eseguire abilità di manipolazione utili out-of-the-box, mantenere la competenza linguistico-visiva derivata dal VLM e fornire forti prior per l'adattamento a valle.

1. Architettura: Mixture-of-Transformers (MoT)

Il modello impiega un backbone Mixture-of-Transformers dove ogni layer contiene due esperti distinti:

• Esperto VL: Elabora visione, linguaggio, propriocezione e token di azione discreti.
• Esperto di Azione: Elabora segnali di azione continui per la generazione tramite flow-matching.
  Fondamentalmente, questi esperti condividono lo stesso contesto di attenzione a livello di sequenza. Ciò consente all'Esperto di Azione di prestare attenzione alle informazioni visive e linguistiche durante la generazione delle azioni, ma, cosa più importante, assicura un flusso di gradiente end-to-end tra gli esperti. Questa è una decomposizione di routing piuttosto che un meccanismo di interruzione del gradiente, permettendo alla via d'azione continua di plasmare il backbone durante l'addestramento.

2. Co-training con Ponte di Gradiente (Gradient-Bridged Co-Training)

Il principale contributo metodologico è una ricetta di co-training a stadio singolo che ottimizza simultaneamente tre obiettivi complementari:

• Predizione di Token di Azione Discreti (Il Ponte di Gradiente): Il modello predice i token di azione Residual Vector Quantization (RVQ) in modo autoregressivo. Questo fornisce un forte segnale di cross-entropy nativo del VLM che aggiorna il backbone in una direzione allineata al controllo. Funge da driver primario per gli aggiornamenti del backbone.
• Cross-Entropy Multimodale (L'Ancora): Addestrato su dati vision-language radicati, questo obiettivo preserva il seguito delle istruzioni, il grounding visivo e la comprensione della scena. La sua direzione di aggiornamento è ampiamente ortogonale all'ottimizzazione dell'azione, impedendo al modello di perdere le capacità generali del VLM.
• Flow Matching Continuo (L'Interfaccia di Deployment): L'Esperto di Azione è addestrato per generare chunk di azione continui utilizzando il flow matching. Sebbene questo definisca l'obiettivo di esecuzione, gli studi di ablazione mostrano che contribuisce solo una piccola parte (~5%) degli aggiornamenti del backbone rispetto alle perdite di cross-entropy.

Insight Chiave: Il percorso discreto funge principalmente da "ponte di gradiente" durante l'addestramento per plasmare il backbone, mentre il percorso continuo serve come interfaccia durante il deployment.

3. Tokenizer di Azione RVQ Allineato alla Visione

Per sostituire i tokenizer basati su regole (come FAST), gli autori introducono un tokenizer Residual Vector Quantization (RVQ) allineato alla visione appreso. Esso comprime le sequenze di delta-azione condizionate dall'osservazione in token discreti. A differenza dei compressori standard, è addestrato con obiettivi ausiliari:

• Allineamento Visivo-Azione: Tira i latenti dell'azione verso le feature visive del VLM.
• Predizione del Prossimo Frame: Incoraggia i token a codificare le conseguenze dell'azione.
• Ricostruzione nel Dominio DCT: Sopprime il jitter ad alta frequenza.
  Ciò assicura che i token discreti siano semanticamente significativi per il backbone VLM.

4. Supervisione dello Spazio d'Azione

Per l'obiettivo di flow-matching, gli autori propongono la Supervisione dello Spazio d'Azione. Invece di minimizzare la perdita sul campo di velocità (flow matching standard), la perdita è definita sull'azione recuperata stessa. Questa formulazione pesa efficacemente la perdita per $(1-\tau)^2$, enfatizzando i timestep ad alto rumore dove si forma la struttura globale della traiettoria. Ciò si allinea con la struttura spettrale delle azioni robotiche, che concentrano la struttura utile del compito nelle tendenze a bassa frequenza.

5. Dati e Inferenza

• Dati: Il modello è preaddestrato su un mix di oltre 1 milione di traiettorie robotiche per epoca (da oltre 20 embodiment) e un corpus multimodale da 90 milioni di campioni. Il corpus include campioni "embodied bridge" sintetizzati da traiettorie d'azione per collegare direttamente la comprensione multimodale al comportamento eseguibile.
• Inferenza: Uno stack di inferenza di classe deployment che utilizza CUDA Graphs e kernel fusi ottiene un'accelerazione di 4× rispetto alla modalità PyTorch eager, sostenendo 15 Hz di controllo ad alta risoluzione.

Risultati Chiave

Prestazioni Zero-Shot su Robot Reale

Valutato su una suite di 17 task su robot reale (inclusi compiti deformabili tenuti fuori dal training) senza alcun fine-tuning specifico per il compito, il Wall-OSS-0.5 preaddestrato raggiunge comportamenti non banali:

• Sorting di Blocchi: 100% di progresso del task.
• Sorting di Frutta: 96%.
• Impilamento di Anelli: 86%.
• Stringimento di Corda (Deformabile, tenuto fuori dal training): 82%.
  Il modello dimostra che il solo pretraining produce capacità di manipolazione riutilizzabili, particolarmente per compiti dominati dal grounding semantico.

Prestazioni di Fine-Tuning

Dopo il fine-tuning su 15 task robotici reali:

• Wall-OSS-0.5 raggiunge una media del 60,5% di progresso del task.
• Supera $\pi_{0.5}$ del 17,5% (60,5% vs 43,0%) e DreamZero del 27,1%.
• È in testa su 10 dei 15 task, mostrando guadagni significativi nella manipolazione (61,1% vs 35,0% per $\pi_{0.5}$).

Comprensione Multimodale

Il co-training non erode la competenza generale vision-language. Sebbene la performance VQA generale regredisca leggermente (un compromesso per la specializzazione), l'embodied grounding migliora significamente:

• Embodied Grounding: +21,8% di guadagno.
• Where2Place: +11,0% di guadagno.
  Ciò conferma che il modello rafforza la percezione incarnata senza perdere le sue capacità fondamentali di VLM.

Studi di Ablazione

• Co-training vs Alternative: La strategia completa di co-training con ponte di gradiente supera gli approcci "flow-only", "stop-gradient" e "two-stage" di 7,4–25,1 punti percentuali nei task su robot reale.
• Perdita nello Spazio d'Azione: Migliora la velocità di convergenza e la performance di picco (96,5% di tasso di successo) rispetto alla perdita nello spazio di velocità in simulazione.
• Tokenizer RVQ: Supera i tokenizer FAST sia nella precisione VQA (+1,8%) che nel progresso del task (+18,9%).

Significato e Rivendicazioni

Il paper rivendica di riposizionare il pretraining VLA da una mera strategia di inizializzazione a una fonte di capacità robotica direttamente testabile e già utile.

1. Il Pretraining Produce Comportamento Eseguibile: I risultati dimostrano che il pretraining VLA su larga scala può produrre comportamenti zero-shot misurabili e ad alto progresso su robot fisici, sfidando l'idea che il pretraining sia utile solo per il fine-tuning a valle.
2. Il Ponte di Gradiente è Decisivo: Gli autori sostengono che i token di azione discreti non sono solo un artefatto di deployment, ma un meccanismo di addestramento critico. Essi forniscono il forte segnale di gradiente necessario per plasmare il backbone VLM verso il controllo, un ruolo che il solo flow matching continuo non riesce a soddisfare efficacemente.
3. Architettura Unificata: Utilizzando un'architettura MoT con attenzione condivisa, Wall-OSS-0.5 integra con successo la generazione di azioni senza interrompere il flusso di gradiente verso il backbone VLM, permettendo al modello di apprendere caratteristiche rilevanti per il controllo pur mantenendo la comprensione semantica.
4. Benchmark Open-Source: Rilasciando un modello da 4B che funziona immediatamente, gli autori forniscono un nuovo benchmark per valutare la "capacità preaddestrata" piuttosto che solo la "capacità fine-tuned".

Gli autori concludono che un pretraining VLA sufficientemente su larga scala può produrre un comportamento robotico reale, e che il checkpoint risultante serve come un prior sostanzialmente più forte per l'adattamento a valle rispetto ai precedenti approcci.