Riepilogo Tecnico: Z-1 – Apprendimento per Rinforzo Efficiente per Modelli Vision-Language-Action

1. Definizione del Problema

I modelli Vision-Language-Action (VLA) sono emersi come un framework promettente per la manipolazione robotica, unificando istruzioni linguistiche, osservazioni visive e controllo continuo. Tuttavia, le attuali politiche allo stato dell'arte (SOTA) sono prevalentemente addestrate tramite Behavior Cloning (BC) o Supervised Fine-Tuning (SFT) su dimostrazioni umane fisse. Questa dipendenza dall'apprendimento per imitazione presenta due criticità fondamentali:

1. Generalizzazione Limitata: Le prestazioni sono vincolate dalla copertura dei dati di dimostrazione. In compiti a lungo orizzonte o composizionali, piccoli errori di previsione possono accumularsi, spingendo il robot in stati scarsamente rappresentati nei dati di addestramento.
2. Incapacità di Autocorrezione: BC e SFT mancano di meccanismi per migliorare a partire dai fallimenti della politica stessa. Non possono ottimizzare il successo del compito attraverso l'interazione per tentativi ed errori, il che è essenziale per raffinare comportamenti di manipolazione complessi.

Sebbene il post-addestramento tramite Reinforcement Learning (RL) offra una via per superare questi limiti ottimizzando le ricompense a livello di compito, l'applicazione dell'RL ai modelli VLA basati su flow rimane problematica. Gli ostacoli principali includono l'alto costo della generazione di rollout, la scarsità delle ricompense e la difficoltà di correggere i fallimenti derivanti dal grounding visivo o dal ragionamento spaziale quando il backbone vision-language è congelato.

2. Metodologia: Il Framework Z-1

Z-1 è un framework di post-addestramento RL modulare progettato specificamente per modelli VLA basati su flow. Costruito sul modello base pre-addestrato $\pi_0.5$, Z-1 impiega una pipeline di addestramento a due stadi utilizzando esclusivamente le dimostrazioni rilasciate pubblicamente di RoboCasa.

Stadio 1: Per-Scene Supervised Fine-Tuning (SFT)

La pipeline inizia adattando $\pi_0.5$ all'ambiente RoboCasa. Invece di addestrare un modello separato per ogni compito, Z-1 esegue un per-scene SFT (raggruppando i compiti per categoria di scena, ad esempio: porte, cassetti, lavandini). Questo approccio migliora l'efficienza dei dati sfruttando layout degli oggetti e primitive di manipolazione condivisi all'interno di una scena. Sia il modulo vision-language che l'esperto d'azione vengono aggiornati durante questo stadio per produrre un'inizializzazione robusta.

Stadio 2: Task-Wise Group Relative Policy Optimization (GRPO)

Dopo l'SFT, Z-1 applica una strategia di post-addestramento GRPO specifica per il compito. A differenza del RL standard che tratta i rollout come traiettorie complete indipendenti, Z-1 introduce quattro componenti modulari chiave per migliorare efficienza e stabilità:

• Shared-Prefix GRPO: Per affrontare il problema in cui le fasi iniziali di "approccio" variano significativamente diluendo i segnali di ricompensa, Z-1 forza i rollout all'interno di un gruppo GRPO a condividere un prefisso comune. Lo stato del simulatore al punto di ramificazione viene clonato, e solo i suffissi (azioni post-ramificazione) vengono campionati indipendentemente. Ciò assicura che i confronti relativi al gruppo si concentrino sulle fasi di interazione critiche per il compito piuttosto che su variazioni di approccio ridondanti.
• Tree-Structured Prefix Branching: Per compiti che richiedono raffinamento durante la fase di approccio, Z-1 generalizza l'approccio a prefisso condiviso piatto. Introduce punti di ramificazione intermedi all'interno del prefisso, creando un albero di cluster di rollout. Ciò riduce l'over-masking, permettendo a segmenti parzialmente condivisi di contribuire al segnale di apprendimento pur riducendo la computazione ridondante.
• Success-Aware Reward Decay: Per gestire ricompense sparse dove tutti i traiettori di successo sono trattati ugualmente, Z-1 introduce un fattore di decadimento basato sul tempo di completamento ($\tilde{r}_i = r \cdot \gamma^{d_i}$). Le esecuzioni di successo più rapide riceviano ricompense più elevate. Crucialmente, per i gruppi in cui tutti i rollout hanno successo, Z-1 utilizza un ordinamento di baseline minima non negativa ($A_i = R_i - \min_j R_j$) invece della normalizzazione della media. Ciò evita che i rollout di successo più lenti ricevano vantaggi negativi, evitando la sovra-penalizzazione di esecuzioni affidabili ma lente.
• Selective VLM–Action Expert Joint Training (Sel-JT): Mentre il VLA-RL standard spesso congela il backbone vision-language, Z-1 seleziona dinamicamente se aggiornare il Modello Vision-Language insieme all'Esperto d'Azione. Questa decisione si basa su diagnostiche di fase di addestramento (ad esempio, tassi di successo SFT, modalità di fallimento). Se i fallimenti sono attribuiti a un scarso grounding visivo o ragionamento spaziale piuttosto che a un controllo di basso livello, il VLM viene scongelato per consentire la co-adattazione percezione-azione.

3. Contributi Chiave

Il documento presenta i seguenti contributi:

1. Framework Z-1: Un framework di post-addestramento GRPO modulare per modelli VLA basati su flow che opera efficacemente con soli dati di dimostrazione pubblici, evitando la necessità di dataset privati.
2. Nuova Costruzione di Rollout: La proposta di Shared-Prefix GRPO e Tree-Structured Prefix Branching per ridurre la simulazione ridondante e concentrare l'ottimizzazione sui segmenti di interazione critici.
3. Innovazioni nel Reward e nell'Addestramento: Lo sviluppo di Success-Aware Reward Decay per fornire un feedback più fine sulla velocità di completamento senza densità di reward shaping, e Selective Joint Training per adattare i moduli di percezione solo quando necessario.
4. Nuova Performance SOTA: L'instaurazione di un nuovo tasso di successo medio allo stato dell'arte sul benchmark RoboCasa sotto impostazioni di dimostrazione pubblica.

4. Risultati Sperimentali

Z-1 è stato valutato su 24 compiti di manipolazione standard di RoboCasa attraverso 7 categorie (porte, cassetti, pick-and-place, microonde, lavandino/rubinetto, fornello e preparazione del caffè).

• Guadagno di Performance: Z-1 RL ha migliorato il tasso di successo medio dal 67,4% (inizializzazione SFT) all'80,6%, un guadagno di 13,2 punti percentuali.
• Confronto con SOTA: Z-1 RL ha superato i risultati precedentemente pubblicati, inclusi GR00T, GR00T N1.5, Video Policy e X-WAM. Nello specifico, ha superato X-WAM (il baseline più forte nel confronto) di 1,4 punti percentuali in media, nonostante X-WAM utilizzi informazioni di profondità mentre Z-1 si affida esclusivamente a dimostrazioni pubbliche.
• Miglioramenti Specifici per Compito:
  • Cassetti e Lavandino/Rubinetto: Sono stati osservati miglioramenti significativi (ad esempio, Cassetto: 83,4% $\to$ 96,1%; Lavandino: 63,2% $\to$ 94,3%), dimostrando l'efficacia della costruzione di rollout basata su prefisso per compiti che richiedono una manipolazione precisa post-approccio.
  • Pick-and-Place: Sono stati raggiunti guadagni sostanziali (53,9% $\to$ 70,9%).
  • Compiti con Fornello: Sebbene Z-1 sia migliorato rispetto al suo baseline SFT, rimane leggermente al di sotto di X-WAM, indicando che i compiti che richiedono trasporto a lungo orizzonte complesso e recupero robusto presentano ancora sfide.
• Studi di Ablazione:
  • Le varianti basate su prefisso (Shared-Prefix e Tree-Structured) hanno costantemente superato il vanilla GRPO, con Tree-Structured che offre una performance di picco più elevata quando l'addestramento rimane stabile.
  • Il Selective Joint Training (Sel-JT) ha superato significativamente l'addestramento solo sull'Esperto d'Azione in compiti difficili come "TurnOnStove", validando la necessità di adattare le rappresentazioni visive quando il grounding è insufficiente.
  • Il Success-Aware Reward Decay ha fornito miglioramenti del tasso di successo più rapidi e stabili rispetto alle penalità di reward standard, che tendevano a essere eccessivamente aggressive.

5. Significato e Rivendicazioni

Il documento afferma che un post-addestramento GRPO sistematico può migliorare sostanzialmente le politiche VLA basate su flow senza fare affidamento su ulteriori dimostrazioni private.

Gli autori sottolineano che Z-1 dimostra la fattibilità del RL online per i modelli VLA affrontando specifiche inefficienze nella generazione di rollout e nella calibrazione delle ricompense. I risultati suggeriscono che con un design accurato — specificamente attraverso la costruzione a prefisso condiviso, la calibrazione della ricompensa consapevole del completamento e la selezione adattiva dei moduli — il RL può efficacemente raffinare le politiche oltre i limiti dell'apprendimento per imitazione. Il lavoro stabilisce un nuovo benchmark per l'addestramento VLA basato solo su dati pubblici, mostrando che i miglioramenti algoritmici nel post-addestramento possono produrre guadagni di performance comparabili o superiori a modelli addestrati con dati più estesi o proprietari.