Riassunto Tecnico: I Sottospazi Primitivi Mediano il Trasferimento Few-Shot nei VLA

Definizione del Problema

L'implementazione di policy Vision-Language-Action (VLA) in ambienti industriali è attualmente ostacolata dagli elevati costi di riaddestramento. La procedura standard di deployment prevede la raccolta di dimostrazioni specifiche per il compito e l'affinamento (fine-tuning) del VLA per ogni nuovo compito o variante di prodotto. Questo approccio scala linearmente con il costo di raccolta e richiede un'infrastruttura significativa, rendendolo impraticabile in contesti con cambiamenti continui dei processi. Il paper investiga se i VLA possano acquisire nuovi compiti al momento del test, condizionati da un piccolo numero di dimostrazioni, senza alcun aggiornamento dei pesi. Nello specifico, gli autori ipotizzano che la struttura dei dati di addestramento sia fondamentale: ipotizzano che i VLA addestrati con una supervisione esplicita a livello di primitiva apprendano rappresentazioni più compositive rispetto a quelli addestrati su traiettorie di compiti "piatti" (flat), consentendo un migliore trasferimento few-shot.

Metodologia

Design Sperimentale

Gli autori hanno condotto un esperimento controllato utilizzando un design $2 \times 2$ incrociato con due distinte architetture VLA:

1. OpenVLA: Un modello autoregressivo da 7 miliardi di parametri basato su Llama-2.
2. $\pi_0.5$: Una policy di flow-matching con chunk di azione a 16 step basata su PaliGemma.

Entrambe le architetture sono state sottoposte a fine-tuning utilizzando ricette LoRA corrispondenti (rank 32, $\alpha=64$, learning rate $5 \times 10^{-5}$) e mantenendo invariati gli iperparametri attraverso tre seed di addestramento. L'unica variabile era la vista dei dati di addestramento:

• Addestramento Flat (Flat Training): Gli episodi erano coppie di compiti contigui (ad es. "prendi e inserisci") con prompt linguistici di alto livello.
• Addestramento con Primitive (Primitive Training): Gli episodi erano segmentati in singole azioni primitive (ad es. "prendi" o "inserisci") con prompt linguistici specifici per la primitiva.

Dataset e Valutazione

• Dataset Primario: REASSEMBLE, un dataset di assemblaggio industriale ricco di contatti basato sul benchmark NIST Assembly Task Board 1.
• Dataset di Replicazione: LIBERO-Long, un benchmark di manipolazione domestica con strutture di compiti multi-step.
• Compiti Esclusi (Held-Out Tasks): Sei combinazioni specifiche (oggetto, sequenza-di-compito) sono state interamente escluse dall'addestramento. Questi compiti variavano per oggetto (oggetti con primitive viste in addestramento ma in nuove combinazioni), sequenza di compiti (primitive in nuovi ordini) e distanza compositiva. È stato testato anche un compito fuori vocabolario (che richiedeva un tipo di primitiva assente dall'addestramento).
• Protocollo Few-Shot: Al momento del test, i modelli ricevevano una descrizione del compito ad alto livello e $m \in \{0, 1, 3, 5, 10\}$ episodi di dimostrazione. Le dimostrazioni erano codificate tramite feature dell'encoder visivo e preposte al prompt linguistico. I modelli eseguivano le azioni senza aggiornamenti dei pesi.

Intervento Causale

Per stabilire la causalità, gli autori hanno impiegato un intervento di ablazione del sottospazio:

1. Linear Probing: Hanno addestrato probe lineari sugli stati nascosti per identificare le direzioni che codificano l'identità della primitiva.
2. Ablazione: Al momento dell'inferenza, hanno proiettato gli stati nascosti sul complemento ortogonale del sottospazio identificabile come decodificabile per la primitiva (layer 24), rimuovendo efficacemente l'informazione della primitiva.
3. Controllo: È stato ablato un sottospazio casuale di uguale dimensionalità per garantire che l'effetto fosse specifico per le rappresentazioni delle primitive.

Correzione Metodologica

Gli autori hanno identificato un artefatto di "inflazione family-wise" nella valutazione delle policy a chunk. L'applicazione di gate del range di azione a singolo step elemento per elemento su chunk di 16 step produceva tassi di falso fallimento del 40–42% rispetto alle dimostrazioni umane reali. Hanno proposto e implementato un gate corretto a livello di elemento, calibrato rispetto alle distribuzioni dei chunk reali, per garantire una valutazione equa.

Risultati Chiave

Efficienza del Trasferimento Few-Shot

I modelli addestrati con primitive hanno dimostrato un significativo vantaggio di efficienza campionaria rispetto ai modelli addestrati con approccio flat:

• Gap di Performance: Con $m=3$ dimostrazioni, i modelli addestrati con primitive hanno raggiunto tassi di successo di 0,62–0,66, mentre i modelli addestrati con approccio flat hanno raggiunto solo 0,31–0,34 (un vantaggio di circa $\approx 2\times$).
• Saturazione: I modelli addestrati con primitive hanno saturato a $m=5$, raggiungendo il 78% del limite superiore del full fine-tuning. I modelli addestrati con approccio flat richiedevano $m=10$ per raggiungere lo stesso livello di performance, indicando un gap di efficienza campionaria di $3\times$.
• Robustezza: Questo vantaggio si è replicato in entrambe le architetture (OpenVLA e $\pi_0.5$), in tre seed di addestramento e nella replicazione cross-dataset su LIBERO-Long.

Evidenza Causale

L'intervento di ablazione del sottospazio ha confermato la necessità delle rappresentazioni delle primitive:

• L'ablazione del sottospazio decodificabile per la primitiva ha causato un calo di 32 punti percentuali nel successo few-shot (ad es. da 0,62 a 0,30 per OpenVLA).
• L'ablazione di un sottospazio casuale di uguale dimensionalità ha avuto un effetto trascurabile (entro il rumore di campionamento), confermando che la rappresentazione decodificabile per la primitiva è causalmente necessaria per il trasferimento, non meramente correlata.

Confronti con i Baseline

Il trasferimento few-shot consapevole delle primitive ha superato significativamente diversi baseline a $m=3$:

• Sequenziamento zero-shot delle primitive: +35 punti percentuali.
• Baseline condizionato da dimostrazioni stile Octo: +21 a 22 punti percentuali.
• Diffusion Policy: Superato con un margine significativo.

Limitazioni e Modalità di Fallimento

Il paper nota che l'addestramento consapevole delle primitive non migliora universalmente le prestazioni. Su compiti che richiedono primitive fuori vocabolario (ad es. un'azione di "rotazione per l'ingaggio" non presente nel vocabolario di addestramento), i modelli addestrati con primitive hanno performato peggio dei modelli addestrati con approccio flat. Gli autori ipotizzano che i modelli addestrati con primitive tentino di mappare le nuove dimostrazioni alla primitiva nota più vicina, mentre i modelli addestrati con approccio flat possano apprendere il nuovo comportamento in modo più flessibile.

Significato e Rivendicazioni

Il paper rivendica di fornire il primo confronto controllato che dimostra come l'addestramento consapevole delle primitive produca un artefatto trasferibile: una libreria di sub-skill che possono essere composte al momento dell'inferenza.

• Meccanismo: Gli autori stabiliscono che la supervisione esplicita delle primitive durante l'addestramento disaccoppia le rappresentazioni delle sub-skill dai contesti dei compiti, creando un "sottospazio decodificabile per la primitiva" negli stati nascosti che è causalmente necessario per il trasferimento few-shot.
• Impatto Pratico: Per l'implementazione industriale, i risultati suggeriscono che l'addestramento con segmentazione delle primitive permette a un VLA di recuperare circa il 90% delle prestazioni del full fine-tuning con solo 5 dimostrazioni, riducendo drasticamente i costi e i tempi di inattività associati al riaddestramento per nuove varianti di compito.
• Ambito: Le conclusioni sono modeste riguardo alla generalizzazione; il vantaggio si mantiene per i compiti che ricombinano tipi di primitive noti, ma si inverte quando i compiti richiedono primitive fondamentalmente nuove e assenti dal vocabolario di addestramento. I risultati sono attualmente limitati alla simulazione (REASSEMBLE e LIBERO-Long) e a due specifiche architetture.