Offline Semantic Guidance for Efficient Vision-Language-Action Policy Distillation

Riepilogo Tecnico: Guida Semantica Offline per la Distillazione Efficiente delle Politiche Vision-Language-Action

Enunciato del Problema
Le politiche Vision-Language-Action (VLA) con miliardi di parametri hanno dimostrato una forte generalizzazione nella manipolazione robotica, ma incontrano barriere significative al dispiegamento in tempo reale a causa delle loro dimensioni e della latenza di inferenza. Sebbene la distillazione di questi modelli di grandi dimensioni in politiche studente compatte tramite Clonazione Comportamentale (BC) standard sia una soluzione comune, introduce una vulnerabilità critica: l'accumulo di errori. Poiché i dataset per singoli compiti coprono spazi di stati limitati, le politiche studente soffrono spesso di spostamenti di distribuzione durante l'esecuzione in ciclo chiuso, portando al fallimento anche quando l'accuratezza della previsione delle azioni offline è elevata. Inoltre, la BC standard manca di ancoraggio semantico, rendendo gli studenti sensibili alle azioni rumorose dell'insegnante (ad esempio, oscillazioni ad alta frequenza del gripper) e incapaci di inferire la logica di alto livello del compito.

Metodologia: VLA-AD
Gli autori propongono VLA-AD, un framework di distillazione che utilizza un Modello Vision-Language (VLM) come supervisore semantico offline per trasferire conoscenza da grandi insegnanti VLA (ad esempio, OpenVLA-7B, $\pi_0.5$-4B) a politiche studente leggere. L'innovazione centrale è un meccanismo di supervisione parallela a doppio percorso in cui il VLM è attivo solo durante l'addestramento e completamente rimosso al momento del dispiegamento, garantendo zero latenza aggiuntiva di inferenza.

I componenti chiave della metodologia includono:

1. Supervisione a Doppio Percorso: Lo studente viene addestrato per minimizzare una funzione di perdita combinata composta da:
   • Percorso Completo ($L_{full}$): Supervisionato dagli obiettivi di azione a 7 gradi di libertà (7-DoF) dell'insegnante, condizionato da osservazioni visive grezze, istruzioni del compito e descrizioni semantiche generate dal VLM.
   • Percorso Solo Immagine ($L_{img}$): Supervisionato dagli stessi obiettivi di azione ma mascherato dalla descrizione testuale. Ciò impedisce allo studente di collassare in una scorciatoia "solo descrizione", costringendo il codificatore visivo a rimanere autosufficiente.
2. Descrizione Visiva Ancorata alla Fase: Per mitigare la stocasticità linguistica dei VLM (dove lo stesso stato potrebbe essere descritto diversamente), gli autori impiegano un classificatore euristico per assegnare un'etichetta di fase fissa a 9 classi (ad esempio, avvicinamento, presa, trasporto, posizionamento) a ogni fotogramma. Questa etichetta viene iniettata nel prompt del VLM, costringendo il modello a generare descrizioni ancorate a un sistema di coordinate semantiche coerente.
3. Direzione Operativa Multi-Fotogramma: Per le fasi che coinvolgono ambiguità direzionale (ad esempio, aprire un cassetto), il sistema estrae una finestra temporale di 5 fotogrammi. Il VLM analizza questa sequenza per determinare una tupla specifica (elemento, direzione) (ad esempio, maniglia-cassetto, verso l'esterno), che viene poi trasmessa a tutti i fotogrammi in quel segmento per risolvere l'ambiguità temporale.
4. Robustezza al Rumore: Ancorando lo studente ad ancoraggi di fase stabili piuttosto che ad azioni a livello di fotogramma grezze e rumorose, il framework permette allo studente di attenuare errori ad alta frequenza (come capovolgimenti spurii del gripper) presenti nella traiettoria dell'insegnante.

Contributi Chiave

• Distillazione Senza Sovraccarico Assistita da VLM: Il framework comprime insegnanti VLA su scala di miliardi in studenti compatti (ad esempio, 158 milioni di parametri) utilizzando guida semantica offline. Il VLM non è richiesto durante l'inferenza, preservando le prestazioni a bassa latenza.
• Generalizzazione Indipendente dall'Insegnante: La pipeline di supervisione semantica si generalizza attraverso diverse architetture di insegnanti. La stessa strategia di distillazione trasferisce con successo la conoscenza sia da OpenVLA-7B che da $\pi_0.5$-4B, suggerendo che gli ancoraggi semantici appresi catturano strutture di manipolazione trasferibili piuttosto che semplicemente imitare la distribuzione delle azioni di un insegnante specifico.
• Ancoraggi Semantici Strutturati: L'introduzione di ancoraggi di fase e indizi direzionali multi-fotogramma fornisce allo studente un contesto spaziotemporale coerente, riducendo la sensibilità alle etichette rumorose dell'insegnante e migliorando la robustezza in ciclo chiuso.

Risultati Sperimentali
Valutati sui suite di benchmark LIBERO (libero_object, libero_spatial, libero_goal), i risultati dimostrano:

• Parità di Prestazioni: Utilizzando OpenVLA-7B come insegnante, lo studente da 158 milioni di parametri raggiunge prestazioni con un divario relativo medio di 0,27% su tre suite, eguagliando efficacemente l'insegnante.
• Superamento dell'Insegnante: Quando distillato dall'insegnante $\pi_0.5$-4B, lo studente supera l'insegnante in due delle tre suite (libero_object e libero_spatial) e rimane entro 0,53% su libero_goal.
• Efficienza di Inferenza: Su una RTX 4090, lo studente distillato esegue a 12,5 Hz (insegnante OpenVLA) e 13,2 Hz (insegnante $\pi_0.5$), rappresentando un accelerazione da 3,28× a 3,45× rispetto ai rispettivi insegnanti, con una riduzione di 44× nei parametri del modello.
• Robustezza al Rumore: L'analisi delle espansioni (rollouts) dell'insegnante ha rivelato rumore sistematico ad alta frequenza del gripper (circa il 3% dei fotogrammi). Lo studente VLA-AD ha ridotto i capovolgimenti spurii del gripper di 9 volte rispetto all'insegnante, dimostrando la capacità di filtrare etichette auto-annullanti attraverso la supervisione a livello di fase.

Significato
Il paper afferma che VLA-AD fornisce una via pratica per il dispiegamento di politiche VLA compatte e robuste su piattaforme robotiche reali. Sfruttando i VLM come annotatori offline piuttosto che come controllori online, il metodo inietta una struttura semantica di alto livello nell'apprendimento della politica senza compromettere le velocità di inferenza in tempo reale. I risultati suggeriscono che la guida semantica può migliorare sostanzialmente l'efficienza, la robustezza e la possibilità di dispiegamento della distillazione delle politiche VLA, permettendo a modelli leggeri di apprendere comportamenti in ciclo chiuso che generalizzano oltre la distribuzione delle azioni grezze dei loro insegnanti.