Riassunto Tecnico: SemiVLA – Adattamento Vision-Language-Action Semi-Supervisionato

1. Definizione del Problema

Il paper affronta la sfida di adattare i modelli Vision-Language-Action (VLA) a nuovi robot, ambienti e distribuzioni di task quando le dimostrazioni con etichette di azione sono scarse. Sebbene i modelli VLA su larga scala (es. OpenVLA, $\pi_0$, GR00T) possiedano forti prior generalizzati, il fine-tuning di questi richiede tipicamente etichette di azione densamente campionate e a basso livello, che sono costose da raccogliere tramite teleoperazione.

Gli autori definiscono un setting di adattamento semi-supervisionato in cui:

• Un piccolo set di traiettorie ($D_l$) contiene una supervisione completa: osservazioni visive ($o$), istruzioni linguistiche ($q$) e azioni ground-truth ($a$).
• Un grande set di traiettorie ($D_u$) contiene solo osservazioni visive e istruzioni linguistiche, mancando delle etichette di azione.

La difficoltà principale risiede nella natura della supervisione mancante. A differenza del classico apprendimento semi-supervisionato (SSL) nella classificazione di immagini dove le pseudo-etichette sono classi discrete, le pseudo-etichette VLA sono segnali di azione incarnati (embodied). Questi devono essere:

1. Visivamente radicati (grounded) nell'osservazione.
2. Semanticamente coerenti con l'istruzione linguistica.
3. Fisicamente fattibili all'interno dello spazio d'azione del robot.
4. Temporalmente stabili attraverso la traiettoria.

L'applicazione diretta del convenzionale SSL (es. pseudo-labeling basato sulla confidenza) fallisce perché un modello VLA può assegnare un'alta confidenza a un'azione che è fisicamente impossibile o visivamente non radicata, portando a errori cumulativi nell'esecuzione in loop chiuso.

2. Metodologia: SemiVLA

Gli autori propongono SemiVLA, un framework di auto-distillazione teacher-student progettato per apprendere da pseudo-azioni affidabili su traiettorie non etichettate. Il metodo consiste in tre componenti primarie:

A. Pipeline di Addestramento

1. Warm-up Supervisionato: La policy student ($\pi_\theta$) viene prima sottoposta a fine-tuning sul set limitato etichettato ($D_l$) per stabilire una direzione di adattamento stabile per lo spazio d'azione target.
2. Inizializzazione del Teacher: La policy teacher ($\pi_\xi$) viene inizializzata dal student precedentemente riscaldato (warmed-up).
3. Apprendimento di Pseudo-Azioni per Auto-Distillazione:
   • Il teacher genera pseudo-azioni ($\hat{a}_t$) per le traiettorie non etichettate ($D_u$) utilizzando una vista "debole" dell'osservazione.
   • Lo student viene addestrato per corrispondere a queste pseudo-azioni su una vista "forte" (con perturbazioni come crop, jitter, rumore) solo se la pseudo-azione è ritenuta affidabile.
   • Lo student apprende attraverso una combinazione di perdita supervisionata (su $D_l$), perdita di auto-distillazione (su $D_u$ affidabile) e obiettivi di allineamento/coerenza.

B. Controller di Affidabilità Specifico per VLA

Per filtrare le pseudo-azioni rumorose, SemiVLA introduce un controller di affidabilità che calcola un punteggio $r_t$ come prodotto di tre segnali complementari:

1. Allineamento Vision-Language ($r^{vl}_t$): Misura la similarità del coseno tra l'embedding dell'istruzione linguistica e i relativi token visivi nell'osservazione. Ciò assicura che l'azione sia radicata negli oggetti/regioni corretti.
2. Fattibilità dell'Azione ($r^{act}_t$): Valuta la plausibilità fisica. Per azioni continue, penalizza le magnitudo elevate e i salti improvvisi (variazione temporale). Per i token di azione, controlla l'entropia della distribuzione e la coerenza.
3. Coerenza della Transizione Temporale ($r^{temp}_t$): Utilizza un predittore di transizione leggero per verificare se la pseudo-azione può spiegare la transizione visiva da $o_t$ a $o_{t+1}$. Un punteggio elevato indica che l'azione è dinamicamente coerente con la traiettoria osservata.

Solo le pseudo-azioni con un punteggio di affidabilità superiore a una soglia vengono utilizzate per l'addestramento.

C. Aggiornamento di Allineamento Proiettato su Bottleneck

Invece di aggiornare il teacher tramite una standard Exponential Moving Average (EMA), che può propagare aggiornamenti rumorosi dello student, SemiVLA impiega un Aggiornamento di Allineamento Proiettato su Bottleneck.

• Decomposizione: I parametri addestrabili sono divisi in un Gruppo di Allineamento Semantico (proiettori visivi, PEFT visione-linguaggio) e un Gruppo di Precisione dell'Azione (testa dell'azione, PEFT policy tardiva).
• Filtraggio:
  • Il gruppo semantico viene aggiornato solo se lo spazio visivo-linguistico è stabile (bassa sensibilità alle perturbazioni).
  • Il gruppo d'azione viene aggiornato solo se le pseudo-azioni sono fattibili e temporalmente coerenti.
• Proiezione: Lo spostamento dei parametri dello student ($\Delta$) è proiettato attraverso un gate di bottleneck prima di aggiornare il teacher. Ciò impedisce agli aggiornamenti visivi "sensibili ai disturbi" o alle correzioni d'azione instabili di contaminare il teacher, garantendo che il teacher rimanga un generatore di pseudo-azioni affidabile.

D. Inferenza

Al momento dell'inferenza, viene utilizzata solo la policy student. Il teacher, il controller di affidabilità e i meccanismi di aggiornamento vengono scartati, il che significa che SemiVLA non aggiunge costi di inferenza extra.

3. Contributi Chiave

1. Formulazione del Problema: Il paper formula esplicitamente l'adattamento VLA semi-supervisionato sotto segnali di supervisione limitati, distinguendolo dal classico fine-tuning supervisionato e dal convenzionale SSL evidenziando i vincoli unici dei segnali di azione incarnati.
2. Framework SemiVLA: Un'architettura teacher-student di auto-distillazione che sfrutta traiettorie visione-linguaggio non etichettate per migliorare l'adattamento senza richiedere etichette di azione dense.
3. Controller di Affidabilità: Un meccanismo innovativo che valuta le pseudo-azioni in base all'allineamento visione-linguaggio, alla fattibilità dell'azione e alla coerenza temporale, andando oltre le semplici soglie di confidenza.
4. Aggiornamento Proiettato su Bottleneck: Una strategia di aggiornamento del teacher che filtra il feedback dello student attraverso sottospazi stabili, prevenendo la contaminazione da rumore e migliorando la qualità del ciclo di auto-distillazione.
5. Validazione Empirica: Esperimenti completi che dimostrano come SemiVLA superi il fine-tuning supervisionato e gli esistenti baseline SSL su molteplici benchmark.

4. Risultati Sperimentali

Gli autori hanno valutato SemiVLA utilizzando OpenVLA come backbone sui benchmark LIBERO e CALVIN, con solo il 10% delle traiettorie contenenti etichette di azione.

• Performance su LIBERO:

  • SemiVLA + Selective LoRA ha raggiunto un tasso di successo medio dell'89.0%.
  • Ha superato il miglior baseline supervisionato (OpenVLA + LoRA, 81.0%) di 8.0 punti percentuali.
  • Ha inoltre superato significativamente lo zero-shot OpenVLA (69.8%) di 19.2 punti.
  • I guadagni sono stati particolarmente pronunciati su LIBERO-Long (task a lungo orizzonte), dove SemiVLA + Selective LoRA ha raggiunto l'82.3% rispetto al 70.3% di supervised LoRA.

• Generalizzazione Cross-Benchmark (CALVIN):

  • SemiVLA + Selective LoRA ha completato in media 2.58 task, rispetto a 1.86 per supervised Selective LoRA e 1.32 per lo zero-shot.
  • Ciò indica che il metodo migliora il trasferimento su diversi benchmark di manipolazione a lungo orizzonte, non solo sulla distribuzione di addestramento.

• Adattamento Few-Shot:

  • Nei setting 1-shot e 5-shot, SemiVLA ha costantemente superato i controparti supervisionati, dimostrando la sua capacità di compensare l'estrema scarsità di etichette di azione utilizzando dati non etichettati.

• Efficienza:

  • SemiVLA ottiene questi guadagni con metodi efficienti nei parametri (es. Selective LoRA con soli 31.6M di parametri addestrabili).
  • Non richiede il fine-tuning di tutti i parametri (7.0B di parametri) per raggiungere risultati allo stato dell'arte nel regime a etichette limitate.

• Studi di Ablazione:

  • Rimuovere il controller di affidabilità o l'aggiornamento bottleneck ha ridotto significativamente le performance, confermando che sia la qualità delle pseudo-azioni che il metodo di evoluzione del teacher sono critici.
  • Il controller di affidabilità completo (VL + Action + Temporal) era più rigoroso (accettando circa il 36.8% delle pseudo-azioni) ma ha prodotto tassi di successo più elevati rispetto ai metodi basati solo sulla confidenza, provando che la qualità rispetto alla quantità è essenziale per VLA.

5. Significato e Claim

Il paper sostiene che SemiVLA fornisce un meccanismo di adattamento semi-supervisionato generale che converte efficacemente le traiettorie visione-linguaggio prive di etichette d'azione in una supervisione affidabile.

• Efficienza dei Dati: Dimostra che policy robotiche ad alte prestazioni possono essere adattate con significativamente meno dimostrazioni etichettate, sfruttando l'abbondante disponibilità di dati visione-linguaggio non etichettati.
• Oltre la Confidenza: Il lavoro sostiene che le metriche di confidenza standard dello SSL siano insufficienti per il controllo incarnato; invece, l'affidabilità deve essere valutata attraverso la fattibilità fisica, l'ancoraggio visivo e la dinamica temporale.
• Robustezza: Il metodo migliora la generalizzazione a task non visti e perturbazioni ambientali (luce, distrattori), suggerendo che il controller di affidabilità aiuti il modello a imparare corrispondenze visione-linguaggio-azione stabili piuttosto che memorizzare specifiche dimostrazioni.
• Praticità: Aggiungendo nessun costo di inferenza e lavorando con il fine-tuning dei parametri efficiente, l'approccio è presentato come una soluzione pratica per implementare modelli VLA in contesti reali dove la raccolta di etichette d'azione rappresenta un collo di bottiglia.