Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models

Sintesi Tecnica: Sfruttare la Supervisione Offline per un Apprendimento per Rinforzo Efficiente e Generalizzabile in Grandi Modelli Vision-Language-Action

1. Definizione del Problema

Nel dominio dei modelli Vision–Language–Action (VLA), esiste un compromesso fondamentale tra l'efficienza dell'addestamento e la robustezza della policy. L'Apprendimento per Rinforzo (RL) online produce tipicamente una generalizzazione Out-of-Distribution (OOD) e una robustezza superiori rispetto ai metodi offline come il Supervised Fine-Tuning (SFT) o l'imitation learning. Tuttavia, l'RL online è computazionalmente costoso, richiedendo estese interazioni con l'ambiente. Al contrario, l'addestramento offline è più economico ma spesso fatica a gestire i cambiamenti di distribuzione.

Lavori recenti (ad es., Liu et al., 2025) hanno dimostrato che l'RL fine-tuning di grandi modelli VLA (specificamente OpenVLA con Low-Rank Adaptation, o LoRA) migliora significativamente le prestazioni OOD rispetto all'SFT, ma a un elevato costo di addestramento online. Ciò solleva una domanda critica: la supervisione offline può essere integrata nel processo di ottimizzazione RL non solo come inizializzazione, ma come un segnale di addestramento strutturato che migliori l'efficienza senza sacrificare i benefici di robustezza derivanti dall'adattamento online?

2. Metodologia

Gli autori investigano strategie di addestramento ibrido offline–online per il fine-tuning tramite RL a parametri efficienti di grandi modelli VLA. Gli esperimenti utilizzano l'architettura OpenVLA, dove il modello base rimane congelato e viene ottimizzato solo un adattatore LoRA. Lo studio confronta lo standard Proximal Policy Optimization (PPO) con due varianti guidate che incorporano la supervisione offline:

• Regolarizzazione della Policy di Riferimento (RefKL): Questa variante aumenta l'obiettivo standard di PPO con una penalità di divergenza di Kullback–Leibler (KL). La policy è regolarizzata per rimanere vicina a un modello di riferimento SFT congelato ($\pi_{ref}$) durante gli aggiornamenti online. La funzione di perdita è:
  $$L(\theta) = L_{PPO}(\theta) + \beta L_{RefKL}(\theta)$$
  dove $L_{RefKL}$ penalizza la divergenza tra la policy corrente e il modello SFT congelato.

• Behavior Cloning Offline (DataBC): Questa variante aumenta PPO con una perdita di behavior cloning calcolata direttamente sul dataset di dimostrazioni offline ($D_{off}$). La funzione di perdita è:
  $$L(\theta) = L_{PPO}(\theta) + \beta L_{DataBC}(\theta)$$
  dove $L_{DataBC}$ massimizza la verosimiglianza delle azioni esperte nel dataset offline.

• Programmazione a Curriculum (Curriculum Scheduling): Per evitare che la supervisione offline ostacoli l'adattamento RL nelle fasi finali, gli autori impiegano uno schema di curriculum per il peso di regolarizzazione $\beta$. Il peso viene mantenuto costante per una fase iniziale (100k step), viene attenuato linearmente durante i successivi 200k step e impostato a zero successivamente, permettendo alla policy di transire verso un'ottimizzazione RL pura.

• Baseline: Lo studio include una baseline PPO standard e una variante in cui PPO è inizializzato direttamente dall'adattatore LoRA SFT (SFT-init) senza termini di guida aggiuntivi durante l'addestramento.

3. Contributi Chiave

• Framework di Addestramento Ibrido: Il documento formula e valuta due varianti di PPO guidate dall'offline (RefKL e DataBC) specificamente per il fine-tuning basato su LoRA di grandi modelli VLA.
• Risoluzione del Compromesso Efficienza-Robustezza: Gli autori dimostrano che la guida offline può migliorare significativamente l'efficienza dell'addestramento preservando i benefici di generalizzazione OOD tipicamente associati all'RL puro.
• Analisi Empirica: Lo studio fornisce un confronto controllato dei meccanismi di guida, analizzando la sensibilità alla forza di regolarizzazione ($\beta$) e l'impatto della programmazione a curriculum. Evidenzia come la guida tramite policy di riferimento (RefKL) offra un segnale di ottimizzazione più stabile rispetto al direct behavior cloning sui dati offline.

4. Risultati

Gli esperimenti sono stati condotti sul benchmark RL4VLA utilizzando il modello OpenVLA, valutando le prestazioni sia su compiti In-Distribution (IND) che OOD (coprendo shift di visione, linguaggio e azione).

• Efficienza dell'Addestramento: A 1 milione di step di ambiente, entrambe le varianti guidate (RefKL e DataBC) hanno superato la standard PPO addestrata per la stessa durata in tutti i parametri. Notevolmente, la variante RefKL ha raggiunto prestazioni OOD comparabili a un modello PPO standard addestrato per 2 milioni di step, dimezzando efficacemente il budget di addestramento online richiesto.
• Metriche di Performance:
  • RefKL (1M step): Ha raggiunto un tasso di successo OOD medio di 0,77, eguagliando la performance finale della baseline PPO a 2M step (0,77).
  • DataBC (1M step): Ha raggiunto un tasso di successo OOD medio di 0,74, superando anche la PPO standard a 1M step (0,64).
  • SFT-Init: Sebbene partisse da una baseline più alta rispetto alla PPO standard, la PPO inizializzata con SFT ha mostrato un adattamento più lento e si è mantenuta al di sotto dei metodi guidati al traguardo di 1M step.
• Sensibilità alla Regolarizzazione: Una regolarizzazione iniziale più forte ($\beta$) era correlata a tassi di successo più elevati. Tuttavia, uno schema con $\beta$ costante non ha superato lo schema a curriculum e ha introdotto un overhead computazionale non necessario.
• Generalizzazione: I metodi guidati hanno mantenuto forti capacità OOD, particolarmente negli shift di azione, che sono spesso difficili da gestire per i metodi puramente offline.

5. Significato e Rivendicazioni

Il documento sostiene che la supervisione offline e l'RL siano segnali complementari piuttosto che competitivi nel contesto dell'adattamento VLA. Il significato primario del lavoro risiede nel dimostrare che la guida offline funge da efficace prior di ottimizzazione. Essa stabilizza la fase iniziale dell'addestramento RL quando i segnali on-policy sono deboli, permettendo alla policy di sfruttare più efficacemente le rappresentazioni pre-addestrate.

Gli autori concludono che questo approccio ibrido offre una soluzione pratica all'alto costo dell'RL online: riduce la quantità di interazione con l'ambiente necessaria per raggiungere un comportamento di policy forte, mantenendo i vantaggi di robustezza dell'RL rispetto all'addestramento puramente offline. La guida tramite policy di riferimento (RefKL) è identificata come la formulazione più efficace e coerente per questo scenario. Il lavoro suggerisce che, per l'adattamento a parametri efficienti di grandi modelli, i prior offline strutturati possono accelerare la scoperta di strategie online efficaci senza indurre un dimenticato catastale (catastrophic forgetting) o limitare la generalizzazione OOD.