Riepilogo Tecnico: Latent Policy Barrier (LPB)

Definizione del Problema

Le policy visuomotorie addestrate tramite Behavior Cloning (BC) sono intrinsecamente vulnerabili al covariate shift (spostamento della distribuzione delle covariate). In questo scenario, piccole deviazioni dalle traiettorie esperte durante l'esecuzione si accumulano nel tempo, spingendo l'agente verso stati fuori distribuzione (OOD - out-of-distribution) e portando al fallimento del compito.

Le attuali strategie di mitigazione presentano limitazioni significative:

• Correzioni con l'intervento umano (es. DAgger): Richiedono un esteso intervento umano, sono laboriose e spesso introducono dimostrazioni subottimali o incoerenti che degradano la qualità della policy.
• Aumento dei Dati Sintetici: Si basa su forti assunzioni o invarianze specifiche del compito e rischia di introdurre rumore che compromette la precisione dell'imitazione.
• Trade-off Fondamentale: Esiste una tensione tra la necessità di dati esperti di alta qualità e coerenti per un'imitazione precisa e la necessità di dati diversificati, spesso subottimali, per garantire la robustezza contro gli stati OOD. Costruire un singolo dataset che bilanci queste esigenze è una sfida complessa.

Metodologia: Latent Policy Barrier (LPB)

Ispirato alle Control Barrier Functions (CBF) nella teoria del controllo, LPB propone un framework che tratta la distribuzione latente delle dimostrazioni esperte come una barriera implicita che separa gli stati sicuri (in-distribution) dagli stati non sicuri (OOD). L'innovazione principale è il disaccoppiamento dell'imitazione precisa dell'esperto dal recupero dagli stati OOD in due moduli distinti.

1. Componenti dell'Architettura

• Base Diffusion Policy ($\pi_\theta$): Addestrata esclusivamente su un set limitato di dimostrazioni esperte di alta qualità. Il suo unico obiettivo è l'imitazione precisa. Utilizza un encoder visivo $h_\theta$ per mappare le osservazioni grezze in rappresentazioni latenti.
• Visual Latent Dynamics Model ($d_\phi$): Addestrato su un dataset più ampio e di qualità mista, comprendente sia le dimostrazioni esperte che dati di rollout generati automaticamente.
  • Raccolta dei Dati di Rollout: Durante l'addestramento, vengono salvati checkpoint intermedi della base policy e fatti eseguire nell'ambiente. Ciò genera coppie stato-azione diversificate che coprono le deviazioni senza richiedere teleoperazione umana, annotazioni di ricompensa o etichette di successo.
  • Struttura del Modello: Il modello di dinamica consiste nell'encoder visivo congelato $h_\theta$ (condiviso con la base policy) e un predittore di dinamica apprendibile $f_\phi$ (implementato come decoder-only transformer). Esso predice le osservazioni latenti future dato lo stato latente corrente e le sequenze di azioni candidate.

2. Fase di Addestramento

• Base Policy: Ottimizzata tramite perdita di behavior cloning sui dati esperti.
• Modello di Dinamica: Addestrato utilizzando una perdita di errore quadratico medio (MSE) nello spazio latente tra la futura osservazione latente predetta e la futura osservazione latente reale. L'uso dell'encoder congelato garantisce la coerenza tra lo spazio decisionale della policy e lo spazio di predizione del modello di dinamica.

3. Ottimizzazione al Tempo di Inferenza (Steering)

Al tempo di inferenza, LPB guida attivamente la base policy per prevenire il drift (deriva):

1. Rilevamento OOD: Il sistema calcola un Punteggio Latente OOD ($\delta$), definito come la distanza $\ell_2$ tra l'osservazione codificata corrente e il suo vicino più prossimo nello spazio latente esperto.
2. Soglia (Thresholding): Se $\delta$ è inferiore a una soglia prestabilita $\tau$, la base policy viene eseguita normalmente.
3. Guida del Gradiente (Gradient Guidance): Se $\delta > \tau$, il sistema invoca un meccanismo di correzione ispirato alla classifier guidance nei modelli di diffusione.
   • Il sistema predice gli stati latenti futuri utilizzando il modello di dinamica basandosi su sequenze di azioni candidate.
   • Calcola il gradiente dello score OOD rispetto alla sequenza di azioni.
   • Questo gradiente viene utilizzato per raffinare la predizione del rumore nel processo di denoising della diffusione, efficacement ability riportando gli stati futuri predetti verso il manifold esperto.
   • Nota: Per garantire la stabilità, la guida del gradiente viene applicata solo durante gli ultimi $K_{guide}$ passi di denoising (ad esempio, gli ultimi 10 passi su 100), dove i campioni sono più strutturati.

Contributi Chiave

1. Framework di Apprendimento Disaccoppiato: LPB separa l'apprendimento dell'imitazione precisa (Base Policy) dalla robustezza (Dynamics Model), permettendo l'uso di piccoli dataset esperti di alta qualità per l'imitazione, pur sfruttando dati di rollout economici e subottimali per la robustezza.
2. Meccanismo di Barriera Implicita: Inveve di richiedere set di sicurezza analitici espliciti o dinamiche di sistema, LPB apprende una barriera implicita nello spazio latente definita dalla distribuzione dei dati esperti.
3. Compatibilità Plug-and-Play: Il metodo può potenziare policy pre-addestrate standard senza richiedere il ri-addestramento o il fine-tuning della base policy stessa, a patto che sia possibile addestrare un modello di dinamica sui dati di rollout.
4. Efficienza dei Dati: Utilizzando dati di rollout generati automaticamente per il modello di dinamica, LPB riduce la dipendenza da correzioni umane laboriose.

Risultati Sperimentali

Gli autori hanno valutato LPB in ambienti simulati (Push-T, Robomimic, Libero-10) e compiti robotici nel mondo reale (Cup Arrangement, Belt Assembly).

• Efficienza del Campionamento: In regimi con pochi dati (es. usando solo il 20% delle dimostrazioni esperte), LP much meglio costantemente le baseline, incluse Expert BC, Mixed BC, Filtered BC, CQL e CCIL. I miglioramenti sono stati più pronunciati in compiti a lungo orizzonte e sensibili alla precisione come Tool-Hang e Transport.
• Robustezza alle Perturbazioni: Quando è stato iniettato rumore Gaussiano nelle azioni durante l'inferenza, LPB ha mantenuto i tassi di successo più elevati rispetto alle baseline, dimostrando una resilienza superiore al covariate shift.
• Prestazioni nel Mondo Reale:
  • Cup Arrangement: LPB è riuscito a recuperare da pose iniziali out-of-distribution (dove la telecamera non vedeva né la tazza né il piattino), guidando il robot per rivelare gli oggetti, mentre la base policy falliva.
  • Belt Assembly: In un compito ricco di contatti che richiede alta precisione, LPB ha migliorato il tasso di successo da 0.55 (Base BC) a 0.75, recuperando con successo da deviazioni iniziali che causavano il fallimento della base policy.
• Ablation: Lo studio ha confermato che il modello di dinamica beneficia della copertura più ampia degli stati-azione fornita dai dati di rollout, anche quando tali dati sono subottimali, e che il punteggio latente OOD funge da segnale affidabile per rilevare e correggere il drift.

Significato e Rivendicazioni

Il paper sostiene che LPB offra una via pratica verso un apprendimento visuomotorio affidabile risolvendo il trade-off tra precisione di imitazione e robustezza. Trasformando il behavior cloning da un imitatore passivo a un controllore attivo e autocorrettivo, LPB consente:

• Manipolazione affidabile da dati esperti limitati.
• Robustezza senza ulteriori correzioni o annotazioni umane.
• La capacità di recuperare da stati OOD guidando la policy nuovamente verso il manifold esperto nello spazio latente.

Gli autori riconoscono i limiti, notando che LPB attualmente corregge deviazioni locali a breve termine e richiede modelli di dinamica specifici per il compito. Il lavoro futuro suggerisce di esplorare il ragionamento a lungo orizzonte, modelli di dinamica multi-task per la generalizzazione zero-shot e la quantificazione dell'incertezza senza distribuzione per scenari privi di dati di addestramento esperti.