How to Mitigate the Distribution Shift Problem in Robotics Control: A Robust and Adaptive Approach Based on Offline to Online Imitation Learning

Riepilogo Tecnico: Apprendimento per Imitazione Robusto e Adattivo (RAIL)

Enunciato del Problema
L'Apprendimento per Imitazione (IL) nella robotica soffre frequentemente del problema dello spostamento della distribuzione, in cui un agente fallisce nell'eseguire azioni appropriate quando incontra stati durante l'inferenza online che non erano presenti nel dataset di addestramento offline. Questa problematica nasce perché le dimostrazioni degli esperti coprono tipicamente solo un sottoinsieme ristretto dello spazio stato-azione dell'ambiente. Le soluzioni esistenti si concentrano spesso esclusivamente sulla fase di addestramento offline (tramite augmentazione del dataset) o sulla fase di inferenza online (tramite adattamento), ma entrambi gli approcci presentano limitazioni. I metodi offline basati su perturbazioni umane sono costosi, mentre quelli che utilizzano modelli del mondo sono vulnerabili a errori di modellazione. I metodi online spesso faticano a distinguere tra stati nuovi causati dallo spostamento della distribuzione e quelli che fanno semplicemente parte del normale processo di inferenza, portando a aggiornamenti instabili della politica o al fallimento dell'adattamento.

Metodologia
Gli autori propongono RAIL (Robust Offline to Adaptive Online Imitation Learning), un framework a vita multi-fase progettato per mitigare lo spostamento della distribuzione attraverso due fasi distinte:

1. Fase di Addestramento Offline (Robustezza):

   • Utilizzo dei Dati: Il framework sfrutta non solo le dimostrazioni degli esperti ($D_E$) ma anche dimostrazioni supplementari ($D_S$). $D_S$ include traiettorie da novizi, esperti subottimali o dati di simulazione generati automaticamente. Questi forniscono una copertura stato-azione più ampia.
   • Discriminatore con Regularizzazione: Per utilizzare efficacemente $D_S$, gli autori addestrano un discriminatore per distinguere tra dati esperti e dati supplementari. Riconoscendo che i discriminatori standard soffrono di instabilità e bias quando i dataset sono sbilanciati, introducono un nuovo termine di regolarizzazione ($L_{reg}$).
   • Meccanismo: Questo termine guida il discriminatore ad approssimare le distribuzioni empiriche stato-azione di entrambi i dataset utilizzando Modelli a Mixture di Gaussiane (GMM) e verosimiglianze della politica apprese. Ciò stabilizza l'apprendimento del discriminatore, specialmente nelle fasi iniziali, permettendogli di stimare più accuratamente l'ottimalità dei campioni di addestramento.
   • Addestramento della Politica: L'output ottimizzato del discriminatore viene utilizzato per calcolare i pesi per la Clonazione del Comportamento Ponderata (BC), consentendo alla politica di apprendere in modo robusto da dati di qualità mista.

2. Fase di Inferenza Online (Adattamento):

   • Adattamento Auto-supervisionato: Il framework tratta le esperienze online come dimostrazioni supplementari. Impiega la stessa procedura di apprendimento basata sul discriminatore utilizzata nella fase offline per calcolare segnali di apprendimento auto-supervisionati.
   • Rilevamento dello Spostamento della Distribuzione (UTM): Per evitare di degradare la generalizzazione imparando indiscriminatamente, il sistema impiega la Gestione del Tempo di Aggiornamento (UTM). Calcola una metrica di verosimiglianza ($\kappa(s)$) per lo stato corrente. L'apprendimento online viene attivato solo se $\kappa(s)$ scende al di sotto di una soglia per un periodo prolungato ($N_{ds}$), indicando uno spostamento della distribuzione persistente.
   • Aggiornamenti Adattivi: Quando viene rilevato uno spostamento, il discriminatore e la politica vengono aggiornati utilizzando l'esperienza online accumulata, ponderata dal grado di spostamento della distribuzione ($\kappa(s)$). Gli stati lontani dalla distribuzione offline ricevono aggiornamenti più conservativi.

Contributi Chiave

1. Framework RAIL: Uno schema unificato a vita che affronta lo spostamento della distribuzione in modo completo combinando un addestramento offline robusto con un'inferenza online adattiva.
2. Discriminatore Regularizzato: Un nuovo termine di regolarizzazione per il discriminatore che stabilizza l'addestramento e migliora l'accuratezza della stima dell'ottimalità per i campioni di dati in ingresso, in particolare quando i dati esperti e supplementari sono sbilanciati.
3. Apprendimento Online Adattivo: Un metodo che calcola segnali auto-supervisionati utilizzando il discriminatore e limita gli aggiornamenti online alle istanze in cui lo spostamento della distribuzione è rilevato esplicitamente, garantendo un adattamento stabile.

Risultati Sperimentali
Gli autori hanno valutato RAIL negli ambienti MuJoCo (Hopper, Halfcheetah, Walker2d, Ant) sotto diversi livelli di rumore gaussiano per indurre spostamento della distribuzione.

• Prestazioni Offline: In ambienti con rumore iniettato, RAIL ha costantemente superato le linee di base (BC Standard, BC Stabile e BC basata su Modelli). I risultati suggeriscono che espandere la copertura degli stati tramite dimostrazioni supplementari reali è più efficace per la robustezza rispetto all'ottimizzazione della politica da sola o ai roll-out virtuali basati su modelli.
• Prestazioni Online: Durante l'inferenza online, RAIL ha dimostrato un adattamento superiore rispetto a BC, Beyond Imitation (BI) e GAIL. Mentre BC si è degradata a causa di errori cumulativi e BI ha faticato con i segnali di auto-supervisione, RAIL si è adattata con successo.
• Efficienza: Lo studio di ablazione ha mostrato che la rimozione della tecnica UTM (RAIL-UTM) ha portato a prestazioni inferiori e a un tempo di addestramento significativamente più alto, evidenziando l'importanza degli aggiornamenti selettivi. RAIL ha ottenuto una riduzione di circa il 54% nel tempo di addestramento rispetto a RAIL-UTM mantenendo prestazioni finali superiori.
• Stabilità: La BC ponderata utilizzata in RAIL ha fornito un apprendimento della politica più stabile durante l'adattamento online rispetto agli aggiornamenti basati su TRPO utilizzati in GAIL.

Significato e Affermazioni
Il documento afferma che RAIL offre una soluzione pratica al problema dello spostamento della distribuzione spostando il focus dall'ottimizzazione esclusiva dei parametri della politica all'espansione della copertura stato-azione attraverso dati supplementari. Integrando un discriminatore stabilizzato con un meccanismo di apprendimento online condizionale, il framework permette ai robot di rimanere robusti contro stati non visti durante l'addestramento e di adattarsi efficacemente quando tali stati vengono incontrati nel mondo reale. Gli autori affermano che questo approccio fornisce un percorso più stabile ed efficiente verso l'apprendimento per imitazione a vita rispetto alle strategie esistenti basate solo su offline o solo su online.