Ergodic Imitation for Adaptive Exploration around Demonstrations

Riepilogo Tecnico: Imitazione Ergodica per Esplorazione Adattiva attorno alle Dimostrazioni

Enunciato del Problema
Nella robotica, l'apprendimento per imitazione (IL) affronta una sfida critica: la discrepanza tra le condizioni di addestramento e gli ambienti di deployment causata da cambiamenti ambientali, osservazioni imperfette o errori di controllo. Quando un robot tenta di seguire una traiettoria nominale in presenza di tali discrepanze, spesso rimane bloccato e fallisce nel completare il compito. Sebbene i modelli generativi profondi siano stati utilizzati per l'IL, essi tendono frequentemente a sovradattarsi ai dati di dimostrazione, memorizzando sequenze di azioni specifiche anziché apprendere politiche generalizzabili. Di conseguenza, gli approcci attuali rimangono fragili sotto minimi spostamenti di distribuzione. Inoltre, i metodi esistenti di esplorazione adattiva sono largamente limitati a transizioni discrete, mancando delle capacità di esplorazione continua richieste per regolamenti sottili nello spazio degli stati in compiti come l'assemblaggio robotico. Il problema centrale è la necessità di una strategia online che rimanga ancorata alle dimostrazioni ma possa adattivamente transitare dal tracciamento rigido all'esplorazione quando l'ambiente diverge dalla distribuzione di addestramento.

Metodologia
Gli autori propongono un approccio di Imitazione Ergodica Adattiva che unifica il tracciamento e l'esplorazione all'interno di un singolo controllore. Il metodo opera su un dataset di traiettorie di stati esperti, omettendo le etichette di azione esplicite per focalizzarsi sulla copertura dello spazio degli stati.

1. Recupero della Fase e Stima del Progresso:
   Ad ogni intervallo di ripianificazione, il sistema interroga il dataset esperto per trovare il contesto più rilevante basato sullo stato corrente del robot. Definisce un "errore di fase" $e(t)$ confrontando lo stato corrente con il punto più vicino nella traiettoria esperta. Un orologio di riferimento virtuale $\tau(t)$ viene utilizzato per tracciare il progresso:

   • Modalità di Tracciamento: Se l'errore di fase è entro una soglia ($\epsilon$), l'orologio avanza e il sistema traccia la dimostrazione.
   • Modalità di Esplorazione: Se l'errore supera la soglia (indicando stasi), l'orologio si blocca e un contatore di stasi incrementa. Questo segnale innesca un passaggio verso l'esplorazione.

2. Generazione di Distribuzioni Guidata dalla Geometria:
   Il metodo genera una distribuzione target di particelle $\{q_j\}$ utilizzando un'equazione differenziale stocastica (SDE) che fonde tre componenti basate su una variabile di progresso simile alla temperatura $\theta$:

   • Attrazione Nominale: Un termine di deriva che attrae le particelle verso il punto più vicino sulla traiettoria di riferimento.
   • Punteggio del Nucleo di Calore: Un termine basato sul punteggio che orienta le particelle verso regioni ad alta densità di riferimento.
   • Diffusione Anisotropa: Un termine di diffusione progettato per essere maggiore nelle direzioni normali alla traiettoria rispetto a lungo il suo tangente. Ciò favorisce l'esplorazione perpendicolare al percorso mantenendo la coerenza lungo di esso.

   Man mano che l'errore di fase e il contatore di stasi aumentano, il involucro di diffusione si allarga, permettendo al robot di esplorare un vicinato più ampio della traiettoria di riferimento.

3. Controllo Ergodico Consapevole della Copertura con MMD:
   Il sistema impiega un controllore a orizzonte scorrevole che utilizza la metrica della Massima Discrepanza del Mezzo (MMD) per minimizzare la differenza tra la visita media temporale degli stati del robot e la distribuzione target generata. Includendo le ultime dieci traiettorie nell'obiettivo MMD, il controllore assicura che i nuovi piani complementino le regioni precedentemente coperte anziché ripercorrerle. Questo framework si estende naturalmente a $SE(3)$ e ad altri spazi curvi utilizzando kernel consapevoli della geometria.

Contributi Chiave
Il documento delinea quattro contributi principali:

• Un metodo unificato che permette uno spettro continuo di comportamenti, che va dall'imitazione rigida all'esplorazione adattiva, governato dall'imitazione ergodica adattiva.
• Un meccanismo per la stima del progresso del compito tramite dimostrazione per modificare adattivamente le distribuzioni target.
• L'uso di una diffusione anisotropa guidata dalla geometria per sintetizzare distribuzioni target che inducono sia il tracciamento che l'esplorazione.
• L'integrazione della metrica ergodica MMD all'interno di un framework di apprendimento per imitazione basato sul recupero.

Risultati
Il metodo è stato valutato in un ambiente di navigazione 2D caratterizzato da strette fessure verticali e una regione di obiettivo disordinata.

• Setup Sperimentale: Sono state raccolte dimostrazioni di successo in un layout nominale. Durante i test, le posizioni delle fessure sono state spostate per indurre una discrepanza di deployment.
• Prestazioni: Quando l'agente è stato bloccato da un muro (uno scenario di discrepanza), ha rilevato la discrepanza nel progresso del compito tramite l'errore di fase accumulato. Ciò ha innescato l'allargamento della distribuzione target tramite diffusione anisotropa, permettendo al controllore ergodico di esplorare e aggirare l'ostacolo.
• Analisi Quantitativa: Nei test che coinvolgevano 50 offset di posizione del cancello campionati da una distribuzione Gaussiana attorno al layout nominale, il metodo proposto ha costantemente trovato soluzioni. Al contrario, gli autori notano che i metodi basati sul recupero o basati sulla generazione raggiungerebbero probabilmente un tasso di successo dello 0% in questi scenari fuori distribuzione a causa della loro incapacità di gestire le posizioni spostate delle fessure.

Significato e Affermazioni
Il documento posiziona il controllo ergodico non semplicemente come uno strumento per la copertura di aree o la ricerca, ma come un meccanismo principiato per l'esecuzione adattiva nell'apprendimento per imitazione. Il significato risiede nello spostamento del paradigma dal puro replay della traiettoria all'adattamento situazionale. Trattando il tracciamento come un caso speciale di esplorazione, il metodo permette ai robot di riprodurre le caratteristiche temporali di una dimostrazione quando l'ambiente lo consente, mentre transita autonomamente all'esplorazione ergodica quando il robot rimane "bloccato". Questo approccio affronta la fragilità dei metodi IL attuali fornendo uno spettro comportamentale continuo che rimane ancorato alle dimostrazioni ma capace di gestire la divergenza ambientale.