Latent Wasserstein Adversarial Imitation Learning

Il paper propone LWAIL, un nuovo framework di apprendimento per imitazione avversaria che, sfruttando una distanza di Wasserstein calcolata in uno spazio latente dinamico appreso tramite ICVF, permette di raggiungere prestazioni da esperto utilizzando solo pochi episodi di dimostrazioni contenenti esclusivamente stati.

L'essenziale

Immagina di voler insegnare a un robot come camminare, correre o guidare un'auto. Il metodo tradizionale (Reinforcement Learning) è come dare al robot un compito e dirgli: "Se fai bene, ti do un punto; se sbagli, ne tolgo uno". Il problema è che spesso non sappiamo esattamente quali punti dare, o è troppo costoso e pericoloso provare milioni di volte finché il robot non impara per tentativi ed errori.

L'Imitazione Learning (Apprendimento per Imitazione) è un'alternativa migliore: invece di inventare i punti, mostriamo al robot le registrazioni di un esperto umano che fa il compito perfettamente. Il robot guarda e cerca di copiare.

Ma ecco il problema: spesso abbiamo solo le registrazioni video (dove vediamo dove va il robot), ma non sappiamo come muove i muscoli o le leve (le azioni). Inoltre, queste registrazioni sono poche e costose.

La carta che hai condiviso, chiamata LWAIL, risolve proprio questo problema con un approccio geniale. Ecco come funziona, spiegato con metafore semplici:

1. Il Problema: La mappa sbagliata

Immagina di dover guidare un'auto da un punto A a un punto B in una città piena di muri e vicoli ciechi.

• Il metodo vecchio: Usa una mappa basata sulla "distanza in linea d'aria" (come un uccello che vola). Se il punto B è a 100 metri in linea d'aria ma c'è un muro enorme in mezzo, la mappa dice "è vicino". Il robot prova ad andare dritto, sbatte contro il muro e si blocca.
• Il problema reale: Nello spazio delle macchine, due stati (due posizioni) possono essere vicini numericamente (es. coordinate simili) ma essere completamente diversi per il robot (uno è su un ponte, l'altro è nel vuoto). I metodi precedenti usavano questa "distanza in linea d'aria" per confrontare le mosse dell'esperto con quelle del robot, e questo li confondeva.

2. La Soluzione: La "Mappa della Realtà" (Latent Space)

LWAIL introduce un trucco intelligente in due fasi:

Fase 1: L'Esploratore (Pre-training)
Prima di insegnare al robot a imitare l'esperto, gli diamo un piccolo set di dati "casuali" (come se il robot avesse fatto 100 tentativi a caso, cadendo e sbattendo un po' ovunque).

• Cosa fa LWAIL: Usa questi dati casuali per costruire una "Mappa della Realtà" (chiamata spazio latente). Immagina che invece di misurare la distanza in metri, questa mappa misuri la "difficoltà" o la "possibilità" di arrivare da un punto all'altro.
• L'analogia: È come se il robot imparasse a sentire la gravità e gli ostacoli. Nella sua nuova mappa, il punto "sopra il muro" è molto lontano dal punto "sotto il muro", anche se sulla carta geografica sembrano vicini. Questa mappa è costruita da un algoritmo chiamato ICVF (una sorta di "intuito" che capisce le regole del gioco).

Fase 2: L'Imitatore (Imitation)
Ora che il robot ha questa mappa intelligente, gli mostriamo una sola registrazione dell'esperto (solo la posizione, non le azioni).

• Cosa fa LWAIL: Invece di chiedere "quanto sei lontano dall'esperto in linea d'aria?", chiede "quanto sei lontano dall'esperto nella tua mappa della realtà?".
• Se il robot si trova in una posizione che, secondo la sua mappa, lo porterebbe a sbattere contro un muro per arrivare all'obiettivo, la mappa gli dice: "No, sei lontano dall'esperto, anche se sembri vicino".
• Questo permette al robot di capire la dinamica del mondo (dove si può andare e dove no) e di imitare l'esperto perfettamente, anche partendo da pochissimi dati.

Perché è rivoluzionario?

1. Risparmia dati: I metodi precedenti avevano bisogno di centinaia di registrazioni dell'esperto. LWAIL ne basta una sola.
2. Non serve sapere le azioni: Funziona anche se abbiamo solo il video della posizione, senza sapere come l'esperto ha premuto i pedali.
3. È robusto: Se il robot parte da una posizione leggermente diversa o c'è un po' di rumore (come una strada scivolosa), la sua "mappa della realtà" lo aiuta a recuperare e seguire la strada giusta, mentre i vecchi metodi si sarebbero persi.

In sintesi

Immagina di insegnare a un bambino a nuotare.

• Metodo vecchio: Gli dici "nuota come me" e gli mostri un video, ma lui non capisce come l'acqua lo spinge e annega perché non capisce la fisica dell'acqua.
• Metodo LWAIL: Prima lo fai giocare con l'acqua in modo casuale (pre-training) per fargli capire come l'acqua lo spinge e dove può andare (costruisce la mappa). Poi gli mostri un video di un nuotatore professionista. Grazie alla sua comprensione dell'acqua, il bambino capisce subito come muoversi per imitare il professionista, anche se ha visto il video solo una volta.

Questa ricerca (LWAIL) è un passo enorme per rendere l'intelligenza artificiale più efficiente, capace di imparare velocemente dai pochi esempi che abbiamo nel mondo reale, senza bisogno di milioni di tentativi costosi.

Sommario tecnico

1. Il Problema

L'Apprendimento per Imitazione (Imitation Learning - IL) permette agli agenti di apprendere comportamenti esperti osservando le dimostrazioni, evitando la necessità di progettare manualmente funzioni di ricompensa complesse. Tuttavia, esistono due limitazioni critiche nei metodi attuali:

• Dipendenza dalle azioni esperte: Molti metodi richiedono sia gli stati che le azioni dell'esperto, che spesso non sono disponibili (ad esempio, quando si imita da video).
• Costo dei dati: Ottenere anche solo sequenze di stati esperti di alta qualità è costoso e difficile.
• Limiti delle metriche di distanza: I metodi di Imitazione Adversariale (AIL) basati sulla distanza di Wasserstein (come WDAIL o IQ-learn) utilizzano spesso la distanza euclidea nello spazio degli stati grezzi come metrica di base ("ground metric"). Questo approccio fallisce nel catturare la dinamica dell'ambiente: due stati possono essere vicini nello spazio euclideo ma essere irraggiungibili l'uno dall'altro a causa delle leggi fisiche dell'ambiente (es. un robot che non può saltare istantaneamente da una posizione all'altra). Inoltre, le divergenze $f$ (come KL o JS) richiedono che le distribuzioni abbiano lo stesso supporto, il che è un vincolo teorico forte spesso non soddisfatto nella pratica.

2. Metodologia: LWAIL

Gli autori propongono LWAIL (Latent Wasserstein Adversarial Imitation Learning), un framework che risolve il problema della metrica inadeguata utilizzando uno spazio latente "consapevole della dinamica" (dynamics-aware). Il metodo si articola in due fasi principali:

A. Fase di Pre-training (Apprendimento della Metrica)

Prima dell'imitazione vera e propria, il sistema apprende una rappresentazione latente dello spazio degli stati utilizzando un piccolo set di dati solo-stato (spesso generati casualmente o di bassa qualità, circa l'1% dei dati online).

• ICVF (Intention Conditioned Value Function): Viene addestrata una funzione di valore condizionata all'intenzione (o obiettivo) $V(s, s^+, z)$. Questa funzione stima la probabilità di raggiungere uno stato futuro $s^+$ partendo da $s$ con l'intenzione di raggiungere $z$.
• Embedding Dinamico: La funzione ICVF viene decomposta per estrarre una rappresentazione dello stato $\phi(s)$. In questo spazio latente, la distanza euclidea tra $\phi(s)$ e $\phi(s')$ riflette la raggiungibilità dinamica e la struttura dell'ambiente, non solo la prossimità numerica.
• Dati Richiesti: Questa fase richiede solo un piccolo numero di transizioni $(s, s')$ casuali, senza bisogno di azioni esperte o ricompense.

B. Fase di Imitazione (Adversarial State Matching)

Una volta ottenuto l'embedding $\phi(s)$, questo viene "congelato" e utilizzato nella fase di apprendimento online.

• Ottimizzazione Adversariale: L'obiettivo è minimizzare la distanza di Wasserstein-1 ($W_1$) tra la distribuzione delle coppie di stati dell'agente ($d^\pi_{ss}$) e quella dell'esperto ($d^E_{ss}$).
• Metrica Latente: A differenza dei metodi precedenti che usano $c(s, s') = \|s - s'\|_2$, LWAIL utilizza la metrica nello spazio latente: $c(\phi(s), \phi(s')) = \|\phi(s) - \phi(s')\|_2$.
• Discriminatore e Ricompensa: Viene addestrato un discriminatore $f$ (dualità di Kantorovich-Rubinstein) per distinguere le coppie di stati esperti da quelle dell'agente. Il discriminatore fornisce una ricompensa pseudo ($r = \sigma(-f(\phi(s), \phi(s')))$) all'agente, che viene poi ottimizzato utilizzando un algoritmo RL off-policy (TD3).

3. Contributi Chiave

1. Metrica Dinamica Appresa: Gli autori dimostrano che lo spazio latente ICVF cattura una metrica di base "consapevole della dinamica" anche partendo da dati di bassa qualità e solo-stato. Questo risolve il limite geometrico della distanza euclidea nei metodi basati su Wasserstein.
2. Efficienza Estrema con Dati Limitati: Il metodo raggiunge prestazioni a livello di esperto utilizzando una singola traiettoria di dati esperti solo-stato.
3. Robustezza Teorica e Pratica: Viene fornito un teorema (Thm 3.1) che mostra come l'occupazione delle coppie di stati sia approssimativamente una combinazione lineare dell'embedding ICVF in MDP quasi deterministici. Sperimentalmente, il metodo è robusto al rumore ambientale e alla qualità dei dati offline.

4. Risultati Sperimentali

Il metodo è stato valutato su diversi ambienti MuJoCo (Hopper, HalfCheetah, Walker2D, Ant) e Maze2D, confrontandosi con numerosi baseline (GAIL, AIRL, WDAIL, IQ-learn, OPOLO, ecc.).

• Prestazioni Superiori: LWAIL supera sistematicamente i metodi basati su Wasserstein (WDAIL, IQ-learn) e le altre tecniche AIL, raggiungendo punteggi normalizzati vicini a quelli degli esperti (es. ~108 su Hopper, ~90 su HalfCheetah).
• Gestione del Rumore: In esperimenti con stati iniziali perturbati (rumore gaussiano), LWAIL con ICVF mantiene alte prestazioni, mentre le versioni senza embedding collassano.
• Visualizzazione: Le visualizzazioni t-SNE mostrano che nello spazio latente ICVF, stati con dinamiche simili sono raggruppati correttamente, a differenza dello spazio grezzo dove stati fisicamente vicini ma dinamicamente distanti appaiono confusi.
• Ablazioni: L'uso di ICVF è confermato come il componente critico; metodi simili che usano embedding contrastivi (CURL, PW-DICE) o nessun embedding performano peggio.

5. Significato e Impatto

LWAIL rappresenta un avanzamento significativo nell'Imitazione Adversariale da Osservazioni (LfO - Learning from Observations).

• Democratizzazione dell'IL: Riduce drasticamente il bisogno di dati esperti costosi e annotati (azioni), rendendo fattibile l'addestramento di agenti robotici o di controllo solo con poche osservazioni e dati casuali.
• Superamento dei Limiti Geometrici: Introduce un modo elegante per integrare la conoscenza della dinamica dell'ambiente nella funzione di distanza di Wasserstein senza dover costruire esplicitamente un modello del mondo (model-based), sfruttando invece l'apprendimento di rappresentazioni (representation learning).
• Versatilità: La capacità di funzionare con dati offline di bassa qualità e di adattarsi a dinamiche non perfettamente allineate lo rende un candidato promettente per applicazioni nel mondo reale dove i dati sono spesso rumorosi e incompleti.

In sintesi, LWAIL dimostra che migliorare la metrica di distanza attraverso un embedding appreso (ICVF) è la chiave per sbloccare il potenziale dei metodi basati su Wasserstein nell'imitazione learning con dati limitati.