Planning from Observation and Interaction

1. Il Problema: Apprendimento per Osservazione nel Mondo Reale

Il lavoro affronta una delle sfide più difficili nell'apprendimento robotico: l'Apprendimento per Osservazione (Learning from Observation - LfO) in scenari reali, privi di supervisione diretta.

• Vincoli: L'agente robotico deve imparare a svolgere un compito osservando solo le osservazioni (es. video o immagini) di un dimostratore. Non ha accesso a:
  • Azioni del dimostratore (non sa cosa il dimostratore ha fatto, solo cosa è successo).
  • Funzioni di ricompensa progettate a mano (non sa qual è l'obiettivo esplicito).
  • Dati pre-addestrati o modelli di dominio.
• Limitazioni degli approcci esistenti: Metodi precedenti come l'Imitazione Comportamentale (Behavior Cloning - BC) o l'Apprendimento per Rinforzo (RL) richiedono spesso enormi quantità di dati, azioni etichettate o ricompense dense. L'Inverse Reinforcement Learning (IRL) tradizionale è spesso inefficiente in termini di campioni (sample inefficient) nel mondo reale, richiedendo interazioni eccessive prima di convergere.

2. Metodologia: MPAIL2

Gli autori propongono MPAIL2 (Model Predictive Adversarial Imitation Learning 2), un algoritmo di IRL basato sulla pianificazione che combina modelli del mondo (world modeling) e apprendimento off-policy per operare esclusivamente nel mondo reale.

Componenti Chiave del Modello

Il sistema è costruito su un Partially Observable Markov Decision Process (POMDP) e utilizza i seguenti moduli:

1. Encoder ($e_\omega$): Mappa le osservazioni grezze (immagini e propriocezione) in uno spazio latente $z_t$.
2. Dinamica Latente ($f_\psi$): Un modello deterministico che prevede il prossimo stato latente $z_{t+1}$ dato lo stato corrente e l'azione. Questo permette al robot di "immaginare" le conseguenze delle sue azioni senza eseguirle fisicamente.
3. Ricompensa Inferita ($r_\theta$): Appresa tramite un approccio avversariale (simile a GAN). L'obiettivo è distinguere le transizioni dello stato del dimostratore (esperto) da quelle dell'agente. Viene utilizzata una penalità del gradiente (Gradient Penalty) per la stabilità.
4. Funzione Valore ($Q_\zeta$): Appresa in modo off-policy per stimare il ritorno futuro.
5. Policy Multi-step ($\pi_\phi$): Invece di prevedere una singola azione, la policy genera un piano (sequenza di azioni) per un orizzonte temporale $H$. Questo serve principalmente a seminare la pianificazione online e ottimizzare il valore off-policy.
6. Pianificatore (Planner - MPPI): Utilizza il Model Predictive Path Integral Control (MPPI). Il pianificatore campiona casualmente molte sequenze di azioni (piani), le valuta utilizzando il modello di dinamica e la ricompensa inferita, e seleziona l'azione con il ritorno atteso più alto.

Innovazioni Rispetto al Predecessore (MPAIL)

• Apprendimento Off-Policy: A differenza di MPAIL (on-policy), MPAIL2 utilizza un buffer di replay per aggiornare i modelli, migliorando drasticamente l'efficienza dei campioni.
• Modellazione del Mondo: L'integrazione di un modello di dinamica latente permette la pianificazione basata su modelli (model-based planning), riducendo la necessità di interazioni fisiche costose.
• Ottimizzazione Multi-step: La policy genera piani completi, non solo azioni singole, supportando la pianificazione online.

3. Contributi Chiave

1. Prima dimostrazione IRLfO nel mondo reale "da zero": È il primo lavoro che dimostra l'apprendimento di IRL basato sull'osservazione in un robot fisico senza alcuna assunzione di modellazione preesistente, pre-training o dati aggiuntivi.
2. Efficienza di Interazione Superiore: Il paradigma permette di apprendere compiti di manipolazione visiva in meno di un'ora nel mondo reale. Mentre metodi basati su RL con dimostrazioni (come RLPD) falliscono dopo un'ora di addestramento, MPAIL2 ottiene successi costanti in meno di 40 minuti.
3. Transfer Learning Online: Dimostra la capacità di trasferire la conoscenza appresa su un compito a un nuovo compito (es. spingere un blocco in direzioni opposte) puramente nel mondo reale, partendo da zero per il nuovo compito ma riutilizzando le rappresentazioni apprese.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su robot reali (Franka Emika e Kinova Gen3) e in simulazione (IsaacLab) per compiti di manipolazione: Block Push (spinta di un blocco) e Pick-and-Place (presa e posizionamento).

• Confronto con Baseline:

  • MPAIL2 vs. RLPD (RL con dimostrazioni): RLPD, pur avendo accesso a ricompense dense e azioni del dimostratore, non ha ottenuto alcun successo nei task reali di manipolazione visiva. MPAIL2, senza queste informazioni, ha raggiunto tassi di successo elevati.
  • MPAIL2 vs. BC (Diffusion Policy): BC ha funzionato bene solo quando il compito era strettamente all'interno della distribuzione dei dati di dimostrazione (es. Block Push), ma ha fallito miseramente quando era richiesta generalizzazione (es. Pick-and-Place), spesso eseguendo movimenti senza afferrare l'oggetto. MPAIL2 ha mostrato capacità di recupero e adattamento.
  • Ablazioni: Rimuovere la pianificazione online ([−P]) o il modello di dinamica ([−PM]) degrada drasticamente le prestazioni, confermando che la combinazione di pianificazione e world modeling è essenziale per la stabilità e l'efficienza.

• Transfer Learning:

  • Quando trasferito a un nuovo compito (spingere il blocco nella direzione opposta), MPAIL2 ha raggiunto il successo due volte più velocemente rispetto all'addestramento da zero, dimostrando che le rappresentazioni latenti (dinamica e codifica) sono trasferibili.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale verso l'autonomia robotica pratica:

• Riduzione della Barriera di Ingresso: Elimina la necessità di teleoperazione complessa o di ingegneri per progettare funzioni di ricompensa, permettendo ai robot di imparare osservando utenti non esperti.
• Robustezza nel Mondo Reale: Dimostra che l'approccio basato sulla pianificazione e sulla modellazione del mondo è molto più robusto e sample-efficient rispetto ai metodi puramente basati su policy (come BC o RL on-policy) in ambienti fisici complessi e rumorosi.
• Futuro dell'IRL: Apre la strada all'uso di modelli del mondo per l'apprendimento continuo e il trasferimento di compiti in scenari reali, superando i limiti di scalabilità dei metodi IRL precedenti.

In sintesi, MPAIL2 dimostra che un robot può imparare a svolgere compiti complessi di manipolazione osservando solo video, costruendo internamente un modello del mondo e pianificando le proprie azioni, tutto ciò in tempi brevi e senza supervisione esplicita.