Optimizing Neurorobot Policy under Limited Demonstration Data through Preference Regret

1. Il Problema

Il campo dell'Apprendimento per Rinforzo da Dimostrazioni (RLfD) per la robotica affronta due sfide principali:

• Scarsità dei dati: L'assunzione comune che i dati degli esperti siano abbondanti è spesso irrealistica nel mondo reale a causa dell'alto costo e del tempo necessario per la raccolta.
• Errori a cascata (Cascading Errors): Gli algoritmi di apprendimento per imitazione (IL) e clonazione comportamentale (BC) trattano i dati come indipendenti e identicamente distribuiti (i.i.d.). Tuttavia, durante l'esecuzione online, piccoli errori di pianificazione si accumulano, portando l'agente a deviare dalle traiettorie dimostrate e a fallire (collasso della politica), un fenomeno noto come "shift di covariate".
• Limiti dell'apprendimento online: Esiste una carenza di metodi efficaci per l'apprendimento online in contesti di neurorobotica dove l'agente deve imparare attraverso l'interazione in tempo reale partendo da un numero molto limitato di dimostrazioni.

2. Metodologia: Il Framework MYOE

Gli autori propongono il framework "Master Your Own Expertise" (MYOE), che combina l'inferenza attiva (Active Inference - AIF) e l'apprendimento per rinforzo basato su modelli (Model-Based RL) per superare i limiti dei dati scarsi e degli errori a cascata.

A. Modello di Stato Spazio Misto di Preferenze Queryable (QMoP-SSM)

Il cuore del sistema è un modello generativo che stima gli stati futuri e le "preferenze" (obiettivi desiderati) a ogni passo temporale.

• Doppio processo: Il modello separa l'apprendimento latente in due processi paralleli interconnessi:
  1. Rappresentazione: Inferisce lo stato del mondo ($s^o_t$) dagli osservabili.
  2. Preferenza: Predice le traiettorie future desiderate ($s^p_t$) basandosi su goal forniti (istruzioni linguistiche, immagini, vettori) e dati esperti.
• Mixture of Preferences: Per evitare il "mode collapse" (quando il modello impara solo una singola traiettoria rigida), il QMoP-SSM utilizza una distribuzione mista di $M$ componenti stocastiche. Questo permette di coprire diverse modalità di successo e mantenere un'alta entropia, favorendo l'esplorazione.
• Ottimizzazione: Il modello minimizza l'energia libera (free energy), riducendo la divergenza KL tra posteriori e prior, massimizzando l'accuratezza predittiva e allineando le distribuzioni di preferenza con quelle di rappresentazione per le traiettorie di successo.

B. Apprendimento Comportamentale tramite "Preference Regret"

Invece di imitare ciecamente l'esperto, l'agente ottimizza la sua politica minimizzando un termine chiamato "Preference Regret".

• Definizione: Il regret di preferenza è definito come la differenza tra la ricompensa stimata basata sulla traiettoria di preferenza ($r^p$) e la ricompensa reale osservata ($r^o$).
• Meccanismo di Ricompensa Intrinseca: La ricompensa totale $R_\tau$ è composta da:
  $$R_\tau = r^o_\tau - (r^p_\tau - r^o_\tau) + \alpha H$$
  Dove:
  • $r^o_\tau$: Ricompensa esterna.
  • $-(r^p_\tau - r^o_\tau)$: Il termine di "Preference Regret". Se l'agente si discosta dalla traiettoria preferita (ma ottiene una ricompensa reale migliore), il regret diventa positivo, incentivando l'agente a seguire la ricompensa reale piuttosto che l'imitazione cieca. Se la preferenza è ottima, l'agente viene guidato verso di essa.
  • $\alpha H$: Un termine di entropia (curiosità) per ridurre l'incertezza epistemica.
• Adattamento: Questo meccanismo permette all'agente di bilanciare dinamicamente l'imitazione dell'esperto (quando le dimostrazioni sono ottimali) e l'ottimizzazione della ricompensa ambientale (quando le dimostrazioni sono subottimali o rumorose), mitigando gli errori a cascata.

3. Contributi Chiave

1. Framework MYOE: Un nuovo approccio che integra l'inferenza attiva e l'apprendimento per rinforzo per l'addestramento online con dati esperti limitati.
2. QMoP-SSM: Un modello di stato spazio che predice traiettorie future di preferenze guidate da goal, utilizzando una miscela di distribuzioni per evitare il collasso modale e favorire l'esplorazione.
3. Preference Regret: Una nuova formulazione di ricompensa intrinseca che permette all'agente di correggere le dimostrazioni subottimali, evitando il collasso della politica tipico della clonazione comportamentale.
4. Validazione Empirica: Dimostrazione che il metodo supera gli stati dell'arte (SOTA) sia in simulazione che su robot reali, in scenari con dati scarsi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 32 task in ambienti simulati (Franka Kitchen, Meta-World, Robosuite) e su due robot reali ("7bot" e PX100).

• Ambienti Simulati: MYOE ha mostrato tassi di successo significativamente superiori rispetto a baseline come DreamerV3-BC, PPO-BC, LAIfO e varianti di Behavioral Cloning (MBC, MBC-VAE, MBC-RNN). In particolare, MYOE ha eccelso in task con ricompense sparse e dove le dimostrazioni contenevano errori o rumore.
• Apprendimento Reale (Real-World): Su robot fisici, con vincoli computazionali e solo 5 episodi di dimostrazione (10 step ciascuno), MYOE ha superato tutte le altre tecniche.
  • Nel task "Reach" su "7bot", MYOE ha raggiunto un tasso di successo del 34% contro il 17% di Drm-BC e 0% di MBC-RNN.
  • Nel task "Block picking" su PX100, MYOE ha ottenuto un successo dell'89% contro l'81% di Drm-BC.
• Robustezza: Il framework ha dimostrato di convergere più velocemente e di essere in grado di ottimizzare la politica anche quando le dimostrazioni iniziali non erano ottimali, correggendo autonomamente gli errori a cascata.

5. Significato e Implicazioni

Questo lavoro è significativo perché risolve il problema fondamentale della scarsità di dati e della fragilità dell'apprendimento per imitazione in robotica.

• Superamento del "Cascading Error": Introducendo il concetto di "preference regret", il sistema non è più vincolato a imitare passivamente, ma può imparare a distinguere tra buone e cattive dimostrazioni, adattandosi in tempo reale.
• Efficienza dei Dati: Permette l'addestramento di agenti robotici complessi con un numero estremamente ridotto di dimostrazioni (5 episodi), rendendo l'RLfD più pratico per applicazioni reali dove la raccolta dati è costosa.
• Fusione Cognitiva: L'approccio unifica principi neurobiologici (inferenza attiva, principio dell'energia libera) con l'apprendimento per rinforzo moderno, offrendo un modello più robusto e adattabile per la neurorobotica.

In sintesi, MYOE rappresenta un passo avanti verso agenti robotici autonomi capaci di "padroneggiare la propria competenza", imparando non solo dalle dimostrazioni, ma anche dalla propria esperienza interattiva con l'ambiente.