Sintesi Tecnica: Generalizzare e Guidare: Decomposizione delle Ricompense per l'Apprendimento per Rinforzo Inverso Few-Shot

1. Formulazione del Problema: IRL Few-Shot con Dimostrazioni Multi-Task (FM-IRL)

Il paper affronta un collo di bottiglia critico nell'Apprendimento per Rinforzo Inverso (IRL): l'incapacità dei metodi tradizionali di generalizzare quando si trovano di fronte a sostanziali variazioni intra-task (ad esempio, diverse forme di oggetti, posizionamenti o pose iniziali del robot) date solo un numero limitato di dimostrazioni per un compito specifico.

Mentre il lavoro precedente si è concentrato sull'Imitation Learning (IL) o sul Meta-IRL, questi approcci presentano limitazioni significative in contesti pratici:

• Imitation Learning (IL): Metodi come il Behavior Cloning (BC) faticano a generalizzare oltre la specifica distribuzione di stati delle poche dimostrazioni disponibili e non possono migliorare attraverso l'ottimizzazione della policy online senza una funzione di ricompensa.
• Meta-IRL: Questi metodi richiedono tipicamente l'accesso a un ambiente di addestramento multi-task per meta-addestrare una funzione di ricompensa o una variabile di contesto, un'assunzione spesso impraticabile nella robotica reale dove ricreare ambienti diversificati è difficile.

Gli autori introducono un nuovo setting di problema: Few-Shot IRL con Dimostrazioni Multi-Task (FM-IRL). In questo setting, un agente deve apprendere un nuovo task target con variazioni significative utilizzando:

1. Un piccolo numero di dimostrazioni del task target ($D_{target}$).
2. Un grande dataset di dimostrazioni di task eterogenei ma correlati ($D_{multi}$).
3. Interazione online con l'ambiente del task target ($D_{\pi}$).

Fondamentalmente, l'agente non ha accesso agli ambienti di addestramento multi-task, ma solo ai dati di dimostrazione derivanti da essi. L'obiettivo è recuperare la distribuzione dell'esperto del nuovo task e fornire una guida correttiva quando l'agente devia da essa.

2. Metodologia: Multitask Discriminator Proximity-Guided IRL (MPG)

Per risolvere il FM-IRL, gli autori propongono MPG, un framework che decompone la funzione di ricompensa in due componenti complementari: un discriminatore generalizzabile per il riconoscimento dell'esperto e una funzione di prossimità per la guida al recupero.

2.1 Discriminatore Multi-Task (Generalizzazione)

La prima componente è un discriminatore condizionato alle dimostrazioni, $d_\phi(\tau, (s, a))$, progettato per trasferire la conoscenza strutturale condivisa tra task correlati.

• Architettura: Utilizza due encoder separati per elaborare una traiettoria di dimostrazione $\tau$ e una coppia stato-azione $(s, a)$. Gli embedding vengono concatenati e passati attraverso strati completamente connessi per output la probabilità che $(s, a)$ sia coerente con il comportamento esperto per il task descritto da $\tau$.
• Obiettivo di Addestramento: Il discriminatore è addestrato utilizzando una perdita di classificazione binaria su tutte le dimostrazioni disponibili ($D_{target} \cup D_{multi}$). Le coppie positive consistono in tuple stato-azione appartenenti allo stesso task della dimostrazione; le coppie negative consistono in tuple provenienti da task diversi. Inoltre, i campioni della policy online sono trattati come coppie negative (obiettivo avversario) per prevenire l'overfitting sui dati dell'esperto.
• Funzione: Questa componente impara a identificare il comportamento esperto nel task target sfruttando la struttura condivisa trovata nel dataset multi-task, generalizzando efficacemente la distribuzione dell'esperto nonostante le variazioni.

2.2 Funzione di Prossimità (Guida)

La seconda componente, $p_\theta(s)$, fornisce ricompense dense e informative in stati non esperti per guidare l'agente verso la distribuzione dell'esperto.

• Concetto: Stima la distanza temporale (numero minimo di passi) da uno stato $s$ alla distribuzione degli stati esperti.
• Obiettivo di Apprendimento: Ispirata al quasimetric learning, la funzione è ottimizzata per massimizzare il valore di prossimità degli stati della policy (allontanandoli dalla distribuzione dell'esperto in termini di valore, ma misurando effettivamente la distanza) pur imponendo la coerenza temporale.
• Vincoli: L'apprendimento è vincolato dalla disuguaglianza triangolare: $p_\theta(s_t) \leq p_\theta(s_{t+1}) + \zeta$, dove $\zeta$ è il costo di un singolo timestep. Gli stati esperti sono ancorati a una prossimità di 0.
• Integrazione: Per arricchire la distribuzione dell'esperto del task target, gli stati della policy vengono ridenominati come "esperti" se la confidenza del discriminatore multi-task supera una soglia ($d(s, a) > c_{thresh}$).

2.3 Funzione di Ricompensa Combinata

La funzione di ricompensa finale $\tilde{R}$ combina questi due segnali:
$$\tilde{R}(s_t, a_t, s_{t+1}) = \underbrace{d(s_t, a_t)}_{\text{Segnale Comportamento Esperto}} + \lambda \underbrace{[p(s_t) - p(s_{t+1})]}_{\text{Miglioramento della Prossimità}}$$
Il discriminatore fornisce un segnale sparso per il comportamento coerente con l'esperto, mentre il termine di prossimità fornisce un gradiente denso per ridurre la distanza dalla distribuzione dell'esperto. Questa ricompensa combinata viene utilizzata per ottimizzare la policy tramite Reinforcement Learning (PPO).

3. Contributi Chiave

1. Setting del Problema: Il paper formalizza il setting FM-IRL, affrontando la sotto-specificazione dei task con variazioni naturali dove gli ambienti multi-task non sono disponibili ma le dimostrazioni multi-task sono accessibili.
2. Algoritmo (MPG): La proposta di un framework di decomposizione della ricompensa che combina sinergicamente un discriminatore multi-task (per la generalizzazione attraverso le variazioni del task) e una funzione di prossimità (per la guida correttiva in stati non visti).
3. Validazione Empirica: Il metodo è valutato su diversi task di navigazione e manipolazione (Maze2D, Block Stacking e FactorWorld) sotto variazioni significative.

4. Risultati Sperimentali

Gli autori hanno valutato MPG contro nove baseline, inclusi l'IRL tradizionale (GAIL, MT-AIRL, PEMIRL), l'Imitation Learning (BC, SQIL, Transformer-BC) e altri metodi basati su discriminatore/prossimità (DVD, GoalPro).

• Performance: MPG ha ottenuto il più alto tasso medio di successo su 8 task su 9.
• Confronto: Ha superato la più forte baseline per task con una media di 24,7 punti percentuali nel tasso di successo.
• Studi di Ablazione:
  • Rimuovere singolarmente il discriminatore o la funzione di prossimità ha degradato le prestazioni, confermando la necessità di entrambi i componenti.
  • Rimuovere il dataset multi-task ("No Multi-task Data") ha portato a prestazioni comparabili all'ablation "Proximity Only", evidenziando la dipendenza del discriminatore dai dati multi-task per la generalizzazione.
  • Il metodo è rimasto robusto rispetto a variazioni nel numero di dimostrazioni target (da 5 a 25) e di task multi-task (da 2 a 8), sebbene le prestazioni si siano saturate dopo un livello moderato di diversità.
• Efficienza dei Dati: MPG ha performato bene anche con abbondanti dimostrazioni (200), sebbene il vantaggio rispetto alle baseline sia stato più pronunciato nel regime few-shot.

5. Significato e Affermazioni

Il paper afferma che MPG colma efficacemente il divario tra la supervisione limitata e la necessità di un apprendimento di policy robusto in scenari reali caratterizzati da variazioni naturali. Decomponendo la ricompensa in un identificatore di esperto generalizzabile e una guida basata sulla prossimità, il metodo consente agli agenti di "osservare, praticare e padroneggiare" nuovi task con una supervisione minima, rispecchiando le strategie di apprendimento umano.

Gli autori sottolineano che il loro approccio non richiede l'impraticabile assunzione di avere accesso agli ambienti di addestramento multi-task, affidandosi invece a dataset di dimostrazione prontamente disponibili. I risultati suggeriscono che sfruttare dimostrazioni multi-task eterogenee è una strategia vitale e potente per superare l'inefficienza del campione e i fallimenti di generalizzazione dei metodi tradizionali di few-shot IRL e IL.

Limitazioni note dagli autori:

• Il metodo richiede un dataset di dimostrazioni multi-task strutturato proveniente dallo stesso dominio e agente.
• Sebbene efficiente nelle dimostrazioni, la fase di addestramento online rimane esigente in termini di campioni.
• La funzione di ricompensa viene addestrata online e non può essere direttamente riutilizzata per addestrare una nuova policy da zero senza riaddestramento.