Riassunto Tecnico: ConTraIRL – Astrazioni Contrastive Fattorizzate per l'IRL Trasferibile

1. Definizione del Problema

L'Apprendimento per Rinforzo Inverso (Inverse Reinforcement Learning, IRL) mira a recuperare la funzione di ricompensa sottostante il comportamento esperto, consentendo agli agenti di apprendere abilità complesse senza una progettazione manuale della ricompensa. Una sfida critica in questo dominio è la generalizzazione compositiva: la capacità di trasferire una ricompensa appresa in ambienti target dove il contesto è un'accoppiata inedita di dinamiche ambientali ($d$) e obiettivi del compito ($g$) precedentemente osservate.

I metodi standard di IRL tipicamente modellano la ricompensa come una funzione monolitica dello stato. Questo approccio intreccia le caratteristiche dipendenti dalle dinamiche con quelle dipendenti dagli obiettivi. Di conseguenza, quando un agente viene distribuito in un ambiente target dove $d$ e $g$ sono singolarmente familiari, ma la loro specifica combinazione $(d_{tar}, g_{tar})$ non è mai stata osservata durante l'addestramento, la ricompensa appresa viene interrogata sotto un contesto fuori distribuzione (out-of-distribution). Ciò porta a una generalizzazione inaffidabile e a un recupero della ricompensa scadente.

Il documento affronta questo problema studiando un setting in cui:

• I dati di addestramento consistono in molteplici ambienti in cui ogni fattore ($d$ e $g$) appare in diversi contesti.
• Un sottoinsieme di accoppiate di fattori è tenuto da parte come contesti target.
• Nei contesti target, è disponibile solo un sottoinsieme fisso di stati da una singola traiettoria esperta (supervisione few-shot), piuttosto che dimostrazioni complete.

2. Metodologia: ConTraIRL

Gli autori propongono ConTraIRL (Contrastive Abstractions for Transferable IRL), un framework progettato per abilitare il trasferimento compositivo della ricompensa attraverso l'apprendimento di rappresentazioni latenti disaccoppiate di dinamiche e obiettivi.

2.1 Astrazioni Contrastive Fattorizzate

Il cuore del framework è un'architettura a doppio encoder che mappa le osservazioni in due manifold latenti separati:

1. Spazio delle Dinamiche ($Z_d$): Una rappresentazione latente invariante rispetto all'obiettivo $g$.
2. Spazio dell'Obiettivo ($Z_g$): Una rappresentazione latente invariante rispetto alle dinamiche $d$.

Questa fattorizzazione assicura che la ricompensa recuperata non codifichi correlazioni spurie indotte dalla distribuzione congiunta di addestramento. Per ottenere ciò, gli autori impongono l'Ortogonalità dei Fattori:

• $z_d = \Phi_d(s, d)$ deve essere invariante rispetto a $g$.
• $z_g = \Phi_g(s, g)$ deve essere invariante rispetto a $d$.

2.2 Allineamento della Fase Temporale

Gli autori sostengono che la sola fattorizzazione sia insufficiente per i compiti di controllo sequenziale, poiché gli stati lungo una traiettoria rappresentano diverse fasi di esecuzione. ConTraIRL introduce l'Allineamento della Fase Temporale, richiedendo che gli stati corrispondenti a un progresso relativo simile all'interno di un comportamento mappino a coordinate latenti vicine tra le traiettorie.

• Gli stati con le stesse dinamiche e una fase simile rimangono vicini in $Z_d$, indipendentemente dall'obiettivo.
• Gli stati con lo stesso obiettivo e una fase simile rimangono vicini in $Z_g$, indipendentemente dalle dinamiche.
• La fase $\psi(s)$ è definita come il timestep normalizzato $t/T$.

2.3 Recupero della Ricompensa tramite Similarità Latente

La funzione di ricompensa recuperata $R(s, d, g)$ è definita come la similarità media tra la rappresentazione latente dello stato corrente e le astrazioni esperte condizionate dalla fase:
$$R(s, d, g) = \frac{1}{2} \left( \text{sim}(\Phi_d(s, d), \bar{z}_d(\psi(s))) + \text{sim}(\Phi_g(s, g), \bar{z}_g(\psi(s))) \right)$$
Qui, $\bar{z}_d(\cdot)$ e $\bar{z}_g(\cdot)$ sono i centroidi degli stati esperti raggruppati per la loro fase temporale relativa. Questa formulazione converte un'accoppiata fuori distribuzione in una ricombinazione in-distribuzione dei fattori.

2.4 Obiettivi di Addestramento

Il framework impiega un doppio obiettivo contrastivo:

1. Apprendimento della Struttura dell'Esperto ($L_E$): Una perdita contrastiva basata sul margine applicata alle coppie di esperti per strutturare i manifold latenti. Le coppie che condividono lo stesso fattore e una fase simile sono trattate come positivi; le altre come negativi. Questo modella i manifold degli esperti indipendentemente dal learner.
2. Calibrazione Contrastiva Esperto-Learner ($L_L$): Un obiettivo di contrastive noise che calibra la ricompensa distinguendo tra stati esperti ($x_E$) e stati del learner ($x_L$). Questo minimizza efficacementamente la divergenza di Jensen-Shannon tra le occupazioni degli stati dell'esperto e del learner.

L'obiettivo totale è $L_{total} = L_E - L_L$.

2.5 Dettagli di Implementazione

• Encoder Modulato dal Contesto: Invece di una semplice concatenazione, il framework utilizza uno strato di input ispirato alle hypernetwork dove il descrittore del contesto ($d$ o $g$) genera matrici di peso e vettori di bias specifici per trasformare lo stato. Questo influenza dinamicamente l'estrazione delle feature, incoraggiando l'isolamento della struttura rilevante per il fattore nelle prime fasi della rete.
• Buffer di Astrazione dell'Esperto: Un buffer mantiene i centroidi dell'esperto condizionati dalla fase, che vengono aggiornati dopo ogni aggiornamento dell'encoder per garantire la coerenza con l'evoluzione del manifold latente.

3. Contributi Chiave

• Rappresentazione Fattorizzata: La proposta di un'architettura a doppio encoder che disaccoppia esplicitamente dinamiche e obiettivi in spazi latenti ortogonali, prevenendo l'intreccio delle feature che affligge i modelli IRL monolitici.
• Allineamento della Fase Temporale: L'integrazione della fase temporale relativa nel criterio di allineamento latente, fornendo una guida densa per il recupero della ricompensa nei compiti sequenziali anziché affidarsi a un semplice matching di stati.
• Trasferimento Compositivo con Supervisione Few-Shot: Un framework capace di recuperare ricompense per accoppiate inedite di dinamiche-obiettivi utilizzando solo un sottoinsieme parziale di stati esperti dall'ambiente target.
• Apprendimento della Struttura dell'Esperto: Un obiettivo esplicito per modellare i manifold degli esperti indipendentemente dalla distribuzione del learner, fornendo un riferimento stazionario per il recupero della ric compensa.

4. Risultati Sperimentali

Gli autori hanno valutato ConTraIRL su quattro benchmark di controllo continuo MuJoCo (Ant, HalfCheetah, Walker, Swimmer) con variazioni compositive in dinamiche e obiettivi.

• Performance su Accoppiate Inedite: ConTraIRL ha superato costantemente i baseline (TraIRL, C-AIRL e SFM) nei contesti target. Ad esempio, sull'ambiente Ant, ConTraIRL ha ottenuto un ritorno normalizzato di 0.93 ± 0.02, rispetto allo 0.88 di SFM e allo 0.57 di TraIRL.
• Robustezza alla Scarsità di Dati: Negli studi di ablazione in cui il numero di stati esperti target è stato ridotto (dal 20% al 5%), i metodi baseline hanno subito cali drastici di performance (ad esempio, TraIRL è sceso a 0.05), mentre ConTraIRL ha mantenuto una performance significativamente più alta (0.27 al 5% degli stati), dimostrando un efficace trasferimento few-shot.
• Analisi di Ablazione:
  • Rimuovere la fattorizzazione ("w/o F") ha causato un calo severo delle performance, confermando la necessità di rappresentazioni disaccoppiate.
  • Rimuovere l'allineamento della fase temporale ("w/o TA") ha ridotto le performance, indicando che l'allineamento della fase fornisce una guida densa essenziale oltre la semplice fattorizzazione.
• Robustezza al Rumore delle Etichette: ConTraIRL ha dimostrato una maggiore robustezza rispetto al rumore delle etichette dei fattori rispetto ai baseline, grazie alla dipendenza da vincoli di similarità relativa piuttosto che dalla predizione supervisionata diretta.
• Visualizzazione dello Spazio Latente: Le visualizzazioni UMAP hanno confermato che le astrazioni apprese hanno separato con successo i campioni in base al loro fattore corrispondente (dinamica o obiettivo) pur rimanendo invarianti rispetto all'altro, e che la fase temporale era preservata come un gradiente fluido all'interno dei cluster.

5. Significato e Rivendicazioni

Il paper sostiene che ConTraIRL affronti un limite fondamentale nel trasferimento IRL: l'incapacità di generalizzare a combinazioni inedite di fattori ambientali noti. Fattorizzando il contesto in componenti ortogonali di dinamica e obiettivo e allineandoli temporalmente, il framework abilita la generalizzazione compositiva.

Gli autori sottolineano che il loro approccio consente un recupero affidabile della ricompensa in ambienti target dove la specifica accoppiata dinamica-obiettivo era assente durante l'addestramento, a condizione che i singoli fattori siano stati osservati. La ricompensa appresa è dimostrata seguire da vicino le reali performance del compito, fungendo da proxy affidabile per l'ottimizzazione della policy anche quando le ricompense ground-truth non sono disponibili.

Il lavoro è moderatamente limitato al trasferimento compositivo attraverso fattori contestuali noti con supervisione target limitata. Gli autori notano esplicitamente che l'attuale formulazione assume l'accesso alle etichette dei fattori e fasi temporali comparabili, e identificano l'estensione dell'approccio a setting con fattori latenti, comportamenti a lunghezza variabile e trasferimento completamente zero-shot come direzioni importanti per il lavoro futuro.