Sintesi Tecnica: Rappresentazione del Successore Gerarchica per il Trasferimento Robusto

Definizione del Problema

La Rappresentazione del Successore (SR) offre un framework per disaccoppiare la dinamica predittiva dalle ricompense, consentendo una rapida generalizzazione attraverso diverse configurazioni di ricompensa. Tuttavia, la SR classica affronta due limitazioni critiche nei regimi orientati al trasferimento:

1. Dipendenza dalla Policy: Le SR sono intrinsecamente legate alla policy utilizzata per generarle. Man mano che gli agenti apprendono, incontrano non-stazionarietà o affrontano nuove richieste del compito, la policy sottostante cambia, rendendo obsolete le rappresentazioni predittive stabilite e richiedendo un costoso ri-apprendimento.
2. Diffusione Spettrale e Scalabilità: In ambienti topologicamente complessi (ad es., spazi multi-compartimentali), le caratteristiche della SR classica soffrono di "diffusione spettrale". Ciò si traduce in caratteristiche dense, con supporto globale e sovrapposte, che mancano di interpretabilità e scalano scarsamente. I metodi di decomposizione spettrale standard (come la SVD) applicati alle SR spesso producono componenti che sono indefiniti nel segno e non riescono a catturare efficacemente le strutture di transizione locali.

Metodologia

Gli autori propongono la Rappresentazione del Successore Gerarchica (HSR) per affrontare queste limitazioni incorporando astrazioni temporali nelle rappresentazioni predittive.

1. Rappresentazione del Successore Gerarchica (HSR)

L'innovazione principale consiste nell'estendere la formulazione classica della SR utilizzando il framework delle "options" (Sutton et al., 1999).

• Astrazione Temporale: Invece di prevedere l'occupazione degli stati basandosi su azioni a singolo step, l'HSR aggrega la dinamica su segmenti comportamentali temporalmente estesi e interpretabili (options).
• Definizione: La matrice HSR $M_\mu$ è definita come la distribuzione di occupazione dello stato predittivo rispetto a una policy di alto livello $\mu$. Essa combina ricorsivamente le matrici SR specifiche per azione ($M_{\bar{a}}$) e la durata attesa delle opzioni ($\tau$).
• Operatore di Bellman: Gli autori derivano un operatore di Bellman gerarchico $T$ che agisce come una mappatura di contrazione, permettendo l'apprendimento online tramite aggiornamenti di Differenza Temporale (TD) simili alla SR standard, ma con un errore TD che tiene conto della durata delle opzioni.
• HSR Attesa (eHSR): Per mitigare ulteriormente la dipendenza dalla policy, gli autori sostengono una costruzione offline in cui l'HSR è mediata su un insieme di policy ottimali provenienti da una distribuzione di compiti di pre-addestramento, ottenendo una base generalizzata e indipendente dal compito.

2. Decomposizione a Basso Rango tramite NMF

Per ottenere sparsità e interpretabilità, gli autori applicano la Fattorizzazione di Matrice Non Negativa (NMF) alla matrice HSR, piuttosto che la Decomposizione dei Valori Singolari (SVD) tipicamente utilizzata per i metodi spettrali.

• Razionale: Le SR classiche presentano un "collasso topologico" dove gli stati intra-compartimentali si raggruppano strettamente, rendendo la NMF mal posta a causa della mancanza di varianza intra-compartimentale. Al contrario, le dinamiche HSR sono "piecewise-smooth", preservando le differenze inter-compartimentali pur permettendo la dispersione intra-compartimentale.
• Risultato: Questa struttura consente alla NMF di scoprire vettori di base sparsi, localizzati e interpretabili che si allineano con le caratteristiche topologiche (ad es., stati bottleneck), evitando gli "artefatti di ringing" e la diffusione globale associati alle basi ortogonali della SVD.

Contributi Chiave

1. Rappresentazioni di Stato Robuste: Il framework HSR produce caratteristiche di stato che sono robuste ai cambiamenti di policy indotti dal compito. Ragionando a un livello superiore di astrazione temporale, la rappresentazione rimane stabile anche quando le policy di controllo a basso livello cambiano.
2. Strutture Topologiche Interpretabili: L'applicazione della NMF all'HSR produce una rappresentazione a basso rango e sparsa che identifica naturalmente i colli di bottiglia topologici e le strutture compartimentali, fornendo una mappa gerarchica indipendente dalla policy.
3. Trasferimento Efficiente in termini di Campionamento: Il metodo proposto facilita un trasferimento altamente efficiente in termini di campionamento verso nuovi compiti in ambienti multi-compartimentali senza richiedere un costoso ri-apprendimento delle mappe di caratteristiche di stato.
4. Esplorazione Scalabile: La struttura predittiva temporalmente estesa dell'HSR guida un'esplorazione motivata intrinsecamente efficiente, permettendo agli agenti di superare le barriere diffusive locali in grandi ambienti generati proceduralmente dove i metodi a singolo step falliscono.

Risultati Sperimentali

Gli autori hanno valutato l'HSR in ambienti discreti e tabulari (specificamente in labirinti a quattro stanze e labirinti generati proceduralmente) utilizzando il Q-learning con approssimazione lineare della funzione.

• Efficienza del Trasferimento: In un ambiente a quattro stanze, gli agenti che utilizzano le feature di riga HSR hanno dimostrato una efficienza di trasferimento significativamente maggiore quando passavano a diverse posizioni di obiettivo rispetto agli agenti che utilizzano la SR standard (RW-SR) o codifiche one-hot. Mentre gli agenti SR standard subivano un degrado delle prestazioni durante la ri-ottimizzazione della policy, gli agenti HSR si sono adattati rapidamente con meno episodi.
• Stabilità della Rappresentazione: L'analisi quantitativa ha mostrato che le matrici HSR hanno subito una riorganizzazione significativamente minore (minore variazione relativa nella norma di Frobenius) a seguito dei cambiamenti di policy rispetto alle matrici SR standard.
• NMF vs SVD: Negli esperimenti su basi a bassa dimensionalità, le feature HSR decomposte tramite NMF hanno superato sia HSR-SVD che tutte le baseline basate su SR (inclusi SR-SVD e SR-NMF). La SR-NMF è fallita a causa del collasso delle feature, mentre l'HSR-NMF ha fornito un codice sparso che ha rivestito uniformemente lo spazio degli stati.
• Ricostruzione del Valore: Le basi HSR hanno costantemente prodotto ricostruzioni più accurate delle funzioni di valore ottimali per compiti non visti (diversi obiettivi) rispetto alle basi SR, suggerendo un migliore allineamento con il manifold delle potenziali funzioni di valore.
• Esplorazione: Nei compiti di navigazione con ricompensa sparsa in grandi labirinti, l'esplorazione aumentata da HSR (specificamente HSR-SPIE) ha mantenuto un'elevata copertura degli stati e tassi di scoperta degli obiettivi all'aumentare delle dimensioni dell'ambiente, mentre le strategie di esplorazione basate su SR standard sono degradate significativamente.

Significato e Rivendicazioni

Il documento afferma che l'integrazione dell'astrazione temporale nelle rappresentazioni predittive crea una rappresentazione di stato robusta e interpretabile che colma il divario tra l'efficienza model-free e la flessibilità model-based.

• Mappatura Indipendente dalla Policy: L'HSR fornisce una mappa gerarchica che è meno sensibile a specifiche configurazioni di ricompensa, disaccoppiando efficacemente la struttura predittiva dell'ambiente dalle immediate richieste del compito.
• Complementarità: Gli autori posizionano l'HSR come complementare agli algoritmi di Generalized Policy Improvement (GPI). Mentre GPI si concentra sulla composizione di policy pre-addestrate, l'HSR si concentra sull'apprendimento di una rappresentazione generalizzabile; combinare i due produce un'efficienza di trasferimento superiore.
• Scalabilità: Il framework scala a grandi ambienti generati proceduralmente consentendo agli agenti di "uscire" dalle barriere diffusive locali attraverso predizioni temporalmente estese, affrontando un collo di bottiglia chiave nell'esplorazione per compiti a ricompensa sparsa.

Gli autori osservano che le loro valutazioni empiriche sono attualmente limitate ad ambienti discreti e tabulari per isolare le proprietà topologiche. Suggeriscono che il lavoro futuro dovrebbe integrare l'HSR in sistemi di deep RL per domini continui ed esplorare la scoperta di opzioni in ambienti non stazionari.