Riassunto Tecnico: S3 – Selezione di Sotto-obiettivi Stabile attraverso la Vincolazione dell'Incertezza della Dinamica Grossolana nel Reinforcement Learning Gerarchico

1. Definizione del Problema

Il Reinforcement Learning Gerarchico (HRL) affronta compiti complessi e a lungo termine separando la pianificazione strategica (Manager di alto livello) dall'esecuzione primitiva (Worker di basso livello). Nonostante l'efficacia, l'HRL affronta una sfida critica: la non-stazionarietà e la scarsità di feedback.

• Non-stazionarietà: L'agente di alto livello deve imparare ad assegnare sotto-obiettivi mentre le capacità dell'agente di basso livello evolvono, e viceversa. L'agente di basso livello affronta l'assegnazione di sotto-obiettivi mutevoli, mentre l'agente di alto livello affronta un panorama di esecuzione in mutamento.
• Scarsità di Feedback: L'agente di alto livello riceve ricompense estrinseche ritardate e scarse solo al completamento del compito, rendendo l'esplorazione inefficiente.
• Limitazioni Attuali: I metodi esistenti come l'Hindsight Experience Replay (HER) o i vincoli di raggiungibilità (ad es. HRAC) spesso trattano la politica di basso livello come stazionaria o si concentrano sulla raggiungibilità senza considerare la prevedibilità dell'esito. Essi affrontano i sintomi della non-stazionarietà piuttosto che la necessità fondamentale che il Manager selezioni sotto-obiettivi che non siano solo raggiungibili, ma prevedibili data la competenza attuale del Worker.

Il problema centrale è come consentire all'agente di alto livello di eseguire una selezione di sotto-obiettivi strategica che tenga conto della stochasticità e dell'incertezza dell'esecuzione di basso livello, stabilizzando così il processo di apprendimento.

2. Metodologia: Selezione di Sotto-obiettivi Stabile (S3)

L'approccio proposto, S3, introduce un meccanismo di ricompensa intrinseca consapevole della dinamica per l'agente di alto livello. La filosofia centrale è che il Manager debba essere motivato a selezionare sotto-obiettivi che il Worker possa eseguire con alta certezza, modellando efficacemente le "dinamiche grossolane" dell'ambiente.

2.1 Dinamica Grossolana e Incertezza Predittiva

Invece di modellare le transizioni primitive, S3 modella le dinamiche grossolane: la transizione da uno stato $s_t$ a uno stato di arrivo $s_{t+c}$ dopo che l'agente di basso livello ha eseguito un sotto-obiettivo $g_t$ per un orizzonte temporale fisso $c$.

• Obiettivo: Minimizzare l'incertezza predittiva di queste transizioni grossolane.
• Razionale: Se l'agente di basso livello è incerto sul raggiungimento di un particolare sotto-obiettivo (ad es. infilarsi attraverso una porta stretta), l'agente di alto livello dovrebbe evitare di assegnarlo. Al contrario, se l'esito è prevedibile (ad es. raggiungere un incrocio in un corridoio), il sotto-obiettivo è preferito. Ciò promuove una selezione di sotto-obiettivi "avversa al rischio".

2.2 Ricompensa Intrinseca tramite Modellazione del Potenziale

Per fornire feedback densi senza alterare la politica ottimale, S3 impiega la Modellazione della Ricompensa Basata sul Potenziale (PBRS).

• Funzione di Potenziale ($\Phi$): Definita sulla dispersione (varianza) della distribuzione della dinamica grossolana.
• Ricompensa Intrinseca ($r_{int}$): Calcolata come la differenza di potenziale tra i passi temporali:
  $$r_{int}^{hi} = \gamma \Phi(s_{t+c}, g_{t+c}) - \Phi(s_t, g_t)$$
• Metrica di Dispersione: La funzione di potenziale penalizza la varianza totale (traccia della matrice di covarianza) della distribuzione dello stato terminale predetto. Una varianza inferiore (maggiore prevedibilità) genera una ricompensa intrinseca maggiore.

2.3 Implementazione: Rete di Densità di Miscela (MDN)

Poiché le dinamiche dell'ambiente sono sconosciute e la politica di basso livello è stocastica, la distribuzione della transizione grossolana $p(s_{t+c} | s_t, g_t)$ è approssimata utilizzando una Rete di Densità di Miscela (MDN).

• Architettura: L'MDN modella la distribuzione come una miscela di $K$ Gaussiane:
  $$\hat{p}_{\theta_{MDN}}(s_{t+c} | s_t, g_t) = \sum_{k=1}^{K} \alpha_k(s_t, g_t) \mathcal{N}(s_{t+c}; \mu_k, \Sigma_k)$$
• Addestramento: L'MDN è addestrata in parallelo con gli agenti HRL utilizzando le tuple $(s_t, g_t, s_{t+c})$ raccolte dal replay buffer.
• Stima dell'Incertezza: La covarianza predittiva totale ($\Sigma_{mix}$) è decomposta in:
  1. Varianza entro il modo (within-mode): Variabilità all'interno di uno specifico scenario di esito.
  2. Varianza tra i modi (between-mode): Ambiguità riguardo a quale scenario di esito si verificherà.
     La ricompensa intrinseca è derivata dalla traccia di questa matrice di covarianza totale.

2.4 Flusso dell'Algoritmo

1. Esecuzione: Il Manager seleziona un sotto-obiettivo $g_t$. Il Worker tenta di raggiungere tale obiettivo in $c$ passi.
2. Raccolta Dati: La tupla $(s_t, g_t, s_{t+c})$ viene memorizzata in un replay buffer per l'MDN.
3. Aggiornamento del Modello: L'MDN aggiorna i suoi parametri per prevedere meglio la distribuzione di $s_{t+c}$.
4. Calcolo della Ricompensa: L'MDN predice la distribuzione per l'attuale $(s_t, g_t)$, calcola la traccia della covarianza e calcola la ricompensa intrinseca.
5. Aggiornamento della Politica: Il Manager viene aggiornato utilizzando la ricompensa estrinseca più il termine di modellazione (shaping) intrinseco.

3. Contributi Chiave

1. Selezione di Sotto-obiettivi Stabile (S3): Un nuovo framework in cui l'agente di alto livello impara a selezionare i sotto-obiettivi basandosi sulla prevedibilità dell'esecuzione di basso livello, piuttosto che sulla semplice raggiungibilità.
2. Modellazione della Dinamica Grossolana: L'introduzione di una scala di astrazione temporale in cui la dinamica dell'ambiente è modellata come una distribuzione su transizioni di $c$ passi, astraggendo dalle primitive a grana fine.
3. Ricompensa Intrinseca Consapevole della Dinamica: Una ricompensa basata sul potenziale che penalizza la dispersione della distribuzione della dinamica grossolana. Questo fornisce un feedback denso al Manager, guidandolo verso esiti affidabili e ripetibili.
4. Integrazione con MDN: L'uso di Reti di Densità di Miscela per modellare esplicitamente gli esiti multimodali e quantificare l'incertezza (sia tra i modi che entro i modi) per la modellazione della ricompensa.
5. Generalizzabilità: Il metodo è progettato come uno strato di ricompensa intrinseca modulare che può essere applicato ad algoritmi HRL esistenti (dimostrato con HRAC).

4. Risultati Empirici

Gli autori hanno valutato S3 su tre benchmark di controllo continuo MuJoCo: Ant Maze, Ant Push e Ant Fall.

• Ant Fall: S3 ha superato significativamente i baseline (HIRO, HRAC), ottenendo un tasso di successo di 0,374 rispetto allo 0,059 (HIRO) e allo 0,000 (HRAC). Questo compito coinvolge transizioni irreversibili (cadere in un vuoto), dove la capacità di S3 di evitare sotto-obiettivi ad alta incertezza è stata critica.
• Ant Push: S3 ha ottenuto un tasso di successo di 0,186, superando HIRO (0,134) e pareggiando HRAC (0,180). Il compito richiede una manipolazione precisa dei blocchi per evitare di bloccare il percorso.
• Ant Maze: S3 ha ottenuto 0,827, comparabile a HRAC (0,832) e HIRO (0,790). Gli autori osservano che in compiti puramente di navigazione con locomozione prevedibile, il beneficio marginale della modellazione della dinamica grossolana è inferiore.
• Analisi Qualitativa:
  • Evitamento del Rischio: In Ant Push, S3 ha imparato a evitare la "zona pericolosa" dove spingere un blocco da sud avrebbe bloccato irreversibilmente l'obiettivo. La distribuzione dello stato terminale si è concentrata lontano da questa zona di pericolo durante l'addestramento.
  • Stabilità della Traiettoria: Le visualizzazioni hanno mostrato che le traiettorie del manager di S3 erano più concentrate e allineate con la direzione del compito rispetto alle strategie disperse di HRAC, particolarmente in compiti con colli di bottiglia.
  • Orizzonte Temporale: L'analisi di sensibilità ha indicato che un orizzonte del manager di $c=10$ forniva il miglior equilibrio tra astrazione e prevedibilità.

5. Significato e Rivendicazioni

Il paper sostiene che S3 affronti la relazione fondamentale tra il Manager e il Worker nell'HRL. Modellando esplicitamente l'incertezza predittiva dell'agente di basso livello, S3 stabilizza la politica di alto livello.

• Stabilità: L'approccio mitiga la non-stazionarietà causata dall'evoluzione della politica di basso livello, premiando l'agente di alto livello per la selezione di sotto-obiettivi che sono attualmente "sicuri" ed eseguibili.
• Efficienza: La ricompensa intrinseca densa e consapevole della dinamica accelera l'apprendimento in ambienti a ricompensa scarsa, particolarmente in compiti con dipendenze a lungo termine e colli di bottiglia strutturali.
• Applicabilità: Il metodo è più vantaggioso in ambienti che comportano interazioni fisiche, transizioni irreversibili e dipendenze multi-stadio dove piccoli errori di esecuzione possono portare a stati irrecuperabili.

Gli autori concludono che S3 colma il divario tra HRL basato su modelli, la modellazione della ricompensa basata sul potenziale e la motivazione informazionale, offrendo un meccanismo generalizzabile per migliorare l'apprendimento gerarchico in ambienti complessi e non stazionari.