Riepilogo Tecnico: Affinamento Adattivo da Grossolano a Fine dei Sottobiettivi per l'Apprendimento per Rinforzo Condizionato agli Obiettivi Offline a Orizzonte Lungo

1. Enunciato del Problema

L'Apprendimento per Rinforzo Condizionato agli Obiettivi (GCRL) Offline mira a imparare politiche che raggiungono obiettivi diversi partendo da un dataset fisso di traiettorie, senza ulteriore interazione con l'ambiente. Sebbene efficace per compiti a orizzonte breve, questa impostazione affronta sfide significative nei compiti a orizzonte lungo.

La difficoltà principale nasce dalla stima del valore a orizzonte lungo. Sotto ricompense sparse per il raggiungimento dell'obiettivo, le coppie stato-obiettivo distanti forniscono una supervisione diretta debole. Di conseguenza, la funzione di valore deve propagare le informazioni sull'obiettivo attraverso molti aggiornamenti bootstrap. All'aumentare della distanza temporale, gli errori di approssimazione si accumulano lungo la catena di backup, portando a valutazioni inaccurate degli obiettivi lontani. L'addestramento diretto di una politica condizionata agli obiettivi piatta su queste stime di valore rumorose risulta in un processo decisionale a orizzonte lungo inaffidabile.

I metodi gerarchici esistenti tentano di mitigare ciò introducendo sottobiettivi intermedi, riducendo il raggiungimento a orizzonte lungo a una sequenza di decisioni a portata più breve. Tuttavia, questi metodi spesso si affidano a astrazioni temporali fisse (ad esempio, orizzonti di sottobiettivi fissi) o profondità gerarchiche fisse. Tali scale fisse sono frequentemente disallineate rispetto alle coppie stato-obiettivo con orizzonti di raggiungibilità variabili:

• Sottobiettivi eccessivamente locali possono produrre progressi solo marginali, dove piccole differenze di valore sono dominate da errori di stima a orizzonte lungo, portando a scelte fuorvianti.
• Sottobiettivi eccessivamente distanti possono cadere al di fuori del range di esecuzione affidabile della politica di basso livello.

La domanda centrale affrontata è se un agente gerarchico offline possa identificare adattivamente un target intermedio adatto per ogni specifica coppia stato-obiettivo, piuttosto che affidarsi a una scala di decomposizione prescritta.

2. Metodologia: CFHRL

Gli autori propongono l'Apprendimento per Rinforzo Gerarchico Condizionato agli Obiettivi da Grossolano a Fine (CFHRL), un framework GCRL completamente offline che affina adattivamente gli obiettivi distanti prima dell'esecuzione. Il framework opera sul principio che un sottobiettivo non deve essere necessariamente un punto medio esatto o globalmente ottimale; deve solo fornire un progresso affidabile e ridurre la difficoltà di raggiungimento rimanente.

2.1 Componenti Principali

CFHRL utilizza tre politiche apprese coordinate da un costo di raggiungibilità condiviso $D_\phi(s, g)$, derivato da una funzione di valore condizionata agli obiettivi:

1. Pianificatore di Affinamento ($\pi_p$): Propone target intermedi $u$ condizionati allo stato corrente $s$ e al target di pianificazione corrente $g$.
2. Politica di Astrazione ($\pi_z$): Mappa il target raffinato $\bar{g}$ in un comando locale $z$.
3. Politica di Basso Livello ($\pi_a$): Mappa il comando $z$ in azioni primitive $a$.

2.2 Affinamento Adattivo da Grossolano a Fine

Invece di una gerarchia fissa, CFHRL impiega un processo di affinamento ricorsivo con una regola di arresto adattiva:

1. Inizializzazione: Iniziare con l'obiettivo finale $g^{(0)} = g$.
2. Controllo di Esecutibilità: Al livello di affinamento $\ell$, verificare se il target corrente $g^{(\ell)}$ è localmente eseguibile dallo stato $s$ utilizzando un costo di raggiungibilità appreso:
   $$D_\phi(s, g^{(\ell)}) \le \epsilon_{exec}$$
   dove $\epsilon_{exec}$ è una soglia.
3. Ciclo di Affinamento: Se la condizione è soddisfatta, l'affinamento si ferma e $g^{(\ell)}$ viene passato al modulo di esecuzione. Altrimenti, il pianificatore propone un nuovo target intermedio $u^{(\ell)} \sim \pi_p(\cdot | s, g^{(\ell)})$, che diventa il prossimo target $g^{(\ell+1)}$.
4. Terminazione: Il processo si ripete fino a quando il target è localmente raggiungibile o viene raggiunta una profondità massima $K_{max}$.

Questo meccanismo garantisce che la profondità di decomposizione effettiva sia determinata dalla raggiungibilità stimata di ogni coppia stato-obiettivo, e non da una scala temporale fissa.

2.3 Apprendimento Offline del Pianificatore di Affinamento

Il pianificatore è addestrato interamente da dati offline senza interazione online o sottobiettivi etichettati manualmente:

• Costruzione dei Candidati: Per uno stato $s_t$ e un obiettivo $g$, un insieme di sottobiettivi candidati $\mathcal{C}_D$ viene campionato dal dataset offline (stati futuri se $g$ è nella stessa traiettoria, altrimenti dalla distribuzione di replay).
• Punteggio: I candidati sono valutati dal costo di raggiungibilità del collo di bottiglia:
  $$C_\phi(\tilde{s}_i | s_t, g) = \max\{D_\phi(s_t, \tilde{s}_i), D_\phi(\tilde{s}_i, g)\}$$
  Questa metrica favorisce i candidati che contraggono l'orizzonte residuo massimo.
• Obiettivo di Addestramento: Il pianificatore è addestrato tramite imitazione ponderata guidata dal valore. I candidati sono ponderati da un softmax sui loro punteggi negativi, incoraggiando il pianificatore a imitare i sottobiettivi supportati dal replay che decompongono il problema in problemi di raggiungimento residuo più semplici.

2.4 Politiche di Esecuzione

Le politiche di astrazione e di basso livello sono addestrate utilizzando clonazione comportamentale ponderata sul progresso su segmenti a orizzonte breve. Le transizioni che aumentano il valore appreso verso un target locale ricevono pesi di imitazione più elevati, orientando le politiche verso un comportamento localmente progressivo.

3. Analisi Teorica

Il documento fornisce un'analisi stilizzata per giustificare perché l'affinamento adattivo è più robusto della selezione fissa su scala locale sotto stime rumorose:

• Fallimento della Scala Fissa: In una gerarchia a scala locale fissa, all'aumentare dell'orizzonte totale $T$, il rapporto segnale-rumore per distinguere tra mosse locali corrette e incorrette svanisce. La probabilità di selezionare il candidato sbagliato tende a 0,5 quando $T \to \infty$.
• Sufficienza della Contrazione Approssimata: L'analisi mostra che la previsione esatta del punto medio non è necessaria. È sufficiente che il costo appreso preservi un margine grezzo tra i candidati che contraggono l'orizzonte (riducendo la distanza rimanente di un fattore costante $\rho < 1$) e quelli che non lo fanno.
• Limiti di Errore: La probabilità di fallimento complessivo è limitata dalla somma dei fallimenti di affinamento (mancanza di selezione di un sottobiettivo contrattivo) e degli errori di esecuzione locale finale. Questo motiva la regola di arresto basata sulla soglia di valore: affinare finché il target è troppo distante e fermarsi non appena il target è stimato come localmente eseguibile.

4. Risultati Sperimentali

Gli autori valutano CFHRL su OGBench, un benchmark per il controllo condizionato agli obiettivi offline, che copre compiti di locomozione (PointMaze, AntMaze, HumanoidMaze, AntSoccer) e manipolazione (Cube, Scene).

• Prestazioni: CFHRL ottiene il punteggio aggregato più alto (37,5) rispetto a baseline come HIQL (23,2), GCIVL (16,5) e metodi piatti.
• Guadagni a Orizzonte Lungo: I miglioramenti più significativi sono osservati nei compiti a orizzonte lungo di tipo labirinto (ad esempio, PointMaze-Giant-Stitch), dove CFHRL migliora i tassi di successo dallo 0% (per baseline piatte/fisse) al 57%.
• Studi di Ablazione:
  • Arresto Adattivo: Rimuovere la regola di arresto adattiva e forzare profondità di affinamento fisse ($K=2, 3$) degrada le prestazioni, confermando che un affinamento eccessivo accumula errori del pianificatore.
  • Necessità del Pianificatore: Sostituire il pianificatore appreso con sottobiettivi casuali del dataset porta al fallimento, dimostrando che i sottobiettivi devono essere selezionati in base ai costi di raggiungibilità appresi.
  • Budget dei Candidati: Aumentare il numero di candidati di addestramento ($N_c$) migliora le prestazioni fino a un certo punto ($N_c=16$), bilanciando la qualità della supervisione e il throughput di addestramento.
• Limitazioni: CFHRL performa peggio nei compiti di manipolazione ricchi di contatti (Cube) rispetto ai metodi basati su valore piatti, suggerendo che la decomposizione simile ai waypoint è meno efficace per compiti che richiedono dinamiche di contatto precise.

5. Significato e Affermazioni

Il documento afferma tre contributi principali:

1. Formulazione: Formula il GCRL offline a orizzonte lungo come affinamento adattivo dei sottobiettivi nel tempo di arresto, dove la profondità di decomposizione è determinata dall'esecutibilità appresa e non da un orizzonte fisso.
2. Algoritmo: Introduce un obiettivo di contrazione supportato dal replay che addestra un pianificatore di affinamento ammortizzato senza richiedere ricerca su grafo al momento del test o interazione online.
3. Validazione: Fornisce sia un'analisi stilizzata che ablationi empiriche che dimostrano che la contrazione approssimata e l'arresto adattivo migliorano efficacemente il raggiungimento degli obiettivi a orizzonte lungo in ambienti di tipo labirinto.

Gli autori mantengono una posizione modesta, riconoscendo che il metodo dipende dalla qualità del costo di raggiungibilità appreso e che l'interfaccia di astrazione attuale (semplici rappresentazioni di obiettivi locali) potrebbe essere insufficiente per compiti di manipolazione complessi che richiedono sequenze di contatto precise. Suggeriscono che il lavoro futuro dovrebbe concentrarsi sull'abbinare la pianificazione adattiva ad astrazioni più ricche centrate sull'oggetto e sull'estendere il framework ad altri stimatori di valore GCRL offline.