Riepilogo Tecnico: Ricerca su Grafo al Momento del Test per l'Apprendimento per Rinforzo Condizionato all'Obiettivo

Enunciato del Problema

L'apprendimento per rinforzo condizionato all'obiettivo (GCRL) offline mira ad addestrare agenti a raggiungere obiettivi specificati dall'utente utilizzando dataset pre-raccolti, evitando i costi e i rischi di sicurezza dell'interazione online. Sebbene efficace per compiti a orizzonte moderato, le politiche GCRL offline standard falliscono spesso in compiti a lungo orizzonte. In ambienti complessi (ad esempio, grandi labirinti), gli errori nella stima del valore si accumulano, portando a politiche inaffidabili che non riescono a concatenare comportamenti provenienti da parti disparate del dataset.

Le soluzioni precedenti a questo problema hanno introdotto complessità significative, come pianificatori generativi computazionalmente intensivi, l'addestramento di ensemble di funzioni di valore distribuzionali, l'utilizzo di rappresentazioni geometriche specializzate o il ricorso a dati aggiuntivi oltre al dataset offline. Questi approcci operano spesso sotto l'assunzione che le funzioni di valore condizionate all'obiettivo standard siano intrinsecamente troppo rumorose o inaffidabili per supportare una pianificazione diretta a lungo orizzonte.

Metodologia: Ricerca su Grafo al Momento del Test (TTGS)

Gli autori propongono la Ricerca su Grafo al Momento del Test (TTGS), un wrapper di pianificazione leggero e privo di addestramento progettato per potenziare le politiche GCRL congelate. TTGS opera interamente al momento del test, richiedendo nessuna supervisione aggiuntiva, aggiornamenti dei parametri o interazione online.

Componenti Principali

1. Costruzione del Grafo:

   • Un sottoinsieme di stati viene campionato dal dataset offline per fungere da vertici del grafo.
   • Un segnale di distanza viene utilizzato per assegnare i pesi degli archi tra questi vertici. Questo segnale può essere derivato da:
     • Distanze derivate dal valore: Mappatura della funzione di valore condizionata all'obiettivo pre-addestrata $V(s, g)$ su una stima del numero di passi $\hat{d}(s, g)$. Il documento fornisce mappature in forma chiusa per convenzioni di ricompensa comuni (ad esempio, ricompense terminali sparse o penalità per passo).
     • Distanze specifiche del dominio: Utilizzo di metriche geometriche come la distanza euclidea tra le posizioni del corpo quando disponibile.
   • Meccanismo di Penalità Morbida: Per affrontare il problema delle funzioni di valore che sovrastimano la connettività (creando "buchi di verme" attraverso le lacune), TTGS impiega una funzione di penalità superlineare $p(\cdot)$ per le transizioni che superano una soglia di regione di fiducia $\tau$. Gli archi con distanze $D_{ij} < \tau$ mantengono la loro distanza grezza, mentre quelli con $D_{ij} \ge \tau$ ricevono un peso $p(D_{ij})$ (ad esempio, $x \cdot 1000^{x/\tau}$). Questo preserva la struttura metrica locale mentre indirizza il pianificatore verso catene di salti brevi e affidabili, impedendo al grafo di frammentarsi (come farebbe una soglia rigida) o permettendo salti lunghi non fattibili.

2. Pianificazione al Momento del Test:

   • Ricerca del Percorso più Breve: Dato uno stato iniziale $s_0$ e un obiettivo $g$, l'algoritmo individua i vertici più vicini nel grafo e calcola un percorso più breve utilizzando l'algoritmo di Dijkstra. Questo percorso guida viene calcolato una volta per episodio.
   • Selezione Adattiva dei Sottobiettivi: Durante l'esecuzione, l'agente non segue il percorso alla cieca. Invece, seleziona un sottobiettivo dal percorso precalcolato in base a un budget di passi $T$. L'agente identifica il punto di riferimento più lontano sul percorso che rientra nel budget $T$ dallo stato corrente. Se nessun tale punto di riferimento esiste, seleziona il prossimo punto di riferimento immediato per garantire il progresso in avanti.
   • Esecuzione della Politica: La politica di base congelata $\pi(a | s, \tilde{g})$ viene invocata con lo stato corrente e il sottobiettivo selezionato $\tilde{g}$.

Strumento Diagnostico

Il documento introduce un rapporto di salto massimo ($\rho$) come diagnostica senza rollout per prevedere se TTGS sarà benefico per un nuovo compito. $\rho$ è il rapporto tra il costo dell'arco massimo lungo il percorso pianificato e la distanza totale stimata. Un $\rho$ basso indica una copertura sufficiente degli stati intermedi (favorevole per TTGS), mentre un $\rho$ alto suggerisce che il dataset manca di stati di collegamento, nel qual caso TTGS ricade sul comportamento della politica di base.

Contributi Chiave

1. Rivalutazione delle Funzioni di Valore: Gli autori dimostrano che le funzioni di valore GCRL offline standard, precedentemente considerate troppo inaffidabili per la ricerca, codificano una struttura geometrica locale sufficiente per una pianificazione robusta a lungo orizzonte quando elaborate con un nuovo meccanismo di penalità morbida.
2. Framework Senza Addestramento: TTGS fornisce un metodo per migliorare le prestazioni a lungo orizzonte riutilizzando politiche e funzioni di valore esistenti senza modificare la pipeline di addestramento, richiedendo nessuna supervisione aggiuntiva o interazione online.
3. Prestazioni con Sovraccarico Minimo: I risultati empirici mostrano che TTGS aumenta significativamente i tassi di successo per agenti GCRL offline all'avanguardia (HIQL, QRL, GCIQL, SAW, OTA) con un sovraccarico computazionale trascurabile (tempo di pianificazione < 1 secondo per episodio).

Risultati Sperimentali

Il metodo è stato valutato sul benchmark OGBench, coprendo compiti di locomozione (pointmaze, antmaze, humanoidmaze) e manipolazione.

• Compiti di Locomozione: TTGS ha ottenuto guadagni sostanziali sui compiti "stitch" a lungo orizzonte dove le politiche di base falliscono tipicamente.
  • Su pointmaze-giant-stitch-v0, i tassi di successo per HIQL sono migliorati da 0,0% a 80,9%, e per GCIQL da 0,0% a 98,0%.
  • Su humanoidmaze-giant-stitch-v0, HIQL è migliorato da 4,4% a 78,1%.
  • Questi miglioramenti hanno spesso eguagliato o superato metodi complessi che richiedono addestramento ausiliario o modelli generativi.
• Compiti di Manipolazione: Su compiti in cui gli obiettivi di valutazione giacciono fuori dalla varietà dei dati (ad esempio, scene-play-v0), TTGS ha fornito guadagni minimi (0–2 punti percentuali) ma non ha degradato le prestazioni, ricadendo correttamente sulla politica di base quando gli stati intermedi mancavano.
• Ablazioni:
  • Penalità Morbide vs Rigide: Rimuovere la penalità morbida (utilizzando distanze grezze) o utilizzare una soglia rigida (rimuovendo gli archi lunghi) ha degradato significativamente le prestazioni sui compiti di stitching a causa di disconnessioni del grafo o percorsi non fattibili.
  • Selezione dei Sottobiettivi: La strategia adattiva di selezionare il punto di riferimento raggiungibile più lontano ha superato una strategia più semplice di scegliere sempre il prossimo punto di riferimento immediato.
  • Fonti di Distanza: TTGS ha funzionato efficacemente sia con distanze derivate dal valore che con semplici distanze euclidee delle posizioni del corpo, dimostrando flessibilità.

Significato e Affermazioni

Il documento afferma che la complessità aggiuntiva spesso considerata necessaria per la pianificazione a lungo orizzonte è frequentemente non necessaria. Sfruttando la struttura geometrica latente già presente nelle funzioni di valore standard e applicando una ricerca su grafo leggera al momento del test, i praticanti possono estendere significativamente le capacità degli agenti GCRL offline esistenti.

Gli autori sottolineano che TTGS è un wrapper di pianificazione conservativo e sicuro: si basa esclusivamente sugli stati recuperati dal dataset, evitando la sintesi di traiettorie fisicamente impossibili comuni negli approcci generativi. Quando i dati offline mancano degli stati intermedi necessari per collegare l'inizio e la fine, TTGS ricade elegantemente sul comportamento della politica di base piuttosto che produrre piani inaffidabili. Il lavoro suggerisce che gli agenti GCRL basati sul valore spesso lasciano inutilizzata una struttura geometrica utile, e TTGS fornisce una ricetta per recuperare questa struttura per la pianificazione a lungo orizzonte senza riaddestramento.