Riepilogo Tecnico: Allineamento delle Rappresentazioni Latenti per l'Apprendimento per Rinforzo Condizionato agli Obiettivi Offline

1. Enunciato del Problema

L'Apprendimento per Rinforzo Condizionato agli Obiettivi (GCRL) offline mira ad apprendere politiche in grado di raggiungere obiettivi arbitrari utilizzando dataset fissi e pre-raccolti, senza ulteriore interazione con l'ambiente. Sebbene promettente, l'apprendimento di funzioni valore affidabili condizionate agli obiettivi in compiti a lungo termine rimane una sfida significativa. Il collo di bottiglia principale identificato in questo lavoro è la generalizzazione errata nelle funzioni valore condizionate agli obiettivi.

Le funzioni valore standard, in particolare quelle parametriche tramite Reti Perceptron Multistrato (MLP), tendono a generalizzare basandosi sulla prossimità euclidea nello spazio degli stati piuttosto che sulla distanza temporale. In ambienti con ostacoli (ad esempio, labirinti) o ricompense sparse, ciò porta a una "fuoriuscita di valore" (value leakage), dove stati fisicamente vicini a un obiettivo ma temporalmente distanti (separati da muri o dinamiche complesse) vengono assegnati erroneamente valori elevati. Ciò risulta in stime di valore rumorose e politiche di controllo fragili. Inoltre, i metodi esistenti che tentano di affrontare questo problema tramite architetture quasimetriche (ad esempio, IQE, MRN) spesso soffrono di prestazioni inconsistenti tra diversi domini (ad esempio, prestazioni buone nella navigazione in labirinti ma fallimenti nella manipolazione robotica) o introducono instabilità nell'addestramento.

2. Metodologia: Apprendimento del Valore Allineato Latentemente (LAVL)

Gli autori propongono l'Apprendimento del Valore Allineato Latentemente (LAVL), un algoritmo GCRL offline che integra una nuova architettura di funzione valore con un framework di pianificazione gerarchica.

2.1. Rete di Allineamento Latente (LAN)

L'innovazione centrale è la Rete di Allineamento Latente (LAN), un'architettura di funzione valore progettata per imporre un'induzione induttiva appropriata per la generalizzazione del valore.

• Architettura: A differenza delle MLP standard o dei modelli quasimetrici rigorosi, la LAN parametrizza il valore condizionato all'obiettivo $V(s, g)$ come la distanza euclidea negativa tra le rappresentazioni latenti apprese dello stato e dell'obiettivo:
  $$V(s, g) = -\|\phi_S(s) - \phi_G(g)\|^2$$
  dove $\phi_S: \mathcal{S} \to \mathbb{R}^d$ e $\phi_G: \mathcal{G} \to \mathbb{R}^d$ sono reti di rappresentazione asimmetriche per lo stato e l'obiettivo.
• Meccanismo: Rompendo la struttura metrica rigorosa (consentendo $\phi_S \neq \phi_G$), la LAN introduce una flessibilità che permette alla funzione valore di generalizzare basandosi sulla geometria dello spazio latente appreso piuttosto che sulla prossimità grezza euclidea degli stati. Questo mitiga il problema della "sovrageneralizzazione" in cui il valore si propaga attraverso gli ostacoli.
• Vantaggi: La LAN evita l'instabilità nell'addestramento e i cali di prestazioni specifici del dominio associati a vincoli quasimetrici rigorosi (come IQE), mantenendo al contempo il bias strutturale necessario per una stima accurata della distanza temporale.

2.2. Apprendimento del Valore con Regularizzazione di Continuità

Per stabilizzare l'apprendimento in contesti a lungo termine, LAVL potenzia l'obiettivo standard di Apprendimento del Valo Implicito (IVL) con un termine di regularizzazione di continuità locale.

• Obiettivo: La perdita totale combina l'obiettivo TD ($L_{TD}$) con un termine di regularizzazione ($L_{Reg}$) che penalizza le fluttuazioni locali brusche nella funzione valore tra stati vicini:
  $$L(V) = L_{TD}(V) + w_c L_{Reg}(V)$$
• Funzione: $L_{Reg}$ sopprime il rumore ad alta frequenza nel paesaggio del valore senza compromettere la coerenza globale di Bellman, garantendo una propagazione stabile delle ricompense sparse su orizzonti lunghi.

2.3. Framework di Politica Gerarchica

LAVL adotta un framework di politica gerarchica simile a HIQL, costituito da:

• Politica di alto livello ($\pi_h$): Genera una rappresentazione di sub-obiettivo $w$ condizionata allo stato corrente $s$ e all'obiettivo finale $g$. In LAVL, il sub-obiettivo è definito come una mappatura solo-obiettivo $w = \phi(g)$, allineandosi naturalmente alla parametrizzazione LAN.
• Politica di basso livello ($\pi_l$): Emette azioni condizionate allo stato $s$ e al sub-obiettivo $w$.
• Addestramento: Entrambe le politiche sono addestrate utilizzando la Regressione Ponderata dal Vantaggio (AWR), sfruttando le stime di valore stabili fornite dalla LAN.

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Identificazione della Generalizzazione Errata: Gli autori identificano che il fallimento del GCRL offline in compiti a lungo termine è fondamentalmente guidato da funzioni valore che generalizzano tramite prossimità euclidea invece che distanza temporale. Dimostrano che il bias induttivo nell'architettura della funzione valore è il fattore critico per risolvere questo problema, piuttosto che il solo obiettivo di apprendimento.
2. Proposta di LAVL: Introducono LAVL, un framework unificato che combina la Rete di Allineamento Latente (LAN) per una generalizzazione del valore affidabile, la regularizzazione di continuità per un apprendimento stabile e una politica gerarchica per la pianificazione a lungo termine.
3. Superiorità Empirica: Esperimenti estensivi sul benchmark OGBench dimostrano che LAVL supera costantemente i metodi GCRL offline esistenti all'avanguardia.

4. Risultati Sperimentali

Gli autori hanno valutato LAVL su 22 dataset provenienti da OGBench, coprendo compiti di navigazione in labirinti (Point, Ant, Humanoid) e di manipolazione robotica (Cube, Scene) con orizzonti variabili e strategie di raccolta dati diverse (navigazione vs. stitching).

• Prestazioni Complessive: LAVL ha ottenuto le prestazioni più elevate su 20 dataset su 22, superando significativamente le linee di base come GCIVL, QRL, HIQL e CGCIVL.
• Stabilità a Lungo Termine: In ambienti labirintici "giganti", LAVL ha mantenuto un tasso di successo dell'85% con un calo relativo di soli 9,6% rispetto ai labirinti di dimensioni medie. Al contrario, le linee di base come HIQL e QRL hanno subito cali catastrofici delle prestazioni (cali relativi del 75,4% e del 61,7%, rispettivamente).
• Stitching di Traiettorie: Su dataset "stitch" (composti da traiettorie brevi e frammentate), LAVL ha mostrato un calo minimo delle prestazioni (1,1%) rispetto ai dataset di navigazione, mentre altri metodi si sono degradati significativamente (ad esempio, un calo del 36,9% per HIQL).
• Manipolazione Robotica: A differenza dei metodi quasimetrici (ad esempio, QRL) che fallivano nei compiti di manipolazione, LAVL ha ottenuto tassi di successo elevati (ad esempio, 88% su Scene-play), dimostrando la robustezza della LAN attraverso domini diversi.
• Studi di Ablazione: Gli esperimenti hanno confermato che:
  • La LAN supera le architetture quasimetriche (IQE, MRN) e gli approcci basati su metriche (Hilbert) all'interno dello stesso framework gerarchico.
  • La combinazione di LAN e politiche gerarchiche produce risultati superiori rispetto a politiche piatte o all'uso della LAN con politiche piatte da sole.
  • La regularizzazione di continuità fornisce guadagni significativi su compiti impegnativi (ad esempio, aumentando il tasso di successo su Pointmaze-giant-stitch dal 35% al 95% in alcune configurazioni).

5. Significato e Affermazioni

Il documento afferma che LAVL rappresenta un avanzamento significativo nel GCRL offline affrontando il collo di bottiglia fondamentale della generalizzazione del valore.

• Insight Architettonico: Il lavoro evidenzia che la scelta dell'architettura della funzione valore è più critica dell'obiettivo di apprendimento per ottenere una generalizzazione affidabile. Sostiene che, sebbene le funzioni valore ottimali siano quasimetriche, imporre vincoli quasimetrici rigorosi durante l'addestramento può essere eccessivamente restrittivo; invece, l'allineamento latente appreso offre un bias induttivo più efficace.
• Framework Unificato: LAVL unisce con successo una generalizzazione efficace, un apprendimento del valore stabile e una pianificazione gerarchica, abilitando prestazioni robuste in compiti che richiedono ragionamento a lungo termine e stitching di traiettorie.
• Impatto Pratico: Il metodo ottiene risultati all'avanguardia senza richiedere un'attenta regolazione degli iperparametri o rappresentazioni oracolari, rendendolo una soluzione pratica per problemi complessi di decisione offline.

Gli autori concludono che, sebbene il loro lavoro si concentri sull'apprendimento del valore e sull'estrazione gerarchica, le scoperte riguardanti il bias induttivo architettonico potrebbero estendersi a più ampi algoritmi RL basati sul valore, e il lavoro futuro potrebbe esplorare l'estensione di questi metodi al controllo robotico reale ad alta dimensionalità.