Riepilogo Tecnico: Q-Learning a Orizzonte Lungo (LQL)

Enunciato del Problema

L'apprendimento per rinforzo (RL) basato sul valore e off-policy, in particolare il Q-learning, è teoricamente attraente perché può apprendere da esperienze arbitrarie, inclusi dati raccolti da politiche più vecchie o da altri agenti. Tuttavia, nella pratica, l'apprendimento a orizzonte lungo tramite bootstrapping è fragile. Gli errori di stima negli stati successivi si propagano all'indietro attraverso gli aggiornamenti di differenza temporale (TD), accumulandosi nel tempo e destabilizzando l'apprendimento.

Una strategia comune di mitigazione prevede l'uso di target multi-step (ad esempio, ritorni a $n$-step o ritorni $\lambda$), che riducono la dipendenza dal bootstrapping a singolo passo incorporando le ricompense osservate su un orizzonte più lungo. Tuttavia, in contesti off-policy, i target a $n$-step introducono una nuova tensione: presuppongono implicitamente che l'agente continuerà a seguire la politica comportamentale (che ha generato la traiettoria registrata) per i successivi $n$ passi. Se le azioni registrate sono subottimali, il backup risultante può essere pessimistico o distorto, non riuscendo a catturare il potenziale della politica in miglioramento che viene appresa. Questo bias off-policy spesso causa un degrado delle prestazioni del TD a $n$-step all'aumentare di $n$, in particolare in compiti con ricompense sparse e orizzonti lunghi.

Metodologia: Q-Learning a Orizzonte Lungo (LQL)

Gli autori propongono il Q-Learning a Orizzonte Lungo (LQL), un metodo progettato per fornire un "paracadute" principiato contro l'accumulo di errori TD senza introdurre il bias off-policy intrinseco nei target standard a $n$-step.

Insight Fondamentale: Disuguaglianze di Ottimalità

LQL si basa su una proprietà fondamentale delle funzioni di valore ottimali: qualsiasi sequenza realizzata di azioni fornisce un limite inferiore su ciò che la politica ottimale può ottenere in media dallo stesso stato iniziale. Nello specifico, agire in modo ottimale immediatamente non dovrebbe essere peggiore (in termini di ritorno atteso) che impegnarsi in una sequenza arbitraria di azioni osservate per una certa durata e poi comportarsi in modo ottimale successivamente.

Gli autori formalizzano questo concetto come disuguaglianze di ottimalità sulle traiettorie. Per un segmento di traiettoria dallo stato $s_i$ allo stato $s_j$ (dove $j > i$):

1. Limite Inferiore: Il valore dell'azione osservata in $s_i$ dovrebbe essere almeno pari alla somma delle ricompense osservate da $i$ a $j$ più il valore scontato dell'azione ottimale in $s_j$.
2. Limite Superiore: Il valore dell'azione ottimale in uno stato precedente $s_i$ dovrebbe essere almeno pari alla somma delle ricompense osservate da $i$ a $j$ più il valore scontato dell'azione osservata in $s_j$.

Implementazione Algoritmica

LQL potenzia la perdita TD standard a 1 passo con penalità a cerniera asimmetriche derivate da queste disuguaglianze.

• Penalità del Limite Inferiore (LB): Se la stima corrente $Q_\theta(s_k, a_k)$ è inferiore al ritorno realizzato del segmento di traiettoria $G_{k:\ell}$ più il valore bootstrappato in uno stato futuro $s_\ell$, viene applicata una penalità per spingere $Q_\theta(s_k, a_k)$ verso l'alto.
• Penalità del Limite Superiore (UB): Se combinare la stima corrente $Q_\theta(s_k, a_k)$ con le ricompense precedenti implica un ritorno superiore a quanto potrebbe essere ottenuto agendo in modo ottimale in uno stato precedente $s_i$, viene applicata una penalità per spingere $Q_\theta(s_k, a_k)$ verso il basso.

Caratteristica Chiave di Efficienza: Crucialmente, LQL calcola queste penalità utilizzando solo le uscite della rete già generate durante un aggiornamento TD standard (cioè $Q_\theta(s, a)$ e i valori della rete target $Q_{\bar{\theta}}(s, a^*)$). Non richiede nessuna rete ausiliaria e nessun passaggio in avanti aggiuntivo rispetto al Q-learning standard. Il metodo campiona traiettorie dal buffer di replay e aggrega queste perdite a cerniera lungo la traiettoria.

Contributi Chiave

1. Paracadute Principiato: LQL introduce un meccanismo per rilevare e correggere le incoerenze di valore tra stati temporalmente distanti, affrontando direttamente il problema dell'errore cumulativo nell'apprendimento off-policy.
2. Efficienza Computazionale: A differenza dei metodi precedenti che si basano su disuguaglianze di ottimalità (ad esempio, Optimality Tightening), LQL evita il sovraccarico computazionale di passaggi in avanti aggiuntivi o reti ausiliarie riutilizzando le uscite esistenti della rete TD.
3. Scalabilità con la Lunghezza della Traiettoria: Il metodo tratta la lunghezza della traiettoria come un asse di scalabilità. A differenza della scalatura della dimensione del batch nel TD, che può portare a overfitting e degrado delle prestazioni, l'aumento della lunghezza della traiettoria in LQL migliora costantemente le prestazioni.
4. Compatibilità: LQL è agnostico rispetto al meccanismo di estrazione della politica e può essere combinato con varie architetture di attore (Gaussiana, basata su Flussi, a Blocchi di Azioni).

Risultati Sperimentali

Gli autori hanno valutato LQL su una serie di benchmark online e da offline a online, inclusi OGBench (navigazione e manipolazione robotica con orizzonti lunghi) e RoboMimic (manipolazione umanoide).

• Prestazioni vs Baseline: Attraverso quattro diverse famiglie di estrazione della politica (Best-of-N, Flow Q-Learning, Gaussiana e Action Chunking), LQL ha costantemente superato sia il TD a 1 passo che il TD a $n$-step con lunghezza corrispondente.
• Successo a Orizzonte Lungo: Nel compito più impegnativo, humanoidmaze-giant (ricompense sparse, migliaia di passi), il TD a 1 passo non è riuscito a risolvere alcun compito (0% di successo). Il TD a $n$-step standard ha mostrato un miglioramento parziale ma è degradato significativamente all'aumentare di $n$ oltre 4. Al contrario, LQL con una lunghezza di traiettoria di $L=64$ ha raggiunto un 75,7% di tasso medio di successo, risolvendo due compiti con successo quasi perfetto (>97%).
• Stabilità: LQL ha dimostrato una stabilità superiore nella stima del valore. Mentre il TD a 1 passo spesso soffriva di sovrastima "fuori controllo" (i valori Q divergevano verso magnitudini estreme), LQL ha mantenuto i valori Q entro intervalli analiticamente validi, prevenendo la divergenza.
• Robustezza: LQL ha mantenuto le prestazioni in ambienti stocastici dove ci si potrebbe aspettare che i bias teorici derivanti dalle disuguaglianze in media causino problemi.
• Sovraccarico: Il metodo ha comportato un costo di esecuzione trascurabile (rallentamento medio del 4,7% per aggiornamento) rispetto al TD standard.

Significato e Affermazioni

Il documento afferma che LQL offre una soluzione pratica alla "triade mortale" dell'apprendimento off-policy, del bootstrapping e dell'approssimazione di funzione fornendo un controllo di coerenza a orizzonte lungo che non eredita il bias off-policy dei target multi-step.

Gli autori evidenziano due implicazioni più ampie:

1. Assorbimento di Informazioni: LQL fornisce un percorso per assorbire informazioni da traiettorie molto lunghe senza il bias off-policy che limita i target a $n$-step.
2. Asse di Scalabilità: La lunghezza della traiettoria emerge come un asse di scalabilità praticabile per l'RL profondo basato sul valore che evita il degrado patologico osservato quando si scalano le dimensioni del batch nell'apprendimento TD standard.

Il lavoro è modesto riguardo ai limiti teorici, riconoscendo che le disuguaglianze di ottimalità sono affermazioni in media, il che introduce un bias teorico in ambienti stocastici quando approssimate tramite singoli campioni. Tuttavia, i risultati empirici e i limiti teorici suggeriscono che questo bias è limitato e non danneggia materialmente le prestazioni nella pratica.