Technische Samenvatting: Long-Horizon Q-Learning (LQL)

Probleemstelling

Off-policy, op waarden gebaseerde versterkende leer (RL), en met name Q-learning, is theoretisch aantrekkelijk omdat het kan leren van willekeurige ervaring, inclusief data verzameld door oudere beleidsregels of andere agenten. In de praktijk is echter lang-horizon leren via bootstrapping kwetsbaar. Schattingsfouten in latere toestanden planten zich via temporal-difference (TD) updates terug naar voren, versterken zich na verloop van tijd en destabiliseren het leerproces.

Een veelgebruikte mitigatiestrategie omvat multi-stap doelen (bijvoorbeeld $n$-stap returns of $\lambda$-returns), die de afhankelijkheid van single-step bootstrapping verminderen door waargenomen beloningen over een langere horizon te integreren. In off-policy settings introduceren $n$-stap doelen echter een nieuwe spanning: ze impliceren dat de agent de subsequent $n$ stappen het gedragsbeleid (dat de gelogde trajecten genereerde) zal blijven volgen. Als de gelogde acties suboptimaal zijn, kan de resulterende backup pessimistisch of vertekend zijn, waardoor het potentieel van het verbeterde beleid dat wordt geleerd, niet wordt vastgelegd. Deze off-policy bias zorgt er vaak voor dat de prestaties van $n$-stap TD verslechteren naarmate $n$ toeneemt, met name in taken met schaarse beloningen en lange horizons.

Methodologie: Long-Horizon Q-Learning (LQL)

De auteurs stellen Long-Horizon Q-Learning (LQL) voor, een methode die is ontworpen om een principiële "backstop" te bieden tegen cumulerende TD-fouten zonder de off-policy bias die inherent is aan standaard $n$-stap doelen.

Kerninzicht: Optimaliteitsongelijkheden

LQL is gebaseerd op een fundamentele eigenschap van optimale waardenfuncties: elke gerealiseerde reeks acties vormt een ondergrens voor wat het optimale beleid in verwachting kan bereiken vanuit dezelfde starttoestand. Specifiek zou het direct optimaal handelen niet slechter moeten zijn (in termen van verwachte return) dan het toewijzen aan een willekeurige reeks waargenomen acties voor een bepaalde duur en daarna optimaal te handelen.

De auteurs formaliseren dit als optimaliteitsongelijkheden over trajecten. Voor een trajectsegment van toestand $s_i$ tot $s_j$ (waarbij $j > i$):

1. Ondergrens: De waarde van de waargenomen actie bij $s_i$ moet ten minste gelijk zijn aan de som van de waargenomen beloningen van $i$ tot $j$ plus de gediskonteerde waarde van de optimale actie bij $s_j$.
2. Bovengrens: De waarde van de optimale actie bij een eerdere toestand $s_i$ moet ten minste gelijk zijn aan de som van waargenomen beloningen van $i$ tot $j$ plus de gediskonteerde waarde van de waargenomen actie bij $s_j$.

Algorithmische Implementatie

LQL breidt de standaard 1-stap TD-verliesfunctie uit met asymmetrische scharnierstraffen die zijn afgeleid van deze ongelijkheden.

• Ondergrens (LB) Straffen: Als de huidige schatting $Q_\theta(s_k, a_k)$ lager is dan de gerealiseerde return van het trajectsegment $G_{k:\ell}$ plus de gebootstrapte waarde bij een toekomstige toestand $s_\ell$, wordt een straf toegepast om $Q_\theta(s_k, a_k)$ omhoog te duwen.
• Bovengrens (UB) Straffen: Als het combineren van de huidige schatting $Q_\theta(s_k, a_k)$ met voorafgaande beloningen een return impliceert die hoger is dan wat kan worden bereikt door optimaal te handelen bij een eerdere toestand $s_i$, wordt een straf toegepast om $Q_\theta(s_k, a_k)$ omlaag te duwen.

Belangrijk Efficiëntiekenmerk: Cruciaal is dat LQL deze straffen berekent met alleen de netwerkuitvoer die al is gegenereerd tijdens een standaard TD-update (d.w.z. $Q_\theta(s, a)$ en de target-netwerkwaarden $Q_{\bar{\theta}}(s, a^*)$). Het vereist geen aanvullende netwerken en geen extra forward passes ten opzichte van standaard Q-learning. De methode steekt trajecten uit de replay buffer en aggregeert deze scharnierverliezen over het traject.

Belangrijkste Bijdragen

1. Principiële Backstop: LQL introduceert een mechanisme om waardeninconsistenties over tijdelijk ver verwijderde toestanden te detecteren en te corrigeren, waardoor het probleem van cumulerende fouten in off-policy learning direct wordt aangepakt.
2. Berekenings-efficiëntie: In tegenstelling tot eerdere methoden die vertrouwen op optimaliteitsongelijkheden (bijvoorbeeld Optimality Tightening), vermijdt LQL de rekenkundige overhead van extra forward passes of aanvullende netwerken door bestaande TD-netwerkuitvoer opnieuw te gebruiken.
3. Schaalbaarheid met Trajectlengte: De methode behandelt trajectlengte als een schaalas. In tegenstelling tot batch-grootte schaling in TD, wat kan leiden tot overfitting en prestatieverlies, leidt het vergroten van de trajectlengte in LQL consequent tot verbeterde prestaties.
4. Compatibiliteit: LQL is agnostisch ten opzichte van het beleidsextractiemechanisme en kan worden gecombineerd met verschillende actor-architecturen (Gaussisch, Flow-based, Action Chunking).

Experimentele Resultaten

De auteurs hebben LQL geëvalueerd op een reeks online en offline-naar-online benchmarks, waaronder OGBench (robotnavigatie en manipulatie met lange horizons) en RoboMimic (humanoid manipulatie).

• Prestaties versus Baselines: Over vier verschillende beleidsextractiefamilies (Best-of-N, Flow Q-Learning, Gaussisch en Action Chunking) heen presteerde LQL consequent beter dan zowel 1-stap TD als op lengte afgestemde $n$-stap TD.
• Succes bij Lange Horizon: In de meest uitdagende taak, humanoidmaze-giant (schaarse beloningen, duizenden stappen), faalde 1-stap TD om enige taak op te lossen (0% succes). Standaard $n$-stap TD toonde een gedeeltelijke verbetering, maar degradeerde aanzienlijk naarmate $n$ boven de 4 uitkwam. Daarentegen bereikte LQL met een trajectlengte van $L=64$ een 75,7% gemiddeld succespercentage, waarbij twee taken met bijna perfect succes (>97%) werden opgelost.
• Stabiliteit: LQL vertoonde superieure stabiliteit in waarden schatting. Terwijl 1-stap TD vaak leed aan "runaway" overschatting (Q-waarden die divergeren naar extreme groottes), hield LQL Q-waarden binnen analytisch geldige bereiken en voorkwam divergentie.
• Robuustheid: LQL behield de prestaties in stochastische omgevingen waar theoretische biases van ongelijkheden in verwachting zouden kunnen leiden tot problemen.
• Overhead: De methode veroorzaakte een verwaarloosbare runtime-kost (gemiddeld 4,7% vertraging per update) ten opzichte van standaard TD.

Betekenis en Claims

Het artikel beweert dat LQL een praktische oplossing biedt voor de "dodelijke triade" van off-policy learning, bootstrapping en functiebenadering door een consistentiecheck op lange horizon te bieden die niet de off-policy bias van multi-stap doelen erft.

De auteurs benadrukken twee bredere implicaties:

1. Informatieabsorptie: LQL biedt een weg om informatie van zeer lange trajecten te absorberen zonder de off-policy bias die $n$-stap doelen beperkt.
2. Schaalas: Trajectlengte komt naar voren als een levensvatbare schaalas voor diepe, op waarden gebaseerde RL die de pathologische degradatie vermijdt die wordt waargenomen bij het schalen van batch-groottes in standaard TD-lering.

Het werk is bescheiden wat theoretische beperkingen betreft, en erkent dat de optimaliteitsongelijkheden uitspraken zijn in verwachting, wat een theoretische bias introduceert in stochastische omgevingen wanneer ze worden benaderd via enkele steekproeven. Empirische resultaten en theoretische grenzen suggereren echter dat deze bias begrensd is en de prestaties in de praktijk niet wezenlijk schaadt.