Drift Q-Learning

Technische Samenvatting: Drift Q-Learning (DriftQL)

Probleemstelling
Offline Reinforcement Learning (RL) streeft naar het aanleren van optimale policies vanuit vaste datasets zonder verdere interactie met de omgeving. Een centrale uitdaging in deze setting is het "out-of-distribution" (OOD) probleem: waardefuncties die getraind zijn op statische data produceren onbetrouwbare schattingen voor acties die niet aanwezig zijn in de dataset. Om dit te mitigeren, is gedragsregularisatie vereist om de geleerde policy te beperken naar de datadistributie, terwijl er nog steeds ruimte blijft voor verbetering richting acties met een hoge waarde.

Bestaande oplossingen die gebruikmaken van expressieve generatieve modellen, zoals diffusie- en flow-gebaseerde policies, modelleren effectief de multimodale structuur van gedragsdistributies. Zij lijden echter onder aanzienlijke praktische beperkingen: ze vereisen iteratieve denoising of zware solver-integraties tijdens de inferentie, wat leidt tot een trage executie. Hoewel er distillatie-gebaseerde alternatieven bestaan om de inferentiesnelheid te verhogen, introduceren zij complexiteit door de noodzaak van extra netwerken en twee-fasen trainingspipelines.

Methodologie
De auteurs stellen Drift Q-Learning (DriftQL) voor, een één-stap generatieve methode die een drift-gebaseerde gedragsregularisator combineert met critic-gestuurde policy-verbetering. DriftQL is gebouwd op het framework van "Drifting Models", die een directe één-stap pushforward-map leren van voorafgaande ruis en conditioneringssignalen naar de data.

De kern van DriftQL is een stochastische actor-netwerk $f_\theta(s, \epsilon)$ dat een staat $s$ en Gaussische ruis $\epsilon$ mapt naar een actie $a$. De trainingsdoelstelling verenigt distributiemodellering met beloningszoeken via twee primaire mechanismen:

1. Conditioneel Driftveld: De policy wordt gesuperviseerd door een staat-conditioneel driftveld bestaande uit twee tegenovergestelde krachten:

   • Aantrekking ($V^+$): Trekt gegenereerde acties naar de geobserveerde dataset-acties (behavior cloning). In de offline RL-setting, waar er doorgaans één geobserveerde actie per staat is, vereenvoudigt dit tot een direct vectorverschil tussen de gegenereerde actie en de dataset-actie.
   • Afstoting ($V^-$): Duwt gegenereerde acties van elkaar weg. Dit voorkomt dat de policy instort op een enkele modus (de dataset-actie) en behoudt een diverse set kandidaten binnen gebieden met een hoge waarde. De afstoting wordt berekend met behulp van een kernel-gewogen mean-shift over de $N$ kandidaat-acties die voor een enkele staat worden gegenereerd.

2. Critic-Gestuurde Verbetering: In tegenك tot standaard drifting models gebruikt voor onconditionele generatie, incorporeert DriftQL een waarde-gebaseerde doelstelling. Een clipped double-Q critic schat de waarde van acties. De actor minimaliseert een gecombineerde loss:
   $$L_{actor}(\theta) = \alpha L_{drift}(\theta) + L_Q(\theta)$$
   waarbij $L_{drift}$ de drift-loss is (het regresseren van acties naar het gedrifte doel) en $L_Q$ de negatieve verwachte Q-waarde is. De waardegradiënt stuurt de policy naar gebieden met een hoge waarde binnen de datasupport, waardoor de policy kan concentreren op meerdere hoogwaardige modi als die in de data aanwezig zijn.

Belangrijkste Bijdragen

• Eén-stap Generatieve Policy: DriftQL genereert acties in een enkele forward pass, waardoor de noodzaak voor iteratieve denoising-ketens, ODE-solvers of distillatie-stadia die vereist zijn door diffusie- en flow-gebaseerde methoden, wordt geëlimineerd.
• Verenigde Trainingsdoelstelling: De methode integreert gedragsregularisatie (via het driftveld) en policy-verbetering (via de Q-critic) in één enkel netwerk met een verenigde loss, waardoor de complexiteit van multi-stage trainingspipelines wordt vermeden.
• Modusselectie en Diversiteit: De combinatie van aantrekking (naar data) en afstoting (tussen kandidaten) stelt de policy in staat om massa over kandidaten te behouden tijdens de training, terwijl deze convergeert naar hoogwaardige modi, wat instorting naar een enkele deterministische actie of verspreiding over niet-ondersteunde regio's voorkomt.

Experimentele Resultaten
DriftQL werd geëvalueerd op de D4RL en OGBench benchmarks, die continue controle-, navigatie- en manipulatietaken beslaan.

• Prestaties: DriftQL presteert consistent beter dan of is gelijk aan state-of-the-art diffusie- en flow-gebaseerde baselines (bijv. Diffusion-QL, FQL, IDQL) over 78 offline leer-taken. Het vertoont bijzonder sterke winsten op langdurige navigatietaken (bijv. antmaze-large-st, antmaze-giant-st) en complexe manipulatietaken.
• Robuustheid: Onder gedegradeerde datakwaliteit (gesimuleerd door een fractie van de acties te vervangen door willekeurige ruis), behoudt DriftQL een prestatie die dichter bij de clean-data baseline ligt dan concurrerende methoden, die zichtbaar worstelen naarmate de ruis toeneemt.
• Efficiëntie: Wat betreft inferentie-latentie is DriftQL ongeveer 2$\times$ sneller dan FQL, 3$\times$ sneller dan Diffusion-QL en 4$\times$ sneller dan IDQL/IFQL. Het bereikt dit zonder een aparte distillatie-stadia te vereisen. De kosten voor training schalen met het aantal gegenereerde samples ($N$) vanwege de pairwise kernel-berekeningen, maar blijven bescheiden vergeleken met de overhead van iteratieve denoising in diffusiemodellen.

Betekenis en Claims
Het artikel positioneert DriftQL als een veelbelovend alternatief voor diffusie- en flow-gebaseerde offline RL-methoden. Het claimt de expressiviteit van generatieve modellen (het afhandelen van multimodale distributies) te bieden, terwijl het de eenvoud en efficiëntie van deterministische benaderingen (enkele forward pass) behoudt.

De auteurs stellen dat DriftQL erin slaagt de concurrerende doelstellingen van offline RL te verzoenen: het beperkt de policy tot de datasupport om betrouwbare waardeschattingen te garanderen, terwijl het verbetering naar hoog-belonende regio's toestaat. Door de computationele overhead van iteratieve sampling te verwijderen, biedt DriftQL een meer praktische oplossing voor real-world deployment waar inferentiesnelheid cruciaal is, terwijl de robuustheid tegen datacorruptie behouden blijft. Het werk suggereert dat "drifting" een nuttig "middengemiddelde" biedt voor offline RL, waarbij stochastische, distributionele trainingssignalen worden aangeboden zonder de kosten aan de test-tijd die geassocieerd worden met multi-step generatieve policies.