Drift Q-Learning

Technische Zusammenfassung: Drift Q-Learning (DriftQL)

Problemstellung
Offline Reinforcement Learning (RL) zielt darauf ab, optimale Strategien (Policies) aus festen Datensätzen zu erlernen, ohne weitere Interaktionen mit der Umgebung. Eine zentrale Herausforderung in diesem Kontext ist das Problem der „Out-of-Distribution“ (OOD): Wertfunktionen, die auf statischen Daten trainiert wurden, liefern unzuverlässige Schätzungen für Aktionen, die nicht im Datensatz enthalten sind. Um dies zu mildern, ist eine Verhaltensregularisierung erforderlich, die die gelernte Policy in Richtung der Datenverteilung einschränkt, während gleichzeitig eine Verbesserung hin zu hochwertigen Aktionen ermöglicht wird.

Bestehende Lösungen, die expressive generative Modelle wie Diffusion- oder Flow-basierte Policies nutzen, modellieren effektiv die multimodale Struktur von Verteilungen. Sie leiden jedoch unter erheblichen praktischen Einschränkungen: Sie erfordern iterative Denoising-Schritte oder schwere Solver-Integrationen zur Inferenzzeit, was zu einer langsamen Ausführung führt. Während Distillations-basierte Alternativen existieren, um die Inferenz zu beschleunigen, führen sie durch zusätzliche Netzwerke und zweistufige Trainings-Pipelines zu einer höheren Komplexität.

Methodik
Die Autoren schlagen Drift Q-Learning (DriftQL) vor, eine einstufige generative Methode, die einen Drift-basierten Verhaltensregularisierer mit einer Critic-gesteuerten Policy-Verbesserung kombiniert. DriftQL basiert auf dem Framework der „Drifting Models“, die eine direkte einstufige Pushforward-Abbildung von vorangegangenem Rauschen und Konditionierungssignalen zu den Daten lernen.

Der Kern von DriftQL ist ein stochastisches Actor-Netzwerk $f_\theta(s, \epsilon)$, das einen Zustand $s$ und Gaußsches Rauschen $\epsilon$ auf eine Aktion $a$ abbildet. Das Trainingsziel vereint die Modellierung der Verteilung mit der Belohnungssuche durch zwei primäre Mechanismen:

1. Konditioniertes Drift-Feld: Die Policy wird durch ein zustandsbedingtes Drift-Feld gesteuert, das aus zwei entgegengesetzten Kräften besteht:

   • Attraktion ($V^+$): Zieht generierte Aktionen in Richtung der beobachteten Datensatz-Aktionen (Behavior Cloning). In der Offline-RL-Umgebung, in der typischerweise eine beobachtete Aktion pro Zustand vorliegt, vereinfacht sich dies zu einer direkten Vektordifferenz zwischen der generierten Aktion und der Datensatz-Aktion.
   • Repulsion ($V^-$): Drückt generierte Aktionen voneinander weg. Dies verhindert, dass die Policy auf einen einzelnen Modus (die Datensatz-Aktion) kollabiert, und erhält eine vielfältige Menge an Kandidaten innerhalb hochwertiger Regionen. Die Repulsion wird mittels einer Kernel-gewichteten Mean-Shift-Berechnung über die $N$ für einen einzelnen Zustand generierten Kandidaten-Aktionen berechnet.

2. Critic-gesteuerte Verbesserung: Im Gegensatz zu Standard-Drifting-Modellen, die für unkonditionierte Generierung verwendet werden, integriert DriftQL ein wertbasiertes Ziel. Ein Clipped Double-Q-Critic schätzt den Wert der Aktionen. Der Actor minimiert einen kombinierten Verlust:
   $$L_{actor}(\theta) = \alpha L_{drift}(\theta) + L_Q(\theta)$$
   wobei $L_{drift}$ der Drift-Verlust (Regression der Aktionen zum gedrifteten Ziel) und $L_Q$ der negative erwartete Q-Wert ist. Der Wert-Gradient lenkt die Policy in Richtung hochwertiger Regionen des Daten-Supports, was es der Policy ermöglicht, sich auf mehrere hochwertige Modi zu konzentrieren, sofern diese in den Daten existieren.

Wesentliche Beiträge

• Einstufige generative Policy: DriftQL generiert Aktionen in einem einzigen Vorwärtsdurchlauf (Forward Pass) und eliminiert damit die Notwendigkeit für iterative Denoising-Ketten, ODE-Solver oder Distillationsstufen, die bei Diffusion- und Flow-basierten Methoden erforderlich sind.
• Vereinheitlichtes Trainingsziel: Die Methode integriert Verhaltensregularisierung (via Drift-Feld) und Policy-Verbesserung (via Q-Critic) in ein einziges Netzwerk mit einem vereinheitlichten Verlust, wodurch die Komplexität mehrstufiger Trainings-Pipelines vermieden wird.
• Modus-Selektion und Diversität: Die Kombination aus Attraktion (zu den Daten) und Repulsion (zwischen den Kandidaten) ermöglicht es der Policy, während des Trainings Masse über die Kandidaten hinweg aufrechtzuerhalten, während sie gleichzeitig zu hochwertigen Modi konvergiert. Dies verhindert den Kollaps auf eine einzige deterministische Aktion oder das Streuen über nicht unterstützte Regionen.

Experimentelle Ergebnisse
DriftQL wurde auf den D4RL- und OGBench-Benchmarks evaluiert, die Aufgaben in den Bereichen kontinuierliche Steuerung, Navigation und Manipulation abdecken.

• Leistung: DriftQL übertrifft konsistent Diffusion- oder Flow-basierte State-of-the-Art-Baselines (z. B. Diffusion-QL, FQL, IDQL) oder erreicht diese in 78 Offline-RL-Aufgaben. Es zeigt besonders starke Gewinne bei langfristigen Navigationsaufgaben (z. B. antmaze-large-st, antmaze-giant-st) und komplexen Manipulationsaufgaben.
• Robustheit: Unter verschlechterter Datenqualität (simuliert durch das Ersetzen eines Teils der Aktionen durch zufälliges Rauschen) behält DriftQL eine Leistung bei, die näher an seinem Clean-Data-Baseline-Wert liegt als konkurrierende Methoden, die bei zunehmendem Rauschen deutlich an Boden verlieren.
• Effizienz: In Bezug auf die Inferenzlatenz ist DriftQL etwa 2$\times$ schneller als FQL, 3$\times$ schneller als Diffusion-QL und 4$\times$ schneller als IDQL/IFQL. Dies wird ohne eine separate Distillationsphase erreicht. Die Trainingskosten skalieren mit der Anzahl der generierten Stichproben ($N$) aufgrund paarweiser Kernel-Berechnungen, bleiben aber im Vergleich zum Overhead des iterativen Denoising in Diffusionsmodellen moderat.

Bedeutung und Ansprüche
Das Paper positioniert DriftQL als vielversprechende Alternative zu Diffusion- und Flow-basierten Offline-RL-Methoden. Es behauptet, die Expressivität generativer Modelle (Umgang mit multimodalen Verteilungen) zu bieten und gleichzeitig die Einfachheit und Effizienz deterministischer Ansätze (einstufiger Vorwärtsdurchlauf) beizubehalten.

Die Autoren argumentieren, dass DriftQL die konkurrierenden Ziele von Offline-RL erfolgreich vereint: Es beschränkt die Policy auf den Daten-Support, um zuverlässige Wertschätzungen zu gewährleisten, und erlaubt gleichzeitig die Verbesserung hin zu hochbelohnten Regionen. Durch die Entfernung des Rechenaufwands für iteratives Sampling bietet DriftQL eine praktischere Lösung für den realen Einsatz, bei dem die Inferenzgeschwindigkeit entscheidend ist, während gleichzeitig die Robustheit gegenüber Datenkorruption gewahrt bleibt. Die Arbeit legt nahe, dass „Drifting“ einen nützlichen „Mittelweg“ für Offline-RL darstellt, der stochastische, distributionale Trainingssignale bietet, ohne die mit mehrstufigen generativen Policies verbundenen Kosten zur Testzeit zu verursachen.