Technisches Resümee: Braucht man wirklich ein Pretraining der Q-Funktionen für das Online-RL-Fine-Tuning?

1. Problemformulierung

Die Arbeit untersucht die Wirksamkeit des Pretrainings von Q-Funktionen auf Offline-Daten beim Fine-Tuning einer vortrainierten Policy mittels Online-Reinforcement Learning (RL). Das Setting umfasst einen Markov-Entscheidungsprozess (MDP), bei dem ein Agent über einen festen Offline-Datensatz $D_{offline}$ und eine vortrainierte Basis-Policy $\pi_{base}$ (typischerweise trainiert mittels Supervised Learning oder Imitation Learning auf $D_{offline}$) verfügt. Das Ziel ist es, durch Online-RL-Fine-Tuning die Erträge (Returns) zu maximieren.

Die zentrale Frage ist, ob die Q-Funktion ($Q_\phi$), welche die Aktionsauswahl der Policy während der Online-Updates leitet, ebenfalls zusammen mit der Policy auf $D_{offline}$ vortrainiert werden sollte, oder ob sie zufällig initialisiert und vollständig online gelernt werden sollte. Die gängige Lehrmeinung im Bereich des Offline-zu-Online-RL legt nahe, dass ein gemeinsames Pretraining der Policy und der Q-Funktion vorteilhaft ist. Jüngste Arbeiten haben jedoch gezeigt, dass der Start mit einer vortrainierten Policy und einer zufällig initialisierten Q-Funktion hochperformante Ergebnisse liefern kann. Diese Arbeit testet systematisch die Intuition, dass ein Pretraining der Q-Funktion einen notwendigen Vorsprung für die Downstream-Performance bietet.

2. Methodik

Experimentelles Setup

Die Autoren evaluieren ihre Hypothesen anhand von sechs anspruchsvollen Aufgaben der kontinuierlichen Steuerung aus Robomimic (lift, can, square) und OGBench (cube, scene, puzzle). Diese Aufgaben beinhalten spärliche Belohnungen (sparse rewards) und langfristige Planungsanforderungen (long-horizon reasoning).

• Basis-Algorithmus: Die Studie nutzt EXPO, einen sampeleffizienten Off-Policy-RL-Algorithmus. EXPO verwendet eine „Base Flow Policy“ ($\pi_{base}$) und eine leichtgewichtige „Edit Policy“ ($\pi_{edit}$), die Korrekturen der Aktionen vorhersagt. Die endgültige Aktion wird durch Maximierung des Q-Wertes über eine Menge von Base- und Edited-Aktionen ausgewählt.
• Baselines:
  1. Naives Pretraining: Pretraining sowohl der $\pi_{base}$ als auch der $Q_\phi$ auf $D_{offline}$ mittels Supervised Learning bzw. Offline-TD-Learning, bevor das Online-Fine-Tuning beginnt.
  2. Zufällige Initialisierung: Pretraining nur der $\pi_{base}$ auf $D_{offline}$; Initialisierung der $Q_\phi$ als zufällig und Lernen der $Q_\phi$ vollständig während des Online-Fine-Tunings.
  3. Offline-Wertmaximierung: Versucht, die Lücke zwischen Offline- und Online-Zielen durch Offline-Wertmaximierung (z. B. Training einer Edit-Policy oder Destillation einer One-Step-Policy) während des Pretrainings zu schließen.

Vorgeschlagene Methode: Initialisierung via Policy-Ensemble (IPE)

Motiviert durch die Erkenntnis, dass naives Pretraining fehlschlägt, schlagen die Autoren IPE vor, eine Methode, um Offline-Daten besser für die Initialisierung der Q-Funktion zu nutzen, ohne die Diskrepanz-Probleme des Standard-Pretrainings zu erzeugen.

• Kernidee: Eine einzelne vortrainierte Policy produziert oft eine enge Aktionsverteilung, was dazu führt, dass die Q-Funktion zur Value-Funktion dieser spezifischen Policy kollabiert ($Q_{\pi_{base}} \approx V_{\pi_{base}}$), anstatt eine generalisierbare Aktionswert-Struktur zu lernen.
• Verfahren:
  1. Trainiere eine Basis-Policy $\pi_{base}$ auf dem Offline-Datensatz.
  2. Trainiere $N$ zusätzliche diverse Policies ($\pi_1, \dots, \pi_N$) auf derselben Aktionsverteilung (unter Verwendung desselben Datensatzes oder Teilmengen mit unterschiedlichen Seeds).
  3. Führe Rollouts aller $N+1$ Policies in der Umgebung durch, um diverse Transitionen zu sammeln.
  4. Pool diese Rollouts, um den Replay-Buffer für das Online-RL-Fine-Tuning zu initialisieren.
     Dieser Ansatz versorgt die Q-Funktion mit einer größeren Abdeckung über einen breiteren Bereich von Aktionen bei jedem Zustand, was es ihr ermöglicht, eine Q-Funktion zu lernen, die näher an der optimalen Online-Ziel-Funktion ($Q^*_{RL}$) liegt, anstatt durch die enge Verteilung einer einzelnen Policy eingeschränkt zu sein.

3. Zentrale Erkenntnisse und Analyse

Das Scheitern von naivem Pretraining

Entgegen der konventionellen Intuition stellen die Autoren fest, dass naives Pretraining der Q-Funktion kaum oder gar keinen Vorteil gegenüber einer zufälligen Initialisierung bietet. In mehreren Aufgaben behindert es sogar das Online-Lernen.

• Die Diskrepanz (Mismatch): Die während des Offline-Pretrainings gelernte Q-Funktion ($Q_{\pi_{base}}$) zielt auf die Value-Funktion der Basis-Policy ab. Das Online-RL-Fine-Tuning konvergiert jedoch gegen eine andere optimale Q-Funktion ($Q^*_{RL}$).
• Präferenzgenauigkeit: Selbst wenn die Basis-Policy nahezu optimal ist, stimmt die Offline-vortrainierte Kritiker-Funktion nicht mit der durch Online-RL gelernten Kritiker-Funktion überein. Die Offline-Q-Funktion versagt dabei, Aktionen der optimalen Policy ($\pi^*$) gegenüber denen der Basis-Policy ($\pi_{base}$) korrekt zu ranken, wie es für die Online-Konvergenz erforderlich wäre.
• Ineffektivität von Korrekturen: Versuche, diese Lücke durch Offline-Wertmaximierung zu schließen (z. B. durch Training einer Edit-Policy oder Anwendung von Aktionsgradienten während des Pretrainings), verbessern weder die Performance noch die Präferenzgenauigkeit. Dies deutet darauf hin, dass eine Online-Interaktion notwendig ist, um das korrekte Ziel zu lernen.

Der Mechanismus von IPE

Die Arbeit zeigt, dass das Scheitern von naivem Pretraining aus einem Mangel an Aktionsdiversität resultiert. Die Rollouts einer einzelnen Policy führen zu einer Q-Funktion mit sehr geringer Varianz, was sie effektiv deterministisch macht und sie unfähig macht, zwischen alternativen Aktionen zu unterscheiden.

• Diversität: Durch die Verwendung eines Ensembles von Policies generiert IPE Rollouts mit signifikant höherer Aktionsdiversität.
• Ergebnis: Diese Diversität ermöglicht es der Q-Funktion, eine bedeutungsvolle Aktionswert-Struktur ($Q^*_{RL}$) zu lernen, anstatt zu dem Wert des Verhaltens einer einzelnen Policy zu kollabieren.

4. Ergebnisse

• Leistungssteigerung: Über die gesamte Palette der kontinuierlichen Steuerungs-Benchmarks hinweg erzielt IPE eine durchschnittliche Verbesserung um das 1,26-fache (ca. 26 %) der Fine-Tuning-Performance im Vergleich zum naiven Pretraining der Q-Funktion.
• Vergleich zur zufälligen Initialisierung: IPE übertrifft sowohl das naive Pretraining als auch die zufällige Initialisierung und zeigt damit, dass die Qualität der Q-Funktions-Initialisierung entscheidend ist, die Quelle dieser Initialisierung jedoch divers sein muss.
• Skalierung: Die Performance skaliert mit der Anzahl der im Ensemble verwendeten Policies ($N$). In den Experimenten lieferte $N=5$ die besten Ergebnisse, was darauf hindeutet, dass eine breitere Abdeckung durch Behavior-Policies zu einem besseren Downstream-Fine-Tuning führt.
• Präferenzgenauigkeit: IPE-trainierte Q-Funktionen zeigen eine höhere Präferenzgenauigkeit für optimale Aktionen im Vergleich zu den Baselines, was bestätigt, dass die Methode die Lücke hin zu $Q^*_{RL}$ erfolgreich überbrückt.

5. Bedeutung und Ansprüche

Die Arbeit stellt die verbreitete Annahme infrage, dass „mehr Pretraining immer besser ist“ im Kontext von Offline-zu-Online-RL. Ihre primären Beiträge sind:

1. Empirische Evidenz: Sie zeigt systematisch auf, dass das direkte Vortrainieren einer Q-Funktion auf Offline-Daten beim Online-RL-Fine-Tuning ausgehend von einer vortrainierten Policy oft nicht die Beschleunigung oder Verbesserung bewirkt.
2. Theoretische Einsicht: Sie identifiziert eine fundamentale Diskrepanz zwischen der Offline-Q-Funktion ($Q_{\pi_{base}}$) und dem Online-Ziel ($Q^*_{RL}$) und zeigt, dass Offline-Wertmaximierung allein diesen Unterschied nicht lösen kann.
3. Praktische Lösung: Sie führt IPE ein, eine einfache und effektive Methode, die durch den Einsatz von Policy-Ensembles das Lernen der Q-Funktion unterstützt. Durch die Erhöhung der Aktionsdiversität in der Pretraining-Phase ermöglicht IPE dem Online-RL, die korrekte Value-Funktion effizienter zu lernen.

Die Autoren kommen zu dem Schluss, dass das Pretraining der Policy zwar essenziell ist, die Strategie zur Initialisierung der Q-Funktion jedoch die Diversität der Aktionen berücksichtigen muss, die für das Erlernen der optimalen Value-Landschaft erforderlich sind, anstatt lediglich die Offline-Datenverteilung einer einzelnen Policy anzupassen. Die Arbeit ist auf Off-Policy-RL-Settings beschränkt, und die Autoren merken an, dass die Reduzierung des Datenaufwands für die Datensammlung bei IPE ein Thema für zukünftige Arbeiten bleibt.