Best Policy Learning from Trajectory Preference Feedback

1. Problemstellung und Motivation

Das Paper adressiert ein zentrales Problem im Bereich des Reinforcement Learning from Human Feedback (RLHF): Die Abhängigkeit von gelernten Belohnungsmodellen (Reward Models), die anfällig für Fehlspezifikationen und „Reward Hacking" sind.

• Herausforderung: Herkömmliches RLHF lernt zunächst ein skalares Reward-Modell aus menschlichen Annotationen und optimiert dann eine Policy. Dies ist fehleranfällig.
• Alternative: Preference-based Reinforcement Learning (PbRL) nutzt direkte paarweise Vergleiche (Präferenzen) zwischen Trajektorien, was robuster ist.
• Spezifisches Szenario: Die Autoren untersuchen das Problem der Best Policy Identification (BPI) in einem unbekannten episodischen MDP (Markov-Entscheidungsprozess).
  • Es liegen offline Präferenzdaten vor (ein Dataset von Trajektorienpaaren mit Bewertungen), die jedoch verzerrt, out-of-distribution (OOD) oder von einem Rater mit suboptimaler „Kompetenz" stammen können.
  • Ziel ist es, dieses Offline-Dataset mit Online-Exploration zu kombinieren, um unter einem begrenzten Budget die bestmögliche Policy zu identifizieren, ohne die kumulative Regret (Verlust während des Lernens) zu minimieren, sondern den Simple Regret (Verlust der finalen Policy) zu minimieren.

2. Methodik: PSPL (Posterior Sampling for Preference Learning)

Die Autoren schlagen den PSPL-Algorithmus vor, der auf dem Prinzip des Top-Two Thompson Sampling basiert. Der Ansatz ist vollständig Bayesianisch.

Kernkomponenten:

1. Modellierung:

   • Reward-Modell: Parametrisiert durch $\theta$. Die Präferenz zwischen zwei Trajektorien $\tau_0$ und $\tau_1$ folgt einem Bradley-Terry-Modell mit einer Logit-Funktion.
   • Rater-Kompetenz: Der Rater wird durch zwei Parameter charakterisiert:
     • $\beta$: Maß für die Entschlossenheit/Sicherheit des Raters (wie stark er der wahren Reward-Funktion folgt).
     • $\lambda$: Maß für das Wissen des Raters über die wahre Reward-Funktion $\theta$ (wie genau seine Schätzung $\vartheta$ ist).
   • Dynamik: Die Übergangswahrscheinlichkeiten des MDPs werden durch $\eta$ parametrisiert.

2. Informed Priors (Informierte Priors):

   • Bevor die Online-Phase beginnt, werden aus dem Offline-Dataset $D_0$ informierte Priors für $\theta$ und $\eta$ abgeleitet.
   • Dies ermöglicht es dem Algorithmus, Unsicherheiten über die Reward-Funktion und die MDP-Dynamik basierend auf den vorhandenen (möglicherweise verrauschten) Daten zu quantifizieren.

3. Algorithmus-Ablauf (Algorithm 1):

   • Schritt 1: Ziehen von zwei unabhängigen Stichproben aus den Posterior-Verteilungen für Reward ($\theta$) und Dynamik ($\eta$).
   • Schritt 2: Berechnung von zwei Policies ($\pi^{(0)}$ und $\pi^{(1)}$) basierend auf diesen Stichproben.
   • Schritt 3: Generierung von zwei Trajektorien durch Ausführen dieser Policies.
   • Schritt 4: Einholung von Präferenz-Feedback ($Y_k$) vom Rater für das Paar.
   • Schritt 5: Update der Posterior-Verteilungen basierend auf dem neuen Feedback.
   • Ausgabe: Nach $K$ Episoden wird die finale Policy als Maximum-A-Posteriori (MAP)-Schätzer berechnet.

4. Praktische Approximation (Bootstrapped PSPL):

   • Da die exakte Posterior-Update-Gleichung in der Praxis oft nicht in geschlossener Form lösbar ist (Verlust der Konjugiertheit), schlagen die Autoren eine Bootstrapping-Methode vor (Algorithm 2).
   • Dabei wird die MAP-Schätzung durch Hinzufügen von Rauschen zu den Verlustfunktionen (Online-Daten, Offline-Daten und Prior) approximiert. Dies erzeugt Stichproben, die die Posterior-Verteilung annähern, ohne komplexe Integrationen zu benötigen.

3. Theoretische Analyse und Beiträge

Das Paper liefert die ersten theoretischen Garantien für BPI in PbRL mit Trajektorien-Feedback.

• Simple Regret Bound: Es wird eine obere Schranke für den einfachen Bayesianischen Regret hergeleitet.
  • Die Schranke hängt von der Größe des Offline-Datasets ($N$) und der Kompetenz des Raters ($\lambda, \beta$) ab.
  • Ergebnis: Der Regret konvergiert exponentiell schnell gegen Null, wenn $N \to \infty$ und der Rater sich einem Experten annähert ($\lambda, \beta \to \infty$).
  • Die Analyse zeigt, dass selbst bei einem „suboptimalen" Experten (subpar competence) die Kombination aus Offline-Daten und gezielter Online-Exploration signifikant bessere Ergebnisse liefert als reine Offline-Methoden.
• Unterscheidung zu bestehenden Arbeiten: Im Gegensatz zu früheren Arbeiten, die oft auf Konzentrierbarkeitskoeffizienten (concentratability coefficients) angewiesen sind, nutzt PSPL direkt die Zählungen der State-Action-Besuche im Offline-Dataset, um die Abdeckung (coverability) zu bewerten.

4. Experimentelle Ergebnisse

Die Autoren evaluieren den Bootstrapped PSPL-Algorithmus auf synthetischen und realen Benchmarks.

• Benchmarks:
  • Kontrollumgebungen: MountainCar und RiverSwim.
  • Image Generation: Anwendung auf das Pick-a-Pic-Dataset für Text-zu-Bild-Generierung (Diffusionsmodelle).
• Baselines: Vergleich mit DPO (Direct Preference Optimization), IPO (Identity Preference Optimization) und LPbRL (Logistic Preference based RL).
• Ergebnisse:
  • Warm-Start-Effekt: PSPL profitiert signifikant von Offline-Daten. Mit steigender Rater-Kompetenz ($\lambda, \beta$) und Dataset-Größe ($N$) sinkt der Simple Regret drastisch.
  • Überlegenheit: PSPL erreicht in allen Umgebungen einen niedrigeren Simple Regret als DPO und IPO. Besonders in der Bildgenerierung zeigt PSPL eine höhere finale Belohnung (bessere Bildqualität).
  • Robustheit: Der Algorithmus ist robust gegenüber Fehlspezifikationen der Rater-Parameter ($\lambda, \beta$). Selbst wenn die angenommene Kompetenz des Raters nicht exakt mit der Realität übereinstimmt, bleibt PSPL den Baselines überlegen.
  • Effizienz: Die Bootstrapping-Methode ermöglicht eine effiziente Berechnung, die mit den Baselines konkurrieren kann, aber bessere Ergebnisse liefert.

5. Bedeutung und Fazit

• Brückenschlag: Das Paper schließt eine theoretische Lücke zwischen Offline-Präferenzdaten und Online-Lernen für die Best Policy Identification.
• Praktische Relevanz für RLHF: Da in der Praxis oft große Offline-Datensätze vorhanden sind, aber teure Online-Interaktionen begrenzt sind, bietet PSPL einen systematischen Rahmen, um diese Ressourcen optimal zu nutzen.
• Robustheit: Die Fähigkeit, mit unvollkommenen Ratern (subpar experts) umzugehen und deren Kompetenz in das Lernmodell zu integrieren, ist ein entscheidender Vorteil gegenüber Methoden, die perfekte Experten oder reine Online-Daten voraussetzen.
• Zukunftsperspektive: Die Arbeit legt einen Fundament für die Weiterentwicklung von PbRL und RLHF, insbesondere für Anwendungen, bei denen die finale Leistung (z. B. bei LLMs oder Bildgeneratoren) im Vordergrund steht und nicht der Lernprozess selbst.

Zusammenfassend stellt PSPL einen neuen State-of-the-Art-Ansatz dar, der Bayesianisches Lernen, Posterior Sampling und die intelligente Nutzung von Offline-Daten kombiniert, um robuste und effiziente Policies aus Trajektorien-Präferenzen zu lernen.