PAWS: Preference Learning with Advantage-Weighted Segments

Technische Zusammenfassung: PAWS (Preference Learning with Advantage-Weighted Segments)

Problemstellung
Das präferenzbasierte Reinforcement Learning (PbRL) zielt darauf ab, Policies aus menschlichen Vergleichebenen auf Trajektorien-Ebene zu lernen, anstatt aus expliziten Belohnungsfunktionen. Bestehende Methoden leiden jedoch unter einem grundlegenden Trainings-Inferenz-Verteilungs-Shift (Distribution Shift). Typischerweise trainieren PbRL-Methoden eine Nutzenfunktion (z. B. ein Reward- oder Advantage-Modell) auf Segment- oder Trajektorien-Ebene-Präferenzen. Während der Policy-Optimierung werden diese Modelle jedoch auf einzelnen Zustands-Aktions-Paaren abgefragt, um pro Schritt Lernsignale zu berechnen.

Diese Diskrepanz erzeugt ein zeitliches Credit-Assignment-Problem. Wie in der Arbeit illustriert, können viele verschiedene pro-Schritt-Advantage-Zuweisungen zum selben Segment-Ebene-Präferenzlabel führen. Infolgedessen ist das Nutzenmodell auf der Ebene des einzelnen Schritts unterbestimmt. Wenn der Policy-Optimizer dieses Modell bei der Inferenz auf einzelne Schritte abfragt, obwohl es auf Segmenten trainiert wurde, sind die resultierenden Lernsignale mehrdeutig und unzuverlässig, was das Lernen der Policy – insbesondere in datenarmen Regimen – erheblich verschlechtert.

Methodik: PAWS
Die Autoren schlagen PAWS (Preference Learning with Advantage-Weighted Segments) vor, um diesen Verteilungs-Shift zu lösen, indem sie das Training des Nutzens mit der Policy-Optimierung auf der Segment-Ebene in Einklang bringen.

1. Advantage-Lernen:

   • Anstatt eine Reward-Funktion zu lernen, lernt PAWS direkt eine Advantage-Funktion $A_\phi$ aus Segment-basierten Präferenzpaaren $(\tau^+, \tau^-)$.
   • Die Präferenz-Likelihood wird mittels einer Bradley-Terry-Formulierung modelliert, die auf der Summe der Advantages innerhalb eines Segments basiert: $P_{A_\phi}[\tau^+ \succ \tau^-] = \frac{\exp(A_\phi(\tau^+))}{\exp(A_\phi(\tau^+)) + \exp(A_\phi(\tau^-))}$.
   • Das Modell kann entweder mit einem Transformer-Encoder oder einem Multi-Layer Perceptron (MLP) implementiert werden.

2. Segment-basierte Policy-Optimierung:

   • Anstatt pro-Schritt-Nutzen abzuleiten, führt PAWS die Policy-Updates direkt auf Trajektorien-Segmenten durch.
   • Die Methode formuliert ein beschränktes Optimierungsproblem, um eine optimale Segment-Verteilung $p^*(\tau)$ zu finden, die den erwarteten Advantage maximiert und gleichzeitig innerhalb einer Vertrauensregion (KL-Divergenz-Grenze $\epsilon$) der ursprünglichen Datenverteilung $p_D(\tau)$ bleibt.
   • Die Lösung liefert eine umgewichtete Segment-Verteilung: $p^*(\tau) \propto p_D(\tau) \exp(\frac{1}{\lambda} A_\phi(\tau))$.
   • Die Policy $\pi_\theta$ wird dann durch die Maximierung eines gewichteten Maximum-Likelihood-Ziels aktualisiert, wobei die Gewichte das Exponential der Segment-Advantages sind:
     $$\mathcal{L}(\theta) = \sum_{\tau \in D} \sum_{(s_t, a_t) \in \tau} \exp\left(\frac{A_\phi(\tau)}{\lambda}\right) \log \pi_\theta(a_t|s_t)$$
   • Entscheidend ist, dass das Gewicht auf das gesamte Segment angewendet wird, wodurch sichergestellt wird, dass das Policy-Update die Präferenz auf Segment-Ebene respektiert.

3. Hyperparameter-Steuerung über die effektive Stichprobengröße:

   • Um die manuelle Abstimmung der KL-Grenze $\epsilon$ (die von der Aktionsdimensionalität und der Datensatzgröße abhängt) zu vermeiden, führt PAWS eine datengesteuerte Strategie zur Steuerung des Lagrange-Multiplikators $\lambda$ ein.
   • Die Autoren schlagen vor, $\lambda$ so festzulegen, dass eine gewünschte effektive Stichprobengröße ($n_{eff}$) erreicht wird, die aus den Importance-Gewichten berechnet wird. Dies ermöglicht eine intuitive Kontrolle darüber, wie viele Segmente signifikant zu einem Update beitragen, und balanciert die Ausbeutung (Exploitation) von High-Advantage-Segmenten mit der Stabilität.

Wesentliche Beiträge

• Analyse des Verteilungs-Shifts: Die Arbeit identifiziert die Diskrepanz zwischen dem Nutzen-Training auf Segment-Ebene und der Inferenz auf Schritt-Ebene als eine Kernlimitierung bestehender PbRL-Methoden, die zu einem mehrdeutigen zeitlichen Credit Assignment führt.
• PAWS-Algorithmus: Eine neuartige segment-basierte Präferenzlernmethode, die Policy-Updates unter Verwendung von Advantage-gewichteten Segmenten durchführt, wodurch die Präferenzinformationen auf Trajektorien-Ebene erhalten bleiben und unzuverlässige Pro-Schritt-Signale vermieden werden.
• Datengesteuerte Hyperparameter-Abstimmung: Eine intuitive Strategie zur Festlegung von Policy-Optimierungs-Hyperparametern basierend auf der effektiven Stichprobengröße der präferenzgewichteten Daten, was die Abhängigkeit von manueller Abstimmung reduziert.
• Empirische Validierung: Umfassende Evaluierung auf simulierten Roboter-Manipulationsaufgaben (Meta-World) und Lokomotionsaufgaben (D4RL), die konsistente Verbesserungen gegenüber etablierten Baselines zeigt.

Experimentelle Ergebnisse
Die Autoren evaluierten PAWS auf 10 Meta-World Manipulationsaufgaben und 4 D4RL Lokomotionsaufgaben unter zwei Präferenz-Budgets (50 und 500 Paare).

• Performance: PAWS (sowohl Transformer- als auch MLP-Varianten) übertraf konsistent die Baselines, einschließlich Behavior Cloning (BC), P-IQL, CPL, CPL+KL, Preference Transformer und IPL.
• Low-Data-Regime: In der 50-Präferenzen-Einstellung verschlechterten sich viele Baselines dahingehend, dass sie schlechter als Behavior Cloning abschnitten, während PAWS eine robuste Performance beibehielt, was seine Effizienz in datenarmen Szenarien unterstreicht.
• Ablationsstudien:
  • Update-Granularität: Das Ersetzen der Segment-basierten Updates von PAWS durch State-Action-basierte Updates (unter Verwendung derselben gelernten Advantage-Funktion) führte zu einem signifikanten Leistungsabfall, was bestätigt, dass der Verteilungs-Shift die primäre Ursache für das Scheitern von Standardansätzen ist.
  • Segmentlänge: Eine Erhöhung der Segmentlänge verschärfte die Leistungsverschlechterung für State-Action-basierte Updates, hatte jedoch minimale negative Auswirkungen auf PAWS, das nativ auf der Segment-Ebene operiert.
  • Menschliches Feedback: Bei Tests auf Präferenzen, die von 10 nicht-autorisierten menschlichen Labelern gesammelt wurden, erreichte PAWS die höchsten Erfolgsraten bei den Aufgaben „Button Press“ und „Door Open“, was seine Robustheit gegenüber realem menschlichem Rauschen validiert.
  • Credit Assignment: PAWS zeigte eine höhere Spearman-Rangkorrelation mit Experten-Rankings im Vergleich zu Schritt-basierten Updates, was auf eine überlegene Bewahrung der zeitlichen Präferenzstrukturen hindeutet.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Leistungssteigerungen von PAWS primär aus der Angleichung der Trainings- und Inferenzverteilungen der gelernten Nutzenfunktion resultieren, und nicht aus spezifischen architektonischen Entscheidungen (da sowohl MLP- als auch Transformer-Varianten ihre Schritt-basierten Gegenstücke übertrafen).

Die Autoren betonen, dass PAWS eine prinzipielle Lösung für das zeitliche Credit-Assignment-Problem in PbRL bietet, indem es die „unzuverlässigen Pro-Schritt-Lernsignale“ vermeidet, die bei Methoden auftreten, die auf Segmenten trainieren, aber auf Schritten inferieren. Die Methode wird als besonders effektiv in Low-Data-Regimen präsentiert, in denen Schritt-basierte Nutzen-Schätzungen am verrauschtesten sind. Während die Evaluierung auf simulierte Robotik-Aufgaben mit Oracle- und kleinen menschlichen Datensätzen beschränkt ist, legen die Autoren nahe, dass die Perspektive auf der Segment-Ebene direkt auf das präferenzbasierte Fine-Tuning großer generativer Modelle (z. B. RLHF) anwendbar ist, bei denen Vergleiche typischerweise über ganze Antworten statt über einzelne Token erfolgen.

Limitierungen
Die Autoren räumen ein, dass PAWS allen State-Action-Paaren innerhalb eines Segments gleichmäßige Importance-Gewichte zuweist, was suboptimal sein kann, wenn ein Segment eine Mischung aus qualitativ hochwertigen und minderwertigen Aktionen enthält. Zudem erfordert die Wahl der effektiven Stichprobengröße ($n_{eff}$) eine Auswahl, wenngleich angemerkt wird, dass dies intuitiver ist als die direkte Abstimmung der KL-Grenze. Schließlich ist die aktuelle Evaluierung auf Simulationen beschränkt und adressiert noch nicht groß angelegtes, verrauschtes menschliches Feedback.