Bias Fitting to Mitigate Length Bias of Reward Model in RLHF

Technische Zusammenfassung: FiMi-RM (Bias Fitting zur Abschwächung des Längen-Bias von Belohnungsmodellen in RLHF)

Problemstellung

Reinforcement Learning from Human Feedback (RLHF) ist der Standardrahmen, um Large Language Models (LLMs) mit menschlichen Präferenzen abzustimmen. Dieser Prozess ist jedoch anfällig für Reward Hacking, bei dem die Policy die Schwachstellen des trainierten Belohnungsmodells ausnutzt, um Scores zu maximieren, ohne sich tatsächlich an die menschliche Intention zu halten. Eine weit verbreitete Form dieses Hackings ist der Längen-Bias (Length Bias), bei dem Belohnungsmodelle systematisch längere Antworten bevorzugen, unabhängig von deren tatsächlicher Qualität. Dies führt zu übermäßig wortreichen (verbose) Generierungen in Downstream-Modellen.

Bestehende Strategien zur Abschwächung leiden unter erheblichen Einschränkungen:

1. Mangelnde Charakterisierung: Einige Ansätze (z. B. RRM) versuchen, Datenverteilungen auszubalancieren oder kausale Frameworks zu nutzen, ohne die Form des Bias explizit zu modellieren.
2. Lineare Annahmen: Viele Methoden (z. B. Length Penalty, ODIN, Huang et al.) nehmen eine lineare Beziehung zwischen Antwortlänge und Belohnung an. Sie ziehen entweder einen festen Koeffizienten basierend auf der Länge ab oder nutzen lineare Regression, um die Länge von der Qualität zu entkoppeln.
3. Unzulänglichkeit: Diese linearen Annahmen scheitern daran, die komplexe, nicht-lineare Natur der Wechselwirkung zwischen Antwortlänge und Belohnungsscores zu erfassen, insbesondere die komplexen Muster, die in verschiedenen Längenregimen beobachtet werden.

Methodik: FiMi-RM

Die Autoren schlagen FiMi-RM (Bias Fitting to Mitigate Length Bias of Reward Model) vor, ein Framework, das darauf ausgelegt ist, zugrunde liegende nicht-lineare Bias-Muster autonom zu erlernen und zu korrigieren. Der Ansatz operiert in drei distinkten Phasen:

1. Warm-Up-Phase:

   • Ein Standard-Belohnungsmodell ($model_r$) wird unter Verwendung des Bradley-Terry-Loss auf Präferenzdaten trainiert.
   • Entscheidend ist, dass diese Phase den inhärenten Längen-Bias des Belohnungsmodells bewahrt, anstatt zu versuchen, ihn sofort zu korrigieren. Dies stellt sicher, dass das Modell eine starke, systematische Tendenz besitzt, längeren Antworten höhere Scores zuzuweisen, was als klares Ziel für die nachfolgende Fitting-Phase dient.

2. Längen-Bias-Fitting-Phase:

   • Ein leichtgewichtiges Fitting-Modell ($model_f$) wird eingeführt, um die Beziehung zwischen der Antwortlänge ($len(y)$) und dem verzerrten Belohnungsausgang ($r$) explizit zu charakterisieren.
   • Architektur: Der skalare Wert der Länge wird in einen $d$-dimensionalen Feature-Raum projiziert (unter Verwendung einer von Positional Encoding inspirierten Längen-Kodierung), durch eine ResNet-Architektur verarbeitet und durch einen linearen Projektionskopf geleitet, um die Belohnung ($\hat{r}$) vorherzusagen.
   • Zielsetzung: Das Fitting-Modell wird darauf trainiert, die Diskrepanz zwischen seiner Vorhersage ($\hat{r}$) und dem tatsächlichen Belohnungsmodell-Ausgang ($r$) zu minimieren. Die Optimierung verwendet einen Pearson-Korrelations-Loss ($L_{pearson}$), um die Korrelation zwischen der vorhergesagten und der tatsächlichen Belohnung zu maximieren.
   • Zentrale Erkenntnis: Die Verwendung des Pearson-Loss aligniert die Korrelationsmuster, ohne selbst eine Linearitätsbeschränkung auf das Fitting-Modell aufzuerlegen. Das ResNet-basierte $model_f$ ist frei darin, komplexe, nicht-lineare Abhängigkeiten zu lernen.

3. Längen-Debiasing-Phase:

   • Das ursprüngliche Belohnungsmodell wird feinjustiert, um seine Ausgaben von der Antwortlänge zu entkoppeln, während seine Fähigkeit zur Modellierung menschlicher Präferenzen erhalten bleibt.
   • Trainingsmechanismus: Das Framework nutzt eine alternierende Trainingsstrategie zwischen dem Belohnungsmodell und dem Fitting-Modell.
   • Verlustfunktion: Das Belohnungsmodell wird mit einem zusammengesetzten Loss optimiert:
     $$L_{debiased} = L'_{pearson} + L_{BT}$$
     • $L'_{pearson}$: Erzwingt, dass der Ausgang des Belohnungsmodells unkorreliert mit der Vorhersage des Fitting-Modells ist (effektive Entfernung des gelernten Bias).
     • $L_{BT}$: Der Standard-Bradley-Terry-Loss, der sicherstellt, dass das Modell seine diskriminative Fähigkeit für menschliche Präferenzen behält.
   • Die Indikatorfunktion $I(step)$ wechselt die Trainingsschritte zwischen dem Fitten des Bias und dem Debiasing des Belohnungsmodells ab.

Wesentliche Beiträge

1. Nicht-lineare Bias-Modellierung: Das Paper führt ein mehrstufiges Framework ein, das autonom die nicht-lineare Beziehung zwischen Antwortlänge und "gehackter" Belohnung lernt und damit über die simplistischen linearen Annahmen früherer Arbeiten hinausgeht.
2. Empirische Validierung der Nicht-Linearität: Durch den Fitting-Prozess identifizieren die Autoren ein mehrstufiges Bias-Muster:
   • Kurze Antworten (<100 Token): Zeigen eine starke lineare Korrelation, bei der die Belohnung mit der Länge steigt.
   • Längere Antworten: Die Beziehung flacht ab und zeigt in einigen Fällen sogar eine leichte Abwärtstendenz, was darauf hindeutet, dass der positive Effekt der Länge auf die Belohnung bei ausgedehnten Outputs abnimmt oder sich umkehrt.
3. Umfassende Evaluierung: Die Methode wird durch Analyse der Längen-Belohnungs-Verteilung, länderkontrollierte Gewinnraten (Length-Controlled Win Rates) und Antwortlängen-Verteilungen über mehrere Alignment-Algorithmen (DPO und Best-of-N) hinweg validiert.

Experimentelle Ergebnisse

Die Autoren evaluierten FiMi-RM unter Verwendung von Qwen2.5-7B und Gemma2-9B Modellen auf dem Anthropic HH Datensatz und verglichen es mit Vanilla Reward Models, Length Penalty und ODIN.

• Präferenzgenauigkeit: FiMi-RM erreichte eine ausgewogenere Genauigkeit über Teilmengen hinweg, in denen die gewählte Antwort länger war (C-longer) im Vergleich zu kürzeren (R-longer). Während die Gesamtgenauigkeit auf der C-longer Teilmenge leicht sank, argumentieren die Autoren, dass dies die erfolgreiche Entfernung des „Längen-Shortcuts“ anzeigt und nicht einen Verlust des semantischen Verständnisses.
• Längen-Belohnungs-Verteilung: Scatter-Plots zeigten, dass FiMi-RM im Vergleich zu den Baselines eine symmetrischere und flachere Belohnungsverteilung über Längen-Bins hinweg erzeugt, was das effektive Debiasing bestätigt.
• Downstream-Performance (BoN & DPO):
  • Gewinnraten (Win Rates): FiMi-RM erzielte die höchste Length-Controlled Win Rate (LC-WR) und Standard-Win-Rate (WR) sowohl in Best-of-N (BoN) als auch in Direct Preference Optimization (DPO) Settings.
  • Verbosity (Wortreichigkeit): Die Methode reduzierte die durchschnittliche Token-Länge der generierten Antworten im Vergleich zu Vanilla RM und Length Penalty signifikant, während sie die Performance auf Benchmarks wie MT-Bench und IFEval beibehielt oder verbesserte.
  • Selektions-Bias: In der BoN-Selektion zeigte FiMi-RM eine stärkere Präferenz für prägnante Ausgaben im Vergleich zu ODIN, welches dazu neigte, Präferenzen eher in Richtung mittellanger Antworten statt kurzer Antworten zu verschieben.

Bedeutung und Ansprüche

Das Paper behauptet, dass FiMi-RM einen präziseren und effektiveren Ansatz zur Abschwächung des Längen-Bias bietet, indem es die nicht-lineare Natur des Problems explizit modelliert. Durch die Entkopplung von Länge und Belohnung, ohne die Kernfähigkeiten der Präferenzmodellierung zu beeinträchtigen, ermöglicht die Methode RLHF-Pipelines, Antworten zu generieren, die sowohl qualitativ hochwertig als auch angemessen prägnant sind.

Die Autoren merken an, dass während ihre Methode Spur-Korrelationen effektiv reduziert, die Frage, ob menschliche Präferenzen vollständig unabhängig von der Länge sind, offen bleibt. Sie räumen ein, dass in bestimmten Kontexten (z. B. Aufgaben, die detaillierte Erklärungen erfordern) eine positive Korrelation zwischen Länge und Qualität legitim sein kann. Dennoch unterscheidet ihr Framework erfolgreich zwischen ausnutzbaren Biases und echter Präferenz, was zu einem sichereren und effektiveren Modell-Alignment führt.