Fast-Slow Thinking RM: Efficient Integration of Scalar and Generative Reward Models

1. Problemstellung

Die Ausrichtung von Large Language Models (LLMs) mittels Reinforcement Learning from Human Feedback (RLHF) ist stark von Reward Models (RMs) abhängig. Es gibt zwei vorherrschende Ansätze, die jeweils eigene Nachteile haben:

• Scalar Reward Models (SRMs): Diese Modelle geben einen einzelnen Skalarwert (Score) aus. Sie sind sehr effizient und schnell in der Inferenz, leiden aber oft unter begrenzter Genauigkeit und mangelnder Anpassungsfähigkeit in komplexen Szenarien, da sie keine expliziten Denkprozesse (Chain-of-Thought, CoT) nutzen.
• Generative Reward Models (GRMs): Diese Modelle generieren eine Begründungskette (CoT) vor der endgültigen Entscheidung. Sie erreichen eine höhere Genauigkeit, insbesondere bei schwierigen Aufgaben, verursachen jedoch einen enormen Rechenaufwand (Token-Verbrauch), da sie Hunderte von Tokens generieren müssen, selbst für einfache Fälle.

Die aktuelle Forschung behandelt diese beiden Ansätze oft als sich gegenseitig ausschließende Alternativen. Das Paper identifiziert jedoch eine Lücke: Es fehlt eine Architektur, die die Effizienz von SRMs mit der Genauigkeit von GRMs kombiniert, indem sie das menschliche kognitive Prinzip der „Dual Process Theory" (schnelles, intuitives Denken vs. langsames, analytisches Denken) nachahmt.

2. Methodik: Fast-Slow Thinking Reward Model (F/S-RM)

Die Autoren stellen F/S-RM vor, ein hybrides Reward-Modell, das beide Paradigmen in einem einzigen Modell vereint. Der Kernansatz besteht darin, das Modell so zu trainieren, dass es zunächst eine schnelle Vorhersage trifft und nur bei Unsicherheit auf ein langsames, begründetes Denken zurückgreift.

Architektur und Trainingsprozess

Das Training erfolgt in einem zweistufigen, progressiven Framework:

1. Schnelles Denken (Fast Thinking) als First-Token-Vorhersage:

   • Das Modell wird zunächst als SRM trainiert. Die Aufgabe besteht darin, den ersten Token als direkte Präferenzentscheidung (z. B. „A", „B" oder „Tie") vorherzusagen.
   • Dies geschieht durch Supervised Fine-Tuning (SFT) unter Verwendung der Bradley-Terry-Loss-Funktion und einer zusätzlichen Einschränkung des Aktionsraums, um sicherzustellen, dass die Wahrscheinlichkeitsmasse auf die beiden Präferenz-Tokens konzentriert bleibt.
   • Ergebnis: Ein Modell $\pi_{fast}$, das schnelle, intuitive Urteile fällt.

2. Langsames Denken (Slow Thinking) mittels Reinforcement Learning (RL):

   • Auf Basis von $\pi_{fast}$ wird ein Trigger-Token („tie") eingeführt. Wenn das Modell diesen Token ausgibt, wird es in den „Slow Thinking"-Modus versetzt, um eine detaillierte Chain-of-Thought (CoT) zu generieren.
   • Dies wird durch Reinforcement Learning (GRPO - Group Relative Policy Optimization) optimiert.
   • Der Reward für das RL besteht aus zwei Teilen: einem Format-Reward (korrekte Struktur der Ausgabe) und einem Ergebnis-Reward (Korrektheit der finalen Entscheidung).
   • Ergebnis: Ein Modell $\pi_{slow}$, das komplexe Probleme durch推理 (Reasoning) löst.

3. Dual-Confidence-Aktivierungsmechanismus:

   • Dies ist der entscheidende Mechanismus für die adaptive Inferenz. Das Modell führt zunächst immer den „Fast Thinking"-Schritt aus.
   • Basierend auf zwei Konfidenzmetriken wird entschieden, ob der teure „Slow Thinking"-Prozess ausgelöst werden muss:
     • Intuition Confidence ($C_I$): Misst die Diskriminierungssicherheit zwischen den beiden Optionen (Unterschied in den Wahrscheinlichkeiten von „A" und „B").
     • Token Confidence ($C_T$): Misst die Verteilungsschärfe und ob Wahrscheinlichkeit auf irrelevante Tokens „leckt".
   • Regel: Nur wenn beide Konfidenzwerte unter bestimmten Schwellenwerten liegen, wird der „Tie"-Trigger aktiviert, und das Modell generiert eine CoT. Andernfalls wird die schnelle Entscheidung direkt ausgegeben.

3. Wichtige Beiträge

• Hybride Architektur: F/S-RM ist das erste Reward-Modell, das skalare und generative Paradigmen nahtlos in einem einzigen Basismodell integriert.
• Dual-Confidence-Mechanismus: Ein neuartiger Routing-Mechanismus, der Effizienz und Genauigkeit dynamisch balanciert, indem er nur bei tatsächlicher Unsicherheit rechenintensive推理 (Reasoning) einsetzt.
• Zweistufiges Training: Ein effektives Trainingsschema, das SFT für schnelle Urteile und RL für tiefes Reasoning kombiniert, wobei gezeigt wird, dass das SFT-Stadium die Stabilität des späteren RL-Trainings verbessert.

4. Ergebnisse

Die Evaluation erfolgte auf drei führenden Benchmarks: RewardBench, RM-Bench und JudgeBench.

• Leistungssteigerung: Das hybride F/S-RM (basierend auf Qwen3-8B) erreicht eine relative Leistungsverbesserung von 1,2 % gegenüber dem State-of-the-Art (SOTA), während es gleichzeitig den Token-Verbrauch um 20,8 % reduziert.
• Vergleich mit Baselines:
  • Auf einfachen Aufgaben (RewardBench) schneidet das Modell ähnlich gut ab wie reine SRMs.
  • Auf komplexen, reasoning-lastigen Aufgaben (RM-Bench, JudgeBench) übertrifft es reine SRMs deutlich und erreicht Leistungen, die mit den besten GRMs vergleichbar oder sogar besser sind.
  • Im Vergleich zu reinen „Slow Thinking"-Modellen (die immer CoT generieren) spart das hybride Modell erhebliche Rechenressourcen, ohne signifikante Genauigkeitsverluste zu erleiden.
• Ablationsstudien: Die Studien zeigen, dass das SFT-Training für das schnelle Denken essenziell ist, um die Stabilität des langsamen Denkens zu gewährleisten (insbesondere bei kleineren Modellen wie 4B). Ohne SFT kollabiert das Modell bei schwierigen Aufgaben oft.

5. Bedeutung und Fazit

Das Paper adressiert das fundamentale Dilemma zwischen Effizienz und Genauigkeit in der Reward-Modellierung. Durch die Nachahmung der menschlichen kognitiven Prozesse (System 1 vs. System 2) ermöglicht F/S-RM eine adaptive Ressourcennutzung:

• Einfache, klare Fälle werden schnell und kostengünstig gelöst (Fast Thinking).
• Ambivalente und komplexe Fälle erhalten die notwendige Tiefe durch begründetes Denken (Slow Thinking).

Dieser Ansatz macht die Skalierung von RLHF-Pipelines praktikabler, da er den Token-Verbrauch signifikant senkt, ohne die Qualität der Ausrichtung zu beeinträchtigen. Es bietet einen neuen Weg, um die Grenzen der aktuellen Reward-Modelle zu überwinden, indem es die Stärken beider Welten (Skalar vs. Generativ) synergistisch nutzt.