Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models

Titel: Reaching Beyond the Mode: RL für distributionales Reasoning in Sprachmodellen

1. Problemstellung

Herkömmliche Large Language Models (LLMs) werden nach dem Training (Post-Training) oft mit Reinforcement Learning (RL) optimiert, um eine einzelne, wahrscheinlichste Antwort („den Modus") auf eine Frage zu generieren. Dieser Ansatz führt zu einem Entropie-Kollaps, bei dem das Modell alternative, aber plausible Lösungen unterdrückt.
Dies ist in vielen realen Szenarien problematisch, wo Unsicherheit inhärent ist oder mehrere korrekte Antworten möglich sind:

• Medizinische Diagnostik: Bei unvollständigen Patientendaten können mehrere Differentialdiagnosen gleichzeitig zutreffen.
• Ambiguität: Fragen mit unvollständigem Kontext erfordern das Abwägen mehrerer Hypothesen.
• Programmieraufgaben: Es gibt oft mehrere algorithmisch korrekte Implementierungen für dieselbe Aufgabe.

Bestehende Lösungen wie das wiederholte Sampling zur Erzeugung mehrerer Antworten (z. B. „Best-of-K") sind rechenintensiv und ineffizient, da das Modell nicht darauf trainiert wurde, eine Verteilung zu generieren, sondern nur eine Antwort. Zudem fehlt oft eine kalibrierte Unsicherheitsschätzung für jede Antwort.

2. Methodik: Multi-Answer Reinforcement Learning (Multi-Answer RL)

Die Autoren schlagen einen neuen RL-Ansatz vor, der Modelle explizit darauf trainiert, Verteilungen über Antworten in einem einzigen Vorwärtsdurchlauf (Single Forward Pass) zu generieren, anstatt nur eine einzelne Antwort.

Kernkomponenten:

• Strukturierte Ausgabe: Das Modell wird angewiesen, innerhalb eines einzigen „Chain-of-Thought"-Prozesses eine Menge von $K$ distincten Kandidatenantworten $A = \{a_1, ..., a_K\}$ zu generieren.
• Multi-Answer RLVR (Verifiable Rewards):
  • Das Ziel ist die Wiederherstellung der gesamten Menge korrekter Antworten $Y^*$.
  • Die Belohnungsfunktion $R_{RLVR}^{multi}$ zählt, wie viele der generierten Antworten in der Ground-Truth-Menge enthalten sind:
    $$R_{RLVR}^{multi}(A, Y^*) = \sum_{i=1}^{K} \mathbb{1}[a_i \in Y^*]$$
  • Dies verallgemeinert das Standard-RLVR (wo $N=1, K=1$) auf Set-Level-Korrektheit.
• Multi-Answer RLCR (Calibration Rewards):
  • Zusätzlich zur Antwortmenge generiert das Modell Konfidenzwerte $Q = \{q_1, ..., q_K\}$ für jede Antwort.
  • Die Belohnung kombiniert Korrektheit mit einer Multi-Brier-Score-Strafe für fehlkalibrierte Konfidenzen:
    $$R_{Brier}^{multi} = \frac{1}{K} \sum_{i=1}^{K} (q_i - \mathbb{1}[a_i \in Y^*])^2$$
  • Das Gesamtziel ist $R_{RLCR}^{multi} = R_{RLVR}^{multi} - R_{Brier}^{multi}$. Dies zwingt das Modell, nicht nur korrekte Antworten zu finden, sondern auch deren Wahrscheinlichkeiten realistisch einzuschätzen.
• Format-Reward: Ein zusätzlicher Reward erzwingt die Eindeutigkeit der generierten Antworten und die korrekte Formatierung (z. B. via XML-Tags), um Duplikate zu vermeiden.

3. Schlüsselergebnisse

Die Methode wurde auf drei Datensätzen evaluiert: DDXPlus (medizinische Diagnostik), HotPotQA-Modified (ambiguierte Fragen) und MBPP (Programmieraufgaben).

• Verbesserte Abdeckung (Coverage) und Diversität:
  • Multi-Answer-Modelle generieren signifikant mehr korrekte Antworten pro Prompt als Single-Answer-Baselines.
  • Auf MBPP (Coding) steigerte Multi-Answer-RL die Top-1-Genauigkeit um über 50 % und erhöhte die Vielfalt der algorithmischen Lösungen drastisch.
  • Im Gegensatz zu Single-Answer-Modellen, die bei wiederholtem Sampling oft denselben dominanten Modus wiederholen (Mode Collapse), generieren Multi-Answer-Modelle strukturell diverse Lösungen in einem Durchgang.
• Recheneffizienz (Token-Effizienz):
  • Um $K$ Antworten zu erhalten, benötigt ein Single-Answer-Modell $K$ unabhängige Inferenzläufe. Ein Multi-Answer-Modell generiert alle $K$ Antworten in einem einzigen Lauf.
  • Auf medizinischen Aufgaben reduzierte Multi-Answer-RL den Token-Verbrauch um mehr als 50 % im Vergleich zum wiederholten Sampling bei gleicher Abdeckung.
• Kalibrierung (Calibration):
  • Modelle, die mit RLCR (Calibration Rewards) trainiert wurden, lieferten besser kalibrierte Konfidenzwerte als reine RLVR-Modelle.
  • Während RLVR-Modelle systematisch übermäßig selbstbewusst (overconfident) waren, passten sich die Konfidenzen der RLCR-Modelle besser an die tatsächliche Korrektheit an.
• Stabilität: Die Leistung bleibt stabil, wenn die Anzahl der generierten Antworten $K$ erhöht wird (bis $K=5$ getestet).

4. Bedeutung und Beiträge

• Prinzipielle Alternative zu Inference-Time Scaling: Multi-Answer RL bietet eine prinzipielle und rechen-effiziente Alternative zu externen Verfahren wie „Best-of-K" oder wiederholtem Sampling. Es verlagert die Suche nach Alternativen von der Inferenzzeit in den Trainingsprozess.
• Umgang mit Unsicherheit: Der Ansatz adressiert direkt das Problem der epistemischen Unsicherheit in realen Anwendungen, indem er Modelle lehrt, Hypothesenmengen und deren Wahrscheinlichkeiten explizit zu modellieren, anstatt sich auf eine einzige „sichere" Antwort festzulegen.
• Anwendbarkeit in Hochrisiko-Szenarien: Besonders für medizinische Diagnosen oder kritische Entscheidungen, wo das Übersehen einer plausiblen Alternative fatal sein kann, bietet diese Methode einen wesentlichen Vorteil gegenüber herkömmlichen Single-Answer-Modellen.
• Erweiterung des Reasoning-Spektrums: Die Arbeit zeigt, dass RL nicht nur die Genauigkeit einer einzelnen Antwort steigern, sondern auch die Breite des Suchraums (Support) des Modells erweitern kann, ohne dabei die Qualität zu opfern.

Zusammenfassend demonstriert das Paper, dass das explizite Optimieren von Sprachmodellen auf die Generierung von Antwortmengen und kalibrierten Unsicherheiten zu robusteren, vielfältigeren und effizienteren Systemen führt, die besser mit der Komplexität realer Weltprobleme umgehen können.