Technische Zusammenfassung: Effizientes Lernen des Schlussfolgerns mit diskontiertem Reinforcement Learning

Problemstellung

Large Reasoning Models (LRMs) lösen komplexe Aufgaben (z. B. Mathematik, Code), indem sie vor einer finalen Antwort intermediate Schlussfolgerungstokens generieren. Während das Post-Training mit Reinforcement Learning (RL) die Genauigkeit verbessert, führt dies oft zu übermäßig langen Denkketten, was die Rechenkosten, die Speichernutzung (durch wachsende KV-Caches) und die Inferenz-Latenz in die Höhe treibt.

Die vorherrschende Annahme in diesem Bereich besagt, dass längere Antworten die Genauigkeit inhärent verbessern, was einen Zielkonflikt zwischen Antwortlänge und Korrektheit nahelegt. Diese Arbeit stellt diese Annahme in Frage. Sie postuliert, dass bis zu einem durch die Modellklasse und die Probleminstanz bestimmten Regime kein inhärenter Zielkonflikt besteht: Man kann die Antwortlänge auf einen instanzspezifischen Schwellenwert reduzieren, ohne die Genauigkeit zu beeinträchtigen. Das Ziel ist es, LRMs zu trainieren, die effektiv und effizient korrekte Antworten finden, analog zur Suche nach der kürzesten erfolgreichen Trajektorie in einem Stochastic Shortest Path (SSP)-Problem.

Methodik

Theoretischer Rahmen: Blackwell-Optimalität

Die Autoren modellieren verifizierbasiertes Schlussfolgern als Markov-Entscheidungsprozess (MDP) mit endlichem Horizont und einer binären terminalen Belohnung (1 für korrekt, 0 für inkorrekt). Um das Ziel zu formalisieren, die Genauigkeit zu maximieren und gleichzeitig die Pfadlänge zu minimieren, nutzen sie die Blackwell-Optimalität.

• Definition: Eine Policy ist Blackwell-optimal, wenn sie für alle Diskontfaktoren $\gamma$, die hinreichend nahe bei 1 liegen, optimal ist.
• Mechanismus: In zielgerichteten MDPs mit binären terminalen Belohnungen maximiert die Maximierung des diskontierten Returns $J_\gamma(\pi)$ für $\gamma \to 1$ zunächst die Erfolgswahrscheinlichkeit (Genauigkeit). Unter den Policies, die die maximale Erfolgswahrscheinlichkeit erreichen, bricht der Diskontierungsmechanismus Unentschieden, indem er jene bevorzugt, die kürzere erwartete Trajektorienlängen aufweisen.
• Kern-Erkenntnis: Für eine endliche Policy-Klasse $\Pi$ existiert ein kritischer Diskontfaktor $\gamma_{bw} < 1$, sodass für alle $\gamma \in (\gamma_{bw}, 1)$ die Menge der $\gamma$-optimalen Policies mit der Menge der Blackwell-optimalen Policies übereinstimmt. Diese Policies maximieren gleichzeitig die Genauigkeit und minimieren die erwartete Pfadlänge unter den Genauigkeitsmaximierern.

Praktisches Trainingsrezept

Geführt von den theoretischen Ergebnissen schlagen die Autoren eine spezifische Trainingsmethode unter Verwendung von Group Relative Policy Optimization (GRPO) vor:

1. Nur diskontierte Umweltbelohnung: Der Diskontfaktor $\gamma \in (0, 1)$ wird ausschließlich auf die extrinsische Umweltbelohnung (Korrektheit) angewendet. Intrinsische Belohnungen (Formatierung, strukturelle Gestaltung) bleiben undiskontiert, um sicherzustellen, dass das Modell gut strukturierte Ausgaben erzeugt.
2. Maskierung von Schlussfolgerungstokens: Die Diskontierung wird nur auf Tokens angewendet, die als Teil des „Schlussfolgerungsbereichs" identifiziert wurden (z. B. Tokens zwischen <reasoning> und </reasoning>-Tags). Tokens, die für die Einhaltung des Prompts, die Formatierung und die finale Antwort erforderlich sind, werden nicht diskontiert.
3. KL-Regularisierung: Eine KL-Strafe wird gegen eine sich bewegende Referenzpolicy (die periodisch aktualisiert wird) angewendet, um den Policy-Collapse (wobei das Modell zu früh aufhört zu schlussfolgern) zu verhindern und das Lernen zu stabilisieren.
4. Vergleichbare Token-Budgets: Um einen fairen Vergleich zu gewährleisten, wird die Anzahl der Rollouts so angepasst, dass die Gesamtzahl der während des Trainings verarbeiteten Tokens zwischen diskontierten und undiskontierten Methoden vergleichbar ist.

Die zu optimierende Zielfunktion lautet:
$$\mathbb{E}_{S_1 \sim \mu, \tau \sim \pi(S_1)} [\gamma^{K(\tau)} r_e(\tau) + r_f(\tau)] - \beta \text{KL}(\pi || \pi')$$
Wobei $K(\tau)$ die Anzahl der Schlussfolgerungstokens ist, $r_e$ die Umweltbelohnung und $r_f$ die Formatierungsbelohnung.

Hauptbeiträge

1. Theoretische Garantie eines fehlenden Zielkonflikts: Die Arbeit beweist, dass innerhalb jeder festen (möglicherweise eingeschränkten) Policy-Klasse Blackwell-optimalen Policies die undiskontierte Erfolgswahrscheinlichkeit maximieren und unter diesen Maximierern die erwartete Trajektorienlänge minimieren. Dies etabliert, dass Genauigkeit und Pfadlänge bis zu einem instanzabhängigen Schwellenwert nicht inhärent gegeneinander getauscht werden.
2. Existenz des Blackwell-Faktors: Für endliche Policy-Klassen beweisen die Autoren die Existenz eines Blackwell-Diskontfaktors $\gamma_{bw} < 1$. Sie liefern Schranken dafür, wie nah $\gamma$ an 1 liegen muss, um die Genauigkeit zu bewahren und gleichzeitig die Antworten zu verkürzen, was die Hyperparameter-Auswahl für eingeschränkte Bereitstellungs-Klassen klärt.
3. Empirische Validierung: Unter Verwendung von GRPO mit dem diskontierten Ziel zeigen die Autoren, dass Modelle die mittlere Antwortlänge auf Mathematik-Benchmarks (GSM8K, MATH, AMC, AIME usw.) erheblich reduzieren können, während sie die Pass@1-Genauigkeit der undiskontierten Baselines erreichen.

Experimentelle Ergebnisse

Die Autoren evaluierten vier instruierte Modelle (Qwen2.5 7B/14B, Llama 3 8B, Phi-4) auf verschiedenen Mathematik-Datensätzen.

• GSM8K & MATH: Diskontierte Modelle erreichten die Pass@1-Genauigkeit der undiskontierten Baselines oder übertrafen sie leicht, während sie die Token-Anzahl signifikant reduzierten.
  • Qwen2.5 7B (GSM8K): Die Genauigkeit blieb stabil (91,06 % vs. 91,07 %), während die mittlere Antwortlänge von 217,60 auf 170,08 Tokens sank (~22 % Reduktion).
  • Llama 3 8B (GSM8K): Die Genauigkeit verbesserte sich leicht (80,87 % vs. 81,07 %), wobei die Länge von 125,43 auf 108,67 Tokens sank (~13 % Reduktion).
• Schwierigere Benchmarks (AMC, AIME, MINERVA, OLYMPIAD): Der Trend hielt für größere Modelle (Qwen2.5 14B, Phi-4), die auf DeepScaleR trainiert wurden, an. Diskontierte Modelle erreichten vergleichbare oder höhere Genauigkeit mit deutlich kürzeren Spuren (z. B. Phi-4 auf AMC 2023: 51,00 % $\to$ 61,00 % Genauigkeit, 1134 $\to$ 716 Tokens).
• Sensitivität des Diskontfaktors: Experimente mit variierenden $\gamma$ bestätigten den theoretischen Zielkonflikt: Wenn sich $\gamma$ weiter von 1 entfernt, verkürzen sich die Antwortlängen zuverlässig, aber die Genauigkeit sinkt schließlich, wenn der Diskont zu aggressiv ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, einen prinzipiellen, instanzbewussten Mechanismus für effizientes Schlussfolgern zu liefern, der nicht auf kuratierten Daten oder Prompt-Engineering beruht. Durch die Nutzung der Blackwell-Optimalität stellt der Ansatz das Problem des „effizienten Schlussfolgerns" als Standard-RL-Ziel mit einer spezifischen Diskontierungsstrategie neu dar.

Die Autoren behaupten, dass ihre Ergebnisse:

• Den inhärenten Längen-Genauigkeits-Zielkonflikt widerlegen: Sie zeigen, dass kürzeres Schlussfolgern ohne Genauigkeitsverlust bis zu einem spezifischen Schwellenwert möglich ist, der durch die Kapazität des Modells bestimmt wird.
• Längen-Strafen vereinheitlichen: Die Arbeit legt nahe, dass Methoden, die kleine negative Belohnungen pro Schritt verwenden, in diesem Setting dem Diskontieren äquivalent sind, was impliziert, dass mehrere bestehende Längen-Strafen-Methoden die gleiche Genauigkeit-dann-Länge-Reihenfolge wiederherstellen können, wenn sie korrekt implementiert werden.
• Ein praktisches Rezept bieten: Die vorgeschlagene Methode erfordert keine algorithmischen Änderungen an der Standard-Policy-Optimierung (wie GRPO), sondern nur eine Modifikation der Belohnungsberechnung (Diskontierung von Schlussfolgerungstokens) und die Verwendung einer sich bewegenden Referenzpolicy.

Die Arbeit schließt mit der Feststellung, dass zwar kürzere Spuren die Effizienz verbessern, das Potenzial komprimierten Schlussfolgerns, die Generalisierung zu verbessern, jedoch eine offene Frage für zukünftige Arbeiten bleibt.