💬 NLP

CARE-RFT: Confidence-Anchored Reinforcement Finetuning for Reliable Reasoning in Large Language Models

Das Papier stellt CARE-RFT vor, eine neuartige Reinforcement-Finetuning-Methode, die eine schiefe Reverse-KL-Divergenz verwendet, um den Kompromiss zwischen Reasoning-Leistung und Modellvertrauenswürdigkeit zu lösen, wodurch die hohen Reasoning-Fähigkeiten von unbeschränktem RFT erreicht werden, während gleichzeitig die Kalibrierung und Zuverlässigkeit des Basismodells bewahrt wird.

Ursprüngliche Autoren: Shuozhe Li, Jincheng Cao, Bodun Hu, Aryan Mokhtari, Leqi Liu, Amy Zhang

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shuozhe Li, Jincheng Cao, Bodun Hu, Aryan Mokhtari, Leqi Liu, Amy Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr klugen, belesenen Schüler (das KI-Modell), wie man komplexe Rätsel löst. Sie möchten, dass er ein Meister des logischen Schlussfolgerns wird, fähig zu schrittweisem Denken und zur Findung kreativer Lösungen. Gleichzeitig möchten Sie jedoch, dass er ehrlich bleibt und keine Fakten erfindet, wenn er sich nicht sicher ist.

Dieses Paper, CARE-RFT, befasst sich mit einem spezifischen Problem, das auftritt, wenn wir diese Schüler mit einer Methode namens „Reinforcement Finetuning“ (RFT) trainieren wollen.

Das Problem: Der „übermütige Träumer“ vs. der „vorsichtige Bürokrat“

Die Autoren fanden heraus, dass aktuelle Trainingsmethoden einen dazu zwingen, zwischen zwei schlechten Optionen zu wählen:

Der unbeschränkte Ansatz (Der übermütige Träumer): Wenn man den Schüler rein durch Versuch und Irrtum lernen lässt, ohne strikte Regeln, wird er sehr gut darin, schwierige Rätsel zu lösen. Er beginnt, über den Tellerrand hinauszuschauen! Aber er beginnt auch zu halluzinieren. Er wird so selbstbewusst in seinen Antworten, dass er voller Selbstvertrauen falsche Fakten erfindet oder Dinge behauptet, die er eigentlich nicht weiß. Er verliert seine „Kalibrierung“, was bedeutet, dass sein Selbstvertrauen nicht mehr mit seiner tatsächlichen Genauigkeit übereinstimmt.
- Analogie: Es ist wie ein Schüler, der die Lösungsschlüssel für eine Matheprüfung auswendig lernt, aber die Mathematik dahinter nicht versteht. Wenn sich die Prüfung leicht verändert, rät er einfach wild und voller Selbstvertrauen, erreicht das richtige Ergebnis durch Glück, scheitert aber an der Zuverlässigkeit.
Der RKL-beschränkte Ansatz (Der vorsichtige Bürokrat): Um das Lügen zu verhindern, fügen Forscher meist eine „Sicherheitsleine“ namens Reverse KL (RKL) hinzu. Diese zwingt den Schüler dazu, sehr nah an seiner ursprünglichen, vortrainierten Persönlichkeit zu bleiben. Dies hält ihn ehrlich und faktentreu.
- Der Haken: Die Leine ist zu fest. Sie bestraft den Schüler dafür, etwas Neues oder anderes auszuprobieren. Weil er Angst hat, vom „sicheren“ Pfad abzuweichen, hört er auf, komplexe, schwierige Rätsel zu lösen. Er bleibt zwar ehrlich, aber er hört auf, klug zu sein.

Die Lösung: CARE-RFT (Der „Vertrauens-verankerte“ Coach)

Die Autoren schlagen eine neue Methode namens CARE-RFT vor. Betrachten Sie dies als einen klugen Coach, der genau weiß, wann er die Leine lockern und wann er sie straff ziehen muss.

Anstatt einer einzelnen, starren Regel verwendet CARE-RFT ein spezielles Werkzeug namens Skew Reverse KL. So funktioniert es unter Verwendung einer einfachen Metapher:

Das „Anker“-Konzept: Stellen Sie sich den Schüler als ein Boot vor und das ursprüngliche, gut trainierte Modell als einen schweren Anker.
Standard RKL (Der alte Weg): Der Anker ist eine riesige, unzerbrechliche Kette. Wenn das Boot versucht, auch nur ein kleines Stück in neue, unkartierte Gewässer (neue Denkpfade) abzutreiben, zieht die Kette es gewaltsam zurück. Das Boot bleibt sicher, kann aber nie etwas entdecken.
Unconstrained RFT (Der andere Weg): Der Anker wird durchtrennt. Das Boot kann überallhin fahren, aber es könnte gegen Felsen prallen (Halluzinationen) oder an einer Klippe abtreiben (Fehlkalibrierung).
CARE-RFT (Der neue Weg): Der Anker ist ein intelligentes, verstellbares Tether (eine Verbindung).
- Wenn der Schüler unsicher ist: Wenn das Boot in neblige, unsichere Gewässer driftet, zieht das Tether stark und hält den Schüler im sicheren, faktischen Wissen des Basismodells fest. Dies verhindert Halluzinationen.
- Wenn der Schüler selbstbewusst und belohnt wird: Wenn der Schüler einen neuen Pfad ausprobiert und dieser erfolgreich ist (er erhält eine hohe Belohnung), entspannt sich das Tether. Es erlaubt dem Schüler, weiter hinaus zu driften, um zu explorieren und komplexes Denken zu lernen – aber nur, weil er bewiesen hat, dass er auf dem richtigen Weg ist.

Was passiert, wenn man CARE-RFT verwendet?

Das Paper führte Experimente mit verschiedenen KI-Modellen (wie Qwen2.5) durch und fand heraus, dass CARE-RFT das „Beste aus beiden Welten“ erreicht:

Es bewahrt die Klugheit des „Träumers“: Die Modelle wurden genauso gut darin, schwierige Mathe- und Logikprobleme zu lösen, wie die unbeschränkten, halluzinationsanfälligen Modelle.
Es bewahrt die Ehrlichkeit des „Bürokraten“: Die Modelle blieben genauso vertrauenswürdig und faktisch genau wie die vorsichtigen, an der Leine gezogenen Modelle. Sie hörten auf, Fakten zu erfinden, und ihr Selbstvertrauen entsprach ihrer tatsächlichen Leistung.

Das „Entropie“-Geheimnis

Die Autoren untersuchten auch die „Entropie“ (ein Maß für die Unsicherheit) der Modelle während des Trainings.

Die unbeschränkten Modelle wurden „spröde“ – ihre Unsicherheit kollabierte zu schnell auf Null, was sie übermütig und fehleranfällig machte.
Die RKL-Modelle blieben zu „unscharf“ und zu unsicher, um schwierige Aufgaben zu lernen.
CARE-RFT fand eine „Goldlöckchen-Zone“. Es erlaubte den Modellen, selbstbewusst genug zu werden, um schwierige Probleme zu lösen, aber nicht so selbstbewusst, dass sie aufhörten, sich selbst zu hinterfragen.

Zusammenfassung

Kurz gesagt: CARE-RFT ist eine neue Trainingsmethode, die wie ein intelligentes Sicherheitsnetz fungiert. Sie ermöglicht es Large Language Models, neue, komplexe Denkstrategien zu erforschen, ohne den Bezug zur Realität zu verlieren. Sie beweist, dass man sich nicht entscheiden muss, ob man ein brillanter Denker oder ein vertrauenswürdiger Faktenchecker sein will; mit dem richtigen „Vertrauens-verankerten“ Ansatz kann man beides sein.

Technisches Resümee: CARE-RFT

Problemstellung

Reinforcement Finetuning (RFT) hat sich als ein zentrales Paradigma herausgestellt, um emergente Denkfähigkeiten in Large Language Models (LLMs) freizusetzen, wie sie beispielsweise bei Modellen wie DeepSeek-R1-Zero beobachtet werden. Die Autoren identifizieren jedoch einen kritischen Zielkonflikt zwischen Denkleistung (Reasoning Performance) und Modellvertrauenswürdigkeit (Model Trustworthiness):

Unbeschränktes RFT: Während Algorithmen wie Group Relative Policy Optimization (GRPO) ohne Einschränkungen eine überlegene Denkgenauigkeit erreichen, beeinträchtigen sie die Zuverlässigkeit des Modells massiv. Das Weglassen von Beschränkungen führt zu einer „indiskriminaten Verstärkung“, bei der das Modell ganze Gedankengänge (einschließlich logisch fehlerhafter Zwischenschritte) verstärkt, sofern das Endergebnis korrekt ist. Dies führt zu erhöhten Halluzinationsraten, einer verschlechterten Faktizität in Retrieval-Benchmarks und einer schlechten Kalibrierung (hoher Expected Calibration Error, oder ECE).
RKL-beschränktes RFT: Um Halluzinationen zu mildern, setzen Standardansätze eine Reverse Kullback–Leibler (RKL) Divergenz-Strafe ein, um die trainierte Policy ( $\pi_\theta$ ) nah an einer Referenz-Policy ( $\pi_{ref}$ ) zu halten. Während dies Kalibrierung und Faktizität bewahrt, ist die RKL-Strafe unbeschränkt. Sie erzwingt unendliche Strafen für Token, denen das Referenzmodell eine geringe Wahrscheinlichkeit zuweist, was effektiv die Exploration neuer, hochbelohnter Denkpfade unterdrückt, die vom Basismodell abweichen. Infolgedessen sind die Denkfortschritte im Vergleich zu unbeschränktem RFT begrenzt.

Die Kernherausforderung besteht darin, eine Regularisierungsmethode zu entwerfen, die die für das Denken notwendige Exploration ermöglicht, während sie gleichzeitig die unverankerten Abweichungen verhindert, die Halluzinationen und Fehlkalibrierungen verursachen.

Methodik: CARE-RFT

Die Autoren schlagen CARE-RFT (Confidence-Anchored Regularized Reinforcement Finetuning) vor, welches die Standard-RKL-Strafe durch eine Skew Reverse KL (SRKL) Divergenz ersetzt.

Theoretische Grundlage

Die Standard-RKL-Divergenz ( $D_{RKL}$ ) bestraft Abweichungen, bei denen $\pi_\theta$ Wahrscheinlichkeiten für Token zuweist, die $\pi_{ref}$ für unwahrscheinlich hält. Diese Strafe wächst unbeschränkt, wenn $\pi_{ref}(o_t) \to 0$ , was das Modell daran hindert, mit geringer Wahrscheinlichkeit behaftete, aber potenziell korrekte Denkstrategien zu explorieren.

CARE-RFT führt einen Skew-Parameter $\alpha \in (0, 1)$ ein, um eine Mischverteilung zu definieren. Die SRKL-Divergenz ist definiert als:
$D_{SRKL}^\alpha (\pi_{ref} \| \pi_\theta) = \sum_{o_t \in V} \pi_\theta(o_t) \log \frac{\pi_\theta(o_t)}{\alpha \pi_\theta(o_t) + (1-\alpha)\pi_{ref}(o_t)}$

Kernmechanismen

Vertrauensanker-Strafe (Confidence-Anchored Penalty): Die SRKL-Strafe ist konfidenzsensitiv.
- Aufwärtsabweichungen (Exploration): Wenn das Modell sicher ist ( $\pi_\theta$ ist hoch) und konsistent belohnt wird, ist die Strafe für die Erhöhung der Wahrscheinlichkeit auf einen Token beschränkt. Der Term $\log(1/\alpha)$ dient als endlicher Oberwert. Dies erlaubt dem Modell, Wahrscheinlichkeitsmasse auf neuartige, hochbelohnte Denkmuster zu akkumulieren, ohne durch die niedrige Wahrscheinlichkeit des Referenzmodells unterdrückt zu werden.
- Abwärtsabweichungen (Erhaltung): Wenn das Modell versucht, die Wahrscheinlichkeit auf Token zu reduzieren, die das Referenzmodell bevorzugt (oder wenn das Modell unsicher ist), bleibt die Strafe unbeschränkt (sie divergiert gegen $-\infty$ , wenn das Verhältnis gegen 0 geht). Dies stellt sicher, dass das Modell nicht von den gut kalibrierten Priors des Basismodells abweicht, wodurch die faktische Fundierung gewahrt bleibt.
Gradientenstabilität: Der Gradientenkoeffizient von SRKL ist für Aufwärtsbewegungen beschränkt, was den „Gradienten-Explosionen“ (Gradient Blow-up) und der Varianz der Schätzer entgegenwirkt, die oft bei Standard-RKL auftreten, wenn das Referenzmodell eine nahezu Null-Wahrscheinlichkeit für die gesampelten Token zuweist.

Experimenteller Aufbau

Die Autoren evaluierten CARE-RFT über mehrere Modellskalen (Qwen2.5-3B und 7B) und drei verschiedene RFT-Algorithmen:

GRPO: Die fundamentale Group Relative Policy Optimization.
DAPO: Eine aggressive, unbeschränkte Variante.
GSPO: Ein aktueller Ansatz zur Optimierung auf Sequenzebene.

Benchmarks:

Reasoning: MATH und GSM8K (gemessen an Pass@4).
Vertrauenswürdigkeit/Faktizität: TruthfulQA und SelfAware (gemessen an Pass@1).
Kalibrierung: Expected Calibration Error (ECE) auf TruthfulQA.

Kernergebnisse

Die Experimente zeigen, dass CARE-RFT den Zielkonflikt zwischen Genauigkeit und Kalibrierung erfolgreich auflöst:

Denkleistung: CARE-RFT erreicht die Denkleistung von unbeschränktem RFT. Beispielsweise erreichte CARE-RFT bei der Verwendung von GRPO auf Qwen2.5-3B einen MATH-Score von 0,600, was nahezu identisch mit der unbeschränkten Version (0,610) ist und signifikant höher liegt als das RKL-beschränkte GRPO (0,510).
Vertrauenswürdigkeit und Kalibrierung: Im Gegensatz zum unbeschränkten RFT, das unter schweren Einbußen bei der TruthfulQA-Genauigkeit und einem hohen ECE litt, stellt CARE-RFT die Vertrauenswürdigkeit des Basismodells wieder her.
- TruthfulQA: CARE-GRPO erzielte 0,465, nahe am Basismodell (0,489) und RKL-GRPO (0,480), während das unbeschränkte GRPO auf 0,350 abfiel.
- ECE: CARE-RFT behielt einen niedrigen ECE von 0,132 bei, vergleichbar mit RKL-beschränkten Methoden (0,125) und deutlich besser als unbeschränkte Methoden (0,210).
Trainingsdynamik: Eine Analyse der Token-Entropie zeigte, dass unbeschränktes RFT zu einem katastrophalen Kollaps der Entropie (Überkonfidenz) führt, während RKL eine hohe Entropie beibehält, aber die Schärfung begrenzt. CARE-RFT erreicht eine kontrollierte Entropiereduktion, die es dem Modell ermöglicht, die Verteilungen für das Denken zu schärfen, ohne in eine Überkonfidenz zu kollabieren.

Bedeutung und Ansprüche

Das Paper behauptet, dass eine sorgfältige, konfidenzbewusste Regularisierung der Schlüssel zum Bau sowohl fähiger als auch vertrauenswürdiger Denkmodelle ist.

Auflösung des Zielkonflikts: CARE-RFT löst die Spannung zwischen der Notwendigkeit der Exploration (um das Denken freizusetzen) und der Notwendigkeit der Beschränkung (um Halluzinationen zu verhindern), indem eine einseitige, beschränkte Strafe eingeführt wird.
Generalisierbarkeit: Die Methode wird als „Drop-in“-Regularisierungsschicht präsentiert, die mit verschiedenen RFT-Algorithmen (GRPO, DAPO, GSPO) und Modellskalen kompatibel ist.
Mechanistischer Einblick: Die Arbeit etabliert, dass das Scheitern von unbeschränktem RFT nicht bloß ein Mangel an Beschränkungen ist, sondern spezifisch die indiskriminierte Natur von Ergebnis-basierten Belohnungen. Durch den Übergang zu Token-basierten, konfidenzverankerten Beschränkungen kann das Modell komplexe Denkmuster erlernen, ohne die faktischen Priors des Basismodells zu opfern.

Die Autoren kommen zu dem Schluss, dass ihr Ansatz es Modellen ermöglicht, den „Aha-Moment“ des emergenten Denkens zu erreichen und gleichzeitig die für Hochrisiko-Anwendungen erforderliche Zuverlässigkeit zu bewahren, ohne die unbeschränkten Strafen zu benötigen, die das Lernen in traditionellem RKL-beschränktem RFT ersticken.