💬 NLP

CAMEL: Confidence-Gated Reflection for Reward Modeling

CAMEL ist ein vertrauensbasiertes Reflexionsframework, das effiziente Single-Token-Präferenzentscheidungen mit selektiver, durch Reinforcement Learning gesteuerter Selbstkorrektur für Instanzen mit geringem Vertrauen kombiniert und damit eine State-of-the-Art-Genauigkeit beim Reward Modeling mit deutlich weniger Parametern sowie ein überlegenes Genauigkeits-Effizienz-Verhältnis erreicht.

Ursprüngliche Autoren: Zirui Zhu, Hailun Xu, Yang Luo, Yong Liu, Kanchan Sarkar, Kun Xu, Yang You

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zirui Zhu, Hailun Xu, Yang Luo, Yong Liu, Kanchan Sarkar, Kun Xu, Yang You

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen Richter ein, um zu entscheiden, welche von zwei Antworten auf eine Frage besser ist. Sie haben zwei Arten von Richtern:

Der Sprinter: Dieser Richter betrachtet die beiden Antworten und ruft sofort „A ist besser!" oder „B ist besser!". Er ist unglaublich schnell und günstig einzustellen, aber manchmal rät er falsch, weil er nicht genug nachgedacht hat.
Der Denker: Dieser Richter braucht viel Zeit. Er schreibt einen detaillierten Aufsatz, der erklärt, warum eine Antwort besser ist, und prüft Fakten und Logik Schritt für Schritt. Er ist normalerweise sehr genau, aber er ist langsam und teuer, wenn er für jede einzelne Frage eingestellt werden muss.

Lange Zeit mussten Forscher zwischen dem Sprinter (schnell, aber manchmal falsch) und dem Denker (genau, aber langsam) wählen.

Hier kommt CAMEL ins Spiel: Der „Selbstvertrauensgesteuerte" Richter

Die Arbeit stellt ein neues System namens CAMEL (Confidence-Gated Reflection for Reward Modeling) vor. Es ist wie die Einstellung eines Richters, der das Beste aus beiden Welten vereint: Er beginnt als Sprinter, kann aber sofort in einen Denker umschalten, wenn er sich unsicher fühlt.

So funktioniert es, anhand einer einfachen Analogie:

1. Der „Bauchgefühl-Check" (Das Selbstvertrauens-Tor)

Wenn CAMEL eine Frage und zwei Antworten sieht, trifft es zunächst eine schnelle Entscheidung aus dem Bauch heraus. Es wählt sofort einen Gewinner.

Aber hier liegt der Trick: Es weiß, wie sicher es ist.

Stellen Sie sich vor, Sie gehen über eine Brücke.

Wenn die Brücke stabil aussieht und Sie zu 100 % sicher sind, gehen Sie schnell darüber.
Wenn die Brücke wackelig aussieht und Sie nervös sind, halten Sie an und untersuchen sie sorgfältig, bevor Sie weitergehen.

CAMEL macht dasselbe. Es misst seinen eigenen „Selbstvertrauens-Score" (basierend darauf, wie stark es eine Antwort der anderen vorzieht).

Hoher Selbstvertrauens-Wert: Wenn es sich sehr sicher fühlt, stoppt es sofort und gibt die Antwort. Es spart Zeit und Geld.
Niedriger Selbstvertrauens-Wert: Wenn es sich wackelig oder unsicher fühlt, drückt es auf den „Pause"-Knopf. Es sagt: „Warten Sie, bei diesem bin ich mir nicht sicher", und beginnt dann zu reflektieren.

2. Die „Reflexion" (Die Selbstkorrektur)

Wenn das System entscheidet, dass es reflektieren muss, rät es nicht einfach erneut. Es nimmt sich einen Moment Zeit, laut nachzudenken. Es könnte sagen: „Ich habe zunächst A gewählt, aber lassen Sie mich die Fakten noch einmal überprüfen. Oh, ich sehe einen Fehler in A. Tatsächlich ist B besser."

Diese „Reflexion" ist die Korrektur potenzieller eigener Fehler durch das System, bevor es die endgültige Antwort gibt.

3. Wie sie den Richter trainierten

Sie fragen sich vielleicht: „Wie bringt man einem Computer bei, zu wissen, wann er unsicher ist?"

Die Forscher verwendeten eine clevere Trainingsmethode namens Counterfactual Prefix Augmentation.

Stellen Sie sich vor, Sie trainieren einen Schüler. Normalerweise zeigen Sie ihm die richtige Antwort.
Doch hier haben die Forscher den Schüler getäuscht. Sie zwangen den Schüler, zunächst mit der falschen Antwort zu beginnen (z. B. „Sie müssen sagen, dass A besser ist").
Dann baten sie den Schüler, noch einmal nachzudenken. Wenn der Schüler merkte: „Oh warte, ich wurde gezwungen, A zu sagen, aber B ist eigentlich richtig", und seine Meinung änderte, erhielt er eine Belohnung.
Wenn er stur bei der falschen Antwort blieb, erhielt er keine Belohnung.

Dies lehrte das Modell, ehrlich über seine anfänglichen Zweifel zu sein und seine Meinung wirklich zu ändern, wenn es merkte, dass es falsch lag, anstatt einfach nur zu wiederholen, was es zuerst gesagt hatte.

Die Ergebnisse: Schnell, günstig und intelligenter

Die Arbeit behauptet, dass dieses neue System, CAMEL, ein Game-Changer ist:

Es ist ein kleiner Riese: Es verwendet ein relativ kleines Modell (14 Milliarden Parameter), schlägt aber in puncto Genauigkeit viel größere Modelle (70 Milliarden Parameter).
Es ist effizient: Da es nur bei schwierigen Fragen „hart nachdenkt" (reflektiert), spart es eine enorme Menge an Rechenleistung. Bei einfachen Fragen ist es so schnell wie der Sprinter. Bei schwierigen Fragen ist es so genau wie der Denker.
Die Punktzahl: Bei drei großen Tests erreichte es eine durchschnittliche Genauigkeit von 82,9 % und übertraf die bisherigen besten Modelle um ein signifikantes Maß.

Zusammenfassend:
CAMEL ist ein kluger Richter, der seine eigenen Grenzen kennt. Es verschwendet keine Zeit damit, einfache Fragen zu überdenken, aber es weigert sich, bei schwierigen Fragen zu raten, ohne vorher die Hausaufgaben zu machen. Dies ermöglicht es ihm, sowohl unglaublich schnell als auch unglaublich genau zu sein und ein perfektes Gleichgewicht zu finden, das frühere Systeme nicht erreichen konnten.

Technische Zusammenfassung: CAMEL – Vertrauensgesteuerte Reflexion für Reward-Modellierung

1. Problemstellung

Reward-Modelle (RMs) sind entscheidend für die Ausrichtung von Large Language Models (LLMs) an menschlichen Präferenzen, typischerweise durch die Vorhersage, welche von zwei Kandidatenantworten bevorzugt wird. Bestehende Ansätze folgen im Allgemeinen zwei Paradigmen, die jeweils unterschiedliche Kompromisse aufweisen:

Skalare diskriminative Modelle: Diese weisen jeder Antwort einen skalaren Score zu und leiten eine paarweise Präferenzwahrscheinlichkeit ab (z. B. über Bradley-Terry). Sie sind rechnerisch effizient und stabil, fehlen jedoch an Interpretierbarkeit und haben oft Schwierigkeiten mit komplexen Instanzen, die eine Verifikation der Faktizität oder ein nuanciertes Befolgen von Anweisungen erfordern.
Generative Bewertungsmodelle: Diese erzeugen vor der Ausgabe eines Urteils eine textliche Bewertung (oft mit Begründung). Obwohl sie eine reichhaltigere Transparenz bieten und bei schwierigen Vergleichen häufig eine bessere Leistung erzielen, verursachen sie erheblichen rechnerischen Overhead, da sie für jede Instanz, einschließlich der straightforward, Token generieren.

Das adressierte Kernproblem ist der Trade-off zwischen Effizienz und Expressivität: Wie lässt sich die hohe Genauigkeit und die reasoning-Fähigkeiten generativer Modelle erreichen, ohne die prohibitiven Kosten der Generierung von reasoning-Traces für jede einzelne Abfrage? Die Arbeit geht davon aus, dass viele paarweise Vergleiche straightforward sind und keine tiefe Reflexion erfordern, doch behandeln aktuelle Modelle alle Instanzen gleich.

2. Methodik: CAMEL

Die Autoren schlagen CAMEL (Confidence-Gated Reflection) vor, ein zweistufiges Framework, das skalare und generative Paradigmen verbindet, indem es Reflexion nur bei Bedarf selektiv aufruft.

2.1. Kernidee: Vertrauen als Proxy für Schwierigkeit

Die Methode basiert auf einer empirischen Beobachtung: Der Log-Wahrscheinlichkeitsabstand zwischen den beiden möglichen Urteilstoken (z. B. $A$ vs. $B$ ) korreliert stark mit der Vorhersagekorrektheit.

Vertrauensscore ( $c(x)$ ): Definiert als der absolute Unterschied zwischen den Log-Wahrscheinlichkeiten der beiden Urteilstoken:
$c(x) = |\log P_\theta(v=A|x) - \log P_\theta(v=B|x)|$
Korrelation: Analysen über mehrere Modelle und Benchmarks hinweg zeigen eine starke monotone Beziehung: Vorhersagen mit hohem Vertrauen sind signifikant wahrscheinlicher korrekt, während Fehler im Bereich niedrigen Vertrauens konzentriert sind. Dies ermöglicht es dem Modell, seine eigene prädiktive Verteilung als zuverlässigen Proxy für die Instanzschwierigkeit zu nutzen, ohne zusätzliche Inferenzkosten.

2.2. Inferenz-Pipeline (Algorithmus 1)

CAMEL verwendet ein vertrauensgesteuertes Inferenzverfahren:

Initiales Urteil: Das Modell generiert zunächst ein initiales Urteil aus einem einzelnen Token ( $v_0$ ).
Vertrauensprüfung: Der Vertrauensscore $c(x)$ wird aus dem Log-Wahrscheinlichkeitsabstand von $v_0$ berechnet.
Gating-Regel:
- Wenn $c(x) \geq \tau$ (wobei $\tau$ ein Schwellenwert ist), terminiert das Modell sofort und gibt $v_0$ als endgültiges Urteil zurück.
- Wenn $c(x) < \tau$ , ruft das Modell eine Reflexions-Phase auf. Es generiert eine kurze Begründungsspur ( $J$ ), um den Vergleich zu überdenken, und erzeugt dann ein endgültiges Urteil ( $v_1$ ).

Dieser Ansatz weist die Berechnung adaptiv zu: Einfache Fälle werden mit einem einzigen Token gelöst, während mehrdeutige Fälle eine tiefere Reasoning auslösen.

2.3. Training durch Reinforcement Learning

Um das Modell zu trainieren, diesen zweistufigen Prozess effektiv zu nutzen, setzen die Autoren Group Relative Policy Optimization (GRPO) ein.

Ziel: Maximierung der Belohnung basierend auf der Korrektheit des endgültigen Urteils ( $v_1$ ), unter Regularisierung gegen eine Referenzrichtlinie ( $\pi_{ref}$ ) mittels KL-Divergenz.
Belohnungsdesign: Es wird eine einfache binäre Belohnung verwendet: $+1$ , wenn das endgültige Urteil mit dem Ground Truth übereinstimmt, sonst $-1$. Keine zusätzlichen Format-Belohnungen sind erforderlich.
Counterfactual Prefix Augmentation: Ein entscheidender Bestandteil der Trainingsstrategie. Für jede Trainingsinstanz wird das Modell zwei augmentierten Beispielen mit dem gleichen Input, aber erzwungenen initialen Urteilen ausgesetzt (eines erzwungen zu $A$ $A$ , eines zu $B$ $B$ ).
- Dies verhindert, dass die Reflexionsphase degeneriert und lediglich das initiale Urteil wiederholt.
- Es zwingt das Modell zu lernen, ob es sein initiales Urteil basierend auf der Reflexion bestätigen oder revidieren soll, was echte Selbstkorrektur ermöglicht.

3. Hauptbeiträge

Empirische Charakterisierung: Die Arbeit identifiziert und charakterisiert eine starke Korrelation zwischen dem Log-Wahrscheinlichkeitsabstand eines einzelnen Tokens und der Korrektheit des paarweisen Urteilens und etabliert dies als robusten Proxy für die Instanzschwierigkeit.
CAMEL-Framework: Die Einführung eines zweistufigen Frameworks, das skalare und generative Reward-Modellierung durch vertrauensgesteuerte Reflexion verbindet. Dies umfasst das spezifische Design des „Judge"-Prompts, der Entscheidungen in ein initiales Urteil, eine optionale Reflexion und ein endgültiges Urteil unterteilt.
Trainingsinnovation: Der Vorschlag von counterfactual prefix augmentation während des RL-Trainings, um effektive Selbstkorrektur zu induzieren und sicherzustellen, dass das Modell lernt, falsche initiale Urteile zu revidieren, anstatt sie nur zu wiederholen.
State-of-the-Art-Leistung: Nachweis, dass CAMEL auf drei großen Benchmarks überlegene Leistung erzielt und gleichzeitig eine strikt bessere Pareto-Grenze für Genauigkeit und Effizienz etabliert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CAMEL (basierend auf einem 14B-Parameter-Qwen3-Modell) auf drei weit verbreiteten Benchmarks: RewardBench, RM-Bench und JudgeBench.

Genauigkeit: CAMEL erreichte eine durchschnittliche Genauigkeit von 82,9 % und übertraf das beste vorherige Modell (INF-ORM-Llama3.1-70B) um 3,2 %. Bemerkenswerterweise übertraf es 70B-Parameter-Modelle unter Verwendung von nur 14B Parametern.
Effizienz vs. Genauigkeit (Pareto-Grenze):
- CAMEL-Fast (ohne Reflexion) erreichte oder übertraf die Baseline-Genauigkeit mit nur einem generierten Token.
- CAMEL-Reflection (immer reflektieren) erzielte die höchsten Scores, jedoch zu höheren Kosten.
- Vollständiges CAMEL (vertrauensgesteuert) etablierte eine strikt bessere Pareto-Grenze als starke generative Baselines (z. B. RM-R1-DeepSeek-32B). Bei moderaten Vertrauensschwellenwerten erreichte CAMEL überlegene Genauigkeit bei deutlich geringerer Token-Generierung.
Ablationsstudien:
- Reflexion: Das Hinzufügen von Reflexion verbesserte die Genauigkeit konsistent über alle Varianten hinweg und bestätigte ihren Wert als Verfeinerungsmechanismus zur Laufzeit.
- Counterfactual Augmentation: Modelle, die ohne diese Augmentation trainiert wurden (standard GRPO), schnitten schlechter ab als CAMEL, was die Notwendigkeit unterstreicht, das Modell verschiedenen initialen Urteilen auszusetzen, um effektive Selbstkorrektur zu lernen.
- Vertrauensverschiebung: Die Analyse nach dem Training zeigte, dass das Modell insgesamt weniger vertrauensvoll wurde (die Verteilung verschob sich nach links), was darauf hindeutet, dass es lernte, konservativer zu sein und Token, die für die Belohnung kritisch sind, besser zu identifizieren, anstatt übermäßig selbstbewusst zu raten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CAMEL einen bedeutenden Schritt vorwärts in der Reward-Modellierung darstellt, indem es die Spannung zwischen Effizienz und Expressivität auflöst.

Prinzipielle Zuweisung: Durch die Nutzung der starken Kopplung zwischen Vertrauen und Schwierigkeit vermeidet CAMEL die „Verschwendung" der Generierung von Reasoning für einfache Fälle, während sichergestellt wird, dass schwierige Fälle die notwendige Prüfung erhalten.
Skalierbarkeit: Die Methode ermöglicht es kleineren Modellen (14B), viel größere Modelle (70B) zu übertreffen, indem sie das Inferenzbudget optimiert, anstatt nur die Parameteranzahl zu erhöhen.
Generalisierbarkeit: Die Korrelation zwischen Vertrauen und Genauigkeit wurde über diverse Basismodelle (Qwen, Llama, Gemma, Mistral usw.) und Datensätze hinweg beobachtet, was darauf hindeutet, dass der Gating-Mechanismus eine modellagnostische Strategie ist.
Praktischer Einsatz: Das Framework bietet einen flexiblen Trade-off, bei dem Benutzer den Vertrauensschwellenwert ( $\tau$ ) anpassen können, um spezifische Ressourcenbeschränkungen (z. B. Latenz vs. Genauigkeitsanforderungen) zu erfüllen, ohne das Modell neu zu trainieren.

Die Autoren schließen, dass selektive Reflexion, angetrieben durch vertrauensgesteuertes Gating und trainiert durch counterfactual augmentation, eine viable und überlegene Strategie für Reward-Modelle der nächsten Generation ist.