🤖 AI

Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling

Dieses Paper stellt C3RL vor, einen Reinforcement-Learning-Algorithmus, der sowohl die Genauigkeit als auch die Kalibrierung von großen Sprachmodellen verbessert und diese gut kalibrierten Konfidenzwerte nutzt, um CAS voranzutreiben, eine adaptive Test-Time-Scaling-Strategie, die die Inferenzkosten signifikant reduziert und gleichzeitig bestehende Methoden übertrifft.

Ursprüngliche Autoren: Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

Veröffentlicht 2026-07-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber übermütigen Schüler, der eine sehr schwere Prüfung ablegt. Dieser Schüler, eine KI, ist großartig darin, Probleme zu lösen, hat aber eine schlechte Angewohnheit: Wenn er sich der Antwort nicht sicher ist, rät er trotzdem und sagt: „Ich bin mir zu 100 % sicher!“ mit ernster Miene. In der Welt der KI nennt man das eine „Halluzination“. Es ist so, als würde der Schüler selbstbewusst „Die Hauptstadt von Frankreich ist London“ schreiben und damit falsch liegen.

Das Papier, das Sie geteilt haben, stellt ein zweistufiges System vor, um das Verhalten dieses Schülers zu korrigieren und seine Lernzeit effizienter zu gestalten.

Schritt 1: Der „Ehrlichkeitstraining-Coach“ (C3RL)

Der erste Teil der Lösung ist eine neue Trainingsmethode namens C3RL (Correctness and Confidence Calibration Reinforcement Learning – Korrektheits- und Konfidenz-Kalibrierungs-Bestärkendes Lernen). Denken Sie an dies als einen strengen, aber fairen Coach, der dem Schüler zwei Dinge gleichzeitig beibringt:

Bringe die richtige Antwort. (Rate nicht einfach.)
Sei ehrlich darüber, wie sicher du dir bist. (Wenn du nur rätst, gib es zu.)

Normalerweise trainieren wir KI nur darauf, die richtige Antwort zu finden. Das macht sie verzweifelt darauf bedacht, recht zu haben, wessoeben sie über ihr Vertrauen lügen. C3RL ändert die Regeln. Es gibt dem Schüler einen „Goldstern“, wenn er die Antwort richtig hat und sagt, dass er sich sicher ist. Es gibt ihm einen „Goldstern“, wenn er zwar falsch liegt, aber zugibt, dass er unsicher ist.

Es gibt ihm jedoch ein „großes rotes F“, wenn er falsch liegt, aber behauptet, er sei sich zu 100 % sicher. Und es gibt ihm auch ein „großes rotes F“, wenn er die Antwort richtig hat, aber behauptet, er hätte absolut keinen Schimmer.

Das Ergebnis? Die KI lernt zu sagen: „Ich bin mir bei dieser einen Sache nicht sicher“, wenn sie tatsächlich nur rät, und „Ich bin mir sehr sicher“, wenn sie die Antwort kennt. Sie hört auf mit dem „selbstbewussten Lügen“.

Schritt 2: Der „Smarte Budgetverwalter“ (CAS)

Sobald der Schüler gelernt hat, ehrlich zu sein, tritt der zweite Teil des Systems in Kraft. Dies wird CAS (Confidence-based Adaptive Test Time Scaling – Konfidenzbasierte adaptive Skalierung der Testzeit) genannt.

Stellen Sie sich vor, Sie sind der Lehrer, der die Prüfung bewertet, aber Sie haben ein begrenztes Budget an Zeit und Energie. Sie können nicht zu jeder einzelnen Frage 10 Stunden aufwenden.

Der alte Weg (Mehrheitsentscheidung): Sie bitten den Schüler, jede Frage 64 Mal zu beantworten und nehmen dann die am häufigsten vorkommende Antwort. Das ist genau, aber unglaublich verschwenderisch. Es ist so, als würde man einen Schüler bitten, eine Matheaufgabe 64 Mal zu lösen, nur um sicherzugehen.
Der neue Weg (CAS): Sie bitten den Schüler, eine Frage einmal zu beantworten.
- Wenn der Schüler sagt: „Ich bin mir zu 90 % sicher, dass es A ist“, vertrauen Sie ihm sofort, schreiben die Antwort auf und machen weiter. Sie haben Zeit gespart!
- Wenn der Schüler sagt: „Ich bin mir nur zu 40 % sicher“, wissen Sie, dass er Schwierigkeiten hat. Also bitten Sie ihn, es noch einmal zu versuchen, und wieder, und wieder, bis er sich sicher ist oder Sie genug Versuche unternommen haben.

Da der Schüler (die KI) dank Schritt 1 nun ehrlich über sein Vertrauen ist, können Sie seinen „Ich bin sicher“-Signalen vertrauen. Dies ermöglicht es Ihnen, keine Zeit mit einfachen Fragen zu verschwenden und Ihre Energie nur auf die schwierigen Aufgaben zu konzentrieren.

Das große Ergebnis

Das Papier zeigt, dass diese Kombination Wunder wirkt:

Bessere Ehrlichkeit: Die KI wurde viel besser darin, zu wissen, wann sie eine Antwort nicht weiß, ohne dabei schlechter darin zu werden, die Probleme tatsächlich zu lösen.
Enorme Einsparungen: Durch die Verwendung des „Smarten Budgetverwalters“ hat das System eine massive Menge an Rechenleistung eingespart. In einigen Tests verbrauchte es 12-mal weniger Rechenressourcen als die alte Methode, während es die gleichen (oder bessere) Ergebnisse erzielte.

Kurz gesagt: Das Papier lehrt die KI, aufzuhören zu bluffen, was sie weiß, und nutzt dann diese Ehrlichkeit, um Zeit und Geld zu sparen, indem sie nur dann hart arbeitet, wenn es tatsächlich notwendig ist.

Technisches Resümee: Skalieren mit Zuversicht

Problemstellung

Während Reinforcement Learning (RL) Large Language Models (LLMs) in den Bereichen logisches Denken und Beantwortung von Fragen signifikant vorangebracht hat, konzentrieren sich gängige RL-Belohnungsdesigns typischerweise auf die Korrektheit der Antwort, vernachlässigen dabei jedoch die Konfidenzkalibrierung. Dieses Versäumnis führt zu einem kritischen Fehlermodus: Modelle werden oft übermäßig selbstbewusst in ihren falschen Ausgaben (Halluzinationen), wenn sie unsicher sind. Bestehende Kalibrierungsmethoden stehen vor drei primären Einschränkungen:

Grobe Granularität: Sie reduzieren die Kalibrierung oft auf eine binäre Klassifizierung (sicher vs. unsicher) und versäumen es, nuancierte Unsicherheit zu erfassen.
Genauigkeits-Kalibrierungs-Trade-off: Verbesserungen in der Kalibrierung gehen häufig zu Lasten der Genauigkeit, da Modelle lernen können, absichtlich falsche Antworten mit geringem Vertrauen zu geben, um den Kalibrierungsverlust zu minimieren.
Unternutzung: Kalibrierte Konfidenz wird selten für nachgelagerte Entscheidungsfindungen genutzt, wie etwa für adaptives Inferenzverhalten und Ressourcenallokation.

Methodik

Das Paper schlägt ein einheitliches Framework vor, das aus zwei Kernkomponenten besteht: C3RL (Training) und CAS (Inferenz).

1. Correctness and Confidence Calibration Reinforcement Learning (C3RL)

C3RL ist ein neuartiger RL-Algorithmus, der darauf ausgelegt ist, Korrektheit und Kalibrierung gemeinsam zu optimieren, ohne die Leistung zu opfern. Er verwendet eine zusammengesetzte Belohnungsfunktion ( $R_{C3RL}$ ), die aus drei distinkten Teilen besteht:

Korrektheitsbelohnung ( $R_{correctness}$ ): Eine standardmäßige Indikatorbelohnung ( $+1$ für korrekt, $0$ für inkorrekt), die sicherstellt, dass das Modell in Richtung faktischer Genauigkeit aktualisiert wird, um „kalibrierte, aber falsche“ Abkürzungen zu verhindern.
Kalibrierungsbelohnung ( $R_{calibration}$ ): Diese Komponente motiviert die Übereinstimmung zwischen verbalisierter Konfidenz und tatsächlicher Korrektheit. Unter Verwendung eines Schwellenwerts $t=5$ wird das Modell für „sichere korrekte“ und „unsichere inkorrekte“ Antworten belohnt ( $+\beta$ ) und für „sichere inkorrekte“ sowie „sichere korrekte“ Antworten bestraft ( $-\beta$ ).
Referenzgenauigkeitsbelohnung ( $R_{reference}$ ): Um zu verhindern, dass das Modell bei Fragen halluziniert, bei denen es ursprünglich eine hohe Wahrscheinlichkeit für Korrektheit hatte, nutzt diese Belohnung datengestützte Referenz-Tags.
- Wenn eine Frage ursprünglich „alle inkorrekt“ war (basierend auf dem Sampling des Basismodells), aber das Modell korrekt antwortet, erhält es eine positive Belohnung ( $+\alpha$ ).
- Wenn eine Frage ursprünglich „alle korrekt“ war, das Modell aber eine inkorrekte Antwort halluziniert, erhält es eine negative Belohnung ( $-\alpha$ ).

Konstruktion der Trainingsdaten: Die Autoren konstruierten einen hochwertigen Datensatz aus den Bereichen Mathematik, Naturwissenschaften und logisches Denken. Für jedes Trainingsbeispiel generiert das Basismodell 10 Antworten, um einen Referenzgenauigkeits-Tag zuzuweisen: „alle korrekt“, „teilweise korrekt“ oder „alle inkorrekt“.

2. Confidence-based Adaptive Test Time Scaling (CAS)

Unter Nutzung der durch C3RL erzeugten gut kalibrierten verbalisierten Konfidenz führen die Autoren CAS ein, eine Strategie zur Inferenzzeit, die Rechenressourcen dynamisch alloziert.

Mechanismus: Anstatt sich auf Häufigkeit oder Entropie zu verlassen (die oft unkalibriert sind), nutzt CAS die Summe der verbalisierten Konfidenzwerte für eindeutige Antworten.
Stoppkriterium: Der Algorithmus berechnet die Wahrscheinlichkeit, mit der die vertrauenswürdigste Antwort ( $c_1$ $c_{1}$ ) die zweitvertrauenswürdigste Antwort ( $c_2$ $c_{2}$ ) dominiert, unter Verwendung einer auf der Beta-Verteilung basierenden Formel.
- Wenn $Prob(c_1, c_2) \geq P_{stop}$ (was anzeigt, dass die Top-Antwort hochgradig dominant ist), stoppt das Sampling vorzeitig.
- Andernfalls wird das Sampling fortgesetzt.
Ressourcenallokation: Diese Strategie verschiebt das Rechenbudget effektiv von hochkonfidenten Proben (die weniger Samples benötigen, um bestätigt zu werden) zu niedrigkonfidenten Proben (die von zusätzlichem Sampling stärker profitieren).

Zentrale Beiträge

C3RL-Algorithmus: Ein neuartiger RL-Ansatz, der gleichzeitig Korrektheit und Kalibrierung verbessert und die Gesamtleistung beibehält, während er Überkonfidenz reduziert. Es ist das erste Verfahren, das Referenzgenauigkeitsinformationen in die Belohnungsfunktion integriert, um das Lernen zu stabilisieren.
CAS-Strategie: Ein Early-Stopping-Mechanismus für das Test-Time-Scaling, der kalibrierte Konfidenz nutzt, um Inferenzbudgets dynamisch zu allokieren und mehr Rechenleistung auf unsichere Proben zu konzentrieren.
Einheitliches Framework: Die Synergie zwischen C3RL und CAS schafft eine kohärente Pipeline, die es LLMs ermöglicht, kalibrierte Konfidenz auszudrücken und Inferenzkosten adaptiv zu steuern.

Experimentelle Ergebnisse

Das Framework wurde über 8 Text- und Multimodal-Datensätze (einschließlich AGIEval, MMLU, MMMU und MathVista) unter Verwendung von Qwen2.5VL-7B-Instruct und Llama-3.2-3B-Instruct evaluiert.

Kalibrierung vs. Genauigkeit: C3RL übertrifft die aktuelle State-of-the-Art RL-Methode (RLCR) und andere Baselines (SaySelf, RLVR) im Hinblick auf die Balance zwischen Leistung und Zuverlässigkeit. Auf Out-of-Domain (OOD) Datensätzen erreicht C3RL eine überlegene Kalibrierung (niedrigerer Expected Calibration Error) bei gleichzeitiger Beibehaltung oder Steigerung der Genauigkeit von RLCR. Bemerkenswerterweise vermeidet C3RL den Genauigkeitsverlust, der bei anderen kalibrierungsfokussierten Methoden auftritt.
Inferenz-Effizienz: In Test-Time-Scaling-Experimenten reduziert CAS das erforderliche Inferenzbudget, um die Genauigkeit von Standard-Majority-Voting (MV) zu erreichen, signifikant.
- CAS reduzierte die Anzahl der erforderlichen Samples auf OOD-Textdatensätzen um bis zu das 12,33-fache im Vergleich zu MV.
- CAS übertraf Adaptive-Consistency (AC) konsistent und nutzte weniger als die Hälfte des Sampling-Budgets von AC bei OOD-Textaufgaben, während es eine wettbewerbsfähige Genauigkeit beibelte.
Stratifizierungsanalyse: Experimente bestätigten, dass niedrigkonfidente Proben deutlich stärker von erhöhtem Sampling profitieren (ein Sprung von ~49% auf ~54,5% Genauigkeit) als hochkonfidente Proben (die nur vernachlässigbare Gewinne zeigten), was die Ressourcen-Shifting-Logik von CAS validiert.

Bedeutung und Behauptungen

Die Autoren behaupten, dass ihre Arbeit die kritische Lücke zwischen Modellleistung und Zuverlässigkeit schließt. Durch die Integration von Korrektheit, Kalibrierung und Referenzgenauigkeit ermöglicht C3RL Modellen, „eine niedrige Konfidenz zu signalisieren, wenn sie unsicher sind“, ohne dabei ihre Fähigkeit zur korrekten Beantwortung einzubüßen.

Die Bedeutung der Arbeit liegt in der Synergie zwischen Training und Inferenz:

C3RL liefert die notwendige „gut kalibrierte verbalisierte Konfidenz“.
CAS nutzt dieses Signal effizient, um die Ressourcennutzung zu optimieren.

Das Paper kommt zu dem Schluss, dass diese einheitliche Pipeline den Weg für den Einsatz zuverlässigerer und ressourceneffizienterer LLMs ebnet, insbesondere in sicherheitskritischen Domänen, in denen die Vermeidung von überkonfidenten Halluzinationen von entscheidender Bedeutung ist. Die Autoren weisen auf Limitationen hin, einschließlich potenzieller Trainings-Bias durch Datenknappheit in wissenschaftlichen Domänen und der Tatsache, dass die Kalibrierung von C3RL zwar besser als die von rein genauigkeitsfokussierten RL-Methoden ist, aber gegenüber isolierten reinen Kalibrierungsmethoden wie SaySelf immer noch zurückliegt.