💬 NLP

How Uncertainty Estimation Scales with Sampling in Reasoning Models

Die Studie zeigt, dass die Kombination aus verbalisierter Konfidenz und Selbstkonsistenz bei der Unsicherheitsschätzung von Reasoning-Modellen durch paralleles Sampling die beste Leistung erzielt, wobei die Skalierungseffekte und die Qualität der Schätzung insbesondere im mathematischen Bereich am stärksten ausgeprägt sind.

Ursprüngliche Autoren: Maksym Del, Markus Kängsepp, Marharyta Domnich, Ardi Tampuu, Lisa Yankovskaya, Meelis Kull, Mark Fishel

Veröffentlicht 2026-03-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Maksym Del, Markus Kängsepp, Marharyta Domnich, Ardi Tampuu, Lisa Yankovskaya, Meelis Kull, Mark Fishel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🧠 Wenn KI "nachdenkt": Wie wir ihr Vertrauen messen können

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas nervösen Freund, der dir bei schwierigen Aufgaben hilft – sei es eine Matheaufgabe, ein medizinisches Rätsel oder eine Frage zur Geschichte. Dieser Freund ist eine KI mit "Nachdenk-Funktion" (Reasoning Model). Bevor er antwortet, denkt er lange nach, schreibt ganze Essays in seinem Kopf und prüft seine eigenen Ideen.

Das Problem: Manchmal ist er sich sicher, obwohl er falsch liegt. Manchmal ist er unsicher, obwohl er recht hat. Wie können wir herausfinden, ob wir ihm trauen sollen, ohne ihn zu fragen? Und wie hilft es, wenn wir ihn bitten, die Aufgabe mehrmals zu lösen?

Die Forscher haben genau das untersucht. Hier ist die Geschichte ihrer Entdeckungen:

1. Die zwei Arten, Unsicherheit zu messen

Stell dir vor, du fragst deinen Freund nach seiner Antwort. Er kann auf zwei Arten antworten:

Der "Selbstgespräch"-Ansatz (Verbalized Confidence): Dein Freund sagt direkt: "Ich bin zu 85 % sicher, dass die Antwort '42' ist." Er gibt dir also ein Gefühl für sein eigenes Bauchgefühl.
Der "Mehrere Meinungen"-Ansatz (Self-Consistency): Du bittest deinen Freund, die Aufgabe fünfmal hintereinander zu lösen.
- Wenn er fünfmal "42" sagt, ist er sich sehr sicher (hohe Übereinstimmung).
- Wenn er einmal "42", einmal "17" und einmal "99" sagt, ist er verwirrt (niedrige Übereinstimmung).

2. Die große Überraschung: Weniger ist mehr (wenn man es kombiniert)

Die Forscher haben herausgefunden, dass man nicht unbedingt 100 Versuche braucht, um sicher zu sein.

Der Fehler: Viele dachten, man müsse den Freund nur öfter fragen (mehr Stichproben), um sicherer zu werden. Das hilft zwar, aber es ist teuer und langsam (wie 100 Mal denselben Brief schreiben).
Der Geniestreich: Die beste Methode ist eine Kombination.
- Nimm nur zwei Versuche.
- Frage den Freund: "Wie sicher bist du?" (Selbstgespräch).
- Vergleiche die zwei Antworten: "Sagen beide das Gleiche?" (Mehrere Meinungen).
- Ergebnis: Diese Kombination ist viel besser als wenn man den Freund 8 oder 10 Mal fragt, um nur eine der beiden Methoden zu nutzen.

Die Analogie: Stell dir vor, du willst wissen, ob ein Wetterbericht stimmt.

Methode A: Ein Meteorologe sagt: "Ich bin zu 90 % sicher, es regnet."
Methode B: Du fragst 10 Meteorologen. 6 sagen "Regen", 4 sagen "Sonne".
Die Kombination: Du fragst zwei Meteorologen. Einer sagt "Ich bin sicher, es regnet" und beide sagen "Regen". Das ist ein viel stärkeres Signal als wenn du nur auf die Zahl eines einzelnen Experten hörst oder nur auf die Mehrheitsmeinung von 10 Leuten, die vielleicht alle verwirrt sind.

3. Es kommt darauf an, worüber man spricht (Mathe vs. Geschichte)

Die Studie zeigte, dass die Methode je nach Fachgebiet unterschiedlich gut funktioniert:

Mathe (Der Lieblingsbereich der KI): Hier funktioniert die Kombination am besten. Warum? Weil die KI für Mathe speziell trainiert wurde (wie ein Sportler, der nur für den 100m-Lauf trainiert ist). Wenn sie Mathe macht, ist ihr "Bauchgefühl" (Selbstgespräch) sehr genau, und ihre verschiedenen Versuche stimmen oft überein. Die Kombination aus beiden Signalen gibt hier den stärksten "Vertrauens-Boost".
Wissenschaft & Geisteswissenschaften: Hier ist es schwieriger. Die KI ist weniger sicher. Die Kombination hilft zwar auch, aber die Verbesserung ist nicht so riesig wie in der Mathe-Welt.

4. Das Fazit für die Praxis

Wenn du eine KI nutzt, die lange nachdenkt (z. B. für wichtige Entscheidungen), musst du nicht hunderte Male rechnen lassen, um sicher zu sein. Das wäre wie ein Auto, das 100 Mal dieselbe Strecke fährt, nur um zu sehen, ob es funktioniert.

Der einfache Rat der Forscher:

Lass die KI die Aufgabe zweimal lösen.
Frage sie nach ihrem Vertrauenslevel.
Prüfe, ob die Antworten gleich sind.
Wenn beides passt (hohes Vertrauen + gleiche Antwort), kannst du ihr trauen.

Das spart Zeit, Geld und Rechenleistung, und du bekommst trotzdem eine sehr verlässliche Einschätzung, ob die KI sich irrt oder nicht. Es ist wie ein schneller "Vertrauens-Check" statt eines langen, mühsamen Experiments.

1. Problemstellung

Die zuverlässige Schätzung von Unsicherheit ist entscheidend für den Einsatz von Reasoning Language Models (RLMs) in kritischen Anwendungen. RLMs erweitern Standard-Sprachmodelle durch längere „Chain-of-Thought" (CoT)-Deliberationen. Während diese Deliberationen die Antwortgenauigkeit verbessern, ist das Verhalten von Unsicherheitssignalen unter parallelem Sampling (mehrere unabhängige Durchläufe pro Prompt) noch unzureichend verstanden.

Bisherige Studien konzentrierten sich oft auf einzelne Samples oder Standard-LLMs. Es fehlt jedoch an systemischem Verständnis darüber:

Wie skalieren Unsicherheitssignale mit der Anzahl der Samples ( $K$ ) in RLMs?
Wie schnell sättigen die Gewinne?
Wie interagieren introspektive Signale (Verbalized Confidence) und konsistenzbasierte Signale (Self-Consistency) in komplexen Reasoning-Szenarien?
Wie wirken sich Domänenunterschiede (Mathematik vs. STEM vs. Geisteswissenschaften) aus, insbesondere da RLMs oft durch Reinforcement Learning with Verifiable Rewards (RLVR) primär in der Mathematik optimiert wurden?

2. Methodik

Die Autoren untersuchen Unsicherheitsschätzung als vollständig black-box Ansatz unter Verwendung von parallelem Sampling.

Experimentelles Setup:
- Modelle: Drei Open-Source-Reasoning-Modelle (gpt-oss-20b, Qwen3-30B-A3B, DeepSeek-R1-8B).
- Aufgaben: 17 Aufgaben in drei Domänen: Mathematik (z.B. GSM8K, AIME, MMLU-Pro Math), STEM (außer Mathematik, inkl. GPQA Diamond) und Geisteswissenschaften (Psychologie, Recht, etc.).
- Sampling-Budget: Bis zu $K=8$ (und teilweise bis 64) unabhängige Samples pro Frage.
Unsicherheitssignale:
1. Verbalized Confidence (VC): Das Modell gibt eine explizite Konfidenz (0–100) für seine Antwort ab. Der Wert wird auf [0, 1] skaliert und über Samples, die der Mehrheitsantwort entsprechen, gemittelt ( $VC_{avg}$ ).
2. Self-Consistency (SC): Basierend auf der Übereinstimmung der Antworten über $K$ Samples ( $SC = \frac{1}{K} \sum \mathbb{1}[a_i = \hat{a}]$ ).
3. Hybrid-Signal (SCVC): Eine gewichtete Kombination aus SC und VC ( $SCVC = \lambda \cdot SC + (1-\lambda) \cdot VC_{avg}$ ), standardmäßig mit $\lambda=0.5$ .
Bewertungsmetrik:
- Da VC oft schlecht kalibriert ist und SC eine grobe, von $K$ abhängige Diskretisierung darstellt, wird die AUROC (Area Under the Receiver Operating Characteristic Curve) als diskriminative Metrik verwendet. Sie misst die Wahrscheinlichkeit, dass ein zufällig gewähltes korrektes Beispiel eine höhere Konfidenz erhält als ein falsches.
- Bootstrap-Protokoll: Um die Varianz durch stochastisches Decodieren zu minimieren, wurden pro Frage $R=10$ unabhängige Samples generiert. Davon wurden dann $K$ Samples für die Schätzung bei verschiedenen Budgets gezogen (Bootstrapping über 1000 Durchläufe).

3. Wichtige Ergebnisse und Erkenntnisse

Erkenntnis I: Skalierung von VC und SC

VC ist stark, aber SC hinkt hinterher: Verbalized Confidence liefert bereits bei einem einzigen Sample ( $K=1$ ) eine starke Diskriminierung (z.B. 78,8 AUROC in Mathematik). Mit steigendem $K$ verbessert sich VC weiter, jedoch mit abnehmenden Grenzerträgen.
SC startet schwach: Im Gegensatz zu Standard-LLMs beginnt SC in RLMs bei vergleichbaren Budgets deutlich unter VC (z.B. 70,5 vs. 73,5 AUROC bei $K=2$ in Mathematik). SC verbessert sich zwar mit mehr Samples, überholt VC aber im getesteten Bereich ( $K \le 8$ ) nicht.
Domänenabhängigkeit: VC skaliert in der Mathematik am stärksten (+10,1 AUROC von $K=1$ auf $K=8$ ), während die Gewinne in STEM und Geisteswissenschaften geringer sind (+4 bis +5 AUROC) und früher sättigen.

Erkenntnis II: Signal-Komplementarität dominiert

Kombination ist effektiver als reines Skalieren: Die Kombination von VC und SC (SCVC) liefert die größten Gewinne.
Der „Sweet Spot" bei $K=2$ : Bereits mit nur zwei Samples erreicht der Hybrid-Schätzer (SCVC) in der Mathematik eine AUROC von 84,2. Dies ist eine Verbesserung von +12,9 Punkten gegenüber dem einzelnen Sample-VC und übertrifft sogar VC oder SC, die auf $K=8$ skaliert wurden.
Praktische Implikation: Statt viele teure Samples für ein einzelnes Signal zu generieren, ist es effizienter, zwei Samples zu ziehen und diese zu kombinieren. Dies maximiert den Nutzen pro Recheneinheit.

Erkenntnis III: Domänenabhängigkeit der Skalierung

Mathematik ist optimal: Unsicherheitssignale skalieren in der Mathematik am schnellsten und kombinieren sich am effektivsten. Dies korreliert mit der Tatsache, dass RLMs durch RLVR primär in mathematischen Domänen trainiert wurden.
Korrelation der Signale: Die Rangkorrelation (Kendall's $\tau$ ) zwischen VC und SC ist in der Mathematik niedriger als in anderen Domänen, besonders bei kleinen $K$ . Niedrigere Korrelation bedeutet höhere Komplementarität. In nicht-mathematischen Domänen (STEM, Humanities) korrelieren die Signale schneller, was zu früherer Sättigung der Hybrid-Gewinne führt.

Erkenntnis IV: Varianten der Konfidenz-Elicitation

Die Studie verglich verschiedene Prompting-Strategien (Vanilla, Verification, Epistemic) für VC.
In der Mathematik performten einfache „Vanilla"-Methoden oder „Verification"-Methoden am besten. Komplexe epistemische Anweisungen (die das Modell zur Selbstreflexion anregen) brachten in RLMs keinen signifikanten Vorteil und waren manchmal sogar schlechter.
„Judge"-Ansätze (ein separates Durchlaufen des Reasoning-Traces zur Konfidenzschätzung) waren kosteneffizienter nicht gerechtfertigt, da SCVC mit zwei Samples bessere Ergebnisse lieferte.

4. Bedeutung und Fazit

Das Paper liefert den ersten systematischen Benchmark für Unsicherheitsskalierung in Reasoning-Modellen. Die zentralen Erkenntnisse sind:

Hybrid-Ansatz ist der Goldstandard: Für RLMs ist die Kombination aus introspektiver Konfidenz (VC) und Konsistenz (SC) mit einem minimalen Budget von zwei Samples ( $K=2$ ) die effizienteste Methode. Sie übertrifft deutlich tieferes Sampling einzelner Signale.
Kosten-Nutzen-Optimierung: Da jeder zusätzliche Sample in RLMs aufgrund langer CoT-Traces teuer ist, bietet die Signal-Kombination den größten „Return on Investment".
Domänenspezifität: Die Qualität der Unsicherheitsschätzung ist stark vom Trainingskontext abhängig. Modelle sind in Mathematik am besten kalibriert und skalierbar, während sie in Geisteswissenschaften früher an Grenzen stoßen.
Praktische Leitlinie: Entwickler sollten bei der Unsicherheitsschätzung in RLMs auf reine Self-Consistency oder teure Judge-Methoden verzichten und stattdessen einen hybriden Ansatz mit zwei Samples bevorzugen.

Diese Ergebnisse bieten eine fundierte Grundlage für den sicheren und effizienten Einsatz von Reasoning-Modellen in realen Anwendungen, wo Risikobewusstsein entscheidend ist.