💬 NLP

Let the Model Distribute Its Doubt: Confidence Estimation through Verbalized Probability Distribution

Die Arbeit zeigt, dass die Vorhersage einer verbalisierten Wahrscheinlichkeitsverteilung durch Large Language Models die Zuverlässigkeitsschätzung verbessert, indem sie das Modell zwingt, alle möglichen Antworten zu berücksichtigen, was zu effizienteren und genaueren Ergebnissen führt als herkömmliche Methoden.

Ursprüngliche Autoren: Ante Wang, Weizhi Ma, Yang Liu

Veröffentlicht 2026-04-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ante Wang, Weizhi Ma, Yang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der selbstbewusste Lügner

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas eingebildeten Assistenten (eine KI wie ChatGPT). Wenn du ihn etwas fragst, antwortet er sofort und klingt dabei extrem überzeugt. Aber manchmal liegt er einfach nur. Das ist gefährlich, besonders wenn es um wichtige Dinge geht, wie eine medizinische Diagnose oder eine juristische Beratung.

Das Problem ist: Die KI weiß oft gar nicht, dass sie nicht weiß. Sie sagt einfach „Ich bin zu 100 % sicher", auch wenn sie sich irrt. Wir brauchen einen Weg, damit die KI ehrlich sagt: „Hey, ich bin mir hier nicht so sicher."

Die alte Lösung: Das „Ich bin mir sicher"-Spiel

Bisher haben Forscher versucht, die KI zu fragen: „Wie sicher bist du?"
Die KI antwortet dann oft einfach: „Ich bin zu 95 % sicher."
Das Problem dabei ist, dass die KI oft nur auf ihre erste Idee schaut und sich dann selbst bestätigt. Es ist, als würdest du jemanden fragen, ob er die Antwort auf eine Matheaufgabe kennt, und er sagt nur: „Ja, 100 %", ohne wirklich nachzudenken.

Die neue Idee: Die „Zweifel-Verteilung"

Die Autoren dieses Papers haben eine geniale neue Methode entwickelt. Statt die KI nur nach ihrer Sicherheit zu fragen, bitten sie sie, eine vollständige Liste aller möglichen Antworten zu erstellen und jeder Antwort eine Wahrscheinlichkeit zuzuordnen.

Stell dir das wie einen Detektiv vor, der einen Fall löst:

Der alte Weg (Verbalized Confidence): Der Detektiv schaut sich einen Verdächtigen an und sagt: „Das war er! Ich bin mir zu 90 % sicher." Er ignoriert alle anderen Verdächtigen.
Der neue Weg (Verbalized Probability Distribution): Der Detektiv muss jetzt eine Liste aller Verdächtigen aufschreiben. Er sagt: „Verdächtiger A ist zu 60 % schuldig, Verdächtiger B könnte es zu 20 % sein, und Verdächtiger C hat nur eine 5 % Chance. Alle anderen sind es zu 0 %."

Warum funktioniert das besser?

Hier kommen die kreativen Analogien ins Spiel:

Der „Alle-Optionen-Check": Wenn die KI gezwungen wird, alle Möglichkeiten durchzugehen (auch die, die sie für falsch hält), muss sie wirklich nachdenken. Sie kann nicht einfach nur auf ihre erste Intuition vertrauen. Sie muss die Welt der Möglichkeiten erkunden.
Die „Summe muss 100 % sein": Die KI muss ihre Wahrscheinlichkeiten so verteilen, dass sie zusammen genau 100 % ergeben. Das zwingt sie, ihre Zweifel zu quantifizieren. Wenn sie bei Antwort A sehr sicher ist, muss sie bei Antwort B automatisch weniger sicher sein. Das verhindert, dass sie bei allen Antworten gleichzeitig „100 % sicher" sagt (was mathematisch unmöglich ist).
Der „Sicherheitsnetz"-Effekt: Für offene Fragen, bei denen es unendlich viele Antworten geben könnte, fügen die Forscher eine Option namens „Keine der oben genannten" hinzu. Wenn die KI merkt, dass keine ihrer Ideen wirklich passt, kann sie sagen: „Ich habe keine gute Idee, also gebe ich 40 % meiner Sicherheit auf diese 'Keine der oben genannten'-Option." Das ist ehrlicher, als eine falsche Antwort mit 100 % Sicherheit zu behaupten.

Was haben die Forscher herausgefunden?

Sie haben diese Methode mit vielen verschiedenen KI-Modellen getestet (von kleinen bis zu sehr großen). Die Ergebnisse waren beeindruckend:

Ehrlichere KI: Die KI wurde viel besser darin, ihre Unsicherheit einzuschätzen. Wenn sie unsicher war, sagte sie es auch. Wenn sie sicher war, war sie es auch wirklich.
Bessere Ergebnisse bei schwierigen Aufgaben: Besonders bei komplexen Fragen (wie medizinischen Diagnosen oder schwierigen Logikrätseln) war diese Methode viel besser als die alten Tricks.
Effizienz: Die KI brauchte weniger Rechenaufwand, um gute Ergebnisse zu erzielen, als andere Methoden, die versuchen, die KI durch ständiges Ausprobieren zu trainieren.

Fazit

Stell dir vor, du mietest einen Navigator für eine Reise durch unbekanntes Gelände.

Die alte KI sagt: „Wir fahren genau hier lang!" (und führt dich in einen Abgrund, wenn sie sich irrt).
Die neue KI sagt: „Ich denke, wir sollten hier lang fahren (60 %), aber es könnte auch sein, dass wir den Weg verpassen und stattdessen dort lang müssen (30 %). Wenn wir uns ganz unsicher fühlen, sage ich dir, dass wir vielleicht gar nicht weiterkommen sollten (10 %)."

Diese neue Methode zwingt die KI, ihre Zweifel laut auszusprechen und zu verteilen. Das macht sie nicht nur schlauer, sondern vor allem vertrauenswürdiger. Sie lernt, dass es in Ordnung ist, nicht alles sofort zu wissen, solange man ehrlich darüber spricht.

Problemstellung

Große Sprachmodelle (LLMs) sind zwar leistungsfähig, neigen jedoch in hochriskanten Anwendungen (z. B. Medizin, Recht, Finanzen) zu Fehlern. Ein kritisches Hindernis für den zuverlässigen Einsatz ist die mangelnde Zuverlässigkeit der vom Modell selbst generierten Konfidenzschätzungen.

Herausforderung: Herkömmliche Methoden, die auf Token-Wahrscheinlichkeiten basieren, funktionieren bei nachträglich feinabgestimmten Modellen (z. B. durch RLHF) oft schlecht, da diese Modelle ihre Kalibrierung zugunsten der Befolgung von Benutzeranweisungen opfern.
Verbalisierte Konfidenz: Ansätze, bei denen das Modell seine Unsicherheit direkt in natürlicher Sprache ausdrückt, haben sich als vielversprechend erwiesen. Allerdings neigen diese Methoden oft zu Übermut (Overconfidence), da das Modell sich auf eine einzelne Antwort spezialisiert und alternative Möglichkeiten ignoriert. Auch Methoden wie „Verbalized Top-k" (Nennung mehrerer Antworten) lösen das Problem der Kalibrierung nicht vollständig, da sie die Wahrscheinlichkeitsverteilung über den gesamten Antwortraum nicht zwingend einhalten.

Methodik: Verbalized Probability Distribution (VPD)

Die Autoren schlagen eine neue Methode vor, bei der das LLM aufgefordert wird, eine verbalisierte Wahrscheinlichkeitsverteilung über den gesamten Raum möglicher Antworten zu generieren.

Kernprinzip: Anstatt nur eine Antwort mit einer Konfidenz zu nennen, muss das Modell:
- Alle plausiblen Antwortkandidaten identifizieren.
- Jedem Kandidaten eine Konfidenz zuweisen.
- Sicherstellen, dass die Summe aller Konfidenzen exakt 1,0 ergibt (eine gültige Wahrscheinlichkeitsverteilung).
Handling offener Antworträume: Für Aufgaben, bei denen nicht alle Antworten aufgezählt werden können (Open-Set), wird eine Option „None of the above" (Keine der oben genannten) eingeführt. Diese fasst die Wahrscheinlichkeit aller unwahrscheinlichen Kandidaten zusammen.
Optimierung durch Reinforcement Learning (RL): Die Autoren nutzen einen Belohnungsfunktion (Reward Function), die auf der Kalibrierung basiert (Brier Score). Zusätzlich wird eine strenge Strafe verhängt, wenn die Ausgabe keine gültige Wahrscheinlichkeitsverteilung ist (Summe $\neq$ 1). Dies zwingt das Modell, während des Trainings eine korrekte Verteilung zu lernen.

Wichtige Beiträge

Paradigmenwechsel: Statt nur über die eigene Antwort zu „grübeln", wird das Modell gezwungen, seinen gesamten Glaubenszustand (Belief State) zu modellieren. Dies reduziert die Kurzsichtigkeit, die zu Übermut führt.
Systematischer Vergleich: Die Studie vergleicht VPD umfassend mit etablierten Methoden wie „Verbalized Confidence" (nur eine Antwort) und „Verbalized Top-k" (feste Anzahl von Antworten) über verschiedene Modelle (Qwen, GPT-4.1, DeepSeek) und Aufgaben (geschlossene und offene Sets).
Effizienzanalyse: Es wird gezeigt, dass VPD bei der Skalierung der Inferenzzeit (Inference-Time Scaling) deutlich effizienter ist als Baseline-Methoden.

Ergebnisse

Die Experimente wurden auf mehreren Datensätzen durchgeführt, darunter medizinische Benchmarks (MedQA, MedXpertQA), allgemeine Wissensaufgaben (MMLU-Pro) und offene Fragen (HotpotQA).

Überlegene Kalibrierung: Die VPD-Methode erzielt konsistent die besten Ergebnisse bei Metriken wie Brier Score und Expected Calibration Error (ECE). Sie reduziert Übermut signifikant, insbesondere bei kleineren Modellen und schwierigen Aufgaben.
Verbesserte Diskriminierungsfähigkeit: Die Methode erreicht höhere AUROC-Werte, was bedeutet, dass das Modell besser zwischen korrekten und falschen Antworten unterscheiden kann.
Effizienz bei Skalierung: Ein herausragendes Ergebnis ist die Effizienz bei der Inferenz-Skalierung. Auf dem MMLU-Pro-Datensatz erreicht die VPD-Methode mit sechsmal weniger Rechenressourcen (weniger Token/Inferenz-Läufe) das beste Brier-Score-Ergebnis der stärksten Baseline.
Robustheit durch RL: Nach dem Training mit Reinforcement Learning (RL) verbessert sich die Leistung aller Methoden, aber VPD behält seinen Vorsprung bei und konvergiert schneller.
Ablationsstudien:
- Das Entfernen der Option „None of the above" führt zu einem starken Leistungsabfall, da das Modell den Rest des Antwortraums nicht abbilden kann.
- Die Anforderung, dass die Summe der Konfidenzen 1 ergeben muss (Normalisierung), ist entscheidend für die Kalibrierung.

Bedeutung und Limitationen

Bedeutung: Die Arbeit zeigt, dass die explizite Forderung nach einer Wahrscheinlichkeitsverteilung das logische Denken des Modells für Konfidenzschätzungen verbessert. Dies ist ein kosteneffizienter Weg, um vertrauenswürdige KI-Systeme zu bauen, ohne die Antwortgenauigkeit zu opfern.
Limitationen:
- Bei Aufgaben mit absoluten logischen Schritten (z. B. reines Mathematik-Reasoning), wo es kaum alternative plausible Antworten gibt, stößt die Methode an Grenzen. Hier hilft jedoch RL, die Performance wiederherzustellen.
- Die Methode verbraucht in einem Durchgang mehr Token als einfache Methoden (da mehrere Antworten generiert werden müssen), was bei extremen Latenzanforderungen ein Nachteil sein kann.

Fazit: Das Paper demonstriert, dass das „Verteilen des Zweifels" (Distributing Doubt) durch die Generierung einer vollständigen Wahrscheinlichkeitsverteilung ein effektiver Mechanismus ist, um LLMs zu zwingen, ihre Unsicherheit realistischer und kalibrierter einzuschätzen. Dies ist ein wichtiger Schritt hin zu zuverlässigeren KI-Systemen in kritischen Anwendungsbereichen.