💬 NLP

Evaluating and Calibrating LLM Confidence on Questions with Multiple Correct Answers

Dieses Paper identifiziert, dass bestehende Methoden zur Konfidenzkalibrierung bei großen Sprachmodellen versagen, wenn Fragen mehrere richtige Antworten haben, was auf eine systematische Unterschätzung zurückzuführen ist, und schlägt einen neuen Benchmark (MACE) sowie eine semantische Konfidenzaggregation (SCA) vor, um eine robuste Kalibrierung sowohl in Szenarien mit einer als auch mit mehreren Antworten zu erreichen.

Ursprüngliche Autoren: Yuhan Wang, Shiyu Ni, Zhikai Ding, Zihang Zhan, Yuanzi Li, Keping Bi

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuhan Wang, Shiyu Ni, Zhikai Ding, Zihang Zhan, Yuanzi Li, Keping Bi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Wenn „Richtigsein“ wie „Verwirrtsein“ aussieht

Stellen Sie sich vor, Sie nehmen an einem Quiz teil.

Szenario A: Die Frage lautet: „Wer schrieb Hamlet?“ Es gibt nur eine richtige Antwort: Shakespeare. Wenn Sie „Shakespeare“ sagen, liegen Sie richtig und fühlen sich sehr sicher.
Szenario B: Die Frage lautet: „Nenne eine Frucht, die rot ist.“ Es gibt viele richtige Antworten: Apfel, Erdbeere, Kirsche, Himbeere.

Die Arbeit argumentiert, dass aktuelle Large Language Models (LLMs) bei Szenario B verwirrt werden.

Wenn ein Modell weiß, dass es viele richtige Antworten gibt (wie Apfel, Erdbeere und Kirsche), neigt es dazu, seine „Stimmen zu splitten“. Es sagt vielleicht 6-mal „Apfel“, 6-mal „Erdbeere“ und 6-mal „Kirsche“ bei 20 Versuchen. Weil es sich nicht jedes Mal für genau eine Antwort entschieden hat, sinkt der interne „Selbstvertrauens-Meter“ des Modells. Es denkt: „Oh nein, ich bin mir nicht sicher, welche ich wählen soll, also muss ich unsicher sein.“

Die Ironie: Das Modell ist in Szenario B eigentlich wahrscheinlicher richtig (weil es mehr Wege gibt, richtig zu liegen), aber sein Selbstvertrauens-Meter zeigt einen niedrigeren Wert an. Es ist wie ein Mensch, der drei verschiedene Wege zum Laden kennt, sich aber selbst davon überzeugt, dass er sich verlaufen hat, nur weil er sich nicht für einen einzigen Weg entscheiden kann.

Das neue Werkzeug: MACE (Der „Multi-Antwort“-Test)

Um dieses Problem zu beweisen, haben die Forscher einen neuen Test namens MACE entwickelt. Betrachten Sie MACE als ein spezialisiertes Fitnessstudio, um zu testen, wie gut Modelle mit Fragen umgehen können, die mehrere richtige Antworten haben.

Der Aufbau: Sie erstellten 12.000 Fragen zu sechs Themen (wie Auszeichnungen, politische Ämter und Flüsse).
Der Clou: Für jedes Thema erstellten sie Fragen mit genau 1, 2, 4 oder 6 richtigen Antworten.
Das Ziel: Zu sehen, ob die Konfidenz-Scores der Modelle präzise bleiben, wenn sich die Anzahl der richtigen Antworten ändert.

Was sie fanden: Das „Großhirn-Paradoxon“

Sie testeten 15 verschiedene Arten, Selbstvertrauen (Confidence) zu messen, an vier verschiedenen Familien von KI-Modellen (von klein bis massiv). Dies geschah:

Genauigkeit steigt, Selbstvertrauen sinkt: Mit zunehmender Anzahl der richtigen Antworten (von 1 auf 6) lieferten die Modelle die Fragen öfter korrekt. Ihr geschätztes Selbstvertrauen sank jedoch signifikant.
Größere Modelle leiden stärker: Die größten, intelligentesten Modelle (wie die mit 70 Milliarden Parametern) waren am meisten verwirrt. Weil sie so viel wissen, können sie eine größere Vielfalt an korrekten Antworten generieren. Diese Vielfalt lässt sie für die Konfidenz-Prüfer „unentschlossen“ erscheinen, was dazu führt, dass ihre Selbstvertrauens-Scores abstürzen.
Die „Vertrauenskrise“: In einer realen Mischung aus Fragen (einige mit 1 Antwort, einige mit 6) versagten die besten bestehenden Methoden. Sie würden eine korrekte Antwort als „unzuverlässig“ einstufen, nur weil das Modell ein paar verschiedene korrekte Variationen angeboten hat.

Die Lösung: SCA (Die „Team-Abstimmung“-Methode)

Die Forscher schlugen eine neue Methode vor, die Semantic Confidence Aggregation (SCA) genannt wird.

Der alte Weg (Der „Top-Dog“-Ansatz):
Die meisten Methoden schauen sich die eine, am häufigsten genannte Antwort des Modells an. Wenn das Modell 20 Antworten gegeben hat und 10-mal „Apfel“ und 10-mal „Erdbeere“ sagte, sagt die alte Methode: „Ihr habt euch nur zu 50 % einerig. Ihr seid nicht selbstbewusst.“

Der neue Weg (SCA – Die „Team-Abstimmung“):
SCA betrachtet die gesamte Wahrscheinlichkeit aller korrekten Antworten kombiniert.

Es gruppiert die Antworten nach ihrer Bedeutung (z. B. alle „Apfel“-Antworten gehören zu einer Gruppe, alle „Erdbeere“-Antworten zu einer anderen).
Es addiert die Konfidenz-Scores aller korrekten Gruppen.
Das Ergebnis: Selbst wenn das Modell seine Stimmen zwischen Apfel und Erdbeere aufgeteilt hat, sieht SCA, dass die Gesamtstimme für „Rote Früchte“ bei 100 % liegt. Es erkennt: „Ah, das Modell ist selbstbewusst, es hat nur ein paar gültige Optionen.“

Das Faznd Fazit

Das Problem: Aktuelle KI-Konfidenz-Tools denken, dass das Vorhandensein mehrerer richtiger Antworten bedeutet, dass die KI unsicher ist.
Die Lösung: Die neue SCA-Methode behebt dies, indem sie das Selbstvertrauen aller gültigen Antworten zusammenzählt, anstatt nur die populärste zu betrachten.
Das Ergebnis: SCA funktioniert hervorragend bei Fragen mit vielen Antworten und macht bei Fragen mit nur einer Antwort keine Fehler. Es hilft der KI, selbstbewusst zu klingen, wenn sie es tatsächlich ist, selbst wenn sie auf mehr als eine Weise recht hat.

Kurz gesagt: Die Arbeit lehrt uns, dass für eine KI das Richtigliegen auf viele Arten nicht wie Unsicherheit aussehen sollte. Wir brauchen nur eine bessere Art, die Stimmen zu zählen.

Technisches Resümee: Evaluierung und Kalibrierung der Konfidenz von LLMs bei Fragen mit mehreren korrekten Antworten

Problemstellung

Die Kalibrierung der Konfidenz ist entscheidend für die Zuverlässigkeit von Large Language Models (LLMs), um sicherzustellen, dass die vom Modell ausgedrückte Konfidenz mit seiner tatsächlichen Vorhersageleistung übereinstimmt. Während bestehende trainingsfreie Kalibrierungsmethoden intensiv für Single-Answer-Fragen (Fragen mit einer einzigen Antwort) untersucht wurden, identifiziert dieses Paper einen kritischen Fehlermodus bei der Anwendung auf Fragen mit mehreren gültigen Antworten.

Das Kernproblem ist die Aufteilung der Wahrscheinlichkeitsmasse (probability mass split). In Single-Answer-Szenarien ist die Konsistenz der Antworten (Übereinstimmung unter den gesampelten Ausgaben) ein zuverlässiger Indikator für die Konfidenz; wenn ein Modell die Antwort „kennt“, konvergieren die Ausgaben. In Multi-Answer-Szenarien kann ein Modell jedoch mehrere gleichermaßen korrekte, aber textlich unterschiedliche Antworten generieren (z. B. „Ibuprofen“ und „Acetaminophen“ bei einem Kopfschmerzmittel). Bestehende konsistenzbasierte Methoden interpretieren diese natürliche Diversität als Unsicherheit oder Uneinigkeit, was zu einer systematischen Unterschätzung der Konfidenz führt. Infolgedessen werden Modelle als unzuverlässig eingestuft, obwohl sie faktisch korrekt sind, was eine schwere Fehlkalibrierung verursacht. Dieses Phänomen tritt besonders stark bei größeren Modellen (z. B. 70B+ Parameter) auf, die über eine breitere Wissensabdeckung verfügen und somit eine größere Vielfalt an korrekten Antworten generieren.

Methodik

1. Der MACE-Benchmark

Um dieses Phänomen systematisch zu untersuchen, führen die Autoren MACE (Multi-Answer Confidence Estimation) ein, einen Benchmark, der 12.000 faktische Fragen aus sechs Domänen umfasst: Honorable Award, Political Office, Regional Affiliation, Mathematical Concept, Natural River und Linguistic Culture.

Konstruktion: Die Fragen werden mithilfe kontrollierter Templates aus Wikidata-Tripeln generiert.
Kontrolle der Kardinalität: Der Benchmark kategorisiert Fragen explizit nach der Anzahl der Grundwahrheits-Antworten (Ground-Truth-Antworten): 1, 2, 4 oder 6 korrekte Antworten (bezeichnet als 1a, 2a, 4a, 6a).
Qualitätskontrolle: Eine rigorose Pipeline, die heuristisches Filtern (Popularität und Validität) sowie die manuelle Verifizierung durch Domänenexperten umfasst, stellt exhaustive und korrekte Grundwahrheits-Sets sicher und adresset damit die Einschränkungen bestehender Benchmarks, denen es an einer exhaustiven Grundwahrheit oder kontrollierter Kardinalität mangelt.

2. Experimentelle Evaluierung

Die Autoren evaluierten 15 repräsentative Kalibrierungsmethoden über vier LLM-Familien (LLaMA, Qwen, DeepSeek und GPT) mit einer Größe von 7B bis 72B Parametern.

Getestete Methoden:
- Single-turn: Token-Level-Wahrscheinlichkeiten (Entropie, Perplexität), verbalisierte Konfidenz (Verb) sowie konsistenzbasierte Methoden (Konsistenz, Semantische Entropie).
- Double-turn: Selbstbewertungs-Methoden (PTrue, Self-Ask), bei denen das Modell seine eigene Antwort in einem zweiten Durchgang verifiziert.
Metriken: Genauigkeit (Accuracy) und AUROC (Area Under the Receiver Operating Characteristic Curve), um die Qualität der Konfidenzschätzung zu messen.

3. Vorgeschlagene Lösung: Semantic Confidence Aggregation (SCA)

Um die durch die Aufteilung der Wahrscheinlichkeitsmasse verursachte Fehlkalibrierung zu beheben, schlagen die Autoren Semantic Confidence Aggregation (SCA) vor.

Kernidee: Anstatt sich auf die einzige am höchsten konfidente Antwort zu verlassen oder Diversität zu bestrafen, aggregiert SCA die Konfidenz aller hochwahrscheinlichen gültigen Antworten.
Mechanismus:
1. Sampeln mehrerer Antworten ( $N$ ) für eine Frage.
2. Clustern der Antworten basierend auf semantischer Ähnlichkeit.
3. Berechnung der Konfidenz jedes Clusters ( $C_m$ ) durch Summation der Token-Level-Generierungswahrscheinlichkeiten aller Antworten innerhalb dieses Clusters: $P(C_m) = \sum_{s \in C_m} p(s)$ .
4. Herausfiltern von Clustern mit geringer Wahrscheinlichkeit (Rauschen) mittels eines Schwellenwerts $\tau$ (obwohl Experimente zeigen, dass $\tau=0$ oft ausreicht).
5. Der endgültige Konfidenzwert ist die Summe der Wahrscheinlichkeiten der verbleibenden gültigen Cluster: $Conf_{SCA} = \sum_{C_m \in C_{valid}} P(C_m)$ .
Vorteil: Dieser Ansatz behandelt die Diversität korrekter Antworten als Merkmal statt als Fehler und bewahrt hohe Konfidenzwerte, selbst wenn das Modell seine Wahrscheinlichkeitsmasse über mehrere gültige semantische Cluster verteilt.

Zentrale Ergebnisse

1. Das Konfidenz-Genauigkeits-Paradoxon

Experimente offenbaren einen kontraintuitiven Trend: Mit zunehmender Anzahl korrekter Antworten (von 1a bis 6a) verbessert sich die QA-Genauigkeit (die Fragen werden empirisch einfacher), aber die geschätzte Konfidenz sinkt bei fast allen bestehenden Methoden konsistent.

Auswirkung auf größere Modelle: Größere Modelle (z. B. LLaMA-70B) leiden unter einer schwerwiegenderen Konfidenzdegradation als kleinere Modelle (z. B. LLaMA-8B). Dies wird der „Wissensabdeckung“ zugeschrieben: Größere Modelle internalisieren mehr Wissen und generieren daher eine breitere Palette an gültigen Antworten, was zu einer größeren Aufteilung der Wahrscheinlichkeitsmasse und niedrigeren Konsistenzwerten führt.

2. Versagen bestehender Methoden

In gemischten Antwort-Settings (Kombination von Fragen mit 1, 2, 4 und 6 Antworten) brechen State-of-the-Art (SOTA) Kalibrierungsmethoden zusammen.

Konsistenzbasierte Methoden (z. B. Semantische Entropie, Konsistenz) zeigen einen signifikanten Abfall im AUROC, da sie Antwortdiversität fälschlicherweise als Unsicherheit interpretieren.
Double-turn-Methoden (z. B. PTrue) zeigen eine größere Stabilität, da sie die Verifizierung von der Generierung entkoppeln, können aber dennoch die Leistung von SCA bei der Gesamtkalibrierung nicht übertreffen.

3. Performance von SCA

SCA erreicht eine State-of-the-Art-Kalibrierungsleistung in gemischten Antwort-Settings, während es gleichzeitig eine starke Leistung bei Single-Answer-Fragen beibehält.

Auf dem Modell LLaMA-3.1-70B-Instruct erreichte SCA (mit $\tau=0$ ) einen AUROC von 76,7 im vollständig gemischten Setting ([1,2,4,6]) und übertraf damit die nächstbeste Baseline (Perplexity mit 73,8).
SCA ist robust gegenüber dem Schwellenwert $\tau$ und erfordert kein komplexes Clustering oder Filtern, um effektiv zu sein; die bloße Summation der Token-Level-Wahrscheinlichkeiten über alle gesampelten Antworten liefert oft optimale Ergebnisse.
Die Methode generalisiert über Modellskalen (7B bis 72B) und Familien (Qwen, LLaMA) hinweg.

Bedeutung und Ansprüche

Das Paper beansprucht, die Konfidenz-Kalibrierung von der restriktiven Single-Answer-QA-Einstellung auf ein allgemeineres, realistischeres Szenario mit gemischten Anzahlen von Ground-Truth-Antworten ausgeweitet zu haben.

Beitrag des Benchmarks: MACE füllt eine kritische Lücke in der Literatur, indem es den ersten Benchmark mit exhaustiver Ground Truth, Multi-Answer-Fragen und kontrollierter Antwort-Kardinalität bereitstellt, was die Diagnose der Aufteilung der Wahrscheinlichkeitsmasse ermöglicht.
Methodische Erkenntnis: Die Arbeit zeigt, dass Antwort-Inkonsistenz nicht zwangsläufig eine niedrige Konfidenz bedeutet; in Multi-Answer-Kontexten spiegelt sie oft die Fähigkeit des Modells wider, auf ein breiteres Set an gültigem Wissen zuzugreifen.
Praktische Auswirkungen: Durch den Vorschlag von SCA bieten die Autoren eine trainingsfreie, recheneffiziente Methode an, die verhindert, dass die „Vertrauenskrise“ eintritt, bei der korrekte, diverse Antworten fälschlicherweise als unzuverlässig abgestraft werden. Dies ist essenziell für den Einsatz von LLMs in realen Anwendungen, in denen Fragen oft mehrere gültige Lösungen haben.

Die Autoren bleiben bescheiden hinsichtlich der Limitationen und merken an, dass ihr Benchmark formulare Prompt-Templates verwendet, um die Schwierigkeit zu kontrollieren, was die naturalistische Diversität opfert, und dass die aktuelle Evaluierung auf englische Kurzform-Faktenantworten beschränkt ist. Sie identifizieren die Erweiterung auf mehrsprachige Kontexte und die Generierung von Langform-Texten als notwendige zukünftige Arbeiten.