🤖 machine learning

Reported Confidence in LLMs Tracks Commitment More Than Correctness

Dieses Paper zeigt auf, dass verbale Konfidenzberichte in großen Sprachmodellen primär einen internen „Commit-Readiness“-Zustand widerspiegeln, der die Entscheidung zu antworten antreibt, anstatt die tatsächliche Korrektheit der Antwort, wodurch sie sich grundlegend von Log-Wahrscheinlichkeiten unterscheiden, welche die Evidenz der Antwort verfolgen.

Ursprüngliche Autoren: Dharshan Kumaran

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dharshan Kumaran

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten einen sehr intelligenten, aber etwas geheimnisvollen Roboterassistenten, ein Rätsel zu lösen. Sie fragen ihn: „Was ist die Hauptstadt von Frankreich?“ Er denkt einen Moment nach und sagt: „Paris.“ Dann fragen Sie ihn: „Wie sicher bist du dir?“

Der Roboter antwortet: „Ich bin mir zu 100 % sicher.“

In der Welt der Künstlichen Intelligenz (KI) gehen wir normalerweise davon aus, dass, wenn der Roboter sagt „Ich bin mir zu 100 % sicher“, er meint: „Ich habe meine interne Datenbank überprüft und bin statistisch sicher, dass diese Antwort richtig ist.“

Eine neue Studie von Google DeepMind deutet jedoch darauf hin, dass wir das Vertrauen des Roboters missverstehen könnten. Die Forscher fanden heraus, dass wenn eine KI sagt, sie sei „zuversichtlich“, sie nicht unbedingt meint: „Meine Antwort ist richtig.“ Stattdessen bedeutet es oft: „Ich bin bereit, zu dieser Antwort zu stehen, selbst wenn sie falsch sein mag.“

Hier ist eine Aufschlüsselung ihrer Ergebnisse anhand einfacher Analogien.

Die zwei Arten von „Vertrauen“

Die Studie verglich zwei verschiedene Wege, wie der Roboter seine eigene Gewissheit misst:

Das „Mathematische Vertrauen“ (Log-Wahrscheinlichkeit): Dies ist wie ein Taschenrechner. Er betrachtet die rohen Zahlen und Wahrscheinlichkeiten seiner Optionen. Wenn die Mathematik sagt, dass „Paris“ zu 99 % die wahrscheinliche Antwort ist, ist der Taschenrechner vertrauensvoll.
- Das Ergebnis: Diese Art von Vertrauen ist ein guter Richter über die Wahrheit. Wenn die Mathematik sagt, dass er sich sicher ist, ist die Antwort meistens richtig. Wenn die Mathematik sagt, dass er unsicher ist, ist die Antwort meistens falsch.
Das „Verbale Vertrauen“ (Die Worte des Roboters): Dies ist, wenn Sie den Roboter direkt fragen: „Wie sicher bist du dir?“ und er in Worten oder auf einer Skala (wie „Sehr sicher“) antwortet.
- Das Ergebnis: Diese Art von Vertrauen ist ein schlechter Richter über die Wahrheit, aber ein fantastischer Richter über die Verpflichtung. Wenn der Roboter sagt: „Ich bin mir sehr sicher“, bedeutet das nicht, dass die Antwort definitiv korrekt ist. Es bedeutet, dass der Roboter sich entschieden hat und bereit ist, sich zu dieser Antwort zu bekennen.

Das „Commit or Quit“-Spiel (Bekenntnis oder Rückzug)

Um dies zu testen, stellten die Forscher ein zweistufiges Spiel auf, das von der Art und Weise inspiriert wurde, wie Wissenschaftler Entscheidungsverhalten bei Tieren untersuchen:

Stufe 1: Der Roboter gibt eine Antwort und eine Vertrauenseinstufung ab (z. B. „Ich bin mir zu 90 % sicher“).
Stufe 2: Dem Roboter wird seine eigene Antwort gezeigt und er wird gefragt: „Möchtest du dich bekennen (diese Antwort einem Menschen zeigen) oder verzichten (sagen: ‚Ich weiß es nicht‘)?“

Das überraschende Ergebnis:
Das verbale Vertrauen des Roboters in Stufe 1 war ein viel besserer Vorhersagewert dafür, was er in Stufe 2 tun würde, als ein Vorhersagewert dafür, ob die Antwort tatsächlich richtig war.

Wenn der Roboter sagte: „Ich bin mir super sicher“, wählte er in Stufe 2 fast immer die Option Bekennen, selbst wenn die Antwort eigentlich falsch war.
Wenn der Roboter sagte: „Ich bin mir nicht sicher“, wählte er in Stufe 2 fast immer die Option Verzicht.

Die Analogie:
Stellen Sie sich einen Spieler im Casino vor.

Mathematisches Vertrauen ist wie der Spieler, der die Quoten auf einem Blatt Papier prüft. Wenn die Quoten gut sind, weiß der Spieler, dass er wahrscheinlich gewinnen wird.
Verbales Vertrauen ist wie der Spieler, der ruft: „Ich setze alles auf eine Karte!“ Die Studie fand heraus, dass der Spieler, der ruft „Ich setze alles auf eine Karte!“, oft nur ein Signal ist, dass er bereit ist zu wetten, und keine Garantie dafür, dass er die Gewinnhand hält. Er könnte bluffen oder einfach nur mutig sein. Das „Mathematische Vertrauen“ (die Quoten) ist das Einzige, was Ihnen tatsächlich sagt, ob er gewinnen wird.

Der „Commit-Readiness“-Schalter (Bereitschaft zum Bekenntnis)

Die Forscher gruben tiefer in das „Gehirn“ (den internen Code) des Roboters, um zu sehen, was passierte. Sie fanden einen spezifischen Moment direkt nachdem der Roboter eine Antwort gegeben hatte, aber bevor er gefragt wurde, ob er sich bekennen wolle.

In diesem exakten Moment ist der interne Zustand des Roboters um die Frage organisiert: „Bin ich bereit, zu dem zu stehen, was ich gesagt habe?“

Der Roboter hat einen „Bekennen/Verzichten“-Schalter, der sehr laut und deutlich ist.
Der Robbot hat einen „Richtig/Falsch“-Schalter, der viel leiser und vager ist.

Wenn der Roboter einen verbalen Vertrauensbericht erstellt, liest er im Wesentlichen den lauten „Bekennen“-Schalter ab, nicht den leisen „Richtig/Falsch“-Schalter. Es ist wie eine Person, die einen starken Drang verspürt, den Mund aufzumachen; sie mag das Gefühl haben, sehr sicher beim Sprechen zu sein, selbst wenn das, was sie sagen, faktisch inkorrekt ist.

Warum das wichtig ist

Lange Zeit haben Menschen das verbale Vertrauen einer KI („Ich bin mir zu 95 % sicher“) als direktes Maß für die Genauigkeit behandelt. Wir nahmen an, wenn die KI sagt, dass sie sich sicher ist, können wir der Antwort vertrauen.

Dieses Paper argumentt, dass dies ein Fehler ist.

Verbales Vertrauen ist ein Verhaltenssignal. Es sagt Ihnen: „Ich bin bereit, diese Antwort einem Menschen zu zeigen.“
Mathematisches Vertrauen ist ein Wahrheitssignal. Es sagt Ihnen: „Diese Antwort ist wahrscheinlich korrekt.“

Wenn Sie sich auf die Worte des Roboters verlassen, um zu entscheiden, ob eine Antwort wahr ist, könnten Sie getäuscht werden. Der Roboter könnte sehr bestrebt sein, sich zu einer falschen Antwort zu bekennen, weil sein interner „Bekennungs-Schalter“ umgelegt wurde, obwohl der „Wahrheits-Schalter“ nur flackert.

Das Fazreit

Die Studie kommt zu dem Schluss, dass wir aufhören müssen, das verbale Vertrauen einer KI als einfaches „Wahrheitsmessgerät“ zu behandeln. Stattdessen sollten wir es als ein „Bindungsmesser“ verstehen. Es sagt uns, wann die KI bereit ist, Stellung zu beziehen, aber es sagt uns nicht unbedingt, ob diese Stellung auf festem Boden steht. Um zu wissen, ob die Antwort tatsächlich richtig ist, müssen wir uns auf die zugrunde liegende Mathematik (die Log-Wahrscheinlichkeiten) verlassen, nicht nur auf die enthusiastischen Worte des Roboters.

Technisches Resümee: Gemeldtes Vertrauen in LLMs folgt eher der Verpflichtungsbereitschaft als der Korrektheit

Problemstellung

Große Sprachmodelle (LLMs) werden häufig dazu angehalten, Vertrauen in ihre Antworten zu melden, um das Nutzervertrauen und nachgeschaltete Entscheidungsprozesse (z. B. die Übertragung an Menschen oder das Enthaltung) zu steuern. Während verbale Konfidenz (VC) – explizite Selbsteinschätzungen der Gewissheit – besonders in Black-Box-Szenarien, in denen interne Wahrscheinlichkeiten nicht zugänglich sind, weit verbreitet ist, bleibt unklar, ob diese Berichte als genaue Schätzungen der Antwortkorrektheit fungieren oder als Signale eines anderen internen Zustands. Die vorherrschende Annahme lautet, dass Konfidenz die Wahrscheinlichkeit der Korrektheit abbilden sollte; dieses Paper stellt diese Annahme infrage und schlägt stattdert vor, dass verbale Konfidenz primär als „Commit-Readiness“-Signal (Bereitschaft zur Selbstverpflichtung) fungiert, welches die behaviorale Disposition des Modells angibt, zu einer Antwort zu stehen, statt deren objektive Wahrheit.

Methodik

Die Autoren verwendeten ein zweistufiges Abstentions-Paradigma, das von neurowissenschaftlichen Studien über die Post-Entscheidungs-Konfidenz bei Nagetieren und Primaten inspiriert wurde, um die Generierung der Antwort von der Entscheidung zur Verpflichtung zu entkoppeln.

Experimentelles Design:
- Phase 1 (Antwort & Konfidenz): Modelle beantworteten Fragen (Multiple-Choice oder Freitext) und gaben in einem separaten Schritt die verbale Konfidenz an (Class-VC auf einer 10-stufigen Skala oder Num-VC auf einer 0–100 Skala). Entscheidend war, dass diese Phase ohne Bezug auf eine nachfolgende Abstentions-Aufgabe stattfand.
- Phase 2 (Commit/Abstain): Den Modellen wurde ihre Antwort aus Phase 1 gezeigt und sie wurden gebeten, eine binäre Entscheidung zu treffen: Commit (die Antwort an einen Nutzer ausgeben) oder Abstain (Ausgabe von „Ich weiß es nicht“).
- Vergleichssignal: Die Studie verglich VC mit der Kalibrierten Log-Wahrscheinlichkeit (Cal-LP), einem Konfidenzsignal, das aus der temperaturskalierten Softmax-Verteilung der Antwort-Token abgeleitet wird und als Proxy für die Evidenz der Antwort dient.
Modelle und Benchmarks:
- Nicht-Reasoning-Modelle: Gemma 3 (27B), Gemma 4 (31B, no-think mode), GPT-4o und Qwen 3 (235B, no-think mode).
- Reasoning-Modelle: Gemini Flash 3, Kimi K2 Think, GPT-Oss-120B und Qwen 3 (235B, think mode).
- Datensätze: SimpleQA, MMLU-Pro, SuperGPQA-hard und HLE (Humanities Last Exam), die unterschiedliche Schwierigkeitsgrade und Formate abdecken.
Analytische Ansätze:
- Decision–Truth Gap (Entscheidungs–Wahrheits-Lücke): Definiert als $\Delta_{DT} = \text{AUROC}_{\text{abstention}} - \text{AUROC}_{\text{correctness}}$ . Diese Metrik quantifiziert, ob ein Signal die Commit/Abstain-Entscheidung besser vorhersagt als die objektive Korrektheit.
- Residualisierungs-Analyse: Um zu bestimmen, ob die Ausrichtung von VC an Verhalten auf seine Ausrichtung an Wahrheit reduzierbar ist, führten die Autoren eine Regression von VC auf Cal-LP (dem besten verfügbaren Korrektheits-Proxy) durch und analysierten das Residuum. Sie testeten, ob das Residuum der VC die Abstention oder die Korrektheit vorhersagte.
- Mechanistische Analyse (Gemma 3 & 4): Lineare Probes wurden auf die Post-Answer (PA) Residual-Stream-Aktivierungen trainiert, um die Korrektheit und die zukünftige Commit/Abstain-Entscheidung zu dekodieren.
- Kausales Steering: In Gemma 4 konstruierten die Autoren Steering-Vektoren aus den PA-Aktivierungen und injizierten diese während Phase 2 in den Residual-Stream, um zu testen, ob die Manipulation des „Commit-Readiness“-Zustands das Abstentionsverhalten kausal verändert.

Kernergebnisse

1. Der Decision–Truth Gap

Über vier Nicht-Reasoning-Modelle und zwei Datensätze hinweg zeigte die verbale Konfidenz konsistent einen positiven Decision–Truth Gap; sie sagte die Phase-2-Commit/Abstain-Entscheidung wesentlich besser voraus als die Korrektheit in Phase 1.

VC-Performance: Class-VC und Num-VC zeigten mediane Gaps von +0,13 bzw. +0,20. In fast allen Fällen sagte VC die Abstention signifikant besser voraus als die Korrektheit.
Cal-LP-Performance: Cal-LP zeigte nahezu Null oder negative Gaps (Median +0,018), was darauf hindeutet, dass die Fähigkeit von Cal-LP, die Abstention vorherzusagen, eng mit seiner Fähigkeit gekoppelt ist, die Korrektheit vorherzusagen. Es zeigte keinen systematischen Vorteil bei der Vorhersage des Verhaltens gegenüber der Wahrheit.

2. Varianzzerlegung und Residualisierung

Varianzstruktur: Die ANOVA-Analyse ergab, dass die Varianz in VC primär durch die spätere Commit/Abstain-Entscheidung dominiert wurde (partielles $\eta^2 \approx 0,11–0,48$ ) und weniger durch die Korrektheit ( $\eta^2 \approx 0,00–0,05$ ). Im Gegensatz dazu behielt Cal-LP eine stärkere Korrektheits-Struktur bei.
Residuen-Analyse: Als die mit Cal-LP geteilte Varianz aus der VC entfernt wurde, blieb die Residuen-VC ein starker Prädiktor für die Abstention (medianer AUROC = 0,64), verlor aber ihre Fähigkeit, die Korrektheit vorherzusagen (Abfall auf Zufallsniveau, medianer AUROC = 0,49).
Interpretation: Dies deutet darauf hin, dass VC eine einzigartige Komponente enthält, die mit dem Commitment-Verhalten korreliert und unabhängig vom Antwort-Evidenz-Signal ist, das durch Cal-LP erfasst wird. Die umgekehrte Analyse (Residualisierung von Cal-LP auf VC) zeigte, dass Cal-LP weiterhin sowohl mit Wahrheit als auch mit Verhalten gekoppelt war, was konsistent mit seiner Rolle als primäres Antwort-Evidenz-Signal ist.

3. Generalisierung auf Reasoning-Modelle

Die Entscheidung–Wahrheits-Dissoziation generalisierte auf vier Reasoning-Modelle über vier Benchmarks hinweg. Trotz der Komplexität der Reasoning-Trajektorien zeigte VC weiterhin einen robusten positiven Gap (Median +0,16), während Cal-LP (sofern verfügbar) kein vergleichbares Muster aufwies. In Reasoning-Modellen war Cal-LP weniger effektiv bei der Unterscheidung der Korrektheit, da die Unsicherheit wahrscheinlich über die gesamte Reasoning-Trajektorie verteilt und nicht auf das finale Token konzentriert ist.

4. Mechanistische Evidenz in Gemma 4

Kodierung interner Zustände: Lineare Probes auf den Post-Answer (PA) Aktivierungen (vor der Abstentions-Prompt) konnten die zukünftige Commit/Abstain-Entscheidung mit hoher Genauigkeit dekodieren (AUROC $\approx$ 0,94), was die Dekodierung der Korrektheit (AUROC $\approx$ 0,66) weit übertraf.
Orthogonalität: Die Richtung im Aktivierungsraum, die die Commit/Abstain-Entscheidung kodiert, war annähernd orthogonal zu der Richtung, die die Korrektheit kodiert.
Kausale Kontrolle: Das Steering entlang einer VC-spezifischen Aktivierungsrichtung (orthogonal zu Cal-LP) an der PA-Position verschob kausal das nachfolgende Abstentionsverhalten des Modells in Phase 2. Ein Steering hin zu niedriger Konfidenz erhöhte die Abstentionsraten, was bestätigt, dass der zugrunde liegende interne Zustand von VC kausal im Entscheidungsprozess operativ ist.

Bedeutung und Ansprüche

Das Paper kommt zu dem Schluss, dass verbale Konfidenz und Log-Wahrscheinlichkeits-Konfidenz keine austauschbaren Unsicherheitsmaße sind.

Natur der verbalen Konfidenz: VC ist am besten nicht als verrauschtes Schätzen der Korrektheit zu verstehen, sondern als ein verhaltenorientiertes Readout eines internen „Commit-Readiness“-Zustands. Sie spiegelt die Disposition des Modells wider, zu einer Antwort zu stehen – ein Signal, das nur teilweise an die objektive Wahrheit gebunden ist.
Natur von Cal-LP: Cal-LP verhält sich eher wie ein Wahrheits-Evidenz-Signal, dessen Relevanz für das Verhalten aus seiner Fähigkeit resultiert, die Korrektheit zu verfolgen.
Implikationen:
- Interpretation: Nutzer und nachgeschaltete Systeme sollten verbale Konfidenz nicht als direkten Proxy für die Wahrscheinlichkeit der Korrektheit behandeln. Ein Modell kann eine hohe Konfidenz in eine falsche Antwort ausdrücken, wenn es behavioral „bereit“ ist, sich zu ihr zu verpflichten.
- Training: Aktuelle Trainingsziele können Konfidenz-ähnliche Signale belohnen, die Antwortstile und Vorsicht regulieren, ohne sie eng an die Korrektheit zu binden. Zukünftige Arbeiten müssen möglicherweise die interne Post-Answer-Repräsentation adressieren, um die Konfidenz besser mit der Wahrheit zu synchronisieren und gleichzeitig adaptive Verhaltensweisen wie die Abstention zu bewahren.
- Metakognition: Die Ergebnisse legen nahe, dass LLM-Konfidenzberichte ähnlich wie zweitgradige metakognitive Signale beim Menschen funktionieren, die nachgelagert aus der ursprünglichen Wahl und anderen Hinweisen (z. B. Fluenz) konstruiert werden, anstatt ein direktes Readout der Evidenz zu sein, die die Wahl getrieben hat.

Die Autoren betonen, dass VC zwar die Korrektheit über dem Zufallsniveau verfolgt, ihre disproportionale Ausrichtung auf das Commitment-Verhalten jedoch ein fundamentales Merkmal ihrer internen Organisation ist, welches sie von Maßzahlen unterscheidet, die aus der Optionsverteilung abgeleitet werden.