🤖 machine learning

Calibrating Overconfidence Without Sacrificing Confidence: Probe-Conditioned Head Intervention for LLMs

Dieses Paper führt die Probe-Conditioned Head Intervention (PCHI) ein, eine Methode zur Inferenzzeit, welche die verbalisierte Überkonfidenz großer Sprachmodelle durch den Einsatz einer eingefrorenen Sonde selektiv reduziert, indem sie die Ausgaben der Attention-Heads konditional skaliert, wodurch der erwartete Kalibrierungsfehler signifikant gesenkt wird, während gleichzeitig die Konfidenz bei korrekten Antworten erhalten bleibt.

Ursprüngliche Autoren: Ke Li, Chongzhe Zhang, Zifan Zeng, Feng Liu, Qunli Zhang, Zheng Hu

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ke Li, Chongzhe Zhang, Zifan Zeng, Feng Liu, Qunli Zhang, Zheng Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (LLM) wie einen sehr selbstbewussten Schüler vor, der eine Mathearbeit schreibt. Dieser Schüler ist brillant darin, Probleme zu lösen, hat aber eine schlechte Angewohnheit: Wenn er eine Antwort falsch gibt, ruft er laut: „Ich bin mir zu 100 % sicher, dass das richtig ist!“, mit derselben lauten Stimme, die er auch verwendet, wenn er tatsächlich recht hat. Das nennt man Überkonfidenz (Overconfidence).

Derzeit, wenn man diesen Schüler korrigieren möchte, versucht man es vielleicht damit, ihm zu sagen: „Hey, sei ein bisschen weniger sicher bei allem.“ Aber das ist so, als würde man einem selbstbewussten Schüler sagen, er solle flüstern. Wenn man ihn zum Flüstern bringt, wird er vielleicht auch dann nicht mehr laut rufen, wenn er richtig liegt – und das ist ebenfalls ein Problem. Man möchte, dass er laut bleibt, wenn er recht hat, aber leise, wenn er falsch liegt.

Dieses Paper stellt eine neue Methode namens Probe-Conditioned Head Intervention (PCHI) vor, um genau dieses spezifische Problem zu lösen. So funktioniert es, erklärt anhand einfacher Analogien:

Das Problem: Die „Einheitslösung“

Standardmethoden versuchen, das Selbstvertrauen zu korrigieren, indem sie den „Lautstärkeregler“ des Schülers global anpassen. Wenn der Schüler bei falschen Antworten zu laut ist, dreht man die Lautstärke für alle runter.

Das Ergebnis: Der Schüler wird bei falschen Antworten zwar leiser (gut!), aber er wird auch bei richtigen Antworten zu leise (schlecht!). Man verliert sein gerechtfertigtes Selbstvertrauen.

Die Lösung: Das „Stichproben-System“

Die Autoren schlagen ein klügeres System vor, das wie ein Stichproben-Supervisor direkt neben dem Gehirn des Schülers steht, während dieser nachdenkt.

Die eingefrorene Sonde (Der Supervisor):
Stellen Sie sich einen speziellen, eingefrorenen Sensor (eine „Sonde“) vor, der die internen Gedanken des Schülers beobachtet, kurz bevor er sagt: „Ja, ich bin sicher.“ Dieser Sensor ist darauf trainiert, ein bestimmtes Muster zu erkennen: den Vibe von „Ich bin mir sicher, aber ich liege falsch“. Er verändert nicht das Denken des Schülers; er beobachtet nur und vergibt eine Punktzahl.

Analogie: Es ist wie ein Lügendetektor, der nur dann auslöst, wenn er eine selbstbewusste Lüge wahrnimmt.

Die bedingte Intervention (Der Stummschalter):
Wenn der Supervisor sieht, dass der Schüler kurz davor ist, selbstbewusst „Ja“ zu einer falschen Antwort zu sagen, betätigt er einen Schalter. Dieser Schalter dreht nicht die Lautstärke für den ganzen Raum herunter. Stattdessen verändert er ein spezifisches Set interner Zahnräder (genannt „Attention Heads“), die für das Erzeugen dieser finalen Vertrauensbekundung verantwortlich sind.

Analogie: Es ist wie ein Stummschalter, der nur aktiviert wird, wenn der Schüler gerade selbstbewusst eine falsche Antwort schreit. Wenn er eine richtige Antwort selbstbewusst schreit, bleibt der Stummschalter aus.

Das Ergebnis:

Falsch + Selbstbewusst: Das System erkennt dies, und die internen Zahnräder verschieben sich so, dass der Schüler sagt: „Nein, ich bin mir nicht sicher,“ oder sein Selbstvertrauen senkt.
Richtig + Selbstbewusst: Das System sieht, dass dies eine gute Antwort ist, und lässt die Zahnräder unberührt. Der Schüler bleibt laut und selbstbewusst.

Wie sie es getestet haben

Die Forscher testeten dies an zwei verschiedenen „Schülern“ (KI-Modellen namens Qwen und Gemma), die Matheaufgaben lösten. Sie zwangen die Modelle, ihre Antworten in einem strengen Format auszugeben: Begründung (Reasoning), Antwort und eine Ja/Nein-Konfidenzprüfung.

Der „Readout“-Test: Sie wandten die Korrektur im allerletzten Moment an, in dem das Modell sich für „Ja“ oder „Nein“ entschied.
- Ergebnis: Beim Qwen-Modell gelang es ihnen, 82 % der „falschen, aber selbstbewussten“ Antworten in „nicht selbstbewusst“ umzuwandeln, während sie nur versehentlich 5 % der „richtigen und selbstbewussten“ Antworten beeinträchtigten.
- Die Punktzahl: Die allgemeine Zuverlässigkeit des Modells (gemessen an etwas namens ECE) sank von unordentlichen 21,9 % auf viel sauberere 9,2 %.
Der „Upstream“-Test: Sie versuchten, die Korrektur früher im Denkprozess anzuwenden (bevor die endgültige Antwort erfolgt).
- Ergebnis: Es funktionierte, war aber komplizierter. Es hing stark davon ab, was das Modell in diesem Moment in seinem eigenen Gedächtnis „sehen“ durfte. Wenn das Modell zu viele zusätzliche Informationen betrachtete, funktionierte die Korrektur nicht so gut. Wenn sie jedoch die Sicht des Modells auf die relevanten Teile (wie den Prompt oder die Antwort) einschränkten, wurde die Korrektur wesentlich stärker.

Das wichtigste Fazit

Dieses Paper beweist, dass man sich nicht zwischen „Überkonfidenz korrigieren“ und „Selbstvertrauen bewahren“ entscheiden muss. Indem man einen eingefrorenen Detektor nutzt, um zu identifizieren, wann das Modell gefährlich überkonfident ist, kann man eine gezielte Anpassung der internen Mechanik genau in diesem Moment vornehmen.

Es ist, als würde man einen selbstbewussten Schüler lehren, sich selbst zu korrigieren: Anstatt ihm zu sagen, er solle immer leise sein, lehrt man ihn, seine eigene „falsche Zuversicht“ zu erkennen und den Stummschalter nur dann zu drücken, wenn er kurz davor ist, selbstbewusst falsch zu liegen.

Was das Paper NICHT behauptet:

Es behauptet nicht, dass dies für freie Konversationen (wie das Chatten mit einem Freund) funktioniert.
Es behauptet nicht, dass dies bereits für medizinische Diagnosen oder Rechtsberatung funktioniert.
Es behauptet nicht, dass dies die Fähigkeit des Modells zur Lösung der Matheprobleme behebt (die Antworten wurden bereits generiert); es korrigiert nur, wie das Modell das Selbstvertrauen in diese Antworten berichtet.

Technisches Resümee: Sondengesteuerte Kopf-Intervention für LLMs

Problemstellung
Große Sprachmodelle (LLMs) zeigen häufig „verbalisierte Überkonfidenz“, indem sie falsche Antworten mit hoher Zuversicht äußern. Standardmäßige Kalibrierungstechniken, wie etwa Temperature Scaling oder Post-hoc-Instruction-Tuning, wenden typischerweise globale Anpassungen auf die Ausgabeverteilung an. Während diese Methoden die aggregierten Kalibrierungsmetriken verbessern können, leiden sie unter einer kritischen Einschränkung: Sie können nicht selektiv unbegründetes Vertrauen bei falschen Antworten unterdrücken, ohne gleichzeitig gerechtfertigtes Vertrauen bei korrekten Antworten zu untergraben. Dies erzeugt ein Spannungsverhältnis, bei dem die Reduzierung von falsch-positiven Ergebnissen (falsch-aber-selbstbewusst) zwangsläufig zu einer Zunahme von falsch-negativen Ergebnissen (korrekt-aber-unselbstbewusst) führt. Die Arbeit postuliert, dass ein selektiverer Ansatz erforderlich ist – einer, der nur dann interveniert, wenn eine Antwort wahrscheinlich falsch-aber-selbstbewusst ist, wodurch die Unterdrückung von unbegründeter Konfidenz von der Reduzierung gerechtfertigter Konfidenz entkoppelt wird.

Methodik: Sondengesteuerte Kopf-Intervention (Probe-Conditioned Head Intervention, PCHI)
Die Autoren schlagen PCHI vor, eine Methode zur Inferenzzeit, die intern innerhalb des Modells operiert, um die Ausgaben von Attention-Heads basierend auf Evidenz für Überkonfidenz selektiv umzuskalieren. Die Methode besteht aus drei Kernkomponenten:

Strukturierte Selbstevaluation: Das Modell wird angewiesen, eine strukturierte JSON-Antwort zu generieren, die reasoning (Begründung), answer (Antwort) und ein binäres Feld is_confident (yes/no) enthält. Die Intervention zielt auf die „falsch-ja“-Gruppe (WY – wrong-yes: falsche Antworten mit hoher Konfidenz) ab, während sie darauf abzielt, die „korrekt-ja“-Gruppe (CY – correct-yes) zu bewahren.
Konfidenz-Template-Sonden: Eine eingefrorene lineare Sonde wird trainiert, um latente Evidenz für WY-Antworten zu detektieren. Diese Sonde liest die Hidden States an spezifischen „Konfidenz-Template“-Token (der Token-Bereich zwischen der Antwort und dem finalen Konfidenzwert). Die Sonde sagt die Wahrscheinlichkeit voraus, dass eine selbstbewusste Antwort tatsächlich falsch ist. Die Sondenschicht ( $\ell_p$ ) wird in der Mitte des Netzwerks ausgewählt, wo die Trennbarkeit von WY/CY stark ist, um sicherzustellen, dass nachgeschaltete Schichten für die Intervention verfügbar bleiben.
Bedingte Kopf-Reskalierung: Während der Inferenz steuert der Sonden-Score eine gelernte Reskalierung der nachgeschalteten Attention-Head-Ausgaben.
- Für jeden Attention-Head $h$ in den Schichten nachfolgend von $\ell_p$ wird ein gelernter Skalar-Koeffizient $g_h$ (initialisiert auf 1) angewendet.
- Die Interventionsstärke $s_{i,t}$ wird durch den Sonden-Score $p_{i,t}$ bestimmt. Wenn der Score einen Schwellenwert $\tau$ (z. B. 0,5) überschreitet, wird die Head-Ausgabe $z_{i,t,h}$ reskaliert: $z'_{i,t,h} = (1 + (g_h - 1)s_{i,t}) z_{i,t,h}$ .
- Wenn die Sonde die Antwort nicht als wahrscheinlich falsch-selbstbewusst markiert ( $s_{i,t} = 0$ ), verhält sich das Modell identisch zum Baseline-Modell.
- Eine optionale Attention-Mask kann nach der Sonde angewendet werden, um die Kontextregionen (Prompt, Reasoning, Answer), auf die die Template-Queries aufmerksam werden, einzuschränken, was das Interventionssignal potenziell verstärken kann.

Das Lernziel verwendet eine Hinge-ähnliche Verlustfunktion (Hinge-Loss), um WY-Beispiele unter eine Konfidenz-Margin zu drücken, während CY-Beispiele vor einer Herabstufung geschützt werden, reguliert durch einen L1-Penalty, um unnötige Head-Koeffizienten nahe der Identität zu halten.

Wesentliche Beiträge

Selektive interne Intervention: Im Gegensatz zur globalen Post-hoc-Kalibrierung interveniert PCHI bedingt basierend auf interner Evidenz, was die Korrektur spezifischer Fehlertypen (WY) ermöglicht, ohne die Konfidenz global zu unterdrücken.
Entkopplung von Kalibrierung und Genauigkeit: Die Methode zeigt, dass unbegründete Konfidenz reduziert werden kann, während die gerechtfertigte Konfidenz weitgehend erhalten bleibt, womit sie das Dilemma einheitlicher Reskalierungsmethoden adressiert.
Mechanistischer Einblick: Der Ansatz behandelt verbalisierte Konfidenz als einen internen Berechnungsprozess, der an spezifischen Punkten (Template-Token) gesteuert werden kann, statt nur als eine Ausgabeverteilung, die abgebildet werden muss.

Experimentelle Ergebnisse
Die Methode wurde auf OpenMathInstruct-Problemen mit Qwen3-4B-Instruct und Gemma3-4B-it Modellen mit einem strukturierten binären Konfidenzfeld evaluiert.

Intervention am Readout-Token: Die Anwendung von PCHI am finalen Konfidenz-Token lieferte signifikante Verbesserungen. Bei Qwen3-4B sank der Expected Calibration Error (ECE) von 21,9 % auf 11,7 %, und die Area Under the Receiver Operating Characteristic (AUROC) stieg von 66,5 auf 90,3. Entscheidend war, dass 82,2 % der ursprünglich „falsch-ja“ Readouts in „nein“ umgewandelt wurden, während nur 10,8 % der ursprünglich „korrekt-ja“ Readouts beeinträchtigt wurden.
Upstream-Intervention: Die Intervention an Upstream-Konfidenz-Template-Tokens zeigte variable Ergebnisse. Bei Qwen3-4B reduzierte eine gemeinsame Intervention über die Token 1–5 den ECE auf 9,2 % mit einer WY-Korrektur von 63,3 % bei nur 5,1 % CY-Schaden. Bei Gemma3-4B waren die Upstream-Effekte schwächer und stärker abhängig von der Attention-Maskierung; die Beschränkung des sichtbaren Kontexts auf das Antwortfeld verbesserte die WY-Korrektur auf 40,4 %, führte jedoch zu einem leichten Anstieg des CY-Schadens.
Ablation: Kontrolluntersuchungen bestätigten, dass die Gewinne nicht bloß auf Attention-Masking oder generisches Activation Steering zurückzuführen sind. Die Kombination aus der Evidenz der Sonde und der gelernten head-spezifischen Reskalierung ist notwendig für die beobachtete Selektivität.

Bedeutung und Ansprüche
Das Paper behauptet, dass PCHI einen gangbaren Weg zu Modellen bietet, die Unsicherheit vertrauenswürdig ausdrücken können, ohne ihre Fähigkeit zu opfern, bei korrekten Antworten Selbstbewusstsein zu zeigen. Indem die Autoren die Kalibrierung als selektives Kontrollproblem statt als globale Abbildung behandeln, demonstrieren sie, dass interne Interventionen die Unterdrückung unbegründeter Konfidenz von der Reduzierung gerechtfertigter Konfidenz teilweise entkoppeln können.

Die Autoren halten den Umfang moderat und merken an, dass ihre Ergebnisse spezifisch für mathematische Fragestellungen mit strukturierten JSON-Ausgaben und binären Konfidenzfeldern sind. Sie räumen ein, dass die Methode auf modell- und datenspezifisches Sondentraining angewiesen ist und dass die Erweiterung auf freiformale Konfidenzausdrücke oder offene Aufgaben eine offene Herausforderung bleibt. Die Arbeit beansprucht keine vollständige mechanistische Erklärung der verbalisierten Konfidenz, bietet aber vielmehr Beweise dafür, dass eine solche Evidenz dekodierbar und für eine selektive Korrektur handhabbar ist.

Das Problem: Die „Einheitslösung“

Die Lösung: Das „Stichproben-System“

Wie sie es getestet haben

Das wichtigste Fazit

Technisches Resümee: Sondengesteuerte Kopf-Intervention für LLMs

Mehr davon