💬 NLP

Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen

Die Studie zeigt, dass kleine instruktionsoptimierte Open-Weight-Modelle (3–9B Parameter) bei der verbalisierten Konfidenz-Abfrage psychometrisch unbrauchbar sind, da ihre Schätzungen weder mit der tatsächlichen Genauigkeit korrelieren noch durch log-Wahrscheinlichkeiten vorhergesagt werden können.

Ursprüngliche Autoren: Jon-Paul Cacioli

Veröffentlicht 2026-04-27

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jon-Paul Cacioli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „Alles-ist-super“-Maschine

Stell dir vor, du hast einen neuen Assistenten – einen Roboter, der eigentlich sehr schlau ist. Du stellst ihm eine schwierige Quizfrage. Wenn er die Antwort weiß, sagt er: „Ich bin mir zu 100 % sicher!“ Wenn er die Antwort nicht weiß, sagt er aber auch: „Ich bin mir zu 100 % sicher!“

Das ist das Problem, das der Forscher Jon-Paul Cacioli in seiner Studie untersucht hat. Er wollte wissen: Können wir den kleinen, erschwinglichen KI-Modellen (den „Open-Weight“-Modellen) wirklich vertrauen, wenn sie uns sagen, wie sicher sie sich bei einer Antwort sind? Oder sind sie einfach nur „überheblich“?

Die Analogie: Der übermotivierte Praktikant

Stell dir die KI wie einen extrem motivierten, aber etwas naiven Praktikanten vor.

Dieser Praktikant möchte dir unbedingt gefallen. Egal, ob er eine Aufgabe perfekt erledigt hat oder ob er nur geraten hat, er läuft immer mit einem riesigen Grinsen in dein Büro und schreit: „Chef, das war eine 10 von 10! Ich bin absolut sicher!“

Wenn du ihn fragst: „Auf einer Skala von 1 bis 100, wie sicher bist du dir?“, antwortet er fast immer mit „95“ oder „100“. Er hat gar keine Nuancen. Er kennt kein „Vielleicht“ oder „Ich bin mir unsicher“. Er ist in einer Art „Selbstbewusstseins-Sättigung“ gefangen.

Was die Studie genau gemacht hat

Der Forscher hat sieben verschiedene kleine KI-Modelle (die man auf einem normalen Heimcomputer laufen lassen kann) mit 524 Quizfragen getestet. Er hat sie auf zwei Arten „geprüft“:

Die Zahlen-Frage: „Gib mir deine Sicherheit als Zahl von 0 bis 100.“
Die Kategorien-Frage: „Wähle eine Stufe von 'gar keine Chance' bis 'fast sicher'.“

Die Ergebnisse: Ein Desaster für die Zuverlässigkeit

Die Ergebnisse waren für die Entwickler der KI eher ernüchternd:

Die „Alles-ist-super“-Falle (H1 & H2): Fast alle Modelle waren „ungültig“. Das bedeutet: Sie haben bei fast jeder Frage (egal ob richtig oder falsch) eine extrem hohe Sicherheit angegeben. Sie sind „gesättigt“. Es ist, als würde ein Thermometer, das nur zwischen 95 und 100 Grad anzeigen kann, völlig nutzlos sein, um Temperaturunterschiede zu messen.
Die Verwirrung (H4): Als der Forscher versuchte, die KI mit Kategorien (statt Zahlen) zu fragen, passierte etwas Seltsames: Die KI wurde plötzlich so verwirrt von der Frage nach ihrer Sicherheit, dass sie die eigentlichen Quizfragen gar nicht mehr richtig beantworten konnte! Sie hat die Aufgabe „vergessen“, weil sie zu sehr damit beschäftigt war, ihre Gefühle zu sortieren.
Die Logik-Lücke (H5): Man dachte, man könnte die Sicherheit der KI messen, indem man schaut, wie „sicher“ sich die KI beim Schreiben des nächsten Wortes ist (die sogenannten Log-Wahrscheinlichkeiten). Aber nein: Die KI sagt „100 % sicher“, obwohl ihre interne Mathematik eigentlich zeigt, dass sie nur raten. Die äußere Maske passt nicht zum inneren Zustand.

Warum ist das wichtig?

Wenn wir KIs in der Zukunft nutzen, um wichtige Entscheidungen zu treffen – zum Beispiel in der Medizin oder bei rechtlichen Fragen –, müssen wir wissen, wann die KI „rät“.

Wenn eine KI sagt: „Ich bin mir sicher“, wir aber wissen, dass sie immer „sicher“ sagt, dann ist diese Information wertlos. Der Forscher warnt: Bevor wir einer KI vertrauen, müssen wir erst einen „Psychotest“ (einen Validitäts-Check) machen, um sicherzustellen, dass sie überhaupt in der Lage ist, Zweifel zu äußern.

Zusammenfassung in einem Satz

Die Studie zeigt, dass kleine KIs momentan wie ein Praktikant sind, der bei jedem Fehler lautstark behauptet, alles perfekt gemacht zu haben – und man kann ihnen ihre „Sicherheit“ daher nicht als ehrliches Maßstab nutzen.

Zusammenfassung: Verbal Confidence Saturation in 3–9B Open-Weight LLMs

Problemstellung

In der Praxis wird häufig versucht, die Unsicherheit von Large Language Models (LLMs) durch „Verbal Confidence Elicitation“ zu extrahieren – also die Aufforderung an das Modell, seine Antwort mit einer numerischen (z. B. 0–100 %) oder kategorischen Einschätzung der eigenen Sicherheit zu versehen. Die zugrunde liegende Annahme ist, dass dieser verbale Wert ein internes Signal widerspiegelt, das zwischen korrekten und falschen Antworten unterscheidet.

Die vorliegende Studie untersucht, ob dieser Prozess bei instruktionsoptimierten Open-Weight-Modellen in der Größenordnung von 3 bis 9 Milliarden Parametern überhaupt valide Informationen liefert. Das Kernproblem ist die Sättigung (Saturation): Wenn ein Modell fast immer eine extrem hohe Konfidenz angibt (nahe 100 %), geht die Fähigkeit verloren, zwischen richtigen und falschen Antworten auf Item-Ebene zu diskriminieren.

Methodik

Die Studie folgt einem strengen, vorregistrierten psychometrischen Design:

Modell-Set: Acht Modelle (3–9B Parameter), darunter Familien wie Llama 3, Mistral, Qwen 2.5 und Gemma 2, sowie ein Reasoning-Modell (DeepSeek-R1-Distill).
Datensatz: 524 TriviaQA-Items, die zu insgesamt 8.384 deterministischen Versuchen (Greedy Decoding) führten.
Elicitation-Formate:
1. Numerisch (NUM): Abfrage einer Prozentzahl (0–100).
2. Kategorisch (CAT): Einordnung in eine 10-stufige ordinale Skala.
Psychometrisches Validitäts-Screening: Anstatt direkt die Kalibrierung zu messen, wurde ein Screening-Protokoll angewendet (adaptiert aus klinischen Tests wie MMPI-3). Es prüft, ob das Signal die minimalen Kriterien für eine Type-2-Diskriminierung (die Fähigkeit, Fehler zu erkennen) erfüllt. Ein Signal wird als „Invalid“ eingestuft, wenn es zu stark gesättigt ist (Degenerierung).
Statistische Analyse: Berechnung von AUROC-Werten, Korrelationen und der Unabhängigkeit von Token-Logprobabilitäten.

Wichtigste Ergebnisse

Bestätigung der Sättigung (H1 & H2): Alle sieben untersuchten Instruktions-Modelle wurden im numerischen Format als „Invalid“ eingestuft. Die mittlere Sättigungsrate lag bei 91,7 % (die Modelle gaben in über 90 % der Fälle eine Konfidenz $\ge$ 95 % an).
Scheitern der kategorischen Rettung (H4): Der Wechsel zu einem kategorischen Format konnte die Validität nicht wiederherstellen. Stattdessen führte das Format bei sechs von sieben Modellen zu einem Zusammenbruch der Aufgabenleistung (Accuracy sank teilweise auf unter 5 %), was auf eine negative Interaktion zwischen der Konfidenz-Anweisung und der Antwortgenerierung hindeutet.
Unabhängigkeit von Logprobabilitäten (H5): Die internen Logprobabilitäten der Token konnten die verbalisierte Konfidenz nicht sinnvoll vorhersagen ( $R^2 < 0,01$ ). Das bedeutet, dass das verbale Signal nicht einfach eine sprachliche Repräsentation der mathematischen Wahrscheinlichkeiten ist.
Reasoning Contamination Effect (E5): Bei dem Reasoning-Modell (DeepSeek-R1) zeigte sich eine starke negative Korrelation zwischen der Länge des Reasoning-Pfades und der Konfidenz ( $\rho = -0,36$ ). Schwierigere Aufgaben erfordern längere Denkprozesse und führen zu niedrigeren Konfidenzwerten.
Interne vs. externe Signale: Die Studie stellt klar, dass die Modelle zwar über interne Informationen zur Korrektheit verfügen (E3 zeigt eine Korrelation zwischen Item-Schwierigkeit und Konfidenz), diese Informationen aber am Output-Interface verloren gehen.

Bedeutung und Schlussfolgerungen

Die Arbeit liefert eine kritische Warnung für die KI-Entwicklung und deren Anwendung:

Validität vor Kalibrierung: Es ist sinnlos, die Kalibrierung (die Übereinstimmung von Konfidenz und Genauigkeit) eines Signals zu optimieren, wenn das Signal selbst aufgrund von Sättigung keine diskriminative Kraft besitzt. Ein Signal, das für 97 % der Fälle „100 %“ sagt, kann nicht kalibriert werden.
Gefahr für Deployment-Systeme: Systeme, die kleine Open-Weight-Modelle für Sicherheitsentscheidungen, Routing oder die Ablehnung von Fragen (Abstention) nutzen, basieren auf einem „degenerierten“ Signal, wenn sie die Standard-Elicitation verwenden.
Methodischer Beitrag: Die Arbeit plädiert dafür, dass vor jeder Nutzung von Konfidenz-Signalen ein psychometrisches Screening durchgeführt werden muss, um sicherzustellen, dass das Modell-Probe-Task-Interaktionsmodell überhaupt valide Daten emittiert.