📊 statistics

LLMs as Implicit Imputers: Uncertainty Should Scale with Missing Information

Dieser Artikel argumentiert, dass große Sprachmodelle, die als implizite Imputierer agieren, eine Unsicherheit aufweisen sollten, die mit fehlenden Informationen skaliert, und stellt fest, dass zwar sampling-basiertes Vertrauen versagt, das steigende Kontextverfall nicht widerzuspiegeln, während die Antwortentropie das Fehlen effektiv verfolgt und die Genauigkeit besser vorhersagt.

Ursprüngliche Autoren: Stef van Buuren

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Stef van Buuren

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Normalerweise haben Sie eine vollständige Akte mit Beweisen (den „Kontext"), die Ihnen hilft, den Täter zu finden. Doch manchmal wird die Akte zerkleinert, und Sie haben nur noch ein paar Papierfetzen übrig.

Dieses Papier stellt eine einfache, aber entscheidende Frage: Wenn Ihr Detektiv (ein KI-Sprachmodell) mit fehlenden Beweisen arbeitet, weiß er dann, wie unsicher er sein sollte?

Die Autoren argumentieren, dass die KI wie ein „statistischer Detektiv" handeln sollte, der zugibt: „Ich rate hier, weil ich nicht genügend Hinweise habe." Stattdessen stellten sie fest, dass aktuelle KIs oft wie selbstüberschätzende Detektive agieren, die wild raten, aber behaupten, zu 100 % sicher zu sein.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die Kernidee: Der „fehlende Hinweis"-Test

Die Forscher behandelten die KI wie einen Multi-Imputierer. In der Statistik generieren Experten bei fehlenden Daten nicht nur eine Antwort; sie erstellen viele mögliche Szenarien, um zu sehen, wie stark die Antwort variieren könnte.

Der Test: Sie nahmen Fragen und zerkleinerten schrittweise die Hintergrundinformationen (den Kontext), bis die KI nichts mehr zu lesen hatte als die Frage selbst.
Die Regel: Wenn die Hinweise verschwinden, sollte die „Unsicherheit" der KI steigen. Wenn sie keine Hinweise hat, sollte sie sehr unsicher sein. Wenn sie alle Hinweise hat, sollte sie sehr sicher sein.

2. Die zwei Arten, „Unsicherheit" zu messen

Die Forscher untersuchten zwei Methoden, um zu messen, wie unsicher die KI war, als sie dieselbe Frage 10 Mal hintereinander stellte:

Die „lautstarke Stimme" (Selbstvertrauen): Dies misst, wie oft die KI jedes Mal die gleiche Antwort gibt. Wenn sie 10 von 10 Mal „Denver Broncos" sagt, klingt sie sehr selbstvertraut.
Das „Gerede der Menge" (Entropie): Dies misst, wie unterschiedlich die Antworten sind. Wenn die KI einmal „Denver Broncos", einmal „New England", einmal „The Patriots" und siebenmal „Ich weiß es nicht" sagt, gibt es viel „Gerede" oder Vielfalt. Dies ist eine hohe Entropie.

3. Die große Entdeckung: Die „lautstarke Stimme" ist ein Lügner

Die Studie fand ein großes Problem mit der „lautstarken Stimme" (Selbstvertrauen):

Was passierte: Selbst wenn die KI keinen Kontext hatte (keine Hinweise), gab sie oft 10 Mal hintereinander die gleiche falsche Antwort. Sie klang unglaublich selbstvertraut, obwohl sie komplett auf Basis dessen riet, was sie aus ihrem Training auswendig gelernt hatte.
Die Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt und das Lehrbuch vergessen hat. Er rät bei jeder einzelnen Frage „C". Er ist zu 100 % konsistent (hohes Selbstvertrauen), aber zu 100 % falsch. Genau das tat die KI.

4. Der Gewinner: „Gerede der Menge" (Entropie)

Das „Gerede der Menge" (Entropie) verhielt sich viel besser:

Was passierte: Als die Forscher den Kontext entfernten, begannen die Antworten der KI zu streuen. Anstatt 10 Mal „Denver Broncos" zu sagen, sagte sie nun „Denver", „Broncos", „Das Team", „Ich weiß es nicht" usw.
Die Analogie: Das ist wie eine Gruppe von Detektiven in einem Raum. Wenn sie alle Beweise haben, zeigen sie alle auf denselben Verdächtigen. Wenn Sie die Beweise wegnehmen, beginnen sie in verschiedene Richtungen zu zeigen. Je verwirrter sie werden, desto mehr zeigen sie in verschiedene Richtungen.
Das Ergebnis: Das Maß „Gerede der Menge" stieg genau dann an, wenn die Genauigkeit der KI sank. Es war ein echtes Signal für Verwirrung.

5. Das „Auflösungsverhältnis" (Wie sehr halfen die Hinweise?)

Die Autoren erstellten eine einfache Kennzahl namens Auflösungsverhältnis.

Stellen Sie es sich wie einen Dimmer für eine Glühbirne vor.
Kein Kontext (Aus): Der Raum ist dunkel (hohe Unsicherheit).
Voller Kontext (An): Der Raum ist hell (niedrige Unsicherheit).
Die Kennzahl: Dies misst, wie sehr das „Licht" (der Kontext) die „Dunkelheit" (Unsicherheit) ausgeschaltet hat. Sie stellten fest, dass der vollständige Kontext etwa 80 % der Unsicherheit auflöste, was sinnvoll ist.

Zusammenfassung der Behauptungen des Papiers

Das Problem: Aktuelle KI-Modelle sind oft „unangemessene Imputierer". Wenn ihnen Informationen fehlen, unterdrücken sie ihre Unsicherheit und geben eine einzelne, selbstvertraute, aber oft falsche Antwort.
Die Lösung: Wir sollten darauf achten, wie stark die Antworten der KI variieren (Entropie), und nicht darauf, wie oft sie dieselbe Antwort wiederholt (Selbstvertrauen).
Der Beweis: Als der Kontext entfernt wurde, sank die Genauigkeit der KI, aber ihr „Selbstvertrauen" blieb hoch (es log uns an). Ihre „Entropie" (Vielfalt der Antworten) stieg an und signalisierte korrekt, dass sie verloren war.
Die Erkenntnis: Wenn Sie wissen wollen, ob eine KI rät, weil ihr Informationen fehlen, fragen Sie nicht, wie sicher sie klingt. Fragen Sie: „Wenn ich Sie 10 Mal fragen würde, würden Sie mir 10 verschiedene Antworten geben?" Wenn ja, weiß sie, dass sie unsicher ist. Wenn sie Ihnen 10 Mal dieselbe falsche Antwort gibt, ist sie selbstüberschätzend.

Das Papier kommt zu dem Schluss, dass Entropie ein viel besseres „Black-Box"-Werkzeug ist, um uns zu sagen, wann eine KI blind fliegt, als die üblichen „Selbstvertrauens"-Werte, die wir normalerweise sehen.

Technische Zusammenfassung: LLMs als implizite Imputatoren

Problemstellung

Large Language Models (LLMs) werden zunehmend in Szenarien eingesetzt, in denen der Eingabekontext unvollständig, abgeschnitten oder degradiert ist (z. B. teilweise Retrieval in RAG-Systemen). Trotz des Betriebs unter solchen Informationsdefiziten generieren LLMs typischerweise einzelne Antworten mit hoher scheinbarer Gewissheit. Dies wirft eine kritische Frage auf: Reflektieren LLM-Uncertainty-Schätzungen angemessen die Menge an fehlenden Informationen?

Aktuelle Evaluierungen konzentrieren sich oft auf statische Kalibrierung (Abgleich von Konfidenz mit Genauigkeit unter festen Eingaben). Es fehlt jedoch ein Verständnis dafür, ob Uncertainty-Schätzungen dynamisch skalieren, wenn Eingaben weniger informativ werden. Die Arbeit argumentiert, dass ein korrektes Vorhersagesystem eine Uncertainty aufweisen sollte, die mit dem Anteil fehlender Informationen zunimmt – ein Prinzip, das in der bayesschen Deep Learning und der Theorie fehlender Daten verankert ist.

Methodik

Theoretischer Rahmen: Implizite Multiple Imputation

Die Autoren operationalisieren die Evaluierung der LLM-Uncertainty durch eine Analogie zur Multiple Imputation (MI) [Rubin, 1987]. Bei der MI entsteht Uncertainty aus unbeobachteten Variablen und wird durch die Variabilität über mehrere vervollständigte Datensätze quantifiziert.

Analogie: Wiederholtes Sampling aus einem LLM unter unvollständigem Kontext wird als Generieren „impliziter Vervollständigungen" fehlender Informationen betrachtet.
Kriterium: Ein korrekter Imputator (und somit ein korrektes LLM) muss eine Uncertainty aufweisen, die mit der Menge fehlender Informationen skaliert. Wenn Kontext entfernt wird, sollte die Variabilität (Uncertainty) der generierten Antworten zunehmen.

Experimenteller Aufbau

Datensatz: SQuAD (Leseverstehen), unter Verwendung kurzer Antwortspannen, die aus Kontextabsätzen extrahiert wurden.
Evidenzbedingungen: Ein kontrollierter Rahmen, in dem die Kontextverfügbarkeit über einen Parameter $\alpha \in [0, 1]$ $α \in [0, 1]$ variiert wird. Der Kontext $C(\alpha)$ $C (α)$ wird konstruiert, indem die ersten $100 \cdot \alpha$ $100 \cdot α$ Prozent der ursprünglichen Kontextzeichen beibehalten werden.
- $\alpha = 1$ : Vollständiger Kontext.
- $\alpha = 0$ : Kein Kontext.
Sampling: Unter Verwendung von gpt-4o-mini mit Temperatur $T=0.7$ werden pro Eingabe $(q, C)$ $m=10$ stochastische Antworten generiert. Um Korrelationen zu minimieren, wird jede Stichprobe über einen separaten API-Aufruf gewonnen.
Normalisierung: Antworten werden normalisiert, um geringfügige lexikalische Variationen (z. B. Artikelweglassung) zu handhaben, jedoch keine semantische Generalisierung.

Uncertainty-Maße

Zwei Black-Box-Maße werden aus der empirischen Verteilung der $m$ Stichprobenantworten geschätzt:

Sampling-basierte Konfidenz ( $c$ ): Die empirische Häufigkeit der häufigsten Antwort ( $c = \max_k p_k$ ). Dies misst die modale Konzentration.
Response-Entropie ( $H$ ): Shannon-Entropie der normalisierten Antwortverteilung ( $H = -\sum p_k \log p_k$ ). Dies misst die Streuung über konkurrierende Antworten hinweg.
Auflösungsverhältnis ( $\rho_R(\alpha)$ ): Ein diagnostisches Metrik, das den Anteil der Basis-Uncertainty schätzt, der durch den Kontextlevel $\alpha$ aufgelöst wird.
$\rho_R(\alpha) = \frac{[H_0 - H(\alpha)]_+}{H_0}$
wobei $H_0$ die Entropie unter keinem Kontext ist. $\rho_R = 0$ impliziert, dass Kontext keine Uncertainty-Reduktion bietet; $\rho_R = 1$ impliziert, dass Uncertainty vollständig aufgelöst ist.

Informationsabhängigkeitsindex (IDI)

Definiert als $\Delta = Acc_1 - Acc_0$ , quantifiziert diese Metrik das Ausmaß, in dem die Vorhersagegenauigkeit vom Vorhandensein von Kontext abhängt.

Hauptbeiträge

Evaluierungsrahmen: Ein prinzipieller Rahmen zur Bewertung der LLM-Uncertainty unter partieller Observierbarkeit, fundiert auf der Anforderung, dass Uncertainty zunehmen muss, wenn Informationen abnehmen.
MI-Analogie: Explizite Verknüpfung des wiederholten LLM-Samplings mit Multiple Imputation, was die Entropie als Black-Box-Proxy für durch fehlende Informationen induzierte Vorhersage-Uncertainty motiviert.
Diagnosetool: Einführung des Auflösungsverhältnisses $\rho_R(\alpha)$ , eines Heuristik, das den Anteil der durch Kontext aufgelösten Basis-Uncertainty misst und ausschließlich aus Black-Box-Sampling schätzbar ist.
Empirische Validierung: Quantitative Belege, die zeigen, dass Entropie die durch fehlende Informationen bedingte Uncertainty treuer verfolgt als Konfidenz, mit einem signifikanten Vorteil bei der erklärten Varianz (quadratischer $R^2$ -Abstand bis zu 0,057).

Ergebnisse

Taxonomie des Modellverhaltens

Die Analyse von 400 Kontexten offenbarte drei distincte Regime unter Kontextentfernung:

Auswendiggelernt: Hohe Genauigkeit mit und ohne Kontext; nahezu null Entropie ( $H_0 \approx 0$ ). Das Modell verlässt sich auf parametrisches Wissen.
Verzerrt: Hohe Genauigkeit mit Kontext, aber hohe Genauigkeit mit falschen Antworten ohne Kontext; nahezu null Entropie ( $H_0 \approx 0$ ). Das Modell ist deterministisch falsch, wenn Kontext fehlt.
Unsicher: Hohe Genauigkeit mit Kontext, aber niedrige Genauigkeit und hohe Entropie ohne Kontext. Dieses Regime spiegelt echte Uncertainty wider, die durch fehlende Informationen induziert wird.

Verteilung: Das „Unsicher"-Regime war das größte (43,8 %), was darauf hindeutet, dass die meisten Fragen Kontext benötigen und diverse Antworten zulassen, wenn dieser fehlt.

Leistung der Uncertainty-Maße

Entropie vs. Konfidenz: Wenn Kontext entfernt wird ( $\alpha$ $α$ nimmt ab), fällt die Genauigkeit monoton.
- Entropie ( $H$ ): Nimmt monoton zu, wenn Kontext entfernt wird, und verfolgt den Genauigkeitsverlust eng.
- Konfidenz ( $c$ ): Nimmt viel langsamer ab und bleibt hoch, selbst wenn die Genauigkeit kollabiert. Im kontextsensitiven Teilsubset fiel die Genauigkeit auf 0,05, während die Konfidenz bei 0,52 verblieb.
Vorhersagekraft: Regressionsanalysen zeigten, dass Entropie konsistent mehr Varianz in der Genauigkeit erklärt als Konfidenz über alle Evidenzlevel hinweg.
- Bei $\alpha = 0.5$ (Vollstichprobe) erklärte Entropie 24,3 % der Varianz gegenüber 18,6 % für Konfidenz ( $\Delta R^2 = 0,057$ ).
- Entropie erklärte an diesem Level etwa 31 % mehr Varianz als Konfidenz.
Kalibrierung: Das Kalibrierungsdiagramm (Genauigkeit vs. Konfidenz) zeigte erhebliche Überkonfidenz, die sich verschlimmerte, wenn Kontext entfernt wurde. Entropie hingegen verhielt sich konsistent mit dem MI-Kriterium.

Auflösungsverhältnis

Das Auflösungsverhältnis $\rho_R(\alpha)$ zeigte, dass vollständiger Kontext im Vollstichprobe etwa 80 % der Basis-Uncertainty auflöst. Im kontextsensitiven Teilsubset sagte $\rho_R(\alpha)$ die Genauigkeit monoton voraus, während Konfidenz nicht-monotone Muster aufwies, die vom „verzerrten" Regime getrieben wurden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Response-Entropie ein responsiveres Black-Box-Uncertainty-Maß ist als sampling-basierte Konfidenz unter unvollständigem Kontext.

Theoretische Übereinstimmung: Entropie verhält sich in Übereinstimmung mit der bayesschen Anforderung, dass Uncertainty mit fehlenden Informationen skalieren sollte. Konfidenz versagt systematisch bei dieser Anforderung und bleibt oft hoch, selbst wenn die zugrundeliegende Verteilung diffus ist (ein Zustand, bei dem ein korrekter Imputator hohe Uncertainty signalisieren sollte).
Praktischer Nutzen: Die vorgeschlagenen Metriken (Entropie und $\rho_R$ ) erfordern keinen Zugriff auf Modellinternes (Gewichte, Logits) oder Entailment-Klassifikatoren. Sie sind auf jedes über eine API zugängliche LLM anwendbar.
Implikationen für LLM-Design: Die Autoren schlagen vor, dass die im „verzerrten" Regime beobachtete „Überkonfidenz" von der Softmax-Operation stammen könnte, die Wahrscheinlichkeitsmasse auf die modale Antwort konzentriert. Sie schlagen vor, dass Predictive Mean Matching (PMM) – Sampling aus einem impliziten Spenderpool statt Durchlaufen von Softmax – besser kalibrierte Uncertainty liefern könnte und das LLM-Verhalten mit der Theorie korrekter Imputation in Einklang bringt.

Die Arbeit schließt, dass die Übernahme von Multiple-Imputation-Kriterien in das LLM-Setting einen theorieinspirierten Standard für die Evaluierung von Uncertainty bietet, unabhängig von spezifischen Aufgaben oder Modellen, und einen Kanal zwischen der statistischen Literatur zu fehlenden Daten und der LLM-Uncertainty-Forschung eröffnet.