💬 NLP

Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering

Dieser Artikel argumentiert, dass aktuelle Methoden zur Unsicherheitsquantifizierung für Large Language Models grundlegend versagen, da sie lediglich die interne Generierungskonsistenz durch unüberwachtes Clustering messen anstatt die externe faktische Richtigkeit, wodurch ein trügerisches Sicherheitsgefühl entsteht, das selbstbewusste Halluzinationen nicht erkennen kann.

Ursprüngliche Autoren: Tiejin Chen, Longchao Da, Xiaoou Liu, Hua Wei

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tiejin Chen, Longchao Da, Xiaoou Liu, Hua Wei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das Problem der „Echo-Kammer"

Stellen Sie sich vor, Sie versuchen herauszufinden, ob ein Gerücht wahr ist. Sie fragen eine Gruppe von Freunden: „Ist dieses Gerücht wahr?" und sie rufen alle im perfekten Einklang: „Ja!" aus. Sie könnten denken: „Wow, sie stimmen alle überein, also muss es wahr sein!"

Das Papier argumentiert, dass die aktuellen Methoden zur Überprüfung, ob eine KI zuversichtlich oder verwirrt ist, genau das tun. Sie bitten die KI, sich auf verschiedene Weise zu wiederholen, prüfen, ob die Antworten gleich klingen (interne Konsistenz), und gehen davon aus, dass, wenn die Antworten konsistent sind, sie auch korrekt sein müssen.

Die Autoren behaupten, dies sei ein Kategorienfehler. Sie sagen, diese Methoden messen nicht tatsächlich „Wahrheit"; sie clustern (gruppieren) lediglich ähnlich klingende Antworten zusammen. Wenn die KI zuversichtlich falsch liegt und fünfmal dasselbe Falsche sagt, denkt das System: „Toll! Hohe Zuversicht!", während es eigentlich schreien sollte: „Gefahr! Halluzination!"

Die drei Hauptprobleme (die „Pathologien")

Das Papier identifiziert drei spezifische Wege, auf denen dieser „Clustering"-Ansatz versagt:

1. Die „Drehknopf-empfindliche" Falle (Hyperparameter-Empfindlichkeit)

Die Analogie: Stellen Sie sich einen Metalldetektor vor, der nur piept, wenn Sie ihn in einem sehr spezifischen Winkel halten und mit einer bestimmten Geschwindigkeit gehen. Wenn Sie ihn um einen Grad neigen oder einen Schritt schneller gehen, funktioniert er nicht mehr.
Die Realität: Aktuelle KI-Sicherheitschecks sind extrem empfindlich gegenüber winzigen Einstellungen (wie z. B. wie „zufällig" die KI sein darf). Wenn Forscher diese Einstellungen leicht anpassen, ändert sich der Sicherheitswert drastisch. Dies macht es unmöglich, diesen Tools in der realen Welt zu vertrauen, da wir nicht wissen, welche „Drehknopf-Einstellung" die richtige ist.

2. Die „Echo-Kammer"-Falle (Interne Evaluation)

Die Analogie: Stellen Sie sich einen Schüler vor, der einen gefälschten Geschichtsaufsatz schreibt. Wenn er dieselbe gefälschte Geschichte dreimal hintereinander schreibt, könnte er sich sehr zuversichtlich fühlen. Aber wenn Sie einen Lehrer fragen, würde dieser sagen: „Es ist konsistent, aber es ist immer noch eine Lüge."
Die Realität: Aktuelle Methoden gehen davon aus, dass, wenn die KI konsistent ist, sie auch korrekt ist. Aber KI-Modelle geraten oft in „zuversichtliche Halluzinationen" – sie wiederholen dieselbe Lüge immer wieder. Die Sicherheitsprüfung sieht die Wiederholung, denkt „Hohe Zuversicht" und genehmigt die Lüge. Sie verwechselt Stabilität (das Gleiche sagen) mit Wahrheit.

3. Die „Gummilineal"-Falle (Fehlende Ground Truth)

Die Analogie: Stellen Sie sich vor, Sie versuchen, die Länge eines Tisches mit einem Gummiband als Lineal zu messen. Wenn sich das Gummiband dehnt, ändert sich Ihre Messung. Schlimmer noch: Wenn Sie ein anderes Gummiband verwenden, um das erste zu überprüfen, vergleichen Sie nur zwei dehnbare Dinge miteinander.
Die Realität: Um zu wissen, ob eine KI unsicher ist, müssen wir die „wahre Antwort" kennen. Aber bei offenen Fragen gibt es oft keine einzelne „wahre Antwort", gegen die man prüfen kann. Daher verwenden Forscher andere KI-Modelle, um die erste KI zu überprüfen. Das ist zirkulär: ein Gummiband verwenden, um ein anderes Gummiband zu messen. Das Papier argumentiert, dass dies ein falsches Sicherheitsgefühl erzeugt, da es keine solide „Ground Truth" gibt, an der die Messung verankert werden könnte.

Die vorgeschlagene Lösung: Ein neuer Fahrplan

Die Autoren schlagen vor, aufzuhören, die „Clustering"-Methoden zu reparieren, und stattdessen ein System zu entwickeln, das tatsächlich gegen die Realität prüft. Sie schlagen einen dreistufigen Plan vor:

1. Testen Sie die Worst Cases, nicht den Durchschnitt

Die Analogie: Testen Sie einen Fallschirm nicht nur an einem ruhigen Tag. Testen Sie ihn, wenn der Wind heult und der Fallschirm verheddert ist.
Der Plan: Hören Sie auf, die KIsicherheit danach zu beurteilen, wie gut sie bei „leichten" Fragen abschneidet. Stress-Testen Sie sie stattdessen speziell in den Momenten, in denen sie am wahrscheinlichsten zuversichtlich falsch liegen. Wenn das Sicherheitssystem einen zuversichtlichen Lügner nicht auffängt, ist es gescheitert, auch wenn es in 99 % der Fälle bei leichten Fragen funktioniert hat.

2. Unsicherheit in die DNA der KI einbauen

Die Analogie: Statt einem Auto nachträglich zu fragen: „Sind Sie sicher, dass Sie schnell fahren können?", nachdem es bereits beschleunigt hat, bauen Sie einen Tachometer ein, der fest im Motor verdrahtet ist und den Fahrer bevor er zu schnell wird warnt.
Der Plan: Analysieren Sie nicht nur die Ausgabe der KI, nachdem sie fertig ist. Trainieren Sie die KI selbst, zu wissen, wann sie unsicher ist. Bringen Sie ihr bei, zu sagen: „Ich bin mir nicht sicher" oder „Das ist eine Vermutung", anstatt nur zuversichtlich zu raten.

3. Verwenden Sie „atomare Fakten"-Prüfungen

Die Analogie: Statt einen Freund zu fragen: „Ist diese ganze Geschichte wahr?", zerlegen Sie die Geschichte in winzige Fakten: „Passierte das Ereignis am Dienstag?" „Trug die Person einen roten Hut?" Prüfen Sie jeden winzigen Fakten gegen eine Bibliothek oder eine Datenbank.
Der Plan: Lassen Sie die KI nicht selbst urteilen. Zerlegen Sie ihre Antworten in winzige, unteilbare Fakten und prüfen Sie diese spezifischen Fakten gegen reale Datenbanken, Code-Ausführungen oder Suchmaschinen. Dies verankert das Vertrauen der KI in die objektive Realität, nicht nur in ihre eigenen inneren Gefühle.

Das Fazit

Das Papier kommt zu dem Schluss, dass wir derzeit unüberwachtes Clustering (Gruppieren ähnlicher Antworten) verwenden, um ein Problem zu lösen, das überwachte Verifikation (Prüfung gegen die Wahrheit) erfordert.

Solange wir uns auf Methoden verlassen, die nur prüfen, ob die KI „mit sich selbst konsistent" ist, bleiben wir gegenüber zuversichtlichen Halluzinationen blind. Um KI für hochriskante Bereiche wie Recht und Medizin sicher zu machen, müssen wir aufhören, dem internen Echo der KI zu vertrauen, und beginnen, ihr Vertrauen an eine objektive, externe Realität zu verankern.

Technische Zusammenfassung: Unsicherheitsquantifizierung bei LLMs ist lediglich unüberwachtes Clustering

1. Problemstellung

Die Arbeit argumentiert, dass das Feld der Unsicherheitsquantifizierung (UQ) für Large Language Models (LLMs) unter einem fundamentalen Kategoriefehler leidet. Während UQ weithin als primärer Schutzmechanismus für den Einsatz von LLMs in hochriskanten Domänen (z. B. Gesundheitswesen, Recht) angesehen wird, sind die gängigen Methoden mechanisch isomorph zu unüberwachten Clustering-Algorithmen.

Das Kernproblem besteht darin, dass diese Methoden die interne Konsistenz von Modellgenerierungen quantifizieren, anstatt deren externe faktische Richtigkeit. Folglich versagen sie beim Erkennen von „selbstbewussten Halluzinationen" – Fällen, in denen ein Modell eine stabile, in sich konsistente, aber faktisch falsche Antwort mit hohem Selbstbewusstsein liefert. Dies erzeugt ein trügerisches Sicherheitsgefühl, da aktuelle Metriken nicht zwischen einem Modell unterscheiden können, das sich selbstbewusst irrt, und einem, das sich selbstbewusst richtig verhält.

2. Methodische Analyse: Der Clustering-Mechanismus

Die Autoren liefern eine mechanistische Aufschlüsselung, die zeigt, dass vorherrschende UQ-Methoden auf drei Varianten unüberwachten Clustering reduziert werden können:

Semantische Entropie (Explizites Clustering): Methoden wie Semantische Entropie (SE) und ihre Varianten (SAE, SEN, KLE) diskretisieren den kontinuierlichen Raum generierter Texte in diskrete „Antwortklassen" unter Verwendung von Natural Language Inference (NLI)-Modellen. Sie berechnen die Entropie über diese Cluster. Mechanisch handelt es sich hierbei um einen Clustering-Algorithmus, bei dem das NLI-Modell die Clustermitgliedschaft definiert und die Entropie die Clusterreinheit misst. Es wird die Trennung von Datenpunkten gemessen, nicht deren semantische Wahrheit.
Graphbasierte Quantifizierung (Implizites Clustering): Methoden, die Graphstrukturen nutzen (z. B. Sterngraphen, Graph-Unsicherheit, Spektralanalyse des Laplace-Operators), konstruieren Ähnlichkeitsgraphen aus Stichprobenantworten. Der Unsicherheitswert wird aus spektralen Eigenschaften (Eigenwerte) abgeleitet, die die Anzahl der zusammenhängenden Komponenten oder semantischen Modi schätzen. Dies wird als direkte Instanziierung von spektralem Clustering identifiziert, wobei der Wert die Fragmentierung des Antwortsatzes in kohärente semantische Gruppen widerspiegelt, unabhängig von deren faktischer Validität.
Verbalisierte Überzeugungen (Latentes Vertrauens-Clustering): Methoden wie $P(\text{true})$ bitten das Modell, die Richtigkeit seiner Ausgabe selbst zu bewerten. Die Autoren argumentieren, dass dies als weiches Clustering des latenten Raums des Modells fungiert. Hohes Vertrauen zeigt an, dass die generierte Antwort geometrisch nahe am Schwerpunkt der internen „Überzeugungscluster" des Modells liegt, während geringes Vertrauen sie als Ausreißer kennzeichnet. Das Modell bewertet nicht die Wahrheit; es berechnet den geometrischen Abstand einer Ausgabe von ihren eigenen parametrischen Vertrauenszentren.

3. Identifizierte Schlüsselpathologien

Die Abhängigkeit von unüberwachtem Clustering führt zu drei kritischen Versagen, die die Sicherheit gefährden:

Krise der Hyperparameter-Empfindlichkeit: UQ-Werte zeigen eine fragile Empfindlichkeit gegenüber Hyperparametern (z. B. Sampling-Temperatur, NLI-Schwellenwerte, Anzahl der Stichproben). Ähnlich wie bei Clustering-Algorithmen, bei denen die Wahl von $K$ oder Distanzmetriken die Ergebnisse verändert, schwanken UQ-Werte drastisch basierend auf diesen Einstellungen. Dies macht den Einsatz unsicher, da optimale Parameter unbekannt sind und oft durch nachgelagerte Einschränkungen diktiert werden, was zu einem Sicherheitsillusion durch Parameter-Overfitting führt.
Die Falle der internen Evaluation: Aktuelle Evaluationsnormen vermischen Selbstkonsistenz mit Richtigkeit. Metriken wie AUROC belohnen Methoden, die stabile Generierungen identifizieren. In Fällen von selbstbewussten Halluzinationen ist das Modell jedoch konsistent falsch. Hohe Konsistenz zeigt lediglich eine Konvergenz zu einem stabilen Zustand an, nicht zu einem faktischen.
Das Fehlen einer Ground Truth (Das „Richter-Problem"): Es gibt keine direkte Ground Truth für „wahre Unsicherheit". Die Evaluation stützt sich auf Proxy-Metriken, die Unsicherheit mit der Richtigkeit der Antwort korrelieren. Allerdings ist die Gewinnung objektiver Richtigkeitslabels für offene Aufgaben selbst instabil und stützt sich oft auf andere LLMs als Richter. Dies erzeugt einen rekursiven Kreislauf, in dem ein instabiles Maß (der Richter) zur Validierung des Systems verwendet wird, was Sicherheitsgarantien ungültig macht.

4. Schlüsselleistungen und vorgeschlagene Roadmap

Die Arbeit plädiert für einen Paradigmenwechsel von unüberwachten Heuristiken zu überwachten Garantien. Sie schlägt eine Roadmap mit drei Säulen vor:

A. Evaluation: Von der Durchschnittsleistung zur Worst-Case-Robustheit

Tail-Risk-Evaluation: Fokusverschiebung von aggregierten Metriken (wie globalem AUROC) hin zu Worst-Case-Robustheit. Die Autoren schlagen vor, UQ als aktives Warnsystem (Ablehnungsmechanismus) zu behandeln. Die Evaluation sollte die True-Positive-Rate (TPR) bei einer strikt niedrigen False-Positive-Rate (FPR) messen, um sicherzustellen, dass das System katastrophale selbstbewusste Halluzinationen erkennt, anstatt nur einfache richtig/falsch-Paare zu unterscheiden.
Berichterstattung zur Empfindlichkeit: Einführung der Area Under the Stability Curve (AUSC). Anstatt Spitzenleistungen nach exhaustivem Hyperparameter-Tuning zu berichten (was die Autoren mit P-Hacking vergleichen), müssen Forscher Leistungsprofile über einen kontinuierlichen Sweep von Hyperparametern (z. B. Temperatur) hinweg berichten, um distributionale Robustheit nachzuweisen.

B. Mechanismus: Von Post-hoc-Heuristiken zu nativen Garantien

Konforme Vorhersage (CP): Über die rohen Vertrauenswerte hinausgehen. Verwenden Sie UQ-Methoden als Nicht-Konformitäts-Scores innerhalb von Frameworks der Konformen Vorhersage. Dies zwingt Unsicherheitsschätzungen, sich der Realität zu stellen, indem sie Vorhersagemengen mit garantierter Abdeckung generieren. Wenn ein Modell selbstbewusst halluziniert, muss die Vorhersagemenge explodieren, um die Abdeckung aufrechtzuerhalten, was eine wahrheitsbewusste Metrik liefert, der die interne Konsistenz fehlt.
Native Unsicherheitsausrichtung: Wechsel von standardmäßiger Instruction Tuning hin zu Unsicherheitsausrichtung durch Post-Training (z. B. RLHF). Modelle sollten explizit trainiert werden, Vertrauensniveaus zu artikulieren (z. B. „Ich bin zuversichtlich, dass..." vs. „Es ist möglich, dass..."), um interne Repräsentationen an explizite Gültigkeitsansprüche zu koppeln, anstatt an latente geometrische Artefakte.

C. Verankerung: Etablierung objektiver Wahrheit

Obligatorische Unit-Tests: Quantifizierungsmethoden müssen Gold-Standard-Unit-Tests in überprüfbaren Umgebungen (z. B. Codeausführung, mathematisches Schlussfolgern mit festen Konstanten) bestehen, bevor sie auf offene Generierung angewendet werden. Dies stellt sicher, dass die Methode in deterministischen Settings Wahrheit von Falschheit unterscheiden kann.
Atomare Faktenverifikation: Ersetzen Sie subjektive, auf LLMs basierende Richter durch Atomare Faktenverifikation. Komplexe Narrative sollten in atomare Behauptungen zerlegt und gegen externe Autoritäten (Suchmaschinen, strukturierte Wissensbasen, formale Theorembeweiser wie Lean4) verifiziert werden, um die zyklische Abhängigkeit der Modell-zu-Modell-Evaluation zu durchbrechen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die aktuelle Entwicklung der UQ-Forschung fundamental fehlerhaft ist, da sie versucht, ein Problem der externen Realität mit Werkzeugen zu lösen, die für die interne Struktur konzipiert wurden.

Trügerische Sicherheit: Die primäre Bedeutung dieser Arbeit ist die Warnung, dass aktuelle UQ-Methoden ein „trügerisches Sicherheitsgefühl" erzeugen. Sie mögen offensichtliche Fehler filtern, versagen jedoch beim Erkennen der gefährlichsten Ausfälle: stabiler, selbstbewusster Halluzinationen.
Notwendigkeit eines Paradigmenwechsels: Die Autoren argumentieren, dass die Gemeinschaft die Verfolgung besserer unüberwachter Heuristiken aufgeben muss. Ohne die Verankerung der Verifikation in objektiver Wahrheit und den Übergang zu überwachten Garantien werden LLMs in kritischen Domänen unzuverlässig bleiben.
Neudefinition des Feldes: Indem UQ als Problem des unüberwachten Clustering identifiziert wird, definiert die Arbeit die Grenzen des Feldes neu: nicht als technische Herausforderungen, die durch Feinabstimmung gelöst werden können, sondern als strukturelle Pathologien, die eine grundlegende Änderung in Evaluation, Mechanismus und Verankerung erfordern.

Die Arbeit schließt damit, dass für den zuverlässigen Betrieb von KI-Systemen in hochriskanten Domänen das Modellvertrauen ein zuverlässiger Proxy für faktische Richtigkeit sein muss, nicht lediglich ein Maß für interne Konsistenz.