💬 NLP

Geometry-Calibrated Conformal Abstention for Language Models

Dieser Artikel schlägt Geometry-Calibrated Conformal Abstention vor, ein nachgelagertes Framework, das die Repräsentationsgeometrie nutzt, um die Vorhersagekonfidenz zu kalibrieren und Sprachmodellen zu ermöglichen, selektiv auf die Beantwortung von Anfragen zu verzichten, wobei sowohl die Teilnahmequoten als auch die Richtigkeit der Antworten durch endliche Stichproben garantiert werden, wodurch Halluzinationen effektiv gemildert werden, ohne dass ein Nachtrainieren erforderlich ist.

Ursprüngliche Autoren: Rui Xu, Yi Chen, Sihong Xie, Hui Xiong

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rui Xu, Yi Chen, Sihong Xie, Hui Xiong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, gut gebildeten Freund (ein Large Language Model), der gerne plaudert. Manchmal kennt dieser Freund die Antwort auf Ihre Frage sofort. In anderen Fällen ist er völlig ahnungslos, aber weil er so bestrebt ist, Ihnen zu gefallen, erfindet er eine plausible Geschichte, anstatt zuzugeben, dass er es nicht weiß. Dies wird als „Halluzination" bezeichnet.

Das von Ihnen geteilte Papier schlägt eine neue Methode vor, um diesem Freund beizubringen, wann er „Ich weiß es nicht" sagen soll, ohne sein gesamtes Gehirn neu trainieren zu müssen. Sie nennen dieses System Conformal Abstention (CA) (Konforme Enthaltung).

So funktioniert es, aufgeschlüsselt in einfache Konzepte und Analogien:

1. Das Problem: Das „Raten-Spiel"

Derzeit fühlt sich Ihr KI-Freund unter Druck gesetzt, eine Antwort zu geben, wenn Sie ihn etwas fragen, das er nicht weiß. In der Schule, wenn Sie bei einem Multiple-Choice-Test raten, haben Sie vielleicht Glück und erhalten einen Punkt. Wenn Sie „Ich weiß es nicht" schreiben, erhalten Sie null Punkte. Daher lernt die KI, dass Raten immer besser ist als das Eingeständnis der Unwissenheit. Dies führt zu selbstbewusst klingenden Lügen.

2. Die Lösung: Ein „Vertrauens-Check"

Die Autoren haben ein nachträgliches (post-hoc) System entwickelt, das wie ein Türsteher an der Tür der Antworten der KI fungiert. Bevor die Antwort der KI Ihnen gezeigt wird, prüft dieser Türsteher: „Ist die KI tatsächlich zuversichtlich und kenntnisreich bezüglich dieser Frage, oder blufft sie nur?"

Wenn die KI blufft, hält der Türsteher die Antwort zurück und sagt: „Ich weiß es nicht." Wenn die KI wirklich zuversichtlich ist, wird die Antwort durchgelassen.

3. Das Geheimrezept: „Geometrische Signale"

Wie weiß der Türsteher, ob die KI blufft? Er schaut nicht nur auf die finalen Worte; er schaut in das Gehirn der KI, während sie denkt.

Stellen Sie sich das Gehirn der KI als eine Fabrik mit vielen Fließbändern (Schichten) vor. Um eine Antwort zu erstellen, bewegt die KI ein Stück Information (ein „Token") den Fließbandweg entlang.

Die Wissens-Injektion (MLP): Es gibt eine spezifische Maschine in der Fabrik, die MLP (Multi-Layer Perceptron) heißt. Stellen Sie sich diese als die Bibliothek vor, in der die KI ihre Fakten speichert.
Der Geometrie-Check: Das neue System beobachtet, wie die „Bibliothek"-Maschine die Information verändert, während sie hindurchgeht. Es misst drei Dinge mithilfe von Geometrie (Formen und Winkeln):
1. Nähe (Wie nah ist die Veränderung?): Hat die Bibliothek-Maschine tatsächlich etwas an der Information verändert, oder ist die Information unverändert hindurchgegangen? Wenn die Bibliothek sie berührt hat, ist das ein gutes Zeichen.
2. Rotation (Hat sich die Richtung geändert?): Hat die Bibliothek die Information in eine neue Richtung gedreht? Wenn sich die Information wild dreht, könnte das bedeuten, dass die KI verwirrt ist. Wenn sie sich reibungslos in Richtung einer bekannten Tatsache dreht, ist das gut.
3. Ausrichtung (Ist sie auf dem richtigen Weg?): Stellen Sie sich vor, dass das gesamte „gute" Wissen der KI innerhalb eines bestimmten kegelförmigen Tunnels lebt. Wenn die Information innerhalb dieses Tunnels bleibt, ist es wahrscheinlich eine korrekte, zuverlässige Tatsache. Wenn sie außerhalb des Tunnels wandert, ist es wahrscheinlich eine Halluzination.

Die Analogie:
Stellen Sie sich vor, Sie fragen einen Reiseleiter über eine Stadt.

Gute Antwort: Der Guide zeigt auf ein bestimmtes Wahrzeichen, dreht seinen Körper dazu und geht selbstbewusst die Hauptstraße entlang (Hohe Nähe, gute Rotation, ausgerichtet mit dem „Touristenpfad").
Schlechte Antwort (Halluzination): Der Guide winkt vage mit den Händen, dreht sich im Kreis und zeigt auf ein Feld, das nicht existiert (Geringe Nähe, chaotische Rotation, Wandern außerhalb des „Touristenpfads").

Das System verwendet diese geometrischen „Körpersprache"-Signale, um zu entscheiden, ob die Antwort vertrauenswürdig ist.

4. Die „Garantie" (Das Sicherheitsnetz)

Das Papier verwendet eine mathematische Methode namens Conformal Prediction (Konforme Vorhersage). Stellen Sie sich dies als eine statistische Zusage vor.

Das System rät nicht einfach; es berechnet einen Schwellenwert. Es verspricht: „Wenn wir nur Antworten durchlassen, die unseren geometrischen Check bestehen, garantieren wir, dass 75 % der Antworten, die Sie sehen, korrekt sein werden."

Es garantiert auch, dass die KI nicht zu schüchtern sein wird. Es verspricht: „Wir werden nicht so oft 'Ich weiß es nicht' sagen, dass wir 90 % der Zeit aufhören zu antworten." Es balanciert Sicherheit mit Hilfsbereitschaft aus.

5. Die Ergebnisse

Die Autoren testeten dies an sechs verschiedenen Arten von Fragen (von einfachen Fakten bis hin zu komplexem Schlussfolgern). Sie stellten fest, dass ihr geometrischer „Körpersprache"-Check Lügen viel besser aufdeckte als frühere Methoden.

Alte Methoden waren wie das Prüfen, ob die KI selbstbewusst klang (was Lügner können).
Ihre Methode prüft die interne „Körpersprache" der KI, um zu sehen, ob sie die Antwort tatsächlich kennt.

Zusammenfassend: Dieses Papier gibt Large Language Models einen neuen „Lügendetektor", der in ihre eigene innere Geometrie eingebaut ist. Es ermöglicht ihnen, Unwissenheit zuzugeben, wenn sie unsicher sind, und stellt sicher, dass sie, wenn sie sprechen, mit viel größerer Wahrscheinlichkeit die Wahrheit sagen.

1. Problemstellung

Large Language Models (LLMs) erkennen ihre eigenen Wissensgrenzen oft nicht. Wenn sie mit Anfragen konfrontiert werden, die außerhalb ihrer Trainingsverteilung oder ihres Wissensspeichers liegen, neigen sie dazu, plausibel klingende, aber faktisch falsche Antworten zu generieren (Halluzinationen), anstatt zu verweigern (d. h. „Ich weiß es nicht" zu sagen).

Einschränkungen beim Training: Das Nachtrainieren von Modellen, um Verweigerung zu belohnen, ist schwierig, da Benchmarks, die explizit das Raten bestrafen und Ignoranz belohnen, selten sind. Darüber hinaus können solche Eingriffe zu Overfitting oder zu einem übermäßig konservativen Verhalten führen, bei dem Modelle selbst dann keine Antwort geben, wenn sie die Antwort kennen.
Bestehende nachträgliche Methoden: Die traditionelle Konformale Vorhersage (Conformal Prediction, CP) bietet finite-Stichproben-Garantien für Unsicherheit, verlässt sich jedoch auf „Nicht-Konformitäts-Scores". Bei der offenen Textgenerierung ist die Definition einer Ground-Truth-Score-Funktion unlösbar, da korrekte Antworten unendlich viele semantisch äquivalente Formen annehmen können.
Kernfrage: Können LLMs mit einem nachträglichen Mechanismus ausgestattet werden, der es ihnen ermöglicht, bei Unsicherheit zuverlässig die Antwort zu verweigern, ohne nachtrainiert zu werden, und gleichzeitig theoretische Garantien für die Richtigkeit liefert?

2. Methodik: Konforme Verweigerung (Conformal Abstention, CA)

Die Autoren schlagen Conformal Abstention (CA) vor, ein Rahmenwerk, das die Theorie der Konformen Vorhersage mit einer neuartigen kalibrierungsstrategie auf Basis der Repräsentationsgeometrie kombiniert.

A. Theoretischer Rahmen (Konforme Verweigerung)

CA passt CP an das Setting der Sprachgenerierung an, indem es sich auf Vorhersagekonfidenz statt auf Nicht-Konformitäts-Scores konzentriert. Es werden zwei finite-Stichproben-Garantien etabliert:

Teilnahmegarantie: Begrenzt die Wahrscheinlichkeit, dass das Modell eine Antwort liefert (nicht verweigert).
Garantie für bedingte Richtigkeit: Begrenzt die Wahrscheinlichkeit, dass eine gegebene Antwort korrekt ist, gegeben, dass das Modell zur Teilnahme entschieden hat.

Das Rahmenwerk verwendet einen Unsicherheits-Score $r(\hat{y}|x)$ (z. B. Perplexität). Durch Festlegung eines Schwellenwerts $\tau$ basierend auf einem Kalibrierungsdatensatz verweigert das Modell die Antwort, wenn der Score $\tau$ überschreitet. Theoretische Beweise (Satz 3.1, Lemma 3.2) zeigen, dass, wenn die Eingabe-Ausgabe-Paare austauschbar sind, die bedingte Richtigkeit der beibehaltenen Antworten durch ein vom Benutzer spezifiziertes Konfidenzniveau nach unten begrenzt ist.

B. Kalibrierung via Repräsentationsgeometrie

Um sicherzustellen, dass der Unsicherheits-Score den internen Zustand des Modells (Wissen vs. Unwissen) treu widerspiegelt, führen die Autoren eine Kalibrierungsstrategie ein, die auf der Geometrie der Token-Repräsentationen über die Transformer-Schichten hinweg basiert. Sie hypothesieren, dass, wenn ein Modell internes Wissen nutzt, die MLP-Updates (Multi-Layer Perceptron) spezifische geometrische Transformationen in den Hidden States induzieren.

Sie extrahieren drei geometrische Signale aus der Trajektorie der Einbettung des letzten Abfragetokens:

Nähe ( $\omega$ ): Misst den Beitrag des MLP-Updates. Sie berechnet den Abstand zwischen den Embeddings vor und nach dem MLP. Eine kleine Distanz (hohe Nähe) zeigt an, dass das MLP die Repräsentation aktiv geformt hat.
Embedding-Rotation ( $\theta$ ): Misst den Rotationswinkel, der durch das MLP-Update induziert wird. Große Rotationen deuten auf eine signifikante Verschiebung der Vorhersagerichtung hin, die oft mit dem Abruf spezifischen Wissens verbunden ist.
Ausrichtung ( $\phi$ ): Misst den Winkel zwischen der Token-Embedding und der dominanten anisotropen Richtung der in-Distribution-Daten. Eine hohe Ausrichtung deutet darauf hin, dass das Modell innerhalb seiner gelernten Verteilung operiert; eine Abweichung deutet auf Extrapolation (Unsicherheit) hin.

Validierte Hypothesen:

H1: Korrekte Vorhersagen sind mit einem starken Wissensbeitrag (hoher $\omega$ ) verbunden, der eine signifikante Rotation induziert (hoher $\theta$ ).
H2: Korrekte Vorhersagen bleiben mit dem anisotropen Kegel der In-Distribution-Daten ausgerichtet (niedriger $\phi$ ), während inkorrekte Vorhersagen abweichen.

C. Kalibrierungspipeline

Feature-Extraktion: Für jedes Token berechnet das Modell einen Feature-Vektor $(\Omega, \Theta, \Phi_{in}, \Phi_{out})$ , der die geometrischen Signale über alle Schichten hinweg erfasst.
Distanzberechnung: Das System berechnet die Mahalanobis-Distanz dieser Features von den Verteilungen von korrekten und inkorrekten Vorhersagen.
Kalibrator-Training: Ein XGBoost-Modell wird trainiert, um diese geometrischen Features (kombiniert mit der rohen Perplexität) in einen verfeinerten Unsicherheits-Score abzubilden.
Entscheidung: Der finale Unsicherheits-Score bestimmt, ob aufgrund des konformen Schwellenwerts verweigert werden soll.

3. Hauptbeiträge

Rahmenwerk für Konforme Verweigerung: Eine nachträgliche Methode, die rigorose finite-Stichproben-Garantien sowohl für Teilnahmeraten als auch für bedingte Richtigkeit bei offener Generierung bietet und die Unlösbarkeit von Nicht-Konformitäts-Scores umgeht.
Geometriebasierte Kalibrierung: Ein neuartiger Ansatz zur Unsicherheitsquantifizierung, der die internen geometrischen Dynamiken von Transformer-Schichten (MLP-Beiträge, Rotationen und Anisotropie) nutzt, um die Konfidenz besser mit der tatsächlichen Richtigkeit in Einklang zu bringen.
Theoretische Garantien: Beweise, die zeigen, dass die Austauschbarkeit unter den deterministischen Transformationen erhalten bleibt, die zur Ableitung von Unsicherheits-Scores verwendet werden, wodurch die Gültigkeit der konformen Schranken sichergestellt wird.
Umfassende Evaluation: Umfangreiche Experimente über sechs verschiedene Datensätze (NQ, TruthfulQA, GSM8K usw.) und mehrere Modellgrößen (Gemma-3, LLaMA-3).

4. Experimentelle Ergebnisse

Leistung: Die vorgeschlagene Methode übertrifft starke Baselines (einschließlich Perplexität, Semantische Entropie, Attention-basierte Methoden und verbalisierte Konfidenz) über alle Datensätze hinweg signifikant.
Bedingte Richtigkeit: Unter konformer Verweigerung erreicht die Methode eine durchschnittliche bedingte Richtigkeit von 75,0 %. Das bedeutet, dass das Modell, wenn es sich entscheidet zu antworten, in 75 % der Fälle korrekt ist – eine signifikante Verbesserung gegenüber Baselines, die oft bei 50–60 % liegen.
Robustheit: Die Methode behält über verschiedene Teilnahmeraten hinweg eine hohe Leistung bei (von 10 % bis 90 % der beantworteten Anfragen).
Ablationsstudien: Das Permutieren der geometrischen Signale ( $\omega, \theta, \phi$ ) führt zu vergleichbaren Leistungseinbußen, was darauf hindeutet, dass alle drei Signale entscheidend und komplementär sind.
Basiskalibrierung: Die Autoren zeigen, dass die einfache Anwendung ihres Kalibrators auf bestehende Baselines die Leistung oft verschlechtert (aufgrund von Overfitting auf niedrigdimensionale Signale), wohingegen ihre hochdimensionalen geometrischen Features erheblich von der Kalibrierung profitieren.

5. Bedeutung

Diese Arbeit adressiert eine kritische Zuverlässigkeitslücke beim Einsatz von LLMs. Durch die Befähigung von Modellen zur selektiven Verweigerung mit theoretischen Garantien reduziert CA das Risiko von Halluzinationen in hochriskanten Bereichen (Gesundheitswesen, Recht, Wissenschaft), ohne dass ein kostspieliges Nachtraining erforderlich ist. Die Einführung der Repräsentationsgeometrie als Proxy für „Wissensbeteiligung" bietet ein neues Paradigma für die Unsicherheitsquantifizierung, das über oberflächliche Wahrscheinlichkeiten hinausgeht und in die internen Mechanismen eindringt, wie Modelle Informationen verarbeiten. Dies macht das System für reale Anwendungen vertrauenswürdiger und handlungsorientierter, in denen das Eingeständnis von Unwissenheit der Bereitstellung falscher Informationen vorzuziehen ist.