📊 statistics

Domain-Shift-Aware Conformal Prediction for Large Language Models

Dieses Paper schlägt Domain-Shift-Aware Conformal Prediction (DS-CP) vor, ein neuartiges Framework, das die Zuverlässigkeit der Unsicherheitsquantifizierung für Large Language Models unter Domain Shift verbessert, indem es Kalibrierungsproben systematisch basierend auf ihrer Nähe zu Test-Prompts umgewichtet, wodurch valide Abdeckungsgarantien gewahrt und gleichzeitig die Adaptivität verbessert werden.

Ursprüngliche Autoren: Zhexiao Lin, Yuanyuan Li, Neeraj Sarna, Yuanyuan Gao, Michael von Gablenz

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhexiao Lin, Yuanyuan Li, Neeraj Sarna, Yuanyuan Gao, Michael von Gablenz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, belesenen Bibliothekar (das Large Language Model, oder LLM), der jahrelang eine bestimmte Auswahl an Büchern studiert hat (die Trainingsdaten). Dieser Bibliothekar ist großartig darin, Fragen zu diesen Büchern zu beantworten. Wenn Sie ihn jedoch plötzlich nach einem völlig anderen Thema fragen, das er noch nie gesehen hat (ein „Domain Shift“), antwortet er möglicherweise trotzdem mit derselben Zuversicht, selbst wenn er Dinge erfindet. Dies wird als „Halluzination“ bezeichnet, und es ist gefährlich, wenn die Antwort zu 100 % wahr sein muss.

Um dies zu beheben, nutzen Statistiker ein Sicherheitsnetz namens Conformal Prediction. Betrachten Sie dies als ein „Vertrauensnetz“. Anstatt Ihnen nur eine einzige Antwort zu geben, liefert das Netz eine kleine Liste möglicher Antworten. Das Ziel ist es, sicherzustellen, dass die richtige Antwort in 90 % der Fälle (oder einem anderen von Ihnen gewählten Sicherheitsniveau) in dieser Liste enthalten ist.

Das Problem: Das Netz bricht, wenn sich die Welt verändert
Das Standard-Sicherheitsnetz funktioniert perfekt, wenn der Bibliothekar Fragen aus derselben Welt beantwortet, die er studiert hat. Aber in der realen Welt ändern sich die Fragen. Wenn der Bibliothekar auf die Geschichte des 19. Jahrhunderts trainiert wurde, Sie ihn aber nach moderner KI fragen, versagt das Standardnetz. Es wird zu eng, glaubt, es wisse die Antwort, obwohl es sie eigentlich nicht weiß, und die richtige Antwort schlüpft durch die Löcher.

Die Lösung: DS-CP (Das „Smart Translator“-Netz)
Die Autoren schlagen eine neue Methode vor, die Domain-Shift-Aware Conformal Prediction (DS-CP) heißt. So funktioniert sie, unter Verwendung einfacher Analogien:

1. Die „Semantische Karte“ (Embeddings)

LLMs arbeiten mit Wörtern, was wie eine riesige, chaotische Bibliothek mit Milliarden von Büchern ist. Es ist unmöglich, jedes einzelne Buch direkt mit jedem anderen zu vergleichen.

Die Analogie: Stellen Sie sich vor, Sie verwandeln jede Frage in eine Koordinate auf einer riesigen, vereinfachten Karte. Auf dieser Karte liegen Fragen über „Katzen“ nah beieinander, und Fragen über „Quantenphysik“ sind weit entfernt.
Was sie tun: Sie verwenden ein Werkzeug, um die komplexen Fragen in diese Koordinaten (genannt „Embeddings“) zu übersetzen. Dies macht es möglich zu sehen, wie „nah“ eine neue Frage an den Fragen liegt, die der Bibliothekar studiert hat.

2. Die „Gewichtete Menge“ (Density Ratio)

Nun muss das System entscheiden: „Wie sehr sollten wir den vergangenen Antworten des Bibliothekars für diese spezifische neue Frage vertrauen?“

Die Analogie: Stellen Sie sich vor, der Bibliothekar steht in einer Menge von Menschen, die ihm beim Training geholfen haben. Wenn Sie eine Frage über „Katzen“ stellen, sollten die Menschen in der Menge, die etwas über Katzen wissen, mit lauter Stimme sprechen (hohes Gewicht), während die Menschen, die nur etwas über „Autos“ wissen, flüstern sollten (niedriges Gewicht).
Was sie tun: Das System schaut auf die Karte. Wenn die neue Frage nahe am „Katzen-Cluster“ liegt, hört es mehr auf die „Katzen-Experten“ in den Trainingsdaten. Wenn die neue Frage weit entfernt von allem ist, was der Bibliothekar weiß, erkennt das System: „Wir haben hier nicht genug Experten“, und wird sehr vorsichtig.

3. Die „Sicherheitsbremse“ (Regularization)

Es besteht das Risiko: Wenn die neue Frage sehr verschieden von allem ist, was der Bibliothekar weiß, könnte das System verwirrt werden und sagen: „Okay, da wir nichts wissen, könnte die Antwort alles sein!“ Dies erzeugt eine nutzlose, riesige Liste von Antworten.

Die Analogie: Es ist wie beim Tempomaten eines Autos. Wenn die Straße zu steil wird und der Motor damit nicht zurechtkommt, fährt das Auto nicht einfach aus der Kurve, sondern wird sanft auf eine sichere, konservative Geschwindigkeit abbremsen.
Was sie tun: Die Autoren fügen eine „Bremse“ (Regularization) hinzu. Wenn das System feststellt, dass eine große Lücke zwischen dem, was der Bibliothekar weiß, und dem, was Sie fragen, besteht, weitet es das Sicherheitsnetz automatisch gerade so weit aus, dass es sicher ist, aber nicht so weit, dass es unbrauchbar wird.

Die Ergebnisse: Ein besseres Sicherheitsnetz

Die Autoren testeten dies an einem massiven Satz von Trivia-Fragen (MMLU), die 17 verschiedene Fachgebiete abdecken (wie Recht, Biologie und Geschichte). Sie trainierten den Bibliothekar auf einem Fachgebiet und testeten ihn auf einem anderen.

Standardmethode: Als sich das Fachgebiet änderte, versagte das Sicherheitsnetz oft und ließ die richtige Antwort durchrutschen (Unterdeckung/Under-coverage).
DS-CP-Methode: Die neue Methode bemerkte den Wechsel des Fachgebiets. Sie geriet nicht in Panik; sie weitete das Netz einfach genau so weit aus, dass die richtige Antwort wieder eingefangen wurde.
Der Kompromiss: Manchmal musste das Netz etwas größer sein (indem es ein paar mehr Möglichkeiten auflistete), aber dies ist ein kleiner Preis dafür, tatsächlich zu 90 % richtig zu liegen, anstatt selbstbewusst falsch zu liegen.

Zusammenfassend
Dieses Paper führt eine intelligentere Art der Nutzung von KI-Sicherheitsnetzen ein. Anstatt dem Vertrauen der KI blind zu vertrauen, prüft die neue Methode (DS-CP), wie ähnlich die neue Frage dem ist, was die KI gelernt hat. Wenn die Frage vertraut ist, liefert sie eine enge, präzise Antwort. Wenn die Frage fremdartig ist, weitet sie das Sicherheitsnetz sanft aus, um sicherzustellen, dass die Antwort dennoch eingefangen wird, was verhindert, dass die KI selbstbewusst halluziniert.

Technisches Resümee: Domänenverschiebung-bewusste Konforme Prädiktion für Large Language Models

Problemstellung
Large Language Models (LLMs) produzieren häufig übermäßig selbstbewusste, aber faktisch falsche Ausgaben (Halluzinationen), was in hochsensiblen Bereichen wie dem Gesundheitswesen oder dem Finanzwesen erhebliche Risiken birgt. Während die Konforme Prädiktion (Conformal Prediction, CP) einen fundierten Rahmen für die Unsicherheitsschätzung (Uncertainty Quantification, UQ) mit endlichen Stichproben und distributionsfreien Abdeckungsgarantien bietet, stützt sich die Standard-CP auf die Austauschbarkeit (Exchangeability)-Annahme. Diese Annahme setzt voraus, dass Kalibrierungs- und Testdaten aus derselben Verteilung stammen. In realen Anwendungen ist die Domänenshift (Domain Shift) jedoch allgegenwärtig; Test-Prompts unterscheiden sich oft signifikant von historischen Kalibrierungsdaten aufgrund von sich entwickelndem Nutzerverhalten oder veränderten Eingangsverteilungen. Unter solchen Verschiebungen leidet die Standard-CP häufig unter Unterdeckung (Under-coverage), indem sie Vorhersagesets produziert, die zu eng sind, um die wahre Antwort zu enthalten, wodurch sie zuverlässige Unsicherheitsgarantien verfehlt.

Methodik: DS-CP-Framework
Die Autoren schlagen die Domänenshift-bewusste Konforme Prädiktion (Domain-Shift-Aware Conformal Prediction, DS-CP) vor, ein Framework, das darauf ausgelegt ist, CP für LLMs unter Domänenshift anzupassen, ohne markierte Ziel-Daten zu benötigen. Die Methode adressiert die Unmöglichkeit der Schätzung von Dichteverhältnissen in hochdimensionalen, unstrukturierten Prompt-Räumen durch folgende Schritte:

Semantische Einbettung: Anstatt im rohen Token-Raum zu operieren, verwendet das Framework ein vortrainiertes Embedding-Modell $h: \mathcal{X} \to \mathcal{Z}$ , um Prompts in einen niederdimensionalen semantischen Raum zu projizieren. Dies erfasst die domänenübergreifende Ähnlichkeit und ermöglicht es, den Domänenshift durch die Verschiebung der Embedding-Verteilung zu charakterisieren.
Schätzung des Dichteverhältnisses: Im Embedding-Raum wird ein Domänenklassifikator trainiert, um zwischen Quell- (Kalibrierungs-) und Ziel- (Test-) Prompts zu unterscheiden. Dieser Klassifikator schätzt das Dichteverhältnis $\tilde{r}(z) = \frac{dP'_Z}{dP_Z}(z)$ , welches als Gewichtung für die Kalibrierungsproben basierend auf ihrer Nähe zur Zieldomäne dient.
Regularisierte Gewichtung: Um zu verhindern, dass die Vorhersagesets in den gesamten Output-Raum degenerieren (ein Risiko, wenn Dichteverhältnisse aufgrund großer Verschiebungen oder kleiner Stichprobengrößen stark unausgewogen sind), führen die Autoren einen Regularisierungsschritt ein. Das dem Testpunkt zugewiesene Gewicht wird durch einen regularisierten Parameter $\lambda$ $λ$ ersetzt, der nur von den Kalibrierungsdaten abhängt.
- Die empirische Score-Verteilung wird wie folgt konstruiert:
  $\hat{\mu}_n = \sum_{i=1}^n \frac{\hat{w}_i}{\sum \hat{w}_j + \lambda} \delta_{S_i} + \frac{\lambda}{\sum \hat{w}_j + \lambda} \delta_{\infty}$
  wobei $\hat{w}_i$ die geschätzten Dichteverhältnisse für die Kalibrierungsproben sind und $\lambda$ (typischerweise als $\max_i \hat{w}_i$ gewählt) gewählt wird, um die Balance zwischen Validität und Adaptivität zu halten.
Konstruktion des Vorhersagesets: Das finale Vorhersageset für einen neuen Prompt wird durch das $(1-\alpha)$ -Quantil dieser gewichteten empirischen Verteilung definiert.

Theoretische Garantien
Das Paper etabliert Finite-Sample-Coverage-Bounds für DS-CP:

Untere Schranke: Die Abdeckungswahrscheinlichkeit wird garantiert mindestens $1 - \alpha$ abzüglich eines Gap-Terms sein. Dieser Gap hängt von den normalisierten Gewichten und der Total Variation Distance zwischen den Score-Distributionen der Kalibrierungs- und Testpunkte im Embedding-Raum ab.
Glattheitsbedingung (Smoothness Condition): Die Autoren zeigen, dass, falls der Nichtkonformitäts-Score glatt in Bezug auf das semantische Embedding variiert, der Coverage-Gap auch dann klein bleibt, wenn die rohen Prompt-Verteilungen verschieden sind.
Konservativität: Eine obere Schranke wird bereitgestellt, die zeigt, dass der Regularisierungsterm $\lambda$ einen kontrollierten Grad an Konservativität (Überdeckung) einführt, wenn die effektive Stichprobengröße der relevanten Kalibrierungsdaten gering ist.
Wiederherstellung der Standard-CP: Unter der Austauschbarkeitsbedingung (kein Domänenshift) reduziert sich die Methode exakt auf die Standard-CP, wodurch die Validität im idealen Szenario sichergestellt wird.

Experimentelle Ergebnisse
Das Framework wurde auf dem MMLU-Benchmark evaluiert, wobei verschiedene Fachkategorien als distinkte Domänen behandelt wurden, um Domänenshift zu simulieren. Die Experimente wurden über 16 Open-Source-LLMs aus 9 Modellfamilien durchgeführt.

Abdeckung (Coverage): Die Standard-CP erreichte häufig nicht die angestrebte 90%-ige Abdeckung und fiel oft signifikant unter diesen Wert, wenn die Kalibrierungs- und Testdomänen divergierten. DS-CP verbesserte die Abdeckung konsistent und hielt sie näher am Zielwert über alle Modelle und Domänenpaare hinweg.
Set-Größe: Obwohl DS-CP etwas größere Vorhersagesets als die Standard-CP produzierte, um den Shift zu kompensieren, war der Zuwachs moderat. Dies demonstriert einen erfolgreichen Trade-off zwischen der Wiederherstellung der Validität und der Aufrechterhaltung der Effizienz.
Adaptivität: Die Analyse zeigte, dass DS-CP gezielt Unterdeckungen in schwierigen Fällen korrigiert (in denen die Standard-CP versagt), während es minimale Anpassungen vornimmt, wenn die Standard-CP bereits valide ist, was beweist, dass es sich nicht lediglich um eine uniforme Vergrößerung der Sets handelt.

Bedeutung und Ansprüche
Das Paper beansprucht, einen praktischen Schritt in Richtung einer vertrauenswürdigen Unsicherheitsschätzung für LLMs in realen Einsätzen zu leisten. Seine primäre Bedeutung liegt in:

Erweiterung der CP über die Austauschbarkeit hinaus: Es bietet eine systematische, theoretisch fundierte Methode zum Umgang mit Domänenshift in LLMs – ein Szenario, in dem die Standard-CP versagt.
Semantische Adaptation: Durch die Nutzung semantischer Embeddings anstelle von Rohtext macht es die Schätzung von Dichteverhältnissen für hochdimensionale LLM-Inputs praktikabel.
Ausgewogene Zuverlässigkeit: Es erreicht ein Gleichgewicht zwischen statistischer Validität (Bewahrung der Abdeckungsgarantien) und Adaptivität (Anpassung der Vorhersagesets an die spezifische Zieldomäne) und adresset damit das kritische Problem unzuverlässiger Vorhersagen in sicherheitskritischen Anwendungen.

Die Autoren weisen auf Limitationen hin, darunter die Abhängigkeit von der Qualität der Embedding- und Dichteverhältnis-Schätzer, die Notwendigkeit unmarkierter Ziel-Prompts sowie den aktuellen Fokus auf Multiple-Choice-Aufgaben statt auf freier Textgenerierung. Sie postulieren jedoch, dass DS-CP eine fundierte Anpassung der konformen Prädiktion darstellt, die speziell auf die hochdimensionale, unstrukturierte Natur von LLM-Prompts unter Verteilungsverschiebung zugeschnitten ist.

1. Die „Semantische Karte“ (Embeddings)

2. Die „Gewichtete Menge“ (Density Ratio)

3. Die „Sicherheitsbremse“ (Regularization)

Die Ergebnisse: Ein besseres Sicherheitsnetz

Technisches Resümee: Domänenverschiebung-bewusste Konforme Prädiktion für Large Language Models

Mehr davon