💬 NLP

Estimating the Black-box LLM Uncertainty with Distribution-Aligned Adversarial Distillation

Dieser Artikel schlägt Distribution-Aligned Adversarial Distillation (DisAAD) vor, eine Methode, die ein leichtgewichtiges Proxy-Modell trainiert, um die Ausgabe-Verteilung eines Black-Box-LLM nachzuahmen und Unsicherheit durch Evidenzlernen zu schätzen, wodurch Halluzinationen effektiv adressiert werden, ohne Zugriff auf das interne Modell oder teures mehrfaches Sampling zu erfordern.

Ursprüngliche Autoren: Huizi Cui, Huan Ma, Qilin Wang, Yuhang Gao, Changqing Zhang

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Huizi Cui, Huan Ma, Qilin Wang, Yuhang Gao, Changqing Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der selbstsichere Lügner

Stellen Sie sich vor, Sie fragen einen sehr berühmten, superschlauen Star (ein „Black-box LLM" wie GPT-4) eine Frage. Er antwortet sofort und mit absolutem Selbstvertrauen. Aber manchmal halluziniert er – er erfindet Fakten, die perfekt klingen, aber völlig falsch sind.

Das Problem ist, dass Sie als „Black Box" nicht in sein Gehirn hineinblicken können, um zu sehen, ob er sich wirklich sicher ist oder nur rät. Sie sehen nur die endgültige Antwort.

Alte Methoden zur Überprüfung:
- Die „Frag 10 Mal"-Methode: Fragen Sie den Star dieselbe Frage 10 Mal und prüfen Sie, ob er unterschiedliche Antworten gibt. Wenn er seine Geschichte ändert, ist er unsicher. Problem: Dies ist langsam, teuer und nicht in Echtzeit durchführbar.
- Die „Blick ins Innere"-Methode: Bitten Sie den Star, Ihnen seine internen Notizen (Logits/Wahrscheinlichkeiten) zu zeigen. Problem: Dies ist bei Closed-Source-Modellen nicht möglich; sie zeigen Ihnen ihre Notizen nicht.

Die Lösung: Der „Schatten-Schauspieler" (DisAAD)

Die Autoren schlagen einen cleveren Trick namens DisAAD vor. Anstatt zu versuchen, in das Gehirn des Stars zu blicken oder ihn 10 Mal zu fragen, bauen sie einen kleinen, leichten „Schatten-Schauspieler" (ein Proxy-Modell), der für den Star einsteht.

So lernt der Schatten-Schauspieler, die Wahrheit zu erkennen:

1. Das Trainingslager (Adversarial Distillation)

Stellen Sie sich eine Schauspielschule vor, in der das Ziel ist, einen Schüler (das Proxy-Modell) so zu trainieren, dass er exakt wie ein berühmter Star (das Black-box LLM) agiert.

Der Regisseur (Discriminator): Ein strenger Lehrer, der sowohl den Star als auch den Schüler beobachtet.
Das Ziel: Der Schüler versucht, die Dialoge und Manieren des Stars perfekt nachzuahmen. Der Regisseur versucht herauszufinden, wer der echte Star und wer der Schüler ist.
Der Prozess:
1. Der Regisseur stellt dem Star eine Reihe von Fragen und zeichnet die Antworten auf.
2. Der Schüler versucht, dieselben Fragen zu beantworten.
3. Der Regisseur kritisiert den Schüler: „Das klang da etwas falsch!" oder „Das war ein perfekter Treffer!"
4. Der Schüler passt sein Spiel an, bis der Regisseur keinen Unterschied mehr zwischen Schüler und Star erkennen kann.

Sobald der Schüler trainiert ist, hat er die exakten Muster des Selbstvertrauens des Stars gelernt. Er weiß genau, wann der Star „schwindelt" und wann er „echt" ist.

2. Die Detektivarbeit (Unsicherheitsquantifizierung)

Wenn der echte Star nun eine Antwort auf eine neue Frage gibt, fragen wir nicht den Star erneut. Stattdessen bitten wir den Schatten-Schauspieler, diese Antwort nachzubilden.

Da der Schatten-Schauspieler trainiert wurde, die interne „Ausstrahlung" des Stars nachzuahmen, kann er die Antwort betrachten und sagen:
- „Niedrige Unsicherheit (Niedrige EU, Niedrige AU): Der Star ist selbstsicher, und die Fakten stimmen mit dem überein, was der Star normalerweise weiß. Vertrauen Sie dieser Antwort."
- „Hohe Unsicherheit (Hohe EU, Niedrige AU): Der Star spielt Selbstvertrauen vor, aber der Schatten-Schauspieler weiß, dass dies eine „Wissenslücke" ist. Der Star blufft. Vertrauen Sie dieser Antwort nicht."
- „Hohe Unsicherheit (Hohe EU, Hohe AU): Der Star ist verwirrt und weiß die Antwort überhaupt nicht. Vertrauen Sie dieser Antwort nicht."

Warum dies ein Game-Changer ist

Das Papier behauptet drei Haupt-Superkräfte für diese Methode:

Es ist ein „One-Shot"-Wunder: Sie benötigen nur eine Antwort vom Black-box LLM, um zu prüfen, ob es zuverlässig ist. Sie müssen es nicht 10 Mal fragen (was Zeit und Geld spart).
Es funktioniert bei „geschlossenen" Modellen: Sie müssen nicht die internen Notizen des Stars sehen. Sie benötigen nur die endgültige Antwort. Der Schatten-Schauspieler rechnet den Rest aus.
Es ist winzig und schnell: Der Schatten-Schauspieler ist unglaublich klein (nur 1 % der Größe des riesigen Modells, das er imitiert). Es ist wie die Verwendung eines Taschenrechners, um die Arbeit eines Supercomputers zu überprüfen.

Die Ergebnisse

Die Autoren testeten dies an verschiedenen kniffligen Fragen (wie medizinische Fakten, Trivia und Wahrhaftigkeit).

Die Punktzahl: Ihre „Schatten-Schauspieler"-Methode schlug alle anderen bestehenden Methoden mit großem Abstand (Verbesserung der Genauigkeit um etwa 18 % bis 22 %).
Die Effizienz: Selbst mit einem winzigen Datensatz von nur 1.000 Beispielen zum Trainieren des Schatten-Schauspielers funktionierte es besser als Methoden, die enorme Rechenleistung erfordern.

Zusammenfassende Analogie

Stellen Sie sich das Black-box LLM als einen Zauberer vor, der Kaninchen aus Hüten zieht. Manchmal ist das Kaninchen echt; manchmal ist es ein Trick.

Alte Methoden waren so, als würde man den Zauberer bitten, das Kaninchen 10 Mal herauszuholen, um zu sehen, ob der Trick funktioniert, oder als würde man versuchen, unter den Hut zu schauen (was der Zauberer Ihnen nicht erlaubt).
DisAAD ist wie die Einstellung eines winzigen Lehrlings-Zauberers, der den Meisterzauberer Tausende Male hat auftreten sehen. Der Lehrling lernt das spezifische „Anzeichen" des Meisters (ein Zucken der Hand, ein bestimmter Tonfall).
Wenn nun der Meisterzauberer ein Kaninchen herauszieht, fragen Sie einfach den Lehrling: „Haben Sie das 'Anzeichen' des Meisters dabei gesehen?" Wenn der Lehrling sagt: „Ja, er hat geschwindelt", wissen Sie, dass das Kaninchen ein Trick ist, auch wenn der Meister selbstsicher wirkte.

Das Fazit: Dieses Papier bietet uns einen Weg, sofort zu wissen, ob eine superschluge KI die Wahrheit sagt oder nur Dinge erfindet, ohne dass wir ihr Gehirn sehen oder sie dieselbe Frage zehn Mal stellen müssen.

Technische Zusammenfassung: Schätzung der Unsicherheit von Black-Box-LLMs mittels Verteilungsabgestimmter Adversarial Distillation

Problemstellung

Large Language Models (LLMs) haben erhebliche Fortschritte beim Schlussfolgern und bei der Generierung erzielt, bleiben jedoch anfällig für „Halluzinationen" – das Erzeugen plausibler, aber faktisch falscher Informationen. Dieses Problem wird bei größeren, instruktiveren Modellen verschärft, die oft eine Überzeugung zeigen und so ein falsches Sicherheitsgefühl erzeugen. Obwohl die Unsicherheitsquantifizierung (UQ) eine vielversprechende Minderungsstrategie darstellt, stoßen bestehende Methoden bei der Anwendung auf Black-Box-LLMs (z. B. GPT-4, Claude-3), die nur über APIs zugänglich sind, auf kritische Einschränkungen:

Methoden mit mehreren Stichproben (z. B. Semantische Entropie) erfordern mehrere Inferenzaufrufe zur Schätzung der Unsicherheit, was für Echtzeitanwendungen rechenintensiv und ineffizient ist.
Methoden mit einzelnen Stichproben, die auf internen Zuständen basieren (z. B. Logits, versteckte Aktivierungen), sind auf Closed-Source-Modelle nicht anwendbar, die diese Parameter nicht offenlegen.
Selbstevaluierungsmethoden liefern oft ohne spezifisches Fine-Tuning keine glaubwürdigen Schätzungen.

Die zentrale Herausforderung, die diese Arbeit adressiert, lautet: Wie können wir die Echtzeit-Unsicherheit eines Black-Box-LLMs ausschließlich auf Basis eines einzigen Eingabe-Antwort-Paares vorhersagen, ohne Zugriff auf interne Modellzustände oder mehrere Stichprobeniterationen zu haben?

Methodik: Verteilungsabgestimmte Adversarial Distillation (DisAAD)

Die Autoren schlagen DisAAD vor, ein zweistufiges Framework, das ein leichtgewichtiges Proxy-Modell nutzt, um die Ausgabeverteilung eines Ziel-Black-Box-LLMs zu approximieren. Das Proxy-Modell wird so trainiert, dass es „weiß, ob der Black-Box-LLM Bescheid weiß oder nicht", und erbt effektiv die Unsicherheitsmerkmale des Ziels.

1. Verteilungsabgestimmte Adversarial Distillation

Die erste Stufe konzentriert sich auf das Training eines kleinen Proxy-Modells ( $M_p$ ), um die Regionen hoher Wahrscheinlichkeit der Ausgabeverteilung des Ziel-Black-Box-LLMs ( $M_B$ ) nachzuahmen.

Datensammlung: Ein Distillationsdatensatz ( $D_{distill}$ ) wird erstellt, indem der Ziel-LLM mit diversen Prompts abgefragt wird. Für jeden Prompt werden mehrere Antworten generiert, und die obersten $M$ Antworten mit der höchsten semantischen Konsistenz werden ausgewählt. Diese Strategie isoliert die Regionen hoher Wahrscheinlichkeit der bedingten Ausgabeverteilung des Ziels.
Adversarial-Trainingsarchitektur: Das Framework nutzt ein Generierungs-Diskriminierungs-Setup:
- Generator (Proxy-Modell): Ein Basismodell (z. B. LLaMA3), das mittels Low-Rank Adaptation (LoRA) feinabgestimmt wird. Es lernt, Antworten zu generieren, die mit denen des Ziel-LLMs konsistent sind.
- Diskriminator: Ein Modell, das trainiert wird, um zwischen Antworten zu unterscheiden, die vom Proxy generiert wurden, und solchen vom Ziel-Black-Box-LLM.
Optimierungsziel: Das Proxy-Modell wird optimiert, um einen zusammengesetzten Verlust zu minimieren:
- Task-Verlust ( $L_{task}$ ): Ein token-level Distillationsverlust, der die nächsten-Token-Vorhersagen des Proxys mit den Antworten des Ziels abgleicht.
- Regularisierungsverlust ( $L_{reg}$ ): Eine sequenzlevel-Beschränkung, bei der das Proxy-Modell Ausgaben generiert, die der Diskriminator nicht sicher als „gefälscht" klassifizieren kann.
- Das Training erfolgt abwechselnd, bis der Diskriminator nicht mehr zwischen Proxy- und Ziel-Ausgaben unterscheiden kann, was darauf hinweist, dass das Proxy erfolgreich an die Verteilung des Ziels angepasst wurde.

2. Proxy-geführte Unsicherheitsquantifizierung

In der zweiten Stufe wird das trainierte Proxy-Modell verwendet, um die Unsicherheit für neue Abfragen des Black-Box-LLMs zu schätzen.

Reproduktion: Gegeben ein Eingabe-Prompt $x$ und die Black-Box-Antwort $y_B$ , reproduziert das Proxy-Modell die Antwort, um interne Signale (Logits) zu extrahieren, die sonst unzugänglich wären.
Evidenzbasiertes Deep Learning: Die extrahierten Logits werden als Evidenzparameter für eine Dirichlet-Verteilung behandelt. Dies ermöglicht die Entkopplung der Unsicherheit in zwei Komponenten:
- Aleatorische Unsicherheit (AU): Reflektiert Datenunsicherheit (Spitzigkeit der Verteilung). Eine hohe AU zeigt an, dass das Modell unsicher bezüglich des spezifischen Tokens ist.
- Epistemische Unsicherheit (EU): Reflektiert Modellunsicherheit (Wissenslücken). Eine hohe EU zeigt an, dass dem Modell das Wissen fehlt, um eine zuverlässige Vorhersage zu treffen, selbst wenn die Verteilung spitz ist (Überzeugung).
Zuverlässigkeitsschätzung: Die finale Zuverlässigkeit der Antwort wird berechnet, indem der synergistische Effekt von AU und EU über die unsichersten Tokens in der Sequenz aggregiert wird.

Hauptbeiträge

Neues Paradigma für Black-Box-UQ: DisAAD eliminiert die Notwendigkeit, auf interne Modellzustände zuzugreifen oder mehrere Stichprobeniterationen durchzuführen, und ermöglicht so eine Echtzeit-Unsicherheitsquantifizierung unter Verwendung nur eines einzigen Eingabe-Antwort-Paares.
Verteilungsabgestimmtes Proxy-Lernen: Die Arbeit stellt eine Methode vor, bei der ein kleines Proxy-Modell die Regionen hoher Wahrscheinlichkeit der Ausgabeverteilung eines Ziel-LLMs mittels adversarialer Distillation approximiert, wodurch das Proxy die Unsicherheit des Ziels charakterisieren kann.
Empirische Validierung: Umfassende Experimente zeigen, dass ein Proxy-Modell, das nur 1 % der Größe des Ziel-LLMs umfasst, eine überlegene Unsicherheitsschätzungsleistung im Vergleich zu den besten verfügbaren Baselines erzielt.

Experimentelle Ergebnisse

Die Methode wurde an drei Benchmarks evaluiert: TruthfulQA (Wahrhaftigkeit), BioASQ (biomedizinisch) und TriviaQA (Allgemeinwissen).

Leistung: In Black-Box-Szenarien (Ziel: GPT-4 und LLaMA2-70B) erreichte DisAAD eine durchschnittliche AUROC von 0,7321 und einen AUPR von 0,9134. Dies stellt eine erhebliche Verbesserung gegenüber den am besten abschneidenden Baselines dar, mit einer durchschnittlichen Steigerung von 18,2 % bei der AUROC und 22,9 % beim AUPR.
Vergleich mit White-Box-Methoden: Obwohl kein Zugriff auf interne Zustände bestand, übertraf DisAAD in den meisten Fällen White-Box-Methoden (einschließlich LogTokU, das Logits verwendet). Beispielsweise verbesserte DisAAD bei LLaMA2-70B als Ziel die AUROC um 6,7 % gegenüber LogTokU.
Effizienz: Das Framework benötigt nur einen kleinen Distillationsdatensatz (ca. 1.000 Stichproben aus 100 Prompts), um ein effektives Proxy-Modell zu trainieren. Die Leistung stabilisiert sich nach etwa 50 Distillations-Prompts.
Modellgröße: Experimente mit variierenden Proxy-Größen (1B, 3B, 8B) zeigten eine nicht-monotone Beziehung, wobei das 3B-Modell optimale Ergebnisse erzielte. Größere Modelle (8B) neigten dazu, Probleme mit Überzeugung zu erben, während kleinere Modelle (1B) die Kapazität für komplexe Unsicherheitsmodellierung fehlte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DisAAD ein effektiveres und praktischeres Paradigma für die Unsicherheitsquantifizierung von LLMs bietet, insbesondere für sicherheitskritische Anwendungen, die kommerzielle Black-Box-Modelle betreffen. Durch die Ermöglichung der Erkennung von Halluzinationen mittels eines leichtgewichtigen Proxys erleichtert die Methode den sichereren und vertrauenswürdigeren Einsatz von LLMs, ohne den Rechenaufwand mehrfacher Stichproben oder die Datenschutzbeschränkungen beim Zugriff auf interne Parameter.

Die Autoren räumen Einschränkungen ein und stellen fest, dass sich die Methode auf token-level Unsicherheit konzentriert und höhere semantische Inkonsistenzen übersehen könnte. Darüber hinaus führt die Abhängigkeit von adversarialer Distillation zu einer Abhängigkeit von der Qualität des Distillationsdatensatzes, obwohl Experimente darauf hindeuten, dass die Methode mit begrenzten Stichproben robust ist. Die Arbeit wird als ein Schritt zur Verbesserung der Zuverlässigkeit von Black-Box-LLMs in realen Szenarien präsentiert.