📊 statistics

Toward Efficient Uncertainty in LLMs through Evidential Knowledge Distillation

Dieses Paper schlägt eine effiziente Methode zur Unsicherheitsquantifizierung in großen Sprachmodellen vor, indem es LoRA-basierte Wissensdestillation nutzt, um unsicherheitsbewusste Fähigkeiten von rechenintensiven Multi-Pass-Lehrern auf Single-Pass-Schüler zu übertragen, wodurch eine vergleichbare Leistung ohne die hohe Inferenzlatenz traditioneller Sampling-Methoden erreicht wird.

Ursprüngliche Autoren: Lakshmana Sri Harsha Nemani, P. K. Srijith, Tomasz Kuśmierczyk

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lakshmana Sri Harsha Nemani, P. K. Srijith, Tomasz Kuśmierczyk

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber unglaublich langsamen Experten-Berater (den Lehrer). Dieser Berater ist fantastisch darin, die richtige Antwort auf eine Frage zu erraten, aber er ist auch sehr vorsichtig. Bevor er Ihnen eine Antwort gibt, rät er nicht einfach nur einmal; er fragt zehn verschiedene Versionen seiner selbst oder lässt dieselbe Frage durch zehn verschiedene „Linsen“ laufen, um zu sehen, wie stark seine Antworten variieren.

Wenn alle zehn Versionen übereinstimmen, sagt der Berater: „Ich bin mir zu 100 % sicher.“
Wenn die zehn Versionen völlig weit auseinanderliegen, sagt er: „Ich bin mir überhaupt nicht sicher.“

Dieser Prozess, zehn Versionen seiner selbst zu fragen, ist die Art und Weise, wie das Paper sampling-basierte Methoden (wie Bayes’sche Modelle oder Ensembles) beschreibt. Es ist großartig, um zu wissen, wie sicher sich das Modell ist, aber es ist quälend langsam. Wenn Sie den Berater eine Frage stellen, müssen Sie warten, bis er zehn Simulationen durchlaufen hat, bevor er Ihnen eine Antwort gibt. In der Welt der KI ist das so, als müsste man auf einen langsamen Zug warten, wenn man eigentlich nur eine schnelle Busfahrt wollte.

Die Autoren dieses Papers stellten die Frage: „Können wir einen schnellen, einstuufigen Schüler trainieren, der von diesem langsamen, vorsichtigen Experten lernen kann?“

Hier ist ihre Vorgehensweise, unterteilt in einfache Konzepte:

1. Das Ziel: Der schnelle Schüler

Sie wollten einen Schüler-Modell erstellen, der genauso klug ist wie der Lehrer, aber nicht zehn Simulationen ausführen muss. Der Schüler sollte in der Lage sein, sich eine Frage einmal anzusehen, eine Antwort zu geben und Ihnen zu sagen, wie sicher er sich ist – und das in einem einzigen Augenblick.

Um den Schüler schnell zu machen, verwendeten sie eine Technik namens LoRA (Low-Rank Adaptation). Stellen Sie sich das wie „Stützräder“ oder einen leichten Rucksack für den Schüler vor. Anstatt das gesamte Gehirn des Schülers (das riesig und teuer ist) neu aufzubauen, passen sie nur einen winzigen, spezialisierten Teil davon an, um vom Lehrer zu lernen.

2. Die zwei Arten von Schülern

Die Forscher probierten zwei Wege aus, um dem Schüler beizubringen, wie er Unsicherheit ausdrückt:

Der „Durchschnitts“-Schüler (Softmax):
Dieser Schüler lernt den Durchschnitt dessen, was die zehn Versionen des Lehrers gesagt haben. Wenn die zehn Versionen des Lehrers zu 50 % „Ja“ und zu 50 % „Nein“ sagten, lernt dieser Schüler, „50 % Ja“ zu sagen.
- Das Problem: Dieser Schüler kann zwar den Durchschnitt angeben, aber er vergisst die Geschichte hinter dem Durchschnitt. Er weiß nicht, ob der Lehrer verwirrt war (alle Versionen waren uneinig) oder ob die Daten einfach nur verrauscht waren. Er kollabiert all diese komplexe Unsicherheit zu einer einzigen Zahl.
Der „Evidenz“-Schüler (Dirichlet):
Dies ist die Hauptinnovation des Papers. Anstatt nur einen Durchschnitt zu lernen, lernt dieser Schüler in Begriffen von Evidenz (Belegen).
- Stellen Sie sich die zehn Versionen des Lehrers wie zehn Zeugen in einem Gerichtssaal vor.
- Der Softmax-Schüler zählt einfach nur die Stimmen: „6 sagten Schuldig, 4 sagten Nicht Schuldig.“
- Der Dirichlet-Schüler betrachtet hingegen die Überzeugungskraft der Zeugen. Haben alle 10 Zeugen mit hoher Zuversicht „Schuldig!“ gerufen? Oder haben sie alle nur unsicher „Vielleicht schuldig“ gemurmelt?
- Dieser Schüler gibt eine „Dirichlet-Verteilung“ aus, was eine mathematische Art und Weise ist zu sagen: „Hier ist meine beste Vermutung, und hier ist ein Maß dafür, wie viel Evidenz ich habe, um dies zu untermauern.“ Wenn die Evidenz gering ist, weiß der Schüler, dass er unsicher ist, selbst wenn die Vermutung klar aussieht.

3. Der magische Trick: Knowledge Distillation

Der Prozess, den Schüler zu lehren, wird Knowledge Distillation genannt.

Die Forscher ließen den langsamen Lehrer seine zehn Simulationen an einer Reihe von Übungsfragen durchführen.
Sie nahmen die Ergebnisse dieser zehn Simulationen (die durchschnittliche Vermutung und die Streuung der Meinungen) und fütterten damit den Schüler.
Der Schüler wurde dann darauf trainiert, diese Ergebnisse mit nur einem Vorwärtspass (forward pass) nachzuahmen.
Sie nutzten eine „Stoppuhr-Methode“ (Early Stopping), um sicherzustellen, dass der Schüler nicht einfach nur die Fehler des Lehrers auswendig lernt, sondern die richtigen Muster tatsächlich begreift.

4. Die Ergebnisse: Geschwindigkeit vs. Klugheit

Das Paper testete dies bei Aufgaben der Textklassifizierung (wie das Sortieren von Rezensionen als „Positiv“ oder „Negativ“).

Geschwindigkeit: Der Lehrer war langsam, weil er viele Simulationen durchführen musste. Der Schüler war 11- bis 36-mal schneller, weil er nur einmal durchlaufen musste.
Genauigkeit: Der Schüler war bei der richtigen Antwort genauso gut wie der Lehrer.
Unsicherheit: Der Dirichlet-Schüler war besonders gut darin, zu wissen, wann er sich unsicher war. Er konnte zwischen „Ich weiß es nicht, weil die Daten verwirrend sind“ (epistemische Unsicherheit) und „Ich weiß es nicht, weil die Frage vage ist“ (aleatorische Unsicherheit) unterscheiden.

Das Fazit

Das Paper behauptet, dass sie erfolgreich eine „Schnellspur“ für Unsicherheit gebaut haben. Sie haben ein langsames, schweres, sampling-basiertes KI-Modell, das großartig darin ist zu wissen, was es nicht weiß, genommen und dessen Weisheit in ein leichtgewichtiges, einstufiges Modell destilliert.

Der Lehrer: Ein langsamer, vorsichtiger Experte, der seine Arbeit zehnmal überprüft.
Der Schüler: Ein schneller, effizienter Arbeiter, der gelernt hat, seine Arbeit einmal zu prüfen, aber immer noch genau weiß, wie sicher er sich sein sollte.

Die Autoren betonen, dass dies für die Textklassifizierung (das Sortieren von Text in Kategorien) funktioniert. Sie behaupten nicht, dass dies bereits für das Schreiben langer Geschichten oder komplexe Denkaufgaben funktioniert, aber sie glauben, dass es den Beweis liefert, dass man eine schnelle, unsicherheitbewusste KI ohne die hohen Rechenkosten haben kann.

Technische Zusammenfassung: Auf effiziente Unsicherheit in LLMs durch Evidentielle Wissensdestillation

Problemstellung
Die genaue Quantifizierung von Unsicherheit ist eine kritische Herausforderung für Large Language Models (LLMs). Während theoretisch fundierte Methoden wie Bayessche Neuronale Netze (BNNs) und Ensemble-basierte Ansätze (z. B. Bayesian Prompt Ensembles) die epistemische Unsicherheit effektiv modellieren und die Kalibrierung verbessern, leiden sie unter prohibitiven Rechenkosten. Diese Methoden erfordern typischerweise mehrere Vorwärtsläufe (Sampling) sowohl während des Trainings als auch während der Inferenz, um die prädiktiven Verteilungen mittels Monte-Carlo-Sampling zu approximieren. Diese Multi-Pass-Anforderung erhöht die Inferenzlatenz erheblich, was den praktischen Einsatz unsicherheitsbewusster LLMs in Echtzeit- oder groß angelegten Anwendungen einschränkt.

Methodik
Die Autoren schlagen ein Framework für Evidentielle Wissensdestillation vor, um Schätzungen der Unsicherheit von rechenintensiven, sampling-basierten „Lehrer“-Modellen auf effiziente „Schüler“-Modelle mit Single-Pass-Verfahren zu übertragen.

Lehrer-Modelle: Die Studie nutzt zwei unterschiedliche Sampling-basierte Lehrer:
- Bayesian Prompt Ensembles (BayesPE): Eine Ensemble-Formulierung über Eingabe-Prompts.
- Laplace LoRA: Ein Bayesscher Ansatz unter Verwendung der Laplace-Approximation über LoRA-Gewichte.
  Beide Lehrer generieren prädiktive Verteilungen durch Aggregation mehrerer Samples (Prompts oder Gewicht-Perturbationen), um die Gesamtunsicherheit (aleatorisch + epistemisch) zu erfassen.
Schüler-Architektur: Die Schüler sind vortrainierte LLMs (Mistral 7B Instruct), die mittels Low-Rank Adaptation (LoRA) feinjustiert werden. Dies ermöglicht effiziente Parameter-Updates, ohne das gesamte Modell neu trainieren zu müssen. Der Destillationsprozess initialisiert die LoRA-Matrizen des Schülers vom Lehrer (sofern anwendbar) und feinjustiert diese unter Verwendung eines modifizierten Klassifikations-Heads.
Destillationsstrategien: Das Paper vergleicht zwei Parameterisierungen der Schüler-Ausgabe:
- Softmax-Schüler: Ein Baseline-Modell, das eine einzige kategorische Verteilung (mittlere Wahrscheinlichkeiten) via Softmax ausgibt. Es minimiert die negative Log-Likelihood der durchschnittlichen Vorhersagen des Lehrers. Obwohl schnell, kollabiert es die gesamte Unsicherheit in die Shannon-Entropie und versäumt es, zwischen aleatorischen und epistemischen Komponenten zu unterscheiden.
- Evidentieller (Dirichlet-)Schüler: Dieses Modell verwendet Evidentielles Deep Learning und gibt die Parameter ( $\alpha$ ) einer Dirichlet-Verteilung aus. Anstatt Klassenwahrscheinlichkeiten direkt vorherzusagen, sagt es Konzentrationsparameter voraus, die aus den Logits abgeleitet werden ( $\alpha_c = 1 + \text{softplus}(z_c)$ ). Die gesamte Evidenz ( $\alpha_0 = \sum \alpha_c$ ) dient als explizites Maß für das Vertrauen (Confidence). Diese Formulierung ermöglicht es dem Modell, aleatorische Unsicherheit (inhärente Datenrauschen) von epistemischer Unsicherheit (Modell-Ignoranz) innerhalb eines einzigen Vorwärtslaufs zu trennen.
Trainingsziel: Die Schüler werden trainiert, die prädiktive Verteilung des Lehrers zu matchen. Die Verlustfunktion für den evidentiellen Schüler ist die negative Log-Likelihood der gesampelten Vorhersagen des Lehrers unter der vorhergesagten Dirichlet-Verteilung.
- Regularisierung: Die Autoren untersuchen verschiedene Regularisierungsstrategien für den Konzentrationsparameter $\alpha_0$ , einschließlich der Fixierung auf einen konstanten Wert, des Ziehens in Richtung einer uniformen Prior-Verteilung oder der Verankerung an einem lernbaren datensatzweiten Mittelwert, um Überkonfidenz zu verhindern und das Training zu stabilisieren.
- Early Stopping: Das Training wird basierend auf der negativen Log-Likelihood (NLL) der Ground-Truth-Labels gestoppt, um eine Überanpassung an das Lehrer-Rauschen zu verhindern.

Wichtigste Ergebnisse
Experimente wurden auf vier Textklassifikations-Datensätzen (Amazon, SST2, Yahoo, YouTube) unter Verwendung des Mistral 7B Backbones durchgeführt.

Inferenz-Effizienz: Die destillierten Schüler erreichen eine massive Reduktion der Inferenzzeit im Vergleich zu ihren Lehrern. Für BayesPE-Lehrer ist der Dirichlet-Schüler 11-mal bis 36-mal schneller (z. B. 36-fache Beschleunigung bei Yahoo), da er nur einen Vorwärtslauf benötigt, während der Lehrer mehrere Durchläufe benötigt.
Prädiktive Leistung: Die destillierten Schüler erreichen die prädiktive Genauigkeit ihrer Lehrer oder übertreffen sie gelegentlich. Beispielsweise übertraf der Dirichlet-Schüler den BayesPE-Lehrer auf den Datensätzen Yahoo (+1,7 pp) und YouTube (+2,5 pp).
Unsicherheit-Quantifizierung:
- Kalibrierung: Die Dirichlet-Schüler erreichen im Allgemeinen niedrigere Expected Calibration Error (ECE) und Brier-Scores als sowohl die Lehrer als auch die Softmax-Baselines.
- OOD-Detektion: In Out-of-Distribution (OOD) Experimenten zeigte der Dirichlet-Schüler eine überlegene Fähigkeit, zwischen In-Domain- und OOD-Proben zu unterscheiden (höherer AUROC) im Vergleich zum Lehrer und dem Softmax-Schüler. Er konnte die totale prädiktive Entropie für OOD-Daten erfolgreich verstärken.
- Dekomposition: Im Gegensatz zum Softmax-Schüler dekomponiert der Dirichlet-Schüler die Unsicherheit erfolgreich in aleatorische und epistemische Komponenten und liefert so reichere Unsicherheitssignale.
Konvergenz: Schüler, die von BayesPE-Lehrern destilliert wurden, konvergierten sehr schnell (oft innerhalb von 1–5 Epochen), während jene von Laplace-Lehrern mehr Epochen benötigten (20–40), was auf eine komplexere Optimierungslandschaft für letztere hindeutet.

Bedeutung und Ansprüche
Das Paper behauptet, die erste Anwendung von Evidentiellem Deep Learning zur Wissensdestillation von Large Language Models zu sein. Sein primärer Beitrag besteht darin, ein Fundament für die effiziente Single-Pass-Unsicherheitsschätzung in LLMs zu etablieren.

Effizienz- vs. Genauigkeits-Trade-off: Die Arbeit zeigt, dass es möglich ist, die robuste Unsicherheitsmodellierung rechenintensiver Sampling-Methoden zu erben, ohne deren Inferenzlatenz in Kauf nehmen zu müssen.
Epistemische Modellierung: Durch die Nutzung von Dirichlet-Ausgaben modelliert das Verfahren explizit die epistemische Unsicherheit – eine Fähigkeit, die bei der Standard-Softmax-Destillation verloren geht.
Umfang und Limitationen: Die Autoren rahmen die aktuelle Arbeit bescheiden als Proof-of-Concept ein, das auf diskrete Textklassifikationsaufgaben beschränkt ist. Sie räumen ein, dass die Ergebnisse zwar vielversprechend sind, die Erweiterung dieses Frameworks auf die offene Textgenerierung jedoch eine zukünftige Forschungsrichtung bleibt. Die Studie konzentriert sich darauf, die Leistung der Lehrer zu matchen, anstatt deren absolute Fähigkeiten zu verbessern, obwohl empirische Ergebnisse zeigen, dass Schüler die Lehrer manchmal aufgrund der regularisierenden Effekte der Destillation und des Early Stopping übertreffen.

1. Das Ziel: Der schnelle Schüler

2. Die zwei Arten von Schülern

3. Der magische Trick: Knowledge Distillation

4. Die Ergebnisse: Geschwindigkeit vs. Klugheit

Das Fazit

Mehr davon