📊 statistics

Toward Efficient Uncertainty in LLMs through Evidential Knowledge Distillation

Dit artikel stelt een efficiënte methode voor voor onzekerheidskwantificering in grote taalmodellen door gebruik te maken van LoRA-gebaseerde kennisdistillatie om onzekerheidsbewuste capaciteiten over te dragen van computationeel dure, multi-pass docenten naar single-pass studenten, waarbij vergelijkbare prestaties worden behaald zonder de zware inferentielatentie van traditionele samplingsmethoden.

Oorspronkelijke auteurs: Lakshmana Sri Harsha Nemani, P. K. Srijith, Tomasz Kuśmierczyk

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lakshmana Sri Harsha Nemani, P. K. Srijith, Tomasz Kuśmierczyk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, maar ongelooflijk trage, deskundige consultant hebt (de Docent). Deze consultant is geweldig in het raden van het juiste antwoord op een vraag, maar ze zijn ook erg voorzichtig. Voordat ze een antwoord geven, raden ze niet simpelweg één keer; ze vragen tien verschillende versies van zichzelf, of ze halen dezelfde vraag door tien verschillende "lenzen", om te zien hoe meget hun antwoorden variëren.

Als alle tien de versies het met elkaar eens zijn, zegt de consultant: "Ik ben 100% zeker."
Als de tien versies allemaal door elkaar lopen, zegt de consultant: "Ik weet het niet zeker."

Dit proces van het vragen aan tien versies van zichzelf is hoe het artikel sampling-gebaseerde methoden beschrijft (zoals Bayesiaanse modellen of Ensembles). Het is geweldig om te weten hoe zeker het model is, maar het is ontzettend traag. Als je de consultant een vraag stelt, moet je wachten tot ze tien simulaties hebben gedraaid voordat ze je een antwoord geven. In de wereld van AI is dit als wachten op een langzame trein terwijl je gewoon een snelle bus wilde nemen.

De auteurs van dit artikel vroegen zich af: "Kunnen we een snelle, single-pass student trainen om te leren van deze trage, voorzichtige expert?"

Hier is hoe ze het deden, onderverdeeld in eenvoudige concepten:

1. Het Doel: De Snelle Student

Ze wilden een Student-model creëren dat net zo slim is als de Docent, maar geen tien simulaties hoeft te draaien. De Student moet in staat zijn om naar een vraag te kijken, één keer een antwoord te geven, en te vertellen hoe zelfverzekerd hij is, allemaal in één enkel moment.

Om de Student snel te maken, gebruikten ze een techniek genaamd LoRA (Low-Rank Adaptation). Denk hierbij aan het geven van "steunwieltjes" of een lichtgewicht rugzak aan de Student. In plaats van het hele brein van de Student opnieuw op te bouwen (wat enorm en duur is), passen ze slechts een klein, gespecialiseerd deel ervan aan om van de Docent te leren.

2. De Twee Soorten Studenten

De onderzoekers probeerden twee verschillende manieren uit om de Student te leren hoe hij onzekerheid kan uitdrukken:

De "Gemiddelde" Student (Softmax):
Deze student leert het gemiddelde van wat de tien versies van de Docent zeiden. Als de tien versies van de Docent 50% "Ja" en 50% "Nee" waren, leert deze student om "50% Ja" te zeggen.
- Het Probleem: Deze student kan wel het gemiddelde vertellen, maar vergeet het verhaal achter het gemiddelde. De student weet niet of de Docent in de war was (alle versies waren het oneens) of dat de data gewoon ruis bevat. Het reduceert al die complexe onzekerheid tot één enkel getal.
De "Bewijs" Student (Dirichlet):
Dit is de belangrijkste innovatie van het artikel. In plaats van alleen een gemiddelde te leren, leert deze student te denken in termen van bewijs.
- Stel je voor dat de tien versies van de Docent als tien getuigen in een rechtszaal zijn.
- De Softmax-student telt alleen de stemmen: "6 zeiden Schuldig, 4 zeiden Niet Schuldig."
- De Dirichlet-student kijùkt naar de zelfverzekerdheid van de getuigen. Zeiden alle 10 de getuigen met hoge overtuiging "Schuldig"? Of mompelden ze allemaal met lage overtuiging "Misschien Schuldig"?
- Deze student geeft een "Dirichlet-distributie" uit, wat een wiskundige manier is om te zeggen: "Dit is mijn beste gok, en dit is een maatstaf voor hoeveel bewijs ik heb om het te onderbouwen." Als het bewijs laag is, weet de student dat hij onzeker is, zelfs als de gok er duidelijk uitziet.

3. De Magische Truc: Knowledge Distillation

Het proces van het onderwijzen van de Student wordt Knowledge Distillation genoemd.

De onderzoekers lieten de trage Docent zijn tien simulaties draaien op een reeks oefenvragen.
Ze namen de resultaten van die tien simulaties (het gemiddelde antwoord en de spreiding van de meningen) en voerden deze aan de Student.
De Student werd vervolgens getraind om die resultaten na te bootsen met slechts één forward pass.
Ze gebruikten een "stopwatch"-methode (Early Stopping) om ervoor te zorgen dat de Student niet simpelweg de fouten van de Docent uit het hoofd leerde, maar daadwerkelijk de juiste patronen leerde.

4. De Resultaten: Snelheid vs. Slimheid

Het artikel testte dit op tekstclassificatietaken (zoals het sorteren van recensies als "Positief" of "Negatief").

Snelheid: De Docent was traag omdat hij veel simulaties moest draaien. De Student was 11 tot 36 keer sneller omdat hij er slechts één draaide.
Nauwkeurigheid: De Student was net zo goed in het krijgen van het juiste antwoord als de Docent.
Onzekerheid: De Dirichlet-student was bijzonder goed in het weten wanneer hij het niet zeker wist. Hij kon het verschil zien tussen "Ik weet het niet omdat de data verwarrend is" (epistemische onzekerheid) en "Ik weet het niet omdat de vraag vaag is" (aleatorische onzekerheid).

De Kernboodschap

Het artikel beweert dat ze succesvol een "snelle rijstrook" voor onzekerheid hebben gebouwd. Ze hebben een trage, zware, sampling-gebaseerde AI die erg goed is in weten wat hij niet weet, de wijsheid ervan gedestilleerd in een lichtgewicht, single-pass model.

De Docent: Een trage, voorzichtige expert die zijn werk tien keer controleert.
De Student: Een snelle, efficiënte werker die heeft geleerd om zijn werk één keer te controleren, maar nog steeds precies weet hoe zelfverzekerd hij zou moeten zijn.

De auteurs benadrukken dat dit werkt voor tekstclassificatie (het sorteren van tekst in categorieën). Ze beweren niet dat dit ook al werkt voor het genereren van lange verhalen of complexe redeneertaken, maar ze geloven dat het het concept bewijst dat je snelle, onzekerheidsbewuste AI kunt hebben zonder de zware computationele kosten.

Technische Samenvatting: Naar Efficiënte Onzekerheid in LLM's door middel van Evidentiële Kennisdistillatie

Probleemstelling
Nauwkeurige onzekerheidskwantificatie is een cruciale uitdaging voor Large Language Models (LLM's). Hoewel theoretisch gefundeerde methoden zoals Bayesiaanse Neurale Netwerken (BNN's) en ensemble-gebaseerde benaderingen (bijv. Bayesian Prompt Ensembles) de epistemische onzekerheid effectief modelleren en de kalibratie verbeteren, lijden zij onder prohibitieve computationele kosten. Deze methoden vereisen doorgaans meerdere forward passes (sampling) tijdens zowel de training als de inferentie om voorspellende distributies te benaderen via Monte Carlo-sampling. Deze multi-pass vereiste verhoogt de inferentie-latentie aanzienlijk, wat de praktische inzet van onzekerheidsbewuste LLM's in real-time of grootschalige toepassingen beperkt.

Methodologie
De auteurs stellen een framework voor Evidentiële Kennisdistillatie voor om onzekerheidsschattingen over te dragen van computationeel dure, op sampling gebaseerde "teacher"-modellen naar efficiënte, single-pass "student"-modellen.

Teacher-modellen: De studie maakt gebruik van twee verschillende sampling-gebaseerde teachers:
- Bayesian Prompt Ensembles (BayesPE): Een ensemble-formulering over input-prompts.
- Laplace LoRA: Een Bayesiaanse benadering die gebruikmaakt van de Laplace-benadering over LoRA-gewichten.
  Beide teachers genereren voorspellende distributies door meerdere samples (prompts of gewichtsperturbaties) te aggregeren om de totale onzekerheid (aleatorisch + epistemisch) te vatten.
Student-architectuur: De studenten zijn pre-trained LLM's (Mistral 7B Instruct) die zijn gefinetuned met behulp van Low-Rank Adaptation (LoRA). Dit maakt efficiënte parameter-updates mogelijk zonder het gehele model opnieuw te trainen. Het distillatieproces initialiseert de LoRA-matrices van de student vanuit de teacher (indien van toepassing) en finetunet deze met een aangepaste classificatiekop.
Distillatiestrategieën: Het paper vergelijkt twee parameterisaties van de student-output:
- Softmax Student: Een baseline-model dat een enkele categorische distributie (gemiddelde waarschijnlijkheden) via softmax produceert. Het minimaliseert de negatieve log-likelihood van de gemiddelde voorspellingen van de teacher. Hoewel dit snel is, reduceert het alle onzekerheid tot Shannon-entropie, waardoor het niet in staat is om onderscheid te maken tussen aleatorische en epistemische componenten.
- Evidentiële (Dirichlet) Student: Dit model maakt gebruik van Evidential Deep Learning en voorspelt de parameters ( $\alpha$ ) van een Dirichlet-distributie. In plaats van direct klassen-waarschijnlijkheden te voorspellen, voorspelt het concentratieparameters afgeleid van de logits ( $\alpha_c = 1 + \text{softplus}(z_c)$ ). De totale evidentie ( $\alpha_0 = \sum \alpha_c$ ) dient als een expliciete maatstaf voor vertrouwen. Deze formulering stelt het model in staat om binnen een enkele forward pass de aleatorische onzekerheid (inherente dataruis) te scheiden van de epistemische onzekerheid (model-onwetendheid).
Trainingsdoelstelling: De studenten worden getraind om de voorspellende distributie van de teacher te matchen. De loss-functie voor de evidentiële student is de negatieve log-likelihood van de gesamplede voorspellingen van de teacher onder de voorspelde Dirichlet-distributie.
- Regularisatie: De auteurs onderzoeken verschillende regularisatiestrategieën voor de concentratieparameter $\alpha_0$ , waaronder het vastzetten op een constante, het naar een uniforme prior trekken, of het verankeren aan een leerbaar dataset-breed gemiddelde, om overmatige zelfverzekerdheid (overconfidence) te voorkomen en de training te stabiliseren.
- Early Stopping: Training wordt gestopt op basis van de negatieve log-likelihood (NLL) op de grondwaarheid-labels om overfitting op teacher-ruis te voorkomen.

Belangrijkste Resultaten
Experimenten werden uitgevoerd op vier tekstclassificatie-datasets (Amazon, SST2, Yahoo, YouTube) met de Mistral 7B backbone.

Inferentie-efficiëntie: De gedistilleerde studenten bereiken een enorme reductie in inferentietijd vergeleken met hun teachers. Voor BayesPE-teachers is de Dirichlet-student 11x tot 36x sneller (bijv. 36x versnelling op de Yahoo-dataset), aangezien het slechts één forward pass vereist tegenover de meerdere passes die de teacher nodig heeft.
Voorspellende Prestaties: De gedestilleerde studenten evenaren of overtreffen soms de voorspellende nauwkeurigheid van hun teachers. Zo presteerde de Dirichlet-student bijvoorbeeld beter dan de BayesPE-teacher op de Yahoo (+1,7 pp) en YouTube (+2,5 pp) datasets.
Onzekerheidskwantificatie:
- Kalibratie: De Dirichlet-studenten bereiken over het algemeen een lagere Expected Calibration Error (ECE) en Brier-scores dan zowel de teachers als de Softmax-baselines.
- OOD Detectie: In Out-of-Distribution (OOD) experimenten demonstreerde de Dirichlet-student een superieur vermogen om te differentiëren tussen in-domain en OOD-samples (hogere AUROC) vergeleken met de teacher en de Softmax-student. Het slaagde erin de totale voorspellende entropie voor OOD-data te versterken.
- Decompositie: In tegen tegenstelling tot de Softmax-student slaagt de Dirichlet-student erin om onzekerheid te decomponeren in aleatorische en epistemische componenten, wat rijkere onzekerheidssignalen oplevert.
Convergentie: Studenten gedestilleerd van BayesPE-teachers convergeerden zeer snel (vaak binnen 1–5 epochs), terwijl die van Laplace-teachers meer epochs vereisten (20–40), wat wijst op een complexere optimalisatie-landschap voor de laatste.

Betekenis en Claims
Het paper claimt de eerste toepassing van Evidential Deep Learning voor de distillatie van Large Language Models te zijn. De primaire bijdrage is het leggen van een fundament voor efficiënte, single-pass onzekerheidsschatting in LLM's.

Efficiëntie vs. Nauwkeurigheid Trade-off: Het werk demonstreert dat het mogelijk is om de robuuste onzekerheidsmodellering van computationeel intensieve sampling-methoden over te nemen zonder de bijbehorende inferentie-latentie te introduceren.
Epistemische Modellering: Door gebruik te maken van Dirichlet-outputs, modelleert de methode expliciet de epistemische onzekerheid, een capaciteit die verloren gaat bij standaard softmax-distillatie.
Reikwijdte en Beperkingen: De auteurs kaderen het huidige werk bescheiden als een proof-of-concept dat beperkt is tot discrete tekstclassificatietaken. Zij erkennen dat hoewel de resultaten veelbelovend zijn, het uitbreiden van dit framework naar open tekstgeneratie een richting is voor toekomstig werk. De studie richt zich op het matchen van de teacher-prestaties in plaats van het verbeteren van de absolute capaciteiten van de teachers, hoewel empirische resultaten laten zien dat studenten de teachers soms overtreffen dankzij de regulariserende effecten van de distillatie en early stopping.