An Isotropic Approach to Efficient Uncertainty Quantification with Gradient Norms

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet in kritieke toepassingen (zoals medische diagnose en juridisch advies), maar ze missen een ingebouwde mechanisme om te onderscheiden tussen wat ze weten en wat ze niet weten. Ze produceren vaak autoritaire antwoorden, zelfs bij onzekerheid.

Er zijn twee fundamentele bronnen van onzekerheid die onderscheiden moeten worden:

1. Aleatorische onzekerheid: Onvermijdelijke ruis in de data (bijv. een vraag met meerdere geldige antwoorden). Dit kan niet worden opgelost met meer training.
2. Epistemische onzekerheid: Onzekerheid door gebrek aan kennis of onvoldoende trainingsdata. Dit kan worden opgelost met meer data.

Bestaande methoden voor het kwantificeren van deze onzekerheid (zoals Deep Ensembles, Monte Carlo Dropout of Laplace-benaderingen) zijn voor moderne LLMs vaak rekenkundig onuitvoerbaar (vereisen het trainen van meerdere modellen) of onpraktisch (vereisen toegang tot de originele trainingsdata om Hessiaan-matrices te berekenen, wat zelden beschikbaar is).

Methodologie

De auteurs stellen een lichtgewicht alternatief voor dat onzekerheid schat via één enkele forward-backward pass door een ongewijzigd, vooraf getraind model. De methode rust op twee kernbenaderingen:

1. Eerste-orde Taylor-ontwikkeling (Delta-methode):
   De auteurs benaderen de predictieve verdeling rondom de parameter-schatting ($\theta^*$) met een Taylor-ontwikkeling. Hierdoor wordt de epistemische onzekerheid uitgedrukt als het product van de gradiënt van de predictie ten opzichte van de parameters en de covariantie van die parameters.

   • Formule: $Var_\theta[p(y|x, \theta)] \approx g^\top \text{Cov}[\theta] g$, waarbij $g$ de gradiënt is.

2. Isotropie-aanneming (Isotropic Assumption):
   In plaats van de complexe parameter-covariantiematrix te schatten (wat data en rekenkracht vereist), nemen de auteurs aan dat de covariantie isotroop is, d.w.z. $\text{Cov}[\theta] = I$ (de eenheidsmatrix).

   • Resultaat: De epistemische onzekerheid reduceert tot het gekwadrateerde gradiëntnorm: $\|g\|^2$.
   • De aleatorische onzekerheid wordt direct geschat als de Bernoulli-variatie van de punt-predictie: $p(1-p)$.

Waarom Isotropie?
De auteurs rechtvaardigen deze sterke aanname op drie manieren:

• Bias in Proxy-data: Elke schatting van de covariantie voor LLMs moet gebaseerd zijn op proxy-data (aangezien de echte trainingsdata vaak geheim is). Dit introduceert gestructureerde, data-afhankelijke vertekeningen die vaak erger zijn dan de uniforme fout van een isotrope aanname.
• Spectrale Eigenschappen: Bij grote modellen is het spectrum van de Hessiaan gekenmerkt door een paar grote eigenwaarden en een enorme massa dicht bij nul. Door stabilisatie (damping) overheerst de term $\lambda I$, waardoor de omgekeerde Hessiaan effectief evenredig wordt met de eenheidsmatrix.
• Empirisch Bewijs: De aanname werkt goed in verwante gebieden zoals data-attribution en out-of-distribution detectie.

Voor sequenties (generatieve modellen) wordt de methode uitgebreid door de gradiënten over alle tokens in de sequentie te middelen, waardoor sequentie-level correlaties worden vastgelegd zonder extra rekenkosten.

Belangrijkste Bijdragen

1. Afleiding van schatters: Systematische afleiding van epistemische en aleatorische onzekerheidsschatters via een Taylor-ontwikkeling onder de isotropie-aanneming, met de eerste systematische rechtvaardiging voor deze aanname.
2. Validatie: Validatie tegen referentie Markov Chain Monte Carlo (MCMC) schattingen op synthetische problemen, wat sterke correlatie toont.
3. Toepassing op LLM-vraagbeantwoording: Een diepgaande analyse van wanneer welke onzekerheidstypen nuttig zijn voor het voorspellen van antwoordcorrectheid, wat leidt tot nieuwe inzichten over de aard van hallucinaties en kennisgaten.

Resultaten

1. Validatie op Synthetische Data:

• De methode toont sterke correlatie met MCMC-schattingen (Spearman $\rho$ van 0,44 tot 0,99).
• De correlatie verbetert naarmate het model groter wordt (van 12 tot $\sim 10^6$ parameters), wat de theorie ondersteunt dat isotropie een betere benadering wordt bij schaalvergroting.
• In regressieproblemen met sterke anisotropie presteert de Laplace-benadering beter, maar in classificatie is de gradiëntnorm ($\|g\|^2$) vaak net zo goed als de veel duurdere Laplace-benadering.

2. Toepassing op Vraagbeantwoording (TriviaQA vs. TruthfulQA):
De auteurs testten de methode op twee benchmarks met verschillende aard:

• TriviaQA (Feitelijke herinnering): Hier presteert de methode slecht (AUROC dicht bij 0,50, dus willekeurig). Modellen kunnen zeer zeker zijn van foute feiten. Epistemische onzekerheid (parameter-niveau) is hier weinig informatief.
• TruthfulQA (Misvattingen en ambiguïteit): Hier presteert de gecombineerde schatting (epistemisch + aleatorisch) het beste met een AUROC van 0,63, significant beter dan baselines zoals P(True) (zelfevaluatie) of entropie-metingen.
  • Inzicht: Epistemische onzekerheid is het meest nuttig wanneer er een echt conflict is tussen plausibele antwoorden (parameter-conflit), niet wanneer het gaat om puur feitelijke memorisatie.

3. Efficiëntie:
De methode is 46 tot 107 keer sneller dan bestaande baselines (zoals semantische entropie of P(True)), omdat deze slechts één backward pass vereist na de generatie, in plaats van meerdere forward passes voor sampling.

Betekenis en Conclusie

Dit paper biedt een efficiënte en schaalbare oplossing voor onzekerheidskwantificatie in LLMs zonder de noodzaak van extra training, ensembles of toegang tot trainingsdata.

• Fundamenteel Inzicht: Epistemische onzekerheid (gemeten via gradiëntnormen) en zelfevaluatie (zoals P(True)) vullen elkaar aan maar vangen verschillende signalen. Epistemische onzekerheid is cruciaal voor het detecteren van hallucinaties die voortkomen uit conceptuele conflicten (zoals in TruthfulQA), maar minder nuttig voor het detecteren van feitelijke fouten bij pure memorisatie (TriviaQA).
• Praktische Impact: De methode maakt real-time onzekerheidsmonitoring mogelijk voor grote modellen in productieomgevingen, wat essentieel is voor de betrouwbaarheid van AI-systemen.
• Beperkingen: De schatters zijn model-specifiek (transfereerbaarheid naar andere architecturen is beperkt) en de isotropie-aanneming introduceert fouten bij kleinere modellen of in regressie-taken met sterke anisotropie. Toch blijft de rangschikking van inputs als maatstaf voor lokale gevoeligheid betekenisvol.