Integrating Local and Global Entropy for Uncertainty Quantification in LLMs

Technische Samenvatting: Integratie van Lokale en Globale Entropie voor Onzekerheidskwantificatie in LLM's

Probleemstelling

Grote taalmodellen (LLM's) vertonen frequent "zelfverzekerde hallucinaties", waarbij ze vloeiende, specifieke, maar feitelijk onjuiste antwoorden produceren. Bestaande methoden voor onzekerheidskwantificatie (Uncertainty Quantification, UQ) vertrouwen voornamelijk op token-niveau signalen (bijv. log-waarschijnlijkheden of steekproefconsistentie). Hoewel deze effectief zijn voor het detecteren van lokale ambiguïteit, falen ze vaak bij het identificeren van de "zelfverzekerd-maar-fout"-foutmodus, waarbij een model onjuiste antwoorden genereert met een hoge token-niveau zelfverzekerdheid. Bovendien leggen veel bestaande benaderingen praktische barrières op, zoals de noodzaak van meerdere generatie-passes, taalspecifieke supervisie, gevoeligheid voor de lengte van de respons, of specifieke architecturale aannames. Er is behoefte aan een UQ-methode die ongesuperviseerd is, berekenbaar in een enkele forward pass, lengte-genormaliseerd en in staat is om de geometrische structuur van de interne trajectorie van het model te vangen.

Methodologie

Het artikel stelt Global-Local Uncertainty (GLU) voor, een framework dat twee verschillende onzekerheidssignalen integreert afgeleid van verschillende representatielagen van de LLM:

1. Lokale Onzekerheid (Token-niveau):

   • Afgeleid van de unembedding-laag (next-token prediction).
   • Gebaseerd op het framework van evidential deep learning, waarbij onzekerheid wordt ontleed in Aleatorische Onzekerheid (AU) (distributionele ambiguïteit) en Epistemische Onzekerheid (EU) (gebrek aan bewijs).
   • AU wordt berekend als de Shannon-entropie van een getrunceerde predictieve distributie over de top-$k$ tokens.
   • EU wordt geschat door logits te mappen naar Dirichlet-concentratieparameters (met een softplus-transformatie) en de inverse Dirichlet-sterkte te berekenen.
   • De lokale score ($\bar{R}$) is het gemiddelde van de multiplicatieve interactie van AU en EU over de $m$ meest onzekere tokens in de respons.

2. Globale Onzekerheid (Geometrische Complexiteit):

   • Afgeleid van de embedding-laag (hidden-state ruimte).
   • Gebaseerd op de hypothese dat betrouwbare feitenretrieval overeenkomt met verborgen toestanden die in een nauwe, consistente richting bewegen, terwijl hallucinaties overeenkomen met het dwalen door losjes gerelateerde richtingen.
   • De methode construeert een Gram-matrix ($K = HH^\top$) vanuit de hidden-state trajectorie $H$ over alle generatiestappen.
   • Globale onzekerheid wordt gekwantificeerd als de Rényi-2 entropie (collision entropy) van het genormaliseerde eigenwaarde-spectrum van $K$. Een hoge entropie duidt op een diffuse, incoherente trajectorie (hoge onzekerheid), terwijl een lage entropie duidt op een coherente, laag-rang trajectorie.
   • Om vergelijkbaarheid tussen responslengtes en modellen te waarborgen, wordt de entropie genormaliseerd door $\log T$ en gemiddeld over alle transformer-lagen.

3. Fusiestrategie (GLU):

   • Deze twee signalen worden gefuseerd via een multiplicatieve poort: $GLU = (1 + \tilde{S}) \cdot \bar{R}$, waarbij $\tilde{S}$ de genormaliseerde globale geometrische entropie is en $\bar{R}$ de geaggregeerde lokale onzekerheid.
   • Dit multiplicatieve ontwerp fungeert als een geometrische versterker: als de trajectorie diffuus is (hoge globale onzekerheid), wordt de lokale onzekerheidsscore opgewaardeerd. Dit richt zich specif specifiek op de "zelfverzekerd-maar-fout"-regime waar de token-entropie laag is maar de geometrische coherentie ontbreekt.
   • De methode vereist slechts één forward pass, geen gelabelde data, en is architectuur-agnostisch.

Belangrijkste Bijdragen

1. Multi-View Onzekerheidsextractie: Het artikel extraheert complementaire signalen uit twee verschillende lagen: globale geometrische entropie uit hidden-state trajecten en lokale token-niveau entropie uit output-logits.
2. Statistische Orthogonaliteit: Empirische analyse toont aan dat globale en lokale signalen statistisch bijna-orthogonaal zijn. Het globale signaal herstelt de "zelfverzekerd-maar-fout" foutmodus die lokale signalen systematisch missen.
3. GLU Framework: Introductie van een lichtgewicht, ongesuperviseerde score die deze signalen multiplicatief fuseert, waardoor het geen hertraining, pseudo-labels of meerdere sampling-passes vereist.
4. Uitgebreide Validatie: Uitgebreide evaluatie over drie modelfamilies (Qwen2.5, Gemma3, Fanar1) en zes diverse benchmarks (inclusief feitelijkheid, wiskunde en Arabische QA), naast rigoureuze ablatie-studies.

Experimentele Resultaten

• Prestaties: Over 18 model-dataset instellingen behaalde GLU de beste AUROC (Area Under the Receiver Operating Characteristic) in 13 gevallen en de beste Prediction Rejection Ratio (PRR) in 12 gevallen. Het presteerde consequent beter dan zowel lokale-alleen baselines (bijv. LogTokU) als globale-alleen baselines (bijv. RAUQ).
• Ablatie-studies:
  • Multiplicatief vs. Additief: De multiplicatieve fusiestrategie was cruciaal. Een additieve variant ($Add\text{-}\tilde{S}$) daalde significant in prestaties (rangschikking 13e van de 14 methoden), wat bevestigt dat het globale signaal moet fungeren als een modulator in plaats van een vaste offset.
  • Robuustheid: De prestatiewinst was robuust over verschillende keuzes van lokale en globale estimators, wat suggereert dat de complementariteit een structurele eigenschap van LLM's is in plaats van een artefact van specifieke hyperparameters.
• Kalibratie: Op de TriviaQA benchmark demonstreerde GLU een monotone relatie tussen onzekerheidsscores en empirische foutpercentages, waarbij het correcte van incorrecte responsen effectief scheidde over de betrouwde decielen.

Betekenis en Claims

Het artikel claimt dat het structurele onderscheid tussen de embedding-laag (semantische richting) en de unembedding-laag (token waarschijnlijkheid) een fundamentele basis biedt voor waarom token-niveau en geometrische signalen verschillende aspecten van onzekerheid meten. Door deze visies te integreren, biedt GLU een praktische, ongesuperviseerde oplossing voor betrouwbaarheidspredictie die een kritiek blinde vlek in huidige UQ-methoden aanpakt: de zelfverzekerde hallucinatie. De auteurs stellen dat GLU alle ongesuperviseerde baselines evenaart of overtreft, terwijl het lengte-genormaliseerd en architectuur-agnostisch blijft, wat het geschikt maakt voor real-world deployment waar computationele efficiëntie en gebrek aan supervisie van groot belang zijn. Het werk suggereert dat de complementariteit tussen lokale en globale onzekerheid een fundamentele structurele eigenschap van LLM's is.