Between the Layers Lies the Truth: Uncertainty Estimation in LLMs Using Intra-Layer Local Information Scores

Deze paper introduceert een compacte methode voor onzekerheidsschatting in grote taalmodellen die, door interne laag-interacties te analyseren, robuustere en overdraagbare resultaten biedt dan bestaande benaderingen op basis van output of probering.

De kern

Stel je voor dat je een zeer slimme, maar soms zelfverzekerd foutieve robot hebt die alles kan beantwoorden. Soms geeft deze robot een antwoord dat klinkt als een feitelijke waarheid, terwijl het volledig onzin is. Dit noemen we "hallucinaties". Het probleem is dat de robot er vaak 100% zeker van is, zelfs als hij het mis heeft.

Deze paper introduceert een nieuwe manier om te achterhalen of de robot het wel of niet goed heeft, zonder dat we de robot hoeven te veranderen of hem langere tijd hoeven na te laten denken.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Zelfverzekerde Leugenaar"

Normaal gesproken kijken we naar het antwoord van de robot om te zien of hij twijfelt. Als hij zegt: "Ik denk dat het X is," weten we dat hij twijfelt. Maar als hij zegt: "Het is absoluut X!" (terwijl het Y is), dan hebben we een probleem. De robot is dan "zeker van zijn fout".

Bestaande methoden om dit te detecteren zijn ofwel te simpel (ze kijken alleen naar de woorden die uit de mond komen) of te complex (ze moeten de robot van binnenuit "openbreken" en duizenden details analyseren, wat veel rekenkracht kost).

2. De Oplossing: De "Interne Stembus"

De auteurs van dit paper hebben een slimme truc bedacht. Ze kijken niet naar het eindantwoord, en ze kijken ook niet naar elke losse gedachte die de robot heeft. In plaats daarvan kijken ze naar hoe de verschillende lagen van het brein van de robot met elkaar overeenkomen.

Stel je het brein van de robot voor als een groot kantoorgebouw met 32 verdiepingen.

• Op elke verdieping wordt het verhaal van de vraag een beetje anders verteld.
• Soms zeggen de mensen op verdieping 1 en verdieping 32 precies hetzelfde.
• Soms zeggen ze iets heel anders, alsof ze ruzie hebben.

De nieuwe methode meet de "ruis" of de "overeenstemming" tussen al deze verdiepingen.

• Als de robot het goed heeft: Dan zijn de mensen op alle verdiepingen het over het algemeen eens. Het gebouw is rustig en harmonieus.
• Als de robot het fout heeft: Dan is er chaos. De mensen op de lagere verdiepingen zeggen iets anders dan de mensen op de hogere verdiepingen. Er is een soort "ruis" of "dissonantie" in het gebouw.

3. Hoe het werkt (De "Signature Map")

In plaats van te proberen te begrijpen wat elke verdieping precies zegt (wat heel moeilijk is), maken ze een kaartje van de relaties tussen de verdiepingen.

• Ze kijken naar elke paar verdiepingen (bijv. verdieping 1 vs. verdieping 5) en meten hoe verschillend hun "stem" is.
• Dit resulteert in een klein, compact plaatje (een matrix) dat laat zien hoe goed de verdiepingen met elkaar "in gesprek" zijn.
• Een klein, slim computerprogramma (een "trainer") kijkt naar dit plaatje en zegt: "Ah, dit plaatje ziet eruit als een fout antwoord" of "Dit ziet eruit als een correct antwoord".

4. Waarom is dit zo goed?

De paper toont aan dat deze methode drie grote voordelen heeft:

1. Het is snel en lichtgewicht: Ze hoeven de robot niet opnieuw te trainen en ze hoeven niet meerdere keren door het gebouw te lopen. Ze doen het in één keer ("one forward pass"). Het is alsof je in één oogopslag ziet of er ruzie is in het kantoor, zonder elke kamer binnen te gaan.
2. Het werkt ook als je de robot verplaatst: Als je de trainer leert op het ene onderwerp (bijv. geschiedenis) en hem dan test op een ander onderwerp (bijv. wiskunde), werkt deze methode nog steeds goed. De oude methoden (die kijken naar losse details) raken dan vaak de weg kwijt. Onze methode kijkt naar de structuur van het gesprek, en die structuur blijft hetzelfde, ongeacht het onderwerp.
3. Het werkt zelfs als de robot "verkleind" is: Als je de robot op een langzamere computer zet (waarbij de "geheugencapaciteit" wordt ingekrompen, een techniek genaamd "quantization"), blijft deze methode werken. De oude methoden vallen dan vaak uit elkaar, maar onze "overeenstemmingskaart" blijft stabiel.

Samenvatting in één zin

In plaats van te luisteren naar wat de robot zegt, kijken we naar hoe goed de verschillende delen van zijn brein met elkaar overeenkomen; als ze het oneens zijn, weten we dat de robot waarschijnlijk aan het hallucineren is, en dat kunnen we heel snel en betrouwbaar detecteren.

Het is een slimme manier om de "intuïtie" van de robot te meten door te kijken naar de harmonie in zijn eigen interne kantoorgebouw.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet in domeinen waar foutieve antwoorden ernstige gevolgen kunnen hebben. Een groot probleem is dat LLMs vaak zelfverzekerd fout zijn ("hallucinaties"): ze produceren grammaticaal correcte en vloeiende output, maar met een onterecht hoge mate van zekerheid. Dit ondermijnt de betrouwbaarheid in kennisintensieve of veiligheidskritieke toepassingen.

Bestaande methoden voor onzekerheidsschatting (Uncertainty Estimation - UE) hebben beperkingen:

• Output-gebaseerde heuristieken (zoals entropie of marge op token-probabiliteiten) zijn snel maar breekbaar; ze falen vaak bij distributieveranderingen en verwarren oppervlakkige taalvormen met semantische zekerheid.
• Bayesiaanse methoden (zoals MC Dropout of Ensembles) zijn expressief maar computationally onhaalbaar voor grote modellen bij inferentie.
• Probing van interne representaties is effectief maar vereist vaak hoge-dimensionale, ondoorzichtige hidden states die moeilijk te interpreteren zijn en slecht generaliseren tussen taken of datasets.

Methodologie

De auteurs stellen een nieuwe, compacte methode voor die onzekerheid schat op basis van intra-layer lokale informatiescores. In plaats van te kijken naar de ruwe hidden states of alleen de output, analyseren ze de structurele relaties tussen de lagen van het model.

De pipeline bestaat uit de volgende stappen:

1. Omzetting naar Kansverdelingen:
   Voor een gegeven token $t$ worden de post-MLP activaties $h^{(t)}_\ell$ van elke laag $\ell$ omgezet in een kansverdeling $p^{(t)}_\ell$ via een temperatuur-geschaalde softmax over de hidden dimension.

2. Constructie van Signature Maps (KL-divergentie):
   Er wordt een $L \times L$ matrix (waarbij $L$ het aantal lagen is) berekend voor elk relevant token. De elementen $S_{ij}$ van deze matrix zijn de gerichte Kullback-Leibler (KL) divergentie tussen de verdelingen van laag $i$ en laag $j$:
   $$S_{ij} = D_{KL}(p_i \parallel p_j)$$
   Deze matrix, de "Signature Map", vangt de mate van overeenstemming (agreement) of afwijking (disagreement) tussen lagen op. Warmere kleuren in de heatmap (zie Figuur 1) duiden op grotere divergentie.

3. Feature Extractie en Classifier:
   De matrix wordt geflatteerd tot een compacte feature vector. Optioneel wordt een contrast-transformatie toegepast om de dynamische range te verbeteren. Een lichtgewicht Gradient Boosted Decision Tree (LightGBM) wordt getraind op deze signature maps om te voorspellen of een antwoord correct is. De onzekerheid wordt afgeleid als $u(x) = 1 - P(\text{correct})$.

Belangrijk: De methode vereist slechts één forward pass, maakt geen architecturale wijzigingen en is model-agnostisch.

Kernbijdragen

1. Lagen-gebaseerde, informatietheoretische signatures: Een nieuwe representatie die gerichte divergenties tussen lagen gebruikt als gestructureerde signalen voor neurale activaties.
2. Compacte estimator: Een zeer efficiënte classifier die op deze compacte $L \times L$ kaarten werkt, in plaats van op de enorme $d_{hidden}$-dimensionale vectoren.
3. Uitgebreide evaluatie: Tests op drie modellen (Llama-3.1-8B, Qwen3-14B-Instruct, Mistral-7B-Instruct-v0.3) over diverse datasets (TriviaQA, MMLU, HotpotQA, etc.).

Resultaten

De methode wordt vergeleken met de state-of-the-art "probing" methode (Orgad et al., 2025).

• In-distribution prestatie: De methode presteert vergelijkbaar met probing op dezelfde dataset. Hoewel probing soms iets beter scoort op AUPRC (rankings van fouten), behaalt de voorgestelde methode betere Brier scores, wat aangeeft dat de voorspelde waarschijnlijkheden beter gekalibreerd zijn.
• Cross-dataset generalisatie (Transfer): Dit is het sterkste punt. Bij het trainen op de ene dataset en testen op een andere, overtreft de signature-methode probing consistent.
  • Voorbeeld (Llama-3.1-8B): +2.86 AUPRC punten en +21.02 Brier punten verbetering ten opzichte van probing bij cross-dataset transfer.
  • Dit suggereert dat de lagen-interacties algemene eigenschappen van correctheid vastleggen die minder overfit op taakspecifieke cues dan ruwe hidden states.
• Robuustheid bij Quantisatie: Bij 4-bit gewichts-quantisatie (weight-only) blijft de methode robuust en presteert ze beter dan probing (gemiddeld +1.94 AUPRC en +5.33 Brier punten verbetering).
• Efficiëntie: De representatiedimensie is $L^2$, wat veel kleiner is dan de $L \times d_{hidden} \times T$ van andere methoden zoals ACT-ViT of LOS-NET, terwijl de prestaties vergelijkbaar of beter zijn.

Betekenis en Conclusie

De paper introduceert een lichtgewicht, interpreteerbaar en transferable framework voor onzekerheidsschatting in LLMs.

• Theoretische positie: De methode vult het gat tussen klassiek probing (dat te veel afhankelijk is van ruwe, hoge-dimensionale data) en Information Bottleneck (IB) theorie (die vaak vereist dat men over de hele populatie werkt en niet per instance). Het gebruikt lokale, inferentie-tijd structuren zonder globale wederzijdse informatie te hoeven schatten.
• Interpreteerbaarheid: De signature maps bieden inzicht in hoe informatie stroomt door het model. Analyse van feature importance toont aan dat verschillende modellen (bijv. Mistral vs. Qwen) verschillende patronen van lagen-interactie hebben bij het vastleggen van onzekerheid.
• Praktische impact: Omdat de methode geen extra inferentie-kosten vereist en robuust is tegen kwantisatie en distributieveranderingen, is het ideaal voor veilige implementaties waarbij het model moet kunnen "afzien" (abstention) of prioriteit moet geven aan menselijke controle (triage) wanneer de onzekerheid hoog is.

Kortom, de auteurs bewijzen dat de patronen van overeenstemming tussen lagen een krachtiger en generaliserender signaal voor onzekerheid zijn dan de ruwe interne representaties zelf.