Technische Samenvatting: Decoupled Update Dynamics (DUD) voor Betrouwbare Onzekerheidskwantificatie in LLM's

1. Probleemstelling

Nauwkeurige onzekerheidskwantificatie (Uncertainty Quantification, UQ) is essentieel voor de betrouwbare inzet van Large Language Models (LLM's), met name in omgevingen met een hoog risico. Traditionele UQ-benaderingen kampen echter met significante beperkingen:

• Oppervlakkige Afhankelijkheid: Conventionele methoden, variërend van black-box sampling-consistentie tot white-box logit-analyse, vertrouwen primair op de uiteindelijke outputverdeling. Hoewel effectief voor het vangen van data-niveau ambiguïteit (aleatorische onzekerheid), falen ze vaak in het reflecteren van de werkelijke epistemische staat van het model.
• De Black Box Misvatting: Door inferentie als een black box te behandelen, negeren deze methoden de interne computationele dynamiek waar de onzekerheid vandaan komt. Bijgevolg kan een model een hoge waarschijnlijkheidsscore produceren terwijl de interne redenering instabiel is, wat leidt tot ernstige miskalibratie.
• Aggregatie Tekortkomingen: Recente mechanistische benaderingen proberen de verborgen toestandsdynamiek (hidden state dynamics) te gebruiken, maar aggregeren doorgaans de residu-stroomupdates. Deze aggregatie vervaagt de onderscheidende rollen van parametrische geheugen (Feed-Forward Networks, FFNs) en contextuele verwerking (Multi-Head Self-Attention, MHSA). De auteurs stellen dat deze aggregatie fijnmazige mechanistische conflicten vertroebelt—specifiek de mismatch tussen geheugen en context—die fundamentele indicatoren van onzekerheid zijn.

2. Methodologie: Decoupled Update Dynamics (DUD)

Het artikel stelt Decoupled Update Dynamics (DUD) voor, een framework dat de verschuiving maakt van passieve schatting naar actieve mechanistische diagnose. De kernhypothese is dat onzekerheid zich manifesteert als afzonderlijke spatiotemporele fragiliteitspatronen die voortkomen uit conflicten tussen de FFN- en MHSA-modules.

2.1 Causal Tracing Framework

DUD maakt gebruik van een driefasig causal tracing-proces om de bijdragen van geheugen en context te isoleren:

1. Clean Run: Een standaard forward pass met de originele input om 'clean' activaties (verborgen toestanden, MHSA-outputs en FFN-outputs) te cachen en de baseline voorspellingskans ($P_{clean}$) vast te leggen.
2. Corrupted Run: Gaussische ruis wordt geïnjecteerd in de input-embeddings om een informatie-bottleneck te simuleren, waardoor de voorspellingskans degradeert naar $P_{corr}$. Het verschil tussen $P_{clean}$ en $P_{corr}$ bepaalt het Totaal Effect (TE) van de ruis.
3. Decoupled Patch Run: In plaats van de volledige verborgen toestand te herstellen, voert het framework component-specifieke interventies uit. Voor elke laag $l$ wordt de activatie van een specifieke module ($\phi \in \{MHSA, FFN\}$) hersteld vanuit de Clean Run, terwijl de rest van het netwerk in de Corrupted-staat blijft. Dit levert een herstelde waarschijnlijkheid $P^{(l,\phi)}_{restored}$ op.

2.2 Kwantificeren van Restauratiescores

Het framework berekent een Restauratiescore ($S^{(l)}_{\phi}$) voor elke module in elke laag, die de genormaliseerde waarschijnlijkheidsverschuiving vertegenwoordigt die door de restauratie wordt geïnduceerd:
$$S^{(l)}_{\phi} = \frac{P^{(l,\phi)}_{restored} - P_{corr}}{TE}$$

• Interpretatie: Een kleine magnitude ($S \approx 0$) duidt op mechanistische robuustheid (het model tolereert interne mismatch). Een grote negatieve magnitude ($|S| \gg 0$) signaleert mechanistische fragiliteit, waarbij het herstellen van een enkele module een catastrofale daling in waarschijnlijkheid veroorzaakt, wat onthult dat de generatie rust op een precair intern evenwicht.

2.3 DUD-Probe Constructie

Om deze fijnmazige dynamiek te vertalen naar een uitgebreide onzekerheidsschatting, construeren de auteurs een lichtgewicht, niet-lineaire probe:

• Feature Engineering: Laag-specifieke restauratiescores voor zowel FFN als Attention worden geconcateneerd tot een uniforme feature vector $v \in \mathbb{R}^{2L}$, gevolgd door Z-score normalisatie.
• Architectuur: Een 4-laags Multi-Layer Perceptron (MLP) wordt getraind om generatiefouten te voorspellen (binaire classificatie: Correct vs. Onzeker) op basis van deze features. De grondwaarheid-labels worden afgeleid van ROUGE-L scores ten opzichte van de grondwaarheid-antwoorden.
• Training: De probe gebruikt Binary Cross-Entropy loss met LeakyReLU en Batch Normalization om negatieve restauratiescores te verwerken en overfitting te voorkomen.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Gedecoupleerd Causal Framework: Het eerste UQ-framework dat de causale bijdragen van FFN- en MHSA-modules expliciet ontrafelt. Het demonstreert dat interne module-dynamieken een aanzienlijk trouwaardere proxy zijn voor betrouwbaarheid dan traditionele output-waarschijnlijkheden.
2. Ontdekking van Mechanistische Fragiliteit: Door middel van rigoureuze causal tracing onthullen de auteurs dat voorspellingsonzekerheid zich fysiek manifesteert als systemische fragiliteit en moduleconflict. Opmerkelijk genoeg identificeren zij specifieke faalmodi: routing-instabiliteit in vroege-laag MHSA tijdens context-encoding en een plotselinge instorting in late-laag FFNs tijdens kennisretrieval.
3. Empirische Prestaties: Uitgebreide experimenten tonen aan dat de gedecoupleerde benadering significant beter presteert dan zowel logits-gebaseerde baselines als geaggregeerde mechanistische probes (zoals de ICR Probe) in onzekerheidsschatting en kalibratie, terwijl het superieure generalisatiekracht vertoont over verschillende datasets.

4. Experimentele Resultaten

De DUD-Probe werd geëvalueerd op drie open-source LLM's (Llama-3.1-8B, Qwen2.5-7B, Gemma-2-9B) over vier benchmarks (HaluEval, SQuAD, TriviaQA, HotpotQA).

• Superieure Nauwkeurigheid: DUD-Probe behaalde consistent state-of-the-art AUROC-scores. Bijvoorbeeld, op LLaMA-3.1-8B met HaluEval behaalde het een AUROC van 0.949, wat aanzienlijk beter is dan Semantic Entropy (0.7745) en de geaggregeerde ICR Probe (0.7703).
• Cross-Dataset Generalisatie: De methode toonde uitzonderlijke overdraagbaarheid. Wanneer getraind op één dataset en getest op een andere (bijv. TriviaQA $\to$ SQuAD), behield DUD-Probe hoge AUROC-scores (0.868), terwijl baselines zoals SAPLMA en SEP vaak onder de 0.6 zakten. Dit suggereert dat de methode taak-agnostische mechanistische signatures vangt in plaats van dataset-artefacten.
• Kalibratie en Robuustheid: DUD-Probe verminderde de Expected Calibration Error (ECE) aanzienlijk en verbeterde de Prediction Rejection Ratio (PRR). Het bleef robuust over variërende ROUGE-L drempelwaarden (Lenient, Standard, Strict) en verschillende model-schalen (3B tot 14B).
• Ablatie Studies: Het verwijderen van ofwel de FFN- of de Attention-stroom verslechterde de prestaties aanzienlijk, wat bevestigt dat beide modules complementaire onzekerheidssignalen bieden. Bovendien toonde de analyse aan dat er geen enkele "golden layer" bestaat; betrouwbare detectie vereist het holistische dynamische traject van vroege encoding tot de finale projectie.

5. Betekenis en Claims

Het artikel beweert dat Decoupled Update Dynamics een fundamentele verschuiving biedt in hoe onzekerheid in LLM's wordt begrepen en gemeten:

• Voorbij Oppervlakkige Vertrouwen: De studie belicht een "Confidence Paradox", waarbij oppervlakkige logits vaak niet de betrouwbaarheid van de generatie reflecteren. DUD legt "Stubborn Errors" (hoge vertrouwensscore, lage interne stabiliteit) en "Humble Truths" (lage vertrouwensscore, hoge interne stabiliteit) bloot die traditionele metrieken missen.
• Mechanistische Gronding: Door onzekerheid te behanden als een fysieke manifestatie van intern conflict tussen parametrisch geheugen en contextuele verwerking, biedt DUD een "fysieke gronding" voor het detecteren van model-fouten.
• Architecturale Invariantie: De bevindingen suggereren dat het mechanistische conflict tussen FFN en MHSA een universele indicator van onzekerheid is over diverse LLM-architecturen heen, wat de dual-stream benadering valideert als een robuuste proxy voor model-getrouwheid.

De auteurs erkennen beperkingen, waarbij zij opmerken dat DUD, als een white-box methode die toegang vereist tot interne activaties en meerdere forward passes (Clean, Corrupted, Patched), momenteel niet toepasbaar is op closed-source API-modellen en een hogere inferentie-latentie met zich meebrengt dan eenvoudige logit-gebaseerde methoden. Toekomstig werk richt zich op het distilleren van deze signalen naar lichter gewichtige detectoren.