💻 computer science

Signed Layer-Level Evidence in Transformer Predictions, and a Diagnostic for When It Applies

Dit artikel introduceert Language Evidence Flow (LEF) om Transformer-voorspellingen te ontleden in per laag gesigneerd bewijs en stelt ScopeGate voor, een op permutatie gebaseerde diagnostische tool die de model- en taakspecifieke beperkingen van bestaande foutdetectoren onthult, waarmee wordt aangetoond dat geen enkele metriek universeel modelfalen voorspelt.

Oorspronkelijke auteurs: Jeffery Opoku, David Banahene

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jeffery Opoku, David Banahene

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn de motoren achter een nieuwe generatie kunstmatige intelligentie, in staat om essays te schrijven, wiskundige problemen op te lossen en gesprekken te voeren die opmerkelijk menselijk aanvoelen. Toch ligt er onder hun vloeiende oppervlak een hardnekkig gebrek: ze verzinnen soms feiten met volkomen zelfvertrouwen, een fenomeen dat onderzoekers hallucinatie noemen. Jarenlang was de standaardmanier om deze fouten op te sporen door naar het uiteindelijke antwoord van het model te kijken en te vragen: "Hoe zeker lijkt het?" Als het model een hoge waarschijnlijkheid aan een woord toekent, gaan we ervan uit dat het correct is. Maar deze benadering heeft een blinde vlek. Het behandelt de uiteindelijke output als een black box en negeert de complexe interne machinerie die het heeft voortgebracht. Twee antwoorden kunnen exact hetzelfde niveau van vertrouwen hebben, terwijl de één het resultaat is van een duidelijke, unanieme overeenstemming tussen de interne componenten van het model, terwijl de ander het fragiele product is van een hevige interne burgeroorlog waarbij verschillende delen van het systeem in tegengestelde richtingen trekken. Het begrijpen van deze verborgen strijd is cruciaal, omdat een zelfverzekerd klinkende leugen vaak gevaarlijker is dan een aarzelende waarheid.

Een team onderzoekers heeft een nieuwe methode ontwikkeld om in deze black box te kijken en de verborgen touwtrekkerij te onthullen die plaatsvindt voordat er een enkel woord wordt uitgesproken. Ze noemen hun raamwerk Language Evidence Flow. In plaats van alleen naar de uiteindelijke score te kijken, volgt deze methode de bijdrage van elke individuele laag binnen de architectuur van het model terwijl het een zin verwerkt. Stel je het model voor als een lange keten van besluitvormers, waarbij elke schakel zijn eigen stukje bewijs toevoegt aan de uiteindelijke keuze. De onderzoekers ontdekten dat ze een positieve of negatieve waarde aan de bijdrage van elke schakel konden toekennen. Een positieve waarde betekent dat de laag het gekozen woord ondersteunt; een negatieve waarde betekent dat het het tegenovergestelde is. Door deze bij elkaar op te tellen, kunnen ze een "conflictscore" berekenen. Een lage score betekent dat de interne lagen in harmonie zijn, terwijl een hoge score onthult dat het model een antwoord genereert ondanks sterke interne onenigheid. Dit stelt hen in staat om te detecteren wanneer een model hallucineert, zelfs als het uiteindelijke antwoord aan de oppervlakte perfect zelfverzekerd lijkt.

De onderzoekers testten dit idee bij een breed scala aan modellen, van kleinere versies met 1,4 miljard parameters tot massieve systemen met 14,7 miljard parameters, waarbij verschillende architecturale families werden gedekt. Ze ontdekten dat de methode uitzonderlijk goed werkt bij het opsporen van een specifiek type fout: wanneer het interne geheugen van een model botst met externe informatie die het heeft opgehaald. In een setup voor retrieval-augmented generation krijgt het model een document te lezen voordat het antwoordt. Als het document iets anders zegt dan het trainingsgeheugen van het model, piekt de interne conflictscore, wat een signaal is dat het antwoord waarschijnlijk een hallucinatie is. Dit werkt in één enkele passage, wat betekent dat het bijna geen tijd toevoegt aan het generatieproces, in tegen tegenover de oudere methoden die vereisten dat het model hetzelfde antwoord meerdere keren genereerde om op consistentie te controlend.

Echter, de studie onthulde ook een verrassende en belangrijke beperking: dit interne conflictsignaal is geen universele waarheid voor alle modellen. De onderzoekers ontdekten dat voor sommige modellen een hoge conflictscore betrouwbaar een fout voorspelde, maar voor andere was het signaal zwak of zelfs misleidend. Zo was de conflictscore bij een populair model van 7 miljard parameters zelfs slechter dan willekeurig gokken bij het voorspellen van fouten, terwijl het op een ander model van dezelfde grootte een sterke indicator van problemen was. Deze inconsistentie betekent dat het simpelweg installeren van deze tool op elk AI-systeem niet genoeg is; je moet eerst verifiëren of het werkt voor jouw specifieke model. Om dit op te lossen, creëerde het team een veiligheidscontrole genaamd ScopeGate. Dit is een eenvoudige test die draait op een kleine set bekende juiste en onjuiste antwoorden om te zien of de conflictscore daadwerkelijk correleert met fouten voor dat specifieke model. Als de test faalt, wordt de tool niet gebruikt als een zelfstandig alarm, maar kan het nog steeds worden gebruikt om te begrijpen waarom het model worstelt.

De bevindingen suggereren dat de manier waarop deze modellen denken verandert naarmate ze worden afgesteld voor menselijke conversatie. Wanneer modellen worden gefinetuned om behulpzamer te zijn en instructies op te volgen, wordt hun oppervlakkige zelfvertrouwen vaak minder betrouwbaar als waarschuwingssignaal, maar het interne conflictsignaal blijft sterk of wordt zelfs scherper. Dit maakt de nieuwe methode bijzonder waardevol voor de meest geavanceerde, instructie-afgestemde modellen die in de echte wereld worden gebruikt. De onderzoekers toonden ook aan dat deze aanpak fouten kan detecteren in complexe, meerstaps redeneertaken waarbij het model feiten aan elkaar moet koppelen, waarbij het het moment vangt waarop de interne logica begint te rafelen.

Uiteindelijk verschuift dit werk de focus van de uiteindelijke output naar het proces van creatie. Het bewijst dat de weg naar een antwoord net zo belangrijk is als het antwoord zelf. Door de gesigneerde bewijsvoering die door elke laag van het netwerk stroomt in kaart te brengen, hebben de onderzoekers een manier geboden om de interne onenigheid van het model in realtime te zien. Hoewel de methode niet perfect werkt op elk model zonder voorafgaande controle, biedt het een krachtige, training-vrije tool die onmiddellijk kan worden ingezet. Het stelt ontwikkelaars in staat om precies te zien waar en waarom een model met zichzelf vecht, waardoor het ondoorzichtige proces van kunstmatige intelligentie wordt omgezet in iets dat geobserveerd, gemeten en begrepen kan worden. De belangrijkste les is dat zelfvertrouwen niet genoeg is; we moeten ook zoeken naar de stilte van overeenstemming of de ruis van conflict binnen de machine.

Technisch Overzicht: Gelaagde Gekarakteriseerde Bewijsvoering in Transformer-voorspellingen

1. Probleemstelling

Grote taalmodellen (LLM's) produceren vaak vloeiende, met hoge waarschijnlijkheid gegenereerde outputs die feitelijk onjuist zijn (hallucinaties). Bestaande detectiemethoden kampen met een fundamentele beperking: ze vertrouwen op output-niveau scores (bijv. softmax-waarschijnlijkheid, predictieve entropie) of vereisen dure sampling (bijv. SelfCheckGPT) of gelabelde trainingsdata (bijv. probing classifiers).

De kern van de moeilijkheid die dit werk aanpakt, is dat twee tokens met identieke softmax-waarschijnlijkheden via zeer verschillende interne processen bereikt kunnen worden. De ene token kan worden ondersteund door bijna unanieme instemming over alle transformer-lagen, terwijl de andere kan overleven ondanks sterke interne oppositie (conflict) van verschillende lagen. Output-niveau scores zijn functies van het logit-verschil alleen en zijn blind voor de "bewijsmassa" of de interne onenigheidsstructuur. Bijgevolg kan een model zeer zelfverzekerd lijken terwijl de interne bewijsvoering tegen zichzelf strijdt, een staat die standaardmetingen niet kunnen detecteren.

2. Methodologie: Language Evidence Flow (LEF)

De auteurs introduceren Language Evidence Flow (LEF), een framework dat de voorspelling van een token deelt in gesigneerde bijdragen van elke transformer-laag, attention-head en, in Retrieval-Augmented Generation (RAG) settings, van parametrische geheugen versus opgehaalde documenten.

2.1 Kernmechanisme

LEF maakt gebruik van de additieve aard van de transformer residual stream. Voor een gegeven tokenpositie $t$ selecteert het model een top-token $\hat{v}_t$ en een runner-up $\hat{r}_t$ . Het logit-verschil $\Delta_t$ wordt exact gedecomposeerd in gesigneerde bewijstermen $E_\ell(t)$ van elke laag $\ell$ :
$\Delta_t = E_0(t) + \sum_{\ell=1}^{L} E_\ell(t)$
waarbij $E_\ell(t)$ de bijdrage van laag $\ell$ (combinatie van attention en MLP outputs) is aan het verschil tussen de top-token en de runner-up.

Gesigneerde Bewijsvoering: Als $E_\ell(t) > 0$ , ondersteunt de laag de gekozen token; als $E_\ell(t) < 0$ , staat de laag de token tegen.
Support en Opposition Mass: $S^+(t)$ en $S^-(t)$ zijn de sommen van de positieve en negatieve bewijsmagnitudes, respectievelijk.
Conflict Score ( $C$ ): Gedefinieerd als $C(t) = \frac{2 \min(S^+, S^-)}{S^+ + S^-}$ . Een waarde nabij 0 duidt op eenzijdig bewijs; een waarde nabij 1 duidt op een splitsing (hoog conflict).
Flip Margin ( $m_{flip}$ ): De minimale herverdeling van bewijs die nodig is om de voorspelling te keren, berekend als $m_{flip}(t) = \frac{|\Delta_t|}{2} = \frac{M(t)(1-C(t))}{2}$ . Hoog conflict impliceert een kleine flip margin, wat wijst op de fragiliteit van de voorspelling.

2.2 RAG Decompositie

In RAG-scenario's scheidt LEF bewijsvoering in parametrische ( $E_{param}$ ) en opgehaalde ( $E_{retr}$ ) bronnen. Het definieert Cross-Source Conflict ( $C_{cross}$ ) om de onenigheid te meten tussen het interne geheugen van het model en externe documenten. Dit maakt de detectie van RAG-hallucinaties mogelijk waarbij het model opgehaalde feiten negeert ten gunste van parametrische kennis (of vice versa).

2.3 Theoretische Garanties

Het artikel bewijst een Identification Theorem dat vaststelt dat output-niveau scores (zoals waarschijnlijkheid of entropie) geen garantie kunnen bieden voor de onthulling van intern conflict, omdat de bewijsmassa een vrije parameter is die onafhankelijk is van de softmax-output. Het bewijst ook een ondergrens voor conflict wanneer parametrische en opgehaalde bronnen van mening verschillen.

2.4 ScopeGate: Een Diagnostisch Instrument voor Implementatie

In het besef dat conflict niet universeel voorspellend is voor fouten over alle modellen heen, introduceren de auteurs ScopeGate. Dit is een permutatietest die controleert of de score van een specifieke detector (bijv. conflict) correleert met fouten op een specifiek model-taak paar met behulp van een kleine set gelabelde voorbeelden (~100–250). Als de test faalt, is de detector niet klaar voor implementatie voor die configuratie, wat overmatige afhankelijkheid voorkomt.

3. Belangrijkste Bijdragen

Framework: LEF biedt een single-pass, training-vrije decompositie van voorspellingen in gesigneerde per-laag bewijsvoering, wat laag-niveau attributie en RAG-bron-scheiding mogelijk maakt.
Theorie: Bewijzen die de identificatiegrens karakteriseren waar output-scores falen om conflict te onthullen, een gesloten vorm link tussen conflict en flip margin, en een propagatietheorema voor conflict in autoregressieve decodering.
Empirische Validatie: Evaluatie over 11 modellen (1.4B–14.7B parameters) en vier architectuurfamilies. Belangrijkste bevindingen zijn onder meer:
- LEF detecteert RAG-bron onenigheid in een enkele forward pass over meerdere architectuurfamilies.
- LEF conflict (training-vrij) benadert bijna de prestaties van een getrainde hidden-state probe (AUROC 0.660 vs. 0.669) en presteert beter dan sampling-gebaseerde methoden (SelfCheckGPT) bij 5x lagere inferentiekosten.
- Model-Specificiteit: Conflict is een sterk foutsignaal voor Qwen2.5 varianten en OLMo-2-7B-Instruct, maar faalt of is geïnverteerd voor Mistral-7B en Falcon-7B.
Implementatieprotocol: Een vierstaps recept inclusief de ScopeGate veiligheidscheck, laag-ablatie voor efficiëntie (monitoren van de top 5–10 lagen vermindert de overhead tot <4%), en ensemble-strategieën met entropie.

4. Experimentele Resultaten

Factual QA (TriviaQA): Bij eenvoudige single-hop QA presteert predictieve entropie over het algemeen beter dan ruwe conflict (bijv. Mistral-7B: Entropie 0.802 vs. Conflict 0.463). Echter, conflict blinkt uit bij het detecteren van zelfverzekerde fouten (lage entropie, hoog conflict) en presteert beter op multi-hop redeneertaken voor specifieke modellen (bijv. Qwen2.5-7B-Instruct: Conflict AUROC 0.829 op HotpotQA).
RAG Bron Onenigheid: Wanneer opgehaalde documenten botsen met het parametrische geheugen, stijgen de conflict scores aanzienlijk (bijv. +0.048 voor Mistral-7B) terwijl de nauwkeurigheid daalt. Dit effect repliceert directioneel over vier architectuurfamilies.
ScopeGate Prestaties: ScopeGate identificeerde correct 4 implementatie-klare configuraties (alle Qwen2.5 varianten en OLMo-2-7B-Instruct) van de 11 geteste modellen. Het waarschuwde correct tegen het gebruik van conflict als een standalone signaal voor modellen zoals Mistral-7B en Phi-2.
Instruction Tuning: Er werd gevonden dat instruction tuning (RLHF) de entropie-gebaseerde detectie degradeert (modellen zelfverzekerder maakt maar potentieel minder betrouwbaar), terwijl het het conflict-signaal behoudt of versterkt, waardoor LEF bijzonder waardevol is voor gealigneerde modellen.
Efficiëntie: LEF voegt verwaarloosbare overhead toe (~3.7% voor single-pass op top 5 lagen) vergeleken met de basis forward pass.

5. Betekenis en Claims

Het artikel claimt dat LEF een structureel verschillend signaal biedt voor hallucinatie-detectie dat orthogonaal is aan output-niveau scores. De primaire betekenis ligt niet in het universeel overtreffen van entropie op alle taken, maar in:

Interne Processen Onthullen: Het legt de "waarom" achter een voorspelling bloot (laag-instemming vs. conflict) in plaats van alleen het "wat" (waarschijnlijkheid).
Bron-Attributie: Het is de enige single-pass methode die in staat is om parametrisch geheugen te scheiden van opgehaalde bewijsvoering in RAG.
Veiligheid via Diagnostiek: De inclusie van ScopeGate adresseert de neiging in het veld om detectoren te implementeren zonder hun geldigheid te verifiëren op specifieke doelmodellen. Het artikel benadrukt dat de geldigheid van een detector een eigenschap is van het model-taak paar, niet van de detector alleen.
Training-Vrije Efficiëntie: Het bereikt concurrerende prestaties met gesuperviseerde probes en sampling methoden zonder dat daarvoor gelabelde data of meerdere inference passes nodig zijn.

De auteurs zijn bescheiden over de universaliteit van het conflict-signaal en stellen expliciet dat de effectiviteit ervan afhangt van de specifieke modelarchitectuur en schaal, en dat ScopeGate noodzakelijk is om de toepasbaarheid te verifiëren vóór implementatie. Ze beweren niet de exacte mechanistische reden (bijv. laag-diversiteit) te hebben gevonden waarom sommige modellen werken en anderen falen, en merken op dat huidige tests voor laag-diversiteit de variantie niet konden verklaren.