Technische Samenvatting: Diagnostiek van LLM-arbitragegedrag over pre-evidence epistemische toestanden in RAG-gebaseerde fact-checking

1. Probleemstelling

In op Retrieval-Augmented Generation (RAG) gebaseerde fact-checking fungeren Large Language Models (LLMs) als verifieerders die hun interne parametrische kennis moeten afstemmen met opgehaalde externe bewijslast. Een kritieke, onderbelichte uitdaging ontstaat wanneer deze twee bronnen van mening verschillen, een conditie die wordt aangeduid als Prior-Context Discrepancy (PCD). Dit doet zich voor wanneer opgehaalde bewijslast ruis bevat, tijdelijk verouderd is of contrafeitelijk is, wat conflicteert met de vooraf bestaande overtuigingen van het model.

Bestaande evaluatieframeworks meten primair de uiteindelijke oordeelsnauwkeurigheid op basis van schone, gouden bewijs-paren. Bijgevolg falen zij om:

1. De pre-evidence epistemische staat van de verifieerder te karakteriseren (d.w.z. of het model met vertrouwen correct is, met vertrouwen onjuist, onzeker maar correct, of onzeker en onjuist).
2. Te meten hoe verifieerders tussen conflicterende signalen arbitreren (bijv. of ze koppig vasthouden aan een onjuiste prior of correct updaten op basis van accurate bewijslast).
3. Verschillende soorten fouten te onderscheiden, zoals een model dat met vertrouwen onjuist is versus een model dat onzeker is.

2. Methodologie: PAVE Framework

De auteurs introduceren PAVE (Prior-Aware Verifier Evaluation), een diagnostisch testbed ontworpen om het gedrag van LLM's te stratificeren op basis van epistemische toestanden en om arbitrage-dynamiek onder PCD te meten.

A. Karakterisering van de Epistemische Staat (Knowledge Boundary)

PAVE definieert de pre-evidence staat van een verifieerder met behulp van een Knowledge Boundary (KB) framework, geoperationaliseerd langs twee assen:

1. Feitelijke Juistheid: Komt de prior-only voorspelling van het model overeen met de grondwaarheid?
2. Parametrische Vertrouwen: Is de voorspelling van het model consistent over herhaalde stochastische generaties? (Hoge consistentie = "KNOWN"; Lage consistentie = "UNKNOWN").

Dit levert vier verschillende epistemische toestanden op:

• Known-Knows (KK): Zelfverzekerd en Correct.
• Known-Unknows (KU): Zelfverzekerd maar Incorrect.
• Unknown-Knows (UK): Onzeker maar Correct.
• Unknown-Unknows (UU): Onzeker en Incorrect.

B. Benchmark Constructie

De auteurs hebben een PCD-benchmark geconstrueerd van meer dan 7.000 claims over twee dimensies:

1. Contrafeitelijke Setting: Gebruikt gecontroleerde transformaties (entiteitssubstitutie, semantische negatie) op gouden bewijslast om misleidende context te creëren. Dit test Persistentie (het weerstaan van misleidende bewijslast wanneer de prior correct is) en Correctie (het updaten op basis van accurate bewijslast wanneer de prior onjuist is).
2. Temporele Setting: Gebruikt claims over gebeurtenissen die plaatsvonden na de trainingsstop van het model. Dit test Acquisitie (het updaten op basis van nieuwe bewijslast wanneer de prior verouderd of ontbrekend is).

C. Evaluatiemetrieken

PAVE introduceert staat-geconditioneerde metrieken om arbitragegedrag te kwantificeren:

• Correction Rate (CR): Het vermogen om initiële fouten te corrigeren wanneer correct bewijs wordt geleverd (gemeten op $D_{wrong}$).
• Persistence Rate (PR): Het vermogen om correcte voorspellingen te handhaven wanneer blootgesteld aan misleidende contrafeitelijke bewijslast (gemeten op $D_{correct}$).
• Margin: Een differentiële metriek gedefinieerd als $CR + PR - 1$. Een positieve marge geeft aan dat een model eerder geneigd is gecorrigeerd te worden door accurate context dan misleid te worden door inaccurate context.
• Odds of Influence (OI): Meet de relatieve elasticiteit van de vertrouwen van een model, waarbij de kans op het veranderen van een antwoord wordt vergeleken met de kans op het behouden ervan onder verschillende epistemische toestanden.

D. Test-Time Arbitrage Methode

Gebaseerd op de bevindingen van PAVE, stellen de auteurs een lichtgewicht, training-vrije arbitrage methode voor met behulp van Jensen-Shannon Divergentie (JSD):

• De methode neemt $K$ voorspellingen voor een claim onder twee condities: met externe bewijslast ($p_{ext}$) en zonder ($p_{par}$).
• Het berekent de stabiliteit (consistentie) van deze voorspellingen met behulp van JSD.
• Beslisregel: Als het JSD-verschil ($\Delta = JSD_{par} - JSD_{ext}$) onder een gekalibreerde drempelwaarde $\tau$ valt, vertrouwt het systeem zijn interne prior; zo niet, dan vertrouwt het de externe bewijslast. Dit maakt het mogelijk om dynamisch de meest betrouwbare bron te selecteren zonder hertraining.

3. Belangrijkste Resultaten

De auteurs hebben zeven LLM's (variërend van 7B tot 617B parameters, inclusief GPT-4o-mini, Llama3, Deepseek-v3, etc.) geëvalueerd met behulp van het PAVE-framework.

• Heterogene Epistemische Toestanden: Modellen vertonen significante variatie in hun interne vertrouwensprofielen. Bijvoorbeeld, Mistral-7B en Phi-4 vertonen een hoge onzekerheid (veel "UNKNOWN" toestanden), terwijl anderen zeer zelfverzekerd zijn.
• Prior Nauwkeurigheid $\neq$ Robuuste Arbitrage: Hoge prior-only nauwkeurigheid garandeert geen robuustheid onder PCD. Bijvoorbeeld, Qwen3-32B had een hoge prior-nauwkeurigheid maar leed onder een enorme prestatiedaling (43,02 punten) onder PCD, terwijl Deepseek-v3 een veel kleinere daling liet zien (19,11 punten) en een positieve Marge (+0,235).
• Modelselectie is Cruciaal: Modellen zoals Deepseek-v3 en Gemini-2.5-flash vertonen een wenselijke balans (hoge persistentie wanneer correct, hoge correctie wanneer onjuist). In tegen testelling hiermee waren modellen zoals Llama3-8B en Mistral-7B "koppig", waarbij ze vaak de foutieve interne priors verkozen boven accurate externe bewijslast.
• Schaaleffecten: Grotere modellen (bijv. Llama3-70B) vertonen een betere arbitrage-kalibratie en behalen hogere Marges dan kleinere varianten (1B, 3B), wat suggereert dat schaling de capaciteit om discrepanties op te lossen verbetert.
• Patronen van Bewijslast-opname:
  • Temporeel vs. Contrafeitelijk: Modellen zijn over het algemeen ontvankelijker voor het verwerven van nieuwe kennis (temporele setting) dan voor het herzien van onjuiste overtuigingen (contrafeitelijke setting).
  • Label Bias: Modellen tonen een hogere interne zelfverzekerdheid bij het weerleggen van valse claims dan bij het bevestigen van ware claims.
• Arbitrage Methode Prestaties: De voorgestelde JSD-gebaseerde test-time methode behaalde de beste of concurrerende algehele nauwkeurigheid in 5 van de 6 geëvalueerde LLM-families. Het was bijzonder effectief voor kleinere modellen (bijv. Mistral-7B), waarbij het de op één na beste baseline met 6,58 absolute punten overtrof. De methode blijft effectief, zelfs met een laag computationeel budget ($K=3$ runs).

4. Betekenis en Bijdragen

Het artikel claimt vier primaire bijdragen:

1. Formulering: Het herformuleert LLM fact-checking onder PCD als een epistemisch-geconditioneerd arbitrageprobleem, waarbij de focus van de evaluatie verschuift van de uiteindelijke oordelenauwkeurigheid naar de dynamiek van het balanceren van interne priors en externe bewijslast.
2. Diagnostisch Testbed (PAVE): Het introduceert een framework dat een gecontroleerde benchmark bevat voor het induceren van PCD, een KB-stratificatie voor pre-evidence toestanden, en staat-geconditioneerde metrieken (CR, PR, Margin, OI) om specifieke arbitragegedragingen te diagnosticeren.
3. Systematische Evaluatie: Het biedt een uitgebreide analyse van zeven LLM's, wat verschillende arbitrageprofielen onthult en praktische richtlijnen biedt voor modelselectie in RAG-gebaseerde systemen.
4. Praktische Interventie: Het stelt een lichtgewicht, JSD-gebaseerde test-time arbitrage methode voor die de feitelijke betrouwbaarheid verbetert zonder het onderliggende model te wijzigen, waarmee wordt aangetoond dat diagnostische signalen direct inzetbaar zijn.

De auteurs benadrukken dat hun werk de beperkingen van standaard nauwkeurigheidsmetrieken en de noodzaak van het begrijpen van hoe een model tot een oordeel komt, met name wanneer bronnen conflicteren, onderstreept. Ze erkennen beperkingen met betrekking tot de reikwijdte (binaire fact-checking, uitsluiting van scenario's waarin "beide bronnen onjuist zijn") en het potentieel voor generatie-artefacten bij de constructie van contrafeitelijke context, maar stellen dat de kernbevindingen over arbitrageprofielen stabiel blijven over verschillende configuraties.