What Does a Factual-Error Detector Really Measure? Question Difficulty and Model Uncertainty Before the Answer Begins

Technische Samenvatting: Wat meet een detector van feitelijke fouten werkelijk?

Probleemstelling
Detectoren van feitelijke fouten proberen te voorspellen of het antwoord van een Large Language Model (LLM) onjuist is op basis van het model en de output. Echter, een hoge detectienauwkeurigheid alleen onthult niet de bron van het voorspellende signaal. Een detector kan simpelweg vragen identificeren die voor veel modellen moeilijk zijn, eigenschappen van de gegenereerde tekst vastleggen, of de onzekerheid van de output reflecteren, in plaats van de interne beoordeling van de eigen kennis van het model te meten. Bestaande baselines falen vaak in het onderscheiden tussen modelspecifieke voorspellende informatie en algemene "vraagmoeilijkheid". Bovendien ontbreekt het claims over interne signalen (bijv. activaties per laag) vaak aan een rigoureuze cross-model validatie of houden ze geen rekening met het feit dat entropie spreiding meet, en niet waarheid.

Methodologie
De auteurs stellen een rigoureus evaluatiekader voor dat gecentreerd is rond twee hoofdcomponenten: een "Leave-One-Model-Out" (LOMO) baseline en een prospectieve audit van scalaire afgeleiden over diverse model-lijnen.

1. LOMO Baseline: In plaats van te vertrouwen op interne toestanden, berekent de baseline de fractie van de andere beschikbare modellen die een specifieke vraag onjuist beantwoordden, exclusief het doelmodel. Deze score hangt uitsluitend af van de moeilijkheid van de vraag en de samenstelling van het panel, niet van het antwoord of de interne toestanden van het doelmodel.
2. Main Panel Analyse (TriviaQA): De studie auditeert korte feitelijke antwoorden van 18 open-weight modellen (17 behouden voor analyse). Van 42.636 mogelijke model-vraag paren overleefden 18.850 de extractie. De auteurs vergelijken een gunstig geselecteerde detector met de LOMO baseline met behulp van AUROC. Ze gebruiken ook continue cross-fitting (polynome LOMO) en exploratieve controles met geregenereerde antwoordtekst om overlap tussen detector-signalen en de inhoud van het antwoord te controleren.
3. Prospectieve Audit (Natural Questions): Een aparte, op consistentie gefilterde audit werd uitgevoerd op 18 modellen (12 lijnen). Om robuustheid te garanderen, werden alleen paren behouden waarbij 10 gesamplede reacties hetzelfde oordeel over juistheid gaven. De studie testte 24 scalaire maten (inclusief entropie en waarschijnlijkheidsmarges bij 12 relatieve dieptes) tegen een vooraf gespecificeerde empirische regel: een Cohen's $d$ effectgrootte $\ge 0,5$ in elk model, met een consistente richting en statistische significantie.
4. Scope Controles:
   • Decoding: Vergelijkingen tussen sampling en greedy decoding om te bepalen of associaties berusten op willekeurige tokenselectie.
   • Fouttypen: Analyse van "gedeelde fouten" (voorkomend in $\ge 3$ modelfamilies) versus "idiosyncratische fouten" om te testen of foutclustering correleert met entropie.
   • Taakafhankelijkheid: Evaluatie over Natural Questions (NQ), TriviaQA en BioASQ.

Belangrijkste Bijdragen

1. Operationele Evaluatie tegen Panel Moeilijkheid: Het artikel vestigt LOMO als een sterke, detector-onafhankelijke baseline. Het betoogt dat claims van modelspecifieke voorspellende informatie moeten aantonen dat ze winst boeken boven deze baseline.
2. Technisch Gevalideerde Audit: De studie biedt een strikte, vooraf geregistreerde audit van 24 scalaire afgeleiden over 18 modellen, waarbij exacte reconstructie van de native output en een minimale effectgrootte in elk model vereist zijn.
3. Scope Controles: De inclusie van greedy decoding controles, shared-error analyse en taakafhankelijke vergelijkingen om de condities te begrenzen waaronder de bevindingen standhouden.

Resultaten

• LOMO vs. Detectoren: In het hoofdpanel presteerde de LOMO baseline significant beter dan de geselecteerde standalone detector. De mediane AUROC voor LOMO was 0,855 versus 0,784 voor de detector. Het mediane gepaarde verschil was +0,064, positief in alle 17 modellen ($p = 2,9 \times 10^{-4}$).
• Gecombineerde Voorspellers: Hoewel LOMO alleen superieur was, leverde het toevoegen van detector-features (specifiek entropie en bredere features) aan LOMO positieve incrementele winst op, wat suggereert dat er sprake is van complementaire voorspellende waarde.
• Entropie en Diepte: Onder de 24 maten in de NQ-audit voldeed alleen de native-output entropie (bij de laatste laag, $u_{11}$) aan het vooraf gespecificeerde empirische criterium ($|d| \ge 0,5$ in alle 18 modellen). Geen enkele maat van een eerdere laag voldeed.
  • De gemiddelde effectgrootte voor de native-output entropie was $d = 1,0515$, met een minimum van 0,6512.
  • De dichtstbijzijnde pre-output maat (entropie bij $u_{10}$) had een minimum effect van 0,1495, wat onder de drempelwaarde bleef.
• Gevoeligheid voor Moeilijkheid: Wanneer gecontroleerd werd voor vraagmoeilijkheid via stratificatie, verzwakte het effect van entropie. Slechts 16/18 modellen overschreden de $d=0,5$ drempel (bijv. Mistral daalde naar 0,102), wat aangeeft dat het signaal gevoelig is voor de samenstelling van de steekproef.
• Greedy Decoding: De associatie tussen entropie en fout bleef bestaan onder greedy decoding, hoewel de magnitude varieerde. Dit suggereert dat het signaal niet uitsluitend een artefact is van sampling uit de staart van de distributie.
• Shared vs. Idiosyncratische Fouten: Gedeelde fouten (gropeerbaar op betekenis) vertoonden een lagere eerste-content-token entropie dan idiosyncratische fouten in 17/17 modellen. Dit impliceert dat wanneer modellen convergeren op hetzelfde foute antwoord, de onzekerheid laag is, wat het idee uitdaagt dat hoge entropie de enige indicator van hallucinatie is.
• Tekst Controles: Exploratieve controles met geregenereerde tekst suggereerden dat een groot deel van de schijnbare winst van activatie-gebaseerde detectoren overlapt met de informatie die in de antwoordtekst zelf aanwezig is.

Significantie en Claims
Het artikel concludeert dat detectoren van feitelijke fouten geëvalueerd moeten worden tegen de panel vraagmoeilijkheid (LOMO) in plaats van in isolatie. De bevindingen ondersteunen entropie als een waarschuwingssignaal voor potentiële fouten in geselecteerde korte-antwoord populaties, maar niet als een maat voor waarheid.

• Beperkingen van Entropie: Entropie meet de spreiding over de volgende tokens, niet de correctheid. Een dominante foute kandidaat kan de entropie laag houden, terwijl concurrerende oppervlaktevormen de entropie kunnen verhogen.
• Geen Universeel Mechanisme: De studie stelt geen gedeeld causaal mechanisme of een universele drempelwaarde vast. Het succes van de native-output entropie is specifief voor de geselecteerde, op consistentie gefilterde populatie.
• Bescheiden Claims: De auteurs verklaren expliciet dat hun bevindingen betrekking hebben op de geselecteerde populaties en niet generaliseren naar long-form generatie, retrieval-augmented systemen of productieverkeer. Het bewijs ondersteunt het zorgvuldig meten van onzekerheid als een trigger voor verificatie of onthouding, maar lage entropie alleen kan geen automatisch vertrouwen rechtvaardigen.

Samenvattend toont het onderzoek aan dat hoewel eenvoudige interne signalen zoals output-entropie kunnen correleren met fouten, ze sterk verward worden door vraagmoeilijkheid en teksteigenschappen. De meest robuuste voorspeller van feitelijke fouten in deze studie was de collectieve prestatie van andere modellen op dezelfde vraag, en niet de interne toestand van het doelmodel zelf.