Technische Samenvatting: Pcib – Predictive Coding en Information Bottleneck voor Hallucinatie-detectie

Probleemstelling

De inzet van Large Language Models (LLM's) in domeinen met een hoog risico wordt belemmerd door "hallucinaties"—generaties die weliswaar plausibel zijn, maar feitelijk onjuist. Huidige detectiemethoden kampen met een afruil tussen prestaties en efficiëntie:

• Sampling-gebaseerde methoden (bijv. SelfCheckGPT) vertrouwen op brute-force generatiestatistieken, wat de onderliggende oorzaak van fouten maskeert en hoge computationele kosten met zich meebrengt.
• Entailment-gebaseerde methoden (bijv. RARR) vereisen dure externe retrieval-loops of zoekmachines, wat zorgt voor aanzienlijke latentie.
• LLM-as-a-Judge benaderingen vertrouwen vaak op opaak, black-box modellen met enorme parameteraantallen (70B+) en vereisen uitgebreide trainingsdata, wat hen ongeschikt maakt voor omgevingen met beperkte middelen of real-time productieomgevingen.

Er is een kritieke behoefte aan een detectiekader dat computationeel efficiënt, interpreteerbaar en in staat is om hallucinaties te identificeren zonder te vertrouwen op externe grondwaarheid-orakels.

Methodologie: Het Pcib-framework

De auteurs stellen Pcib voor, een hybride detectiekader dat neurowetenschappelijk geïnspireerd signaalontwerp integreert met supervised machine learning. In plaats van detectie te behandelen als een black-box classificatie, deelt Pcib het probleem op in interpreteerbare diagnostische signalen die geworteld zijn in twee theoretische pijlers: Predictive Coding en het Information Bottleneck (IB) principe.

1. Theoretische Fundamenten

• Predictive Coding: Stelt dat intelligentie voorspellingsfouten (surprisal) minimaliseert. In LLM's treedt een hallucinatie op wanneer het model vertrouwt op getrainde priors in plaats van op de verstrekte context.
• Information Bottleneck: Suggereert dat robuuste representaties inputs comprimeren om alleen relevante informatie te behouden. De auteurs hypothetiseren dat feitelijke kennis een "robuuste" compressie is (invariant onder perturbatie), terwijl hallucinaties "fragiele" compressies zijn die degraderen onder semantische ruis.

2. Signaalextractie

Het framework extraheert een feature vector uit een trippel $(Q, C, A)$—Vraag, Context, Antwoord—bestaande uit vier basis-signalen:

1. Uptake ($U$): Meet de "verrassing" of divergentie tussen de output-distributie van het model geconditioneerd op de context versus de vraag alleen ($D_{KL}(P(A|Q,C) \parallel P(A|Q))$). Hoge uptake duidt erop dat het antwoord context-afhankelijk is (feitelijk); lage uptake suggereert een afhankelijkheid van priors (hallucinatie).
2. Stress ($S$): Meet semantische stabiliteit. Door claims te parafraseren en Jensen-Shannon divergentie in entailment-waarschijnlijkheden te berekenen, detecteert dit signaal of kleine wijzigingen in formulering ervoor zorgen dat het model wankelt op waarheidswaarden.
3. Conflict ($C$): Meet logische consistentie door een Natural Language Inference (NLI) model te gebruiken om te controleren of geperturbeerde claims in strijd zijn met het oorspronkelijke antwoord.
4. Rationalization ($R$): Meet de semantische overlap van meerdere redeneersporen (reasoning traces) die worden gegenereerd om een claim te verklaren.

3. SOTA Signaalverbeteringen

Om specifieke faalmodi aan te pakken, werden drie theoretisch gemotiveerde verbeteringen geïntroduceerd:

• Entity-Focused Uptake: Weegt het Uptake-signaal door de dichtheid van hoogwaardige tokens (entiteiten, getallen, technische termen), aangezien hallucinaties vaak concentreren in deze gebieden in plaats van bij stopwoorden.
• Context Adherence: Benadert de grondingssterkte door de inverse van Stress te combineren met contextlengte, waardoor onderscheid wordt gemaakt tussen antwoorden die gegrond zijn in bewijs versus die gegenereerd zijn vanuit parametrische geheugen.
• Falsifiability Score: Combineert het Conflict-signaal met een analyse van linguïstische zekerheid (definitief versus voorzichtige taal) om zelfverzekerde maar tegenstrijdige claims te detecteren.

4. Aggregatie en Classificatie

De ruwe signalen worden gesynthetiseerd tot een Evidence Sufficiency Index (ESI) met behulp van een harmonisch gemiddelde om bewijsvoering te behandelen als een "zwakste schakel"-probleem. Deze features worden gevoed aan diverse supervised classifiers (Random Forest, SVM, Gradient Boosting, Neurale Netwerken en Meta-Ensembles) om de waarschijnlijkheid van een hallucinatie te voorspellen.

Belangrijkste Bijdragen

1. Interpreteerbare Signaaldecompositie: Het formaliseren van hallucinatie-detectie als de aggregatie van vier afzonderlijke diagnostieken (Uptake, Stress, Conflict, Rationalization) in plaats van een binaire black-box output.
2. Hybride Theorie-gestuurd Framework: Het aantonen dat signalen afgeleid van cognitieve neurowetenschappen (Predictive Coding, IB) dienen als krachtige features voor supervised learning, waarbij sterke prestaties worden behaald met minimale data.
3. Negatief Resultaat op Rationalization: Het leveren van empirisch bewijs dat het controleren van de consistentie van redeneringen (Rationalization) ineffectief is, wat de aanname uitdaagt dat Chain-of-Thought (CoT) verificatie betrouwbaar hallucinaties detecteert.

Experimentele Resultaten

Het framework werd geëvalueerd op een gebalanceerde subset van HaluBench ($n=200$).

• Prestatiewinst:

  • De Theory-Guided Unsupervised Baseline behaalde een AUROC van 0,8017.
  • BASE Supervised Models (gebruikmakend van de 5 basis-signalen) bereikten een AUROC van 0,8274.
  • IMPROVED Supervised Models (inclusief de 3 verbeteringen) bereikten een AUROC van 0,8669, wat een +4,95% winst betekent ten opzichte van de BASE-variant.
  • De Random Forest met IMPROVED features bleek de beste performer.

• Efficiëntie en Schaalbaarheid:

  • Data-efficiëntie: Pcib behaalde concurrerende prestaties met slechts 200 trainingssamples, vergeleken met 15.000 samples die nodig zijn door het state-of-the-art Lynx-model (een reductie van 75x).
  • Inference Snelheid: Pcib opereert op 5ms per query, wat 1000x sneller is dan de 5s vereist door 70B parameter LLM-judges.
  • Kosten: De lichtgewicht modellen (<1M parameters) bieden een 100x kostenreductie vergeleken met commerciële LLM-judges.

• Vergelijking met SOTA:

  • Pcib's beste model (0,8669 AUROC) presteert beter dan heuristische baselines zoals RAGAS Faithfulness (66,9% nauwkeurigheid).
  • Hoewel Lynx (70B) een nauwkeurigheid van 87,4% bereikt, biedt Pcib een volledig interpreteerbaar alternatief met aanzienlijk lagere computationele overhead.

Betekenis en Claims

Het artikel betoogt dat domeinkennis gecodeerd in signaalarchitectuur superieure data-efficiëntie biedt vergeleken met het simpelweg schalen van LLM-judges. Door gebruik te maken van principes uit de cognitieve neurowetenschappen, stelt Pcib lichtgewicht, uitlegbare modellen in staat om state-of-the-art prestaties te behalen.

De belangrijkste conclusies van de auteurs zijn:

• Interpreteerbaarheid: In tegenstelling tot black-box judges biedt Pcib decomponeerbare diagnostieken, waardoor gebruikers kunnen begrijpen waarom een generatie is gemarkeerd (bijv. lage context-adherence versus hoge stress).
• Productiebestendigheid: De combinatie van snelheid, lage kosten en hoge nauwkeurigheid maakt Pcib geschikt als eerste-pas filtering in productie RAG-systemen, waarbij dure LLM-judges worden gereserveerd voor uitzonderlijke gevallen.
• Het "Sycophancy"-effect: Het falen van het Rationalization-signaal suggereert dat LLM's vaak coherente, consistente redeneringen genereren voor onjuiste premissen, waardoor ze effectief "doorgaan met hun hallucinatie". Dit daagt de heersende afhankelijkheid van CoT voor zelfverificatie uit.

Het werk concludeert dat het integreren van theoretische inzichten met machine learning een weg biedt naar robuuste, efficiënte en transparante AI-veiligheidsmechanismen.