Technische Samenvatting: HallDetect – Decomposed Entailment voor Factuality Checking

Probleemstelling

De inzet van Large Language Models (LLMs) in professionele en besluitvormende contexten wordt gehinderd door hallucinaties: zelfverzekerde maar feitelijk ononderbouwde beweringen. Bestaande detectiemethoden kampen met significante beperkingen:

• Oppervlakkige metrieken (bijv. ROUGE, embedding similarity) falen in het vastleggen van logische inconsistenties.
• "LLM-as-a-judge"-paradigma's lijden aan hoge computationele kosten, latentie, reproduceerbaarheidsproblemen en self-preference bias, vooral wanneer ze worden ingezet op consumentenhardware of via propriëtaire black-box API's.
• White-box benaderingen die vertrouwen op interne signalen (token waarschijnlijkheden) zijn niet toepasbaar op closed-source modellen.
• Bestaande fact-checkers vereisen vaak full-precision modellen, externe kennisbases (het meten van extrinsieke feitelijkheid in plaats van intrinsieke getrouwheid) of missen de granulariteit om specifieke fouten binnen een gegenereerde tekst te lokaliseren.

Er is behoefte aan een lichtgewicht, referentievrij, black-box framework dat intrinsieke hallucinaties (inconsistenties met een verstrekt brondocument) kan detecteren onder strikte computationele budgetten, terwijl het een audit trail biedt voor specifieke fouten.

Methodologie: Het HallDetect Framework

HallDetect is een efficiënte, domein-agnostische pipeline die gegenereerde tekst deelt in atomaire claims en deze verifieert tegen een brondocument met behulp van een discriminatief Natural Language Inference (NLI) model. Het framework opereert onder een strikt 4-bit gekwantiseerd budget op consumentenhardware.

Pipeline Architectuur

Het proces bestaat uit vier afzonderlijke fasen:

1. Atomaire Claim Extractie (Fase I):

   • Een lokaal geïnstalleerd, 4-bit gekwantiseerd LLM (bijv. Llama 3.1, Gemma 2, of Mistral) deelt de gegenereerde respons $R$ op in een verzameling atomaire claims $\{c_1, \dots, c_n\}$.
   • De extractie is "copy-faithful", waarbij claims letterlijk worden gereproduceerd om te waarborgen dat de verificatie zich richt op de werkelijke beweringen van het model.

2. Multi-Scale Contextuele Chunking (Fase II):

   • Het brondocument $D$ wordt gepartitioneerd in een hiërarchische contextbibliotheek $\mathcal{K}$ op vijf granulariteiten ($m \in \{1, 2, 4, 8, 16\}$ chunks).
   • Deze dyadische scheduling zorgt ervoor dat bewijs wordt vastgelegd op verschillende schalen (van zinsniveau tot het hele document) zonder lineaire kostengroei te veroorzaken. De totale bibliotheekgrootte wordt beperkt tot 31 chunks per document.

3. Contrastieve NLI Verificatie (Fase III):

   • Een compact, encoder-gebaseerd NLI-model (DeBERTa-v3-Large, gefinetuned op MNLI, FEVER-NLI, etc.) verifieert elke claim $c_i$ tegen elke chunk $k \in \mathcal{K}$.
   • Contrastieve Scoring: Voor elke claim identificeert het systeem onafhankelijk de chunk met de hoogste Entailment waarschijnlijkheid ($P(E)$) en de chunk met de hoogste Contradiction waarschijnlijkheid ($P(C)$).
   • De score wordt berekend als: $Score(c_i) = \max_k P(E|k, c_i) - \max_k P(C|k, c_i)$.
   • De Neutral klasse wordt impliciet afgehandeld; claims waarbij alle chunks overwegend neutraal zijn, ontvangen lage scores voor zowel entailment als contradiction, wat resulteert in een score nabij nul (wat duidt op ononderbouwde inhoud).

4. Asymmetrische Aggregatie (Fase IV):

   • De uiteindelijke Factuality Entailment Decomposition score (FEDscore) aggregeert per-claim scores met behulp van een geometrisch gemiddelde.
   • Asymmetrie: De aggregatie is ontworpen voor auditing. Als één enkele claim een score $\le 0$ heeft (wat wijst op een zelfverzekerde contradictie), wordt de gehele respons gemarkeerd als gehallucineerd ($FEDscore = 1$). Dit geeft prioriteit aan recall, waarbij wordt gewaarborgd dat één enkele ononderbouwde bewering de output ongeldig maakt.

Belangrijkste Bijdragen

De auteurs presenteren vier primaire bijdragen:

1. Een Frugale Decompositie-en-Verificatie Pipeline: HallDetect koppelt atomaire claim extractie aan een contrastieve, multi-scale NLI-formulering. Het vereist alleen het bron-generatie paar en is compatibel met willekeurige black-box generatoren, waardoor generatieve "judges" tijdens de verificatiefase worden vermeden.
2. Gecontroleerde Evaluatie onder Vaste Budgetten: Het framework wordt geëvalueerd onder strikte resource-pariteit (alle componenten 4-bit gekwantiseerd, draaiend op identieke consumentenhardware). Onder deze beperkingen presteert HallDetect beter dan vergelijkbare geresourced generatieve (LLM CoT) en embedding-gebaseerde baselines op drie van de vier benchmarks, terwijl het concurrerend blijft in de vierde.
3. Stabiliteit over Backbones en Domeinen: Door verificatie te delegeren aan een discriminatieve encoder, vertoont HallDetect een aanzienlijk lagere variantie dan generatieve Chain-of-Thought (CoT) judges over verschillende backbone-families (Mistral, Gemma, Llama) en domeinen (nieuws, dialoog, adversarieel, biomedisch).
4. Claim-Level Audit Trail: In tegenstelling tot scalaire scoringsmethoden produceert HallDetect een mapping tussen atomaire claims en bron-evidence spans, wat de lokalisatie van contradicties en ononderbouwde toevoegingen mogelijk maakt.

Kwantitatieve Resultaten

Geëvalueerd op vier benchmarks (QAGS-CNN/DM, TofuEval, FalseSum, PubMedQA) met behulp van 4-bit gekwantiseerde modellen:

• QAGS-CNN/DM (Nieuwssamenvatting): HallDetect behaalde een F1-score van 0.771 (Gemma-2), waarmee het de LLM CoT-baseline (0.589) en de monolithische NLI-baseline (0.638) overtrof. Het demonstreerde een superieure recall (1.000) vergeleken met baselines, toegeschreven aan de decompositiestrategie die de "verwatering" van gelokaliseerde fouten voorkomt.
• Stabiliteit: Terwijl de prestaties van LLM CoT aanzienlijk instortten over verschillende backbones (bijv. F1 dalend van 0.589 naar 0.321 op Llama-3.1), bleef HallDetect stabiel (F1-bereik 0.734–0.771).
• Adversariële Stress (FalseSum): HallDetect behield sterke prestaties (F1 0.731), waarmee het de LLM CoT-baseline (0.375) en de SelfCheck-baseline (0.649) overtrof.
• Domein Generalisatie (PubMedQA): HallDetect bleef competitief maar presteerde niet beter dan de SelfCheck-baseline (HallDetect F1 0.632 vs. SelfCheck F1 0.668). Hoewel gespecialiseerde scorers in dit domein incidenteel de prestaties van HallDetect evenaarden of overtroffen, behield HallDetect het unieke vermogen om specifieke medische claims te lokaliseren die een gebrek aan gronding vertonen, een functie die ontbreekt bij scalaire baselines.

Betekenis en Claims

Het artikel positioneert HallDetect niet als een state-of-the-art detector die full-precision of API-gebaseerde systemen overtreft, maar als een robuuste, efficiënte oplossing voor scenario's waar computationele budgetten beperkt zijn (bijv. lokale implementatie, consumentenhardware).

• Robuustheid tegen Kwantisatie: De studie toont aan dat het ontkoppelen van claim extractie van verificatie (door gebruik te maken van een discriminatieve encoder) de beoordeling beschermt tegen de decoding-biases en instabiliteit die gekwantiseerde generatieve modellen teisteren.
• Auditbaarheid: Het framework biedt een "claim-to-span" audit trail, waardoor fouten worden gelokaliseerd in plaats van slechts een scalaire score te leveren, wat cruciaal is voor human-in-the-loop auditing.
• Operationele Haalbaarheid: Door volledig te opereren op 4-bit gekwantiseerde modellen met VRAM-eisen van minder dan 1GB, biedt HallDetect een praktisch alternatief voor dure "LLM-as-a-judge"-paradigma's voor intrinsieke factuality checking.

De auteurs merken expliciet beperkingen op, waaronder het gebrek aan vergelijking met gespecialiseerde discriminatieve fact-checkers zoals MiniCheck, het onvermogen om extrinsieke feiten (claims die niet in de bron staan) te verifiëren, en het recall-georiënteerde werkpunt dat de precisie in scenario's met een laag percentage hallucinaties kan verlagen.