How Far Can You Get Without a GPU? A Systematic Benchmark of Lightweight Hallucination Detection Across Question Answering, Dialogue, and Summarisation

Technische Samenvatting: Systematische Benchmark van Lichtgewicht Hallucinatie-detectie

Probleemstelling
De implementatie van Large Language Models (LLM's) in domeinen met een hoog risico vereist robuuste detectie van hallucinaties. De meest nauwkeurige detectiemethoden die momenteel beschikbaar zijn, leunen echter op middelen-intensieve vereisten: GPU-versnelde inferentie, propriëtaire API-aanroepen of white-box toegang tot de interne werking van het model (bijv. token-waarschijnlijkheden). Deze beperkingen sluiten onderzoekers en praktijkgebruikers met beperkte middelen uit. Dit artikel behandelt de vraag hoe effectief hallucinatie-detectie kan worden uitgevoerd met uitsluitend lichtgewicht, op CPU uitvoerbare methoden gebouwd op publiek beschikbare modellen, zonder API-aanroepen of toegang tot de interne werking van het genererende model.

Methodologie
De auteurs voerden een systematische benchmark uit van vijf verschillende detectiemethoden over de drie taken van de HaluEval dataset: Question Answering (QA), Dialoog en Samenvatting (Summarisation). De studie maakte gebruik van een standaard laptop-CPU en publieke modellen.

1. Geëvalueerde methoden:

   • ROUGE-L: Een lexicale overlapmetriek die de langste gemeenschappelijke subreeks meet tussen de bron en de kandidaat.
   • Semantische Gelijkenis (Semantic Similarity): Cosinus-gelijkenis tussen bron- en kandidaat-embeddings met behulp van all-MiniLM-L6-v2 (~22M parameters).
   • BERTScore: Een token-niveau contextuele F-maat met een DistilBERT-backbone.
   • NLI Detector: Een Natural Language Inference-benadering met behulp van een DeBERTa-v3-base model (~184M parameters) dat is gefinetuned op MultiNLI, FEVER en Adversarial NLI. De bron (afgekapt op 800 tekens) plus de context dient als de premisse, en de kandidaat als de hypothese. De score wordt afgeleid als $s = 1 - P(\text{entailment})$.
   • Ensemble: Een score-niveau lineaire combinatie van de NLI- en de semantische gelijkenis-scores ($s = \alpha s_{NLI} + (1-\alpha)s_{sim}$), waarbij de gewichten ($\alpha$) via een grid search zijn geoptimaliseerd op een validatieset.

2. Experimentele Opzet:

   • Data: 3.000 monsters per taak werden getrokken uit HaluEval (seed 42).
   • Split: 1.000 instanties voor validatie (drempelwaarde en gewicht-kalibratie) en 2.000 instanties voor testen.
   • Kalibratie: Drempelwaarden werden geselecteerd op de validatieset om de Youden-index (TPR - FPR) te maximaliseren en werden ongewijzigd toegepast op de testset.
   • Metrieken: Accuraatheid, Precisie, Recall, F1 (waarbij positief = gehallucineerd), en AUC-ROC.

Belangrijkste Resultaten
Er werd vastgesteld dat de prestaties sterk taakafhankelijk zijn, waarbij geen enkele methode in alle scenario's domineert.

• Question Answering (QA): Dit was de meest hanteerbare taak. De Ensemble-methode behaalde de beste prestaties (F1 = 0,792, AUC-ROC = 0,873), waarmee zij de beste enkelvoudige methode met ongeveer 5 punten versloeg. Contextuele token-overlap (BERTScore) bleek een sterker signaal dan zinsniveau cosinus-gelijkenis.
• Dialoog: De prestaties verslechterden vergeleken met QA. De NLI-detector kwam naar voren als de sterkste enkelvoudige methode (AUC-ROC = 0,713, Recall = 0,781), wat aangeeft dat redeneren op basis van implicatie (entailment) effectief wordt overgedragen naar conversationele settings. Lexicale en embedding-methoden clusterden lager (AUC-ROC 0,61–0,66).
• Samenvatting (Summarisation): Alle vijf de methoden degradeerden naar prestaties rond het niveau van toeval (AUC-ROC tussen 0,469 en 0,574). Hoewel sommige methoden hoge F1-scores lieten zien (bijv. BERTScore F1 = 0,658), werd dit gedreven door een extreme recall (>0,99) met een precisie die bijna gelijk was aan toeval, waardoor bijna alles als gehallucineerd werd gelabeld. De auteurs schrijven dit toe aan een structureel falen: hallucinaties in samenvattingen zijn vaak subtiele feitelijke wijzigingen binnen lange, verder getrouwe samenvattingen. Overlap-metrieken worden gedomineerd door het getrouwe restant, en de 800-tekens afkapfunctie van de NLI-modellen voorkomt dat de volledige documentcontext wordt geraadpleegd.

Computationele Voetafdruk
Alle experimenten draaiden op een standaard laptop-CPU zonder GPU.

• Doorvoersnelheid (Throughput): Lexicale en embedding-methoden zijn zeer efficiënt (ROUGE-L: ~1.300 kandidaten/sec; Similarity/BERTScore: ~66 kandidaten/sec).
• Bottleneck: De NLI-detector (~184M parameters) is de traagste met ~4 kandidaten/sec, waarbij het scoren van een testset van 2.000 instanties ongeveer acht minuten duurt. Het ensemble voegt geen extra modelkosten toe bovenop de NLI- en gelijkeniscomponenten.

Belangrijkste Bijdragen

1. Systematische Benchmark: Een uitgebreide evaluatie van vijf CPU-haalbare methoden over drie verschillende NLP-taken, gekalibreerd op een onafhankelijke validatieset.
2. Taakafhankelijke Rangschikking: Demonstratie dat de effectiviteit van een methode varieert per taak; het Ensemble is optimaal voor QA, NLI voor dialoog, en geen lichtgewicht methode is levensvatbaar voor samenvatting.
3. Identificatie van Systematisch Falen: Het artikel brengt de "praktische grens" van GPU-vrije detectie in kaart, waarbij een duidelijke structurele limiet wordt aangetoond waar lichtgewicht methoden falen op samenvattingen vanwege de aard van de hallucinaties en contextuele beperkingen.
4. Praktische Richtlijnen: Aanbevelingen voor methode-selectie op basis van computationele beperkingen en type taak (bijv. NLI gebruiken voor dialoog-ranking, lichtgewicht methoden vermijden voor samenvatting).

Betekenis en Claims
Het artikel beweert een realistisch prestatie-baseline te bieden voor de grote gemeenschap die werkt zonder gespecialiseerde hardware. De auteurs stellen dat het vergelijken van één dure methode met zwakke baselines de specifieke sterktes en faalmodi van toegankelijke methoden maskeert.

De auteurs concluderen dat hoewel GPU-vrije detectie haalbaar en effectief is voor QA en Dialoog, het een structurele limiet ondervindt bij Samenvatting. Dit falen is niet de fout van een specif kind algoritme, maar een beperking van het lichtgewicht regime zelf, dat niet over de capaciteit beschikt voor claim-niveau decompositie of long-context modellering die vereist is voor samenvattings-taken. Het werk biedt praktijkgebruikers zonder gespecialiseerde hardware een duidelijk fundament voor het selecteren van methoden en een realistisch begrip van waar toegankelijke methoden slagen en waar ze falen.