MUCH: A Multilingual Claim Hallucination Benchmark

Probleemstelling

Grote Taalmodellen (LLMs) zijn vatbaar voor hallucinaties, waarbij ze plausibele maar onjuiste feiten genereren. Bestaande methoden voor Uncertainty Quantification (UQ) (onzekerheidsmeting) focussen vaak op een enkel aggregatiecijfer voor de gehele gegenereerde tekst. Dit is echter onvoldoende voor realistische toepassingen, omdat een lange tekst met slechts één fout vaak volledig wordt verworpen, terwijl een fijnmazige analyse per bewering (claim) nodig is.

Bestaande benchmarks voor claim-niveau UQ hebben twee fundamentele beperkingen:

1. Gebrek aan logit-data: Ze publiceren geen logits (kansverdelingen) per token, waardoor het ontwikkelen en evalueren van nieuwe "white-box" methoden (die toegang nodig hebben tot interne modelstaten) onmogelijk is zonder data opnieuw te genereren.
2. Onrealistische segmentatie: Het opsplitsen van tekst in claims gebeurt vaak via menselijke annotatie (te traag) of via andere LLM's (duur, stochastisch en niet reproduceerbaar). Dit maakt real-time monitoring in productieomgevingen onpraktisch.

Methodologie: De MUCH Benchmark

De auteurs introduceren MUCH, het eerste meertalige benchmark voor claim-niveau UQ, ontworpen voor eerlijke en reproduceerbare evaluatie onder realistische omstandigheden.

1. Dataset Constructie:

• Bron: Vragen zijn afkomstig uit het Mu-SHROOM-dataset (factualiteit, Wikipedia-gebaseerd).
• Talen: Engels, Frans, Spaans en Duits.
• Modellen: Generaties zijn gegenereerd met vier open-weight instructie-modellen: Llama 3.1 8B, Llama 3.2 3B, Ministral 8B en Gemma 3 4B.
• Data: In totaal 4.873 samples (vraag-antwoordparen), resulterend in 20.751 geannoteerde claims.
• Logits: Voor elk gegenereerd token worden 24 logits opgeslagen, wat essentieel is voor white-box UQ-methoden.

2. Claim Segmentatie (Much-Segmenter):
In plaats van LLM's of mensen te gebruiken, hebben de auteurs een nieuwe, deterministische algoritme ontwikkeld genaamd much_segmenter.

• Werking: Het algoritme is volledig regelgebaseerd en gebruikt stopwoorden en leestekens om claims te identificeren.
• Efficiëntie: Het is extreem snel; het segmenteren van de hele dataset kost slechts 0,2% van de rekentijd die nodig was voor de LLM-generatie zelf.
• Koppeling: Het mappet claims direct op de token-indexen van de gegenereerde tekst, wat cruciaal is voor token-level UQ-berekeningen.

3. Annotatie:

• Automatisering: Claims zijn geannoteerd met GPT-4o en GPT-4.1, waarbij de bijbehorende Wikipedia-pagina als "ground truth" kennisbron diende.
• Kwaliteitscontrole: Alleen samples waarbij beide modellen perfect overeenkwamen, zijn behouden. Een subset is door mensen gecontroleerd, wat een hoge overeenkomst (Cohen's kappa > 0,92) liet zien tussen menselijke en geautomatiseerde annotaties na filtering.

Belangrijkste Bijdragen

1. MUCH Dataset: Een meertalige dataset met 4.8k samples en 20k+ claims, inclusief factuality-labels en 24 logits per token.
2. Much-Segmenter: Een open-source, snelle en deterministische tool voor claim-segmentatie die geschikt is voor real-time toepassingen.
3. White-box Ondersteuning: Door het vrijgeven van logits maakt het paper het mogelijk om nieuwe UQ-methoden te ontwikkelen zonder data opnieuw te hoeven genereren.
4. Evaluatie van Bestaande Methoden: Een uitgebreide benchmark van state-of-the-art UQ-methoden (zoals CCP, SAR, Token Entropy) op claim-niveau.

Resultaten

De auteurs hebben vijf bestaande baselines geëvalueerd op de MUCH-dataset:

• Prestatie: De beste methode, CCP (Conditional Claim Probability), bereikte een ROC-AUC van 0,772. Andere methoden (zoals SAR en Token Entropy) scoorden lager.
• Efficiëntie: Er is een groot compromis tussen prestatie en snelheid. CCP is zeer duur: het kost ongeveer 124% extra rekentijd ten opzichte van de originele LLM-generatie. Simpele methoden zoals Token Likelihood zijn veel sneller (0,5% overhead) maar iets minder accuraat.
• Taalverschillen: Methoden presteren aanzienlijk beter in het Engels dan in andere talen (vooral Spaans), voornamelijk omdat de gebruikte NLI-modellen (Natural Language Inference) voornamelijk op Engels zijn getraind.
• Realistische eisen: Zelfs de beste methoden halen nog geen hoge precisie bij een lage false-positive rate (bijv. TPR@FPR=10% is slechts 48%), wat aangeeft dat er nog veel ruimte is voor verbetering voor betrouwbare productietoepassing.

Betekenis en Conclusie

MUCH zet een nieuwe standaard voor het evalueren van hallucinatiedetectie in LLM's. Het benadrukt dat toekomstige UQ-methoden niet alleen nauwkeurig moeten zijn, maar ook efficiënt (minimale overhead voor real-time monitoring) en meertalig moeten werken.

De beschikbaarheid van logits en de snelle, deterministische segmentatie maken het mogelijk om white-box methoden eerlijk te vergelijken. De resultaten tonen aan dat huidige methoden nog niet klaar zijn voor real-time, betrouwbare monitoring in productieomgevingen, vooral wat betreft snelheid en consistentie over verschillende talen heen. De auteurs moedigen onderzoekers aan om methoden te ontwikkelen die focussen op lage false-positives en minimale rekentijd.