💬 NLP

BenHalluEval: A Multi-Task Hallucination Evaluation Framework for Large Language Models on Bengali

Dit artikel introduceert BenHalluEval, het eerste uitgebreide evaluatiekader voor hallucinaties bij Bengaalse grote taalmodellen, dat een tweesporenprotocol en een nieuwe kalibratiemethode gebruikt om de prestaties over vier taken te beoordelen en significante variaties in hallucinatiedetectiecapaciteiten te onthullen.

Oorspronkelijke auteurs: Shefayat E Shams Adib, Ahmed Alfey Sani, Ekramul Alam Esham, Ajwad Abrar, Ishmam Tashdeed, Md Taukir Azam Chowdhury

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shefayat E Shams Adib, Ahmed Alfey Sani, Ekramul Alam Esham, Ajwad Abrar, Ishmam Tashdeed, Md Taukir Azam Chowdhury

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, meertalige robot hebt die Bengaals kan spreken. Je stelt de robot vragen, vraagt hem om nieuws samen te vatten of wiskundige problemen op te lossen. Soms is deze robot briljant. Andere keren verzint hij vol vertrouwen dingen – zoals beweren dat de moeder van een beroemde auteur "Kathleen" heette, terwijl haar echte naam "Anne" was. In de wereld van AI noemen we deze zelfverzekerde leugens hallucinaties.

Tot nu toe had niemand een fatsoenlijke "leugendetector" specifiek voor het Bengaals gebouwd. De auteurs van dit artikel, BenHalluEval, besloten dit op te lossen. Hier is hoe ze het deden, eenvoudig uitgelegd:

1. Het Grote Probleem: De "Stille Leugen"

De meeste tests voor AI controleren alleen of de robot het juiste antwoord geeft. Maar wat als de robot per ongeluk het juiste antwoord geeft, of zo vloeiend liegt dat je het niet merkt?

De Analogie: Stel je een student voor die een toets maakt. Als je alleen naar het eindcijfer kijkt, mis je misschien dat hij voor de helft van de vragen heeft valsgespeeld. Je moet controleren hoe ze antwoordden, niet alleen wat ze antwoordden.

2. De Oplossing: Een "Tweesporen-test"

De onderzoekers bouwden een speciale examenstructuur met twee aparte banen (sporen) om verschillende soorten fouten te vangen:

Spoor A (De Waarheidscontrole): Ze gaven de robot vragen met correcte antwoorden. Ze wilden zien of de robot een correct antwoord onterecht als een leugen zou bestempelen. (Riep hij wolf, terwijl er geen wolf was?)
Spoor B (De Leugendetector): Ze gaven de robot vragen met nep, verzonnen antwoorden. Ze wilden zien of de robot de leugen kon herkennen. (Ving hij de wolf?)

De Score (BenHalluScore):
Ze creëerden een nieuwe score genaamd BenHalluScore. Denk aan dit als een "Vertrouwensmeter".

Als een robot tegen alles zegt: "Ja, dat is een leugen!", dan vangt hij alle nep antwoorden, maar beschuldigt hij ook alle echte antwoorden onterecht van een leugen.
Als hij tegen alles zegt: "Nee, dat is prima", dan mist hij alle leugens, maar beschuldigt hij de waarheid nooit van een leugen.
Het Doel: Een perfecte robot moet slim genoeg zijn om de leugens te vangen zonder de waarheid te beschuldigen. Hoe lager de score, hoe beter de robot is in het onderscheiden van waarheid en fictie.

3. Hoe Ze het Examen Hebben Gebouwd

Ze hebben niet alleen vragen geschreven; ze bouwden een enorme fabriek om "nep" antwoorden te genereren.

De Fabriek: Ze gebruikten een super slimme AI (GPT-5.4) om 12.000 nep antwoorden te genereren over vier verschillende taken:
1. Vragen beantwoorden: (bijv. "Wie is de burgemeester?")
2. Code-gemengde vragen: (Het mengen van Bengaals en Engels, zoals mensen op sociale media typen: "Kothay jabe?" in plaats van "কোথায় যাবে?")
3. Samenvatten: (Een lang artikel inkorten tot een korte paragraaf).
4. Redeneren: (Stapsgewijs wiskundige problemen oplossen).
De Soorten Leugens: Ze lieten de AI op specifieke manieren liegen, zoals het veranderen van een datum, het verzinnen van een persoonnaam of het fout doen van een berekening.

4. De Resultaten: Wie Is Geslaagd voor de Test?

Ze testten 7 verschillende AI-robots (sommigen zijn enorm en algemeen, anderen zijn kleiner en gespecialiseerd in het Bengaals).

De Winnaar: Een kleine, gespecialiseerde robot genaamd TigerLLM-9B (specifiek gebouwd voor het Bengaals) deed verrassend goed en versloeg zelfs veel grotere, algemene robots. Het is alsof een lokale gids de stad beter kent dan een gigantische, dure GPS die de hele wereld probeert te kennen.
De Verliezers: Sommige zeer beroemde, grote robots faalden zwaar. Eén robot (Mistral-nemo) was zo verward dat hij elk enkel correct antwoord van een leugen beschuldigde. Een andere (LLaMA) was zo lui dat hij zei dat niets een leugen was, zelfs toen dat overduidelijk was.
De Script-Verrassing: Wanneer de vragen in "Banglish" werden geschreven (Bengaals geschreven met Engelse letters), presteerden sommige robots zelfs beter dan wanneer de vragen in het standaard Bengaalse schrift stonden. Het is alsof sommige robots zich comfortabeler voelen bij het lezen van een tekstbericht dan bij een formele brief.

5. De "Denk Hardop"-truc Werkt Niet Altijd

Mensen vertellen AI vaak om "stap voor stap na te denken" (Chain-of-Thought) om te voorkomen dat het liegt. De onderzoekers probeerden deze truc uit.

Het Resultaat: Het werkte niet consistent. Soms hielp het, maar vaak zorgde het er alleen voor dat de robot van gedachten veranderde zonder daadwerkelijk beter te worden in het herkennen van leugens. Het is alsof je een leugenaar vertelt om "harder na te denken" — soms bedenken ze dan gewoon een betere leugen in plaats van de waarheid.

De Kern van het Verhaal

Dit artikel is de eerste keer dat iemand een specifieke "leugendetector" voor de Bengaalse taal heeft gebouwd. Ze ontdekten dat:

Grootte is niet alles: Een kleinere, op Bengaals gerichte robot kan betrouwbaarder zijn dan een gigantische, generieke robot.
Eenzijdige tests zijn gevaarlijk: Als je alleen test of een robot leugens kan vinden, mis je misschien dat hij ook de waarheid haat. Je moet beide kanten testen.
Talen met weinig middelen hebben liefde nodig: Alleen omdat een taal minder digitale middelen heeft, betekent niet dat we er geen betere tools voor kunnen bouwen.

De auteurs hebben hun "examenvragen" en "nep antwoorden" beschikbaar gesteld voor iedereen om te gebruiken, zodat we deze robots kunnen blijven testen en verbeteren om er zeker van te zijn dat ze de waarheid spreken in het Bengaals.

Technische Samenvatting: BenHalluEval

Probleemstelling

Ondanks het feit dat Bengalees de zesde meest gesproken taal ter wereld is, is er geen systematische evaluatie van hallucinaties in Large Language Models (LLMs) voor deze taal uitgevoerd. Bestaande benchmarks voor hallucinatiedetectie (bijv. TruthfulQA, FActScore, HaluEval) richten zich primair op Engels of andere hoogwaardige talen zoals Arabisch en Hindi. Bovendien vertrouwen huidige evaluatiemethoden vaak op single-track protocollen die alleen testen op gehallucineerde kandidaten, waardoor ze geen rekening houden met modellen die een uniforme responsbias kunnen vertonen (bijv. altijd "hallucinatie" of "geen hallucinatie" voorspellen). Daarnaast blijft het specifieke gedrag van LLM's bij Bangla-Engelse code-mixed inputs — een veelvoorkomend gebruikspatroon in de digitale communicatie in het Bengalees — ononderzocht.

Methodologie

De auteurs introduceren BenHalluEval, een multi-task hallucinatie-evaluatieframework dat specifiek is ontworpen voor Bengalees en Bangla-Engelse code-mixed inputs. Het framework werkt via een driestaps-pipeline:

1. Selectie en filtering van de seed-dataset

Het framework construeert een benchmark met behulp van vier verschillende taken, waarbij bestaande datasets worden gebruikt en specifieke filterstrategieën worden toegepast om "moeilijke" samples te identificeren die gevoelig zijn voor hallucinaties:

Generatieve Beantwoording (GQA): Gebruikt TyDiQA-GoldP (Bengalees). Samples werden gefilterd door drie modellen (Qwen2.5-14B, Gemma-2-9B, DeepSeek-R1-14B) zonder context te prompten; instanties waar alle drie faalden, werden geselecteerd als de seed-set (1.000 samples).
Bangla-Engelse Code-Mixed QA: De 1.000 GQA seed-vragen werden met GPT-5.4 omgezet naar Bangla-Engels (Romeins schrift), terwijl de originele Bengalse antwoorden behouden bleven.
Samenvatting: Gebruikt BanglaCHQ-Summ (1.800 medische query-samenvatting paren). Samples werden gefilterd op basis van een lage BERTScore F1-gelijkenis wanneer ze door drie modellen werden samengevat, waarbij de 1.000 moeilijkste instanties werden geselecteerd.
Redeneren: Gebruikt SOMADHAN (8.792 Bengalse wiskundeproblemen). Samples werden gestratificeerd op basis van de lengte van de redeneerketen (500 langste, 500 kortste) om diverse moeilijkheidsgraden te garanderen.

2. Generatie van gehalluceerde samples

Met behruik van GPT-5.4 genereerden de auteurs 12.000 gehalluceerde kandidaten over de vier taken. Het generatieproces maakte gebruik van taakspecifieke hallucinatie-taxonomieën:

GQA & Code-Mixed QA (4 typen): Feitelijkheid (het fabriceren van feiten), Begrip (misverstand van intentie), Specificiteit (ongepaste detailgraad) en Inferentie (onderbouwde conclusies ontbreken).
Samenvatting (3 typen): Gefabriceerde inhoud, Niet-feitelijke toevoeging en Directe tegenspraak.
Redeneren (5 typen): Rekenfout, Verkeerde toepassing van formules, Ongeldige deductie, Gehalluceerd tussenliggend feit en Semantische drift.

3. Dual-Track Evaluatieprotocol

Om de beperkingen van single-track evaluatie aan te pakken, stellen de auteurs een dual-track protocol voor dat wordt geëvalueerd op zeven LLM's (variërend van redeneringsgeoriënteerde, meertalige en Bengalees-centrische categorieën):

Track A: Presenteert grondwaarheids-correcte antwoorden. Het verwachte oordeel is "Nee" (niet gehallucineerd). Dit meet de False Positive Rate.
Track B: Presenteert de gegenereerde gehalluceerde kandidaten. Het verwachte oordeel is "Ja". Dit meet de Hallucinatie Detectie Ratio.

4. BenHalluScore (BHS)

De auteurs introduceren BenHalluScore, een kalibratiemetric die ontworpen is om beide foutmodi (false positives op de grondwaarheid en gemiste detecties op gehalluceerde data) gezamenlijk te bestraffen.
$\text{BenHalluScore} = \frac{1}{2} \left( \frac{W_A}{N_A} + \frac{W_B}{N_B} \right) \times 100\%$
Waarbij $W$ de foutieve oordelen vertegenwoordigt en $N$ het totaal aantal instanties per track. Een lagere score duidt op een betere kalibratie; een score van 50% impliceert willekeurig of uniform gebiaste gedrag.

Belangrijkste Resultaten

De evaluatie van zeven modellen (inclusief DeepSeek-R1-14B, GPT-4.1 mini, Qwen2.5-32B, Gemma-2-27B, Mistral-nemo-12B, LLaMA-3.1-8B, en TigerLLM-9B) toonde significante variaties in prestaties:

Prestatiebereik: BenHalluScores varieerden van 7,72% (Qwen2.5-32B op Samenvatting) tot 55,42% (Mistral-nemo-12B op Code-Mixed QA).
Taakvariantie: Samenvattings-taken leverden over het algemeen lagere (betere) scores op dan GQA of Redeneren, wat suggereert dat toegang tot volledige brondocumenten helpt bij het handhaven van feitelijke consistentie. Redeneringstaken vertoonden de breedste spreiding in prestaties, wat wijst op een hoge moeilijkheidsgraad bij het detecteren van redeneringshallucinaties in het Bengalees.
Modelcategorieën:
- GPT-4.1 mini bereikte de beste balans op GQA (15,56%), waarbij lage fouten op beide tracks werden gehandhaafd.
- TigerLLM-9B (een Bengalees-centrisch model) presteerde aanzienlijk beter dan veel grotere meertalige modellen op GQA en Samenvatting, wat suggereert dat taalspecifieke pretraining een sterkere voorspeller is van kalibratie dan het aantal parameters.
- Mistral-nemo-12B en LLaMA-3.1-8B vertoonden ernstige systematische biases. Zo markeerde Mistral-nemo-12B bijna alle grondwaarheidsantwoorden als hallucinaties (87,70% Track A fout). LLaMA-3.1-8B faalde daarentegen in het detecteren van de meeste hallucinaties (81,63% Track B fout).
Code-Mixed vs. Native Script: Sommige meertalige modellen (Qwen2.5, Gemma-2, DeepSeek-R1) presteerden beter op Bangla-Engelse code-mixed inputs dan op het originele Bengalese schrift, waarschijnlijk door sterkere Engels-geankerde representaties. Daarentegen presteerden TigerLLM-9B en GPT-4.1 mini beter op het originele Bengalees.
Mitigatie (Chain-of-Thought): Het toepassen van Chain-of-Thought (CoT) prompting leidde niet consistent tot verbeterde hallucinatie-discriminatie. In verschillende gevallen verschoof CoT de bias van een model slechts van een uniforme "Nee" naar een uniforme "Ja" (of vice versa), zonder de detectie nauwkeurigheid daadwerkelijk te verbeteren.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen en betekenis:

Eerste Toegewijde Benchmark: BenHalluEval vestigt de eerste toegewijde hallucinatie-benchmark voor het Bengalees, die zowel native als code-mixed inputs dekt.
Dual-Track Kalibratie: Het werk benadrukt de ontoereikendheid van single-track evaluatie voor laag-resource talen. Door Track A en Track B te introduceren, wordt de tekortkoming van single-track evaluatie blootgelegd (uniforme responsbias) die anders verborgen zou blijven door hoge detectieratio's op gehalluceerde data alleen.
Taalspecifieke Optimalisatie: De resultaten dagen de aanname uit dat grotere parametersaantallen een gegarandeerde betere prestatie garanderen in laag-resource settings; het toont aan dat Bengalees-centrische pretraining (TigerLLM-9B) superieure kalibratie kan opleveren vergeleken met grotere meertalige modellen.
Beperkingen van Prompting: De studie levert empirisch bewijs dat CoT-prompting geen universele mitigatiestrategie is voor hallucinaties in het Bengalees, aangezien het vaak de predictie-distributies verandert zonder de discriminatiecapaciteiten te verbeteren.

De auteurs concluderen dat betrouwbare hallucinatie-evaluatie voor het Bengalees gespecialiseerde, dual-track frameworks vereist en dat huidige prompting-strategieën alleen onvoldoende zijn om hallucinaties in dit domein te mitigeren. De dataset en code worden beschikbaar gesteld om verdere research te faciliteren.