Technische Samenvatting: HalluVerse-M3

Probleemstelling

Large Language Models (LLM's) genereren vaak coherente tekst die geen feitelijke grondslag heeft, een fenomeen dat bekend staat als hallucinatie. Dit probleem vormt aanzienlijke risico's in missiekritieke domeinen zoals de gezondheidszorg, de juridische sector en bij executieve besluitvorming. Hoewel recent onderzoek datasets heeft voortgebracht om hallucinaties te analyseren, lijden bestaande bronnen onder drie primaire beperkingen:

1. Taalbias: Ze richten zich voornamelijk op het Engels, wat het begrip van hallucinatiepatronen in andere linguïstische contexten beperkt.
2. Grove Granulariteit: De meeste behandelen hallucinatie als een binair fenomeen (feitelijk versus gehallucineerd), waardoor de diversiteit aan fouttypen (bijv. entiteitsvervanging versus relatiedistorsie) verborgen blijft.
3. Taakspecifiteit: Bronnen richten zich doorgaans op enkelvoudige generatietaken, wat een systematische vergelijking tussen verschillende applicatiecontexten zoals vraagbeantwoording en samenvatting belemmert.

Als gevolg hiervan is er een gebrek aan verenigde frameworks die in staat zijn om fijnmazige hallucinaties over meerdere talen en taken heen te analyseren.

Methodologie

De auteurs introduceren HalluVerse-M3, een dataset die is ontworpen om systematische analyse van hallucinaties mogelijk te maken via een gecontroleerde constructiepipeline.

Dataset Constructie

• Talen en Taken: De dataset bestrijkt vier talen (Engels, Arabisch, Hindi, Turks) en twee generatietaken: Vraagbeantwoording (QA) en Dialoogsamenvatting (DS).
• Brongegevens:
  • QA: Afgeleid van een feitelijke QA-dataset door Lin et al. [2022], gebruikmakend van referentieantwoorden die geworteld zijn in verifieerbare bewijslast.
  • DS: Afgeleid van de DialogSum-dataset [Chen et al., 2021], met de focus op samenvattingen van concrete gebeurtenissen en entiteiten.
• Meertalige Voorbereiding: Engels dient als de bron. Parallelle outputs voor Arabisch, Hindi en Turks werden gegenereerd via automatische vertaling (Google Translate API), gevolgd door rigoureuze handmatige verificatie door moedertaalsprekers om grammaticale correctheid en semantische getrouwheid te waarborgen.
• Hallucinatie Injectie: Een gecontroleerd bewerkingsproces werd toegepast om gehallucineerde outputs ($\tilde{y}$) te creëren uit referentie-outputs ($y^*$). Dit proces omvat:
  • Het verwijderen of wijzigen van specifieke referentieproposities ($\Delta^-$).
  • Het introduceren van exact één nieuwe, niet-onderbouwde propositie ($\Delta^+$) zodanig dat $|\Delta^+| = 1$.
  • Het waarborgen dat de nieuwe propositie niet wordt ondersteund door de referentie ($\Delta^+ \cap P(y^*) = \emptyset$).
• Fijnmazige Annotatie: De dataset onderscheidt drie wederzijds uitsluitende hallucinatietypes op basis van de aard van de geïnjecteerde propositie $p^+$:
  1. Entiteitsniveau: Het predicaat en de attributen komen overeen met de referentie, maar ten minste één entiteitsargument verschilt.
  2. Relatieniveau: De entiteitsargumenten komen overeen, maar het predicaat (relatie) of de attributen (bijv. temporele volgorde, causaliteit) verschillen.
  3. Zinsniveau: De propositie heeft geen overeenkomende referentiepropositie; het is een ongeankerde bewering.
• Validatie: Twee moedertaalsprekers per taal annoteerden de data onafhankelijk. Instanties met grammaticale fouten of onduidelijke hallucinaties werden als nul (0) gelabeld en uitgesloten. De inter-annotator overeenkomst was substantieel tot bijna perfect (Cohen's $\kappa$ variërend van 0,74 tot 0,83).

Experimentele Opzet

De auteurs evalueerden een diverse set van 14 hedendaagse LLM's (zowel open-source als propriëtair) op de taak van fijnmazige hallucinatiedetectie.

• Modellen: Inclusief Phi-4, Mistral-7B, Qwen-2.5 varianten, Gemma-2, LLaMA-3.3, DeepSeek-V2.5, PaLM 2, Claude-3.5, Gemini-2.5, en GPT-4 varianten.
• Protocol: Evaluatie werd uitgevoerd middels prompting alleen (geen fine-tuning). Modellen kregen de taak om het type hallucinatie (Entiteit, Relatie of Zin) te identificeren, gegeven een paar van originele en gehallucineerde outputs.
• Metrieken: Nauwkeurigheid (accuracy) werd gerapporteerd als de primaire metriek, geanalyseerd over taken, talen en hallucinatietypes.

Belangrijkste Resultaten

De evaluatie leverde verschillende consistente trends op met betrekking tot de prestaties van modellen:

1. Taakmoeilijkheid: Vraagbeantwoording (QA) is consequent gemakkelijker voor modellen om te evalueren dan Dialoogsamenvatting (DS). Dit wordt toegeschreven aan de gelokaliseerde aard van fouten in QA versus de diffuse, contextafhankelijke aard van hallucinaties in samenvattingen.
2. Moeilijkheidsgraad van Hallucinatietype: Er bestaat een duidelijke prestatiegradiënt over de hallucinatietypes:
   • Entiteitsniveau: Het makkelijkst te detecteren. Frontier-modellen (bijv. GPT-4o) behaalden >90% nauwkeurigheid in QA.
   • Relatieniveau: Matig moeilijk, vereist diepere semantische redenering.
   • Zinsniveau: Meest uitdagend. Zelfs de sterkste modellen hadden moeite, waarbij de nauwkeurigheid vaak daalde naar 50–65% in samenvattings-taken.
3. Taaleffecten: Prestaties zijn het hoogst in het Engels en verslechteren in talen met minder middelen (lower-resource languages). Hindi vertoonde consequent de laagste detectienauwkeurigheid, met name in samenvattings-taken.
4. Modelvergelijking: Propriëtaire modellen presteerden over het algemeen beter dan open-source systemen, hoewel grotere open-source modellen (bijv. DeepSeek-V2.5, LLaMA-3.3-70B) competitief presteerden in QA. GPT-4o behaalde de sterkste algehele prestaties, waarschijnlijk mede door de betrokkenheid bij het proces van hallucinatie-injectie.

Betekenis en Claims

Het artikel beweert dat HalluVerse-M3 een realistisch en uitdagend benchmark biedt voor het bestuderen van hallucinaties in meertalige, multi-task settings. De significantie ligt in:

• Granulariteit: Het gaat verder dan binaire classificatie door onderscheid te maken tussen fouten op entiteits-, relatie- en zinsniveau.
• Meertalige Omvang: Het biedt een zeldzame bron voor het analyseren van hallucinatiepatronen in typologisch diverse talen (Engels, Arabisch, Hindi, Turks).
• Taakdiversiteit: Het maakt gecontroleerde vergelijkingen mogelijk tussen gegronde taken (QA) en abstractieve taken (Samenvatting).

De auteurs concluderen dat hoewel recente frontier-modellen sterke prestaties laten zien bij het detecteren van fouten op entiteitsniveau in QA, zinsniveau hallucinaties in generatieve taken een openstaand probleem blijven, zelfs voor de meest geavanceerde modellen. De dataset wordt vrijgegeven om toekomstig onderzoek in detectie en mitigatie te ondersteunen, waarbij de nadruk ligt op de noodzaak van methoden die verder gaan dan oppervlakkige cues richting diepere semantische gronding.

Ethische Overwegingen

De dataset bevat doelbewust gefabriceerde informatie. De auteurs merken het risico op misbruik op voor het trainen van systemen om misleidende inhoud te genereren. Om dit te mitigeren, wordt de dataset uitgebracht onder een CC BY-NC 4.0 licentie voor enkel niet-commercieel onderzoek, met expliciete labeling van gehallucineerde instanties en hun types. Content safety screening gaf een lage aanwezigheid van aanstootelijke taal aan.