Technische Samenvatting: Kunnen mensen dromen van elektrische schapen?

Probleemstelling

De betrouwbare detectie van hallucinaties in Large Vision-and-Language Models (LVLMs) is een kritieke uitdaging in NLP. Hallucinaties zijn outputs die vloeiend lijken, maar feitelijk onjuist zijn ten opzichte van de visuele input. Huidige evaluatiebenchmarks kampen met twee primaire beperkingen:

1. Modelafhankelijkheid: De meeste benchmarks vertrouwen op data gegenereerd door specifieke LVLMs (als bron van foutieve outputs of als synthetische generatoren). Dit creëert een risico op overfitting op de idiosyncrasieën van die specifieke modellen, waardoor het moeilijk wordt om te onderscheiden of detectieprestaties voortkomen uit een werkelijk begrip van hallucinaties of louter uit het memoriseren van specifieke modelgedragingen.
2. Veroudering: Door het snelle tempo van modelontwikkeling kunnen datasets die zijn samengesteld met populaire modellen, tegen de tijd van publicatie, niet langer representatief zijn voor hedendaagse systemen, wat de bevindingen potentieel veroudert.
3. Steekproefproblemen: Willekeurige steekproeven uit fundatiemodellen resulteren in een schaarse representatie van zeldzame hallucinatietypes, terwijl gerichte steekproeven met een "LLM-judge" sterk afhankelijk zijn van de eigen nauwkeurigheid en biases van die judge.

De auteurs stellen voor om te onderzoeken of menselijk geschreven hallucinatiesamples kunnen dienen als een modelonafhankelijk, blijvend alternatief voor door modellen gegenereerde benchmarks voor fijnmazige hallucinatiedetectie.

Methodologie

De auteurs introduceren SHEEP (Set for Human-written and Electronic Erroneous Productions), een meertalige dataset met 20.000 samples. De dataset is geconstrueerd met behulp van drie verschillende steekproefstrategieën:

1. Willekeurige Steekproef (Random Sampling): 460 samples per taal/modelpaar werden willekeurig geselecteerd uit de outputs van LVLMs gegenereerd op de HaloQuest- en VISaGE-datasets met vijf modellen: Gemma3, InternVL3, MiniCPM V 4.5, Llava-NeXT en Qwen3-VL.
2. Model-ondersteunde Pre-selectie (MAP): Een LVLM (Gemma3 27B) werd gebruikt als "judge" om LVLM-outputs te pre-selecteren die hallucinaties bevatten op basis van een specifiek classificatieschema, met als doel de distributie van hallucinatietypes te balanceren.
3. Menselijk Geschreven Samples: Menselijke sprekers creëerden handmatig antwoorden voor 100 beeld-vraagparen per taal, waarbij ze doelbewust specifieke typen hallucinaties invoegden. Deze werden vervolgens machinaal vertaald naar de andere drie talen en handmatig gecureerd om de kwaliteit te waarborgen.

Annotatieschema:
Alle 20.000 samples (verspreid over Chinees, Engels, Frans en Italiaans) werden op span-niveau geannoteerd door drie native of C1-bevoegde annotatoren per taal. Het annotatieschema definieert vijf hallucinatieklassen:

• A (Inventie): Entiteiten/objecten/gebeurtenissen die niet aanwezig zijn in de afbeelding.
• B (Miskarakterisering): Entiteiten die wel aanwezig zijn, maar onjuist worden beschreven.
• C (OCR-probleem): Het verkeerd lezen van zichtbare tekst.
• D (Miscounting): Onjuiste rapportage van hoeveelheden.
• E (Overig): Niet-geclassificeerde fouten.
• F (Geen): Geen hallucinatie.

Belangrijkste Bijdragen

1. De SHEEP-dataset: Een meertalige, fijnmazige dataset van 20.000 samples (1.600 menselijk geschreven, 18.400 door modellen gegenereerd) met span-niveau annotaties over vier talen.
2. Fijnmazige Annotatie: Karakter-niveau, multi-annotator labeling die onderscheid maakt tussen vijf specifieke hallucinatietypes, waarmee men verder gaat dan grove binaire detectie.
3. Empirische Validatie van Menselijke Data: Een uitgebreide analyse die aantoont dat menselijk geschreven samples een levensvatbaar substituut zijn voor model-gebaseerde benchmark-evaluaties van hallucinatiedetectie.

Resultaten en Analyse

1. Data-eigenschappen en Inter-annotator Overeenkomst (IAA)

• Consensus: Menselijk geschreven samples vertoonden een significant hogere inter-annotator overeenkomst vergeleken met willekeurig gesamplede modeloutputs. Dit suggereert dat menselijke schrijvers betrouwbaarder specifieke hallucinatietypes kunnen targeten, terwijl willekeurige steekproeven vaak faalt om hallucinaties aan te boren, en MAP-sampling afhankelijk is van de nauwkeurigheid van de judge.
• Variabiliteit: De variatie in overeenkomst tussen verschillende genererende LVLMs en talen bleek vergelijkbaar met, of groter dan, de variatie veroorzaakt door de steekproefstrategieën zelf. Cruciaal is dat de overeenkomsten op menselijk geschreven samples binnen het natuurlijke bereik van de variatie vielen die wordt waargenomen bij verschillende modellen (bijv. Gemma3 versus QwenVL) en talen.

2. Distributionele Gelijkenis

• Onderscheidbaarheid: Hoewel menselijk geschreven samples statistisch onderscheidbaar zijn van door modellen gegenereerde data (wat wijst op een distributionele verschuiving), is deze verschuiving vergelijkbaar met de verschuiving die wordt waargenomen tussen verschillende LVLM-benchmarks (bijv. VISaGE versus HaloQuest) of tussen verschillende modellen (bijv. Gemma3 versus QwenVL).
• Implicatie: De stilistische en lexicale variatie over verschillende LVLMs is al substantieel, wat suggereert dat menselijke geschreven data geen "outlier" distributie introduceert die het gebruik ervan als benchmark ongeldig zou maken.

3. Benchmarking Prestaties

• Label Beoordeling: Wanneer Gemma3 als judge werd gebruikt om items te labelen, werden menselijk geschreven samples met een hoge nauwkeurigheid gelabeld, vaak hoger dan model-gegenereerde samples.
• Prestatiecorrelatie: De auteurs testten 10 verschillende LVLMs als "judges" op zowel menselijk geschreven als door machines geschreven data. Ze vonden een hoge Pearson-correlatie tussen de prestatierangschikkingen van deze judges over de twee databronnen. Menselijk geschreven data leverde de hoogste correlaties op, wat aangeeft dat het even adequaat is als een willekeurig gekozen door een model gegenereerde sample voor het rangschikken van detectiecapaciteiten.
• Detectietools: Evaluatie van een span-level detector (HalluShift++) toonde aan dat de prestaties op menselijk geschreven data vergelijkbaar waren met de prestaties op specifieke door LVLM's gegenereerde data.
• Modelbias: De studie benadrukte dat modelafhankelijke benchmarks specifieke biases kunnen introduceren. Zo degradeerde het kalibreren van een detector getraind op Llava-NeXT de prestaties wanneer deze werd getest op Llava-NeXT data, een valkuil die wordt vermeden bij het gebruik van de bredere, menselijk geschreven subset.

Betekenis en Claims

Het artikel betoogt dat menselijk geschreven samples een levensvatbaar en robuust substituut bieden voor LVLM-gebaseerde hallucinatiebenchmarks. De betekenis van deze aanpak ligt in:

• Controleerbaarheid: Het stelt onderzoekers in staat om de prevalentie van specifieke typen hallucinaties precies te controleren (bijv. het waarborgen van voldoende OCR-fouten of miscounting), wat moeilijk is met willekeurige steekproeven.
• Blijvende Waarde: Door de benchmark los te koppelen van specifieke modelgeneraties, vermijdt de dataset de snelle veroudering die gepaard gaat met model-specifieke benchmarks.
• Verminderde Bias: Het mitigeert het risico dat detectiesystemen overfitten op de specifieke foutmodi of "idiosyncrasieën" van een enkele generator-model.
• Sanity Check: Menselijk geschreven data dient als een cruciale sanity check; een groot prestatieverschil tussen menselijk geschreven en door modellen gegenereerde data zou waarschijnlijk duiden op een detector die steelt op basis van spooksignalen in plaats van echte hallucinatiedetectie.

De auteurs concluderen dat hoewel menselijk geschreven samples geen perfecte spiegel zijn van modelgedrag, hun distributionele profiel voldoende vergelijkbaar is met modeloutputs, en hun vermogen om hoge-consensus, controleerbare data te produceren, hen een superieur fundament maakt voor het evalueren van hallucinatiedetectietools in een snel evoluerend NLP-landschap.