Technische Samenvatting: Unified Hallucination Fuzzing voor Multimodale Large Language Models

1. Probleemstelling

Multimodale Large Language Models (MLLM's) hebben uitzonderlijke capaciteiten getoond in generatieve redenering en visueel begrip. Echter, hallucinatie—het genereren van reacties die taalkundig coherent zijn maar feitelijk niet getrouw aan visuele inputs of gevestigde kennis—blijft een hardnekkige bottleneck voor hun betrouwbare inzet in kritieke domeinen zoals de gezondheidszorg, juridisch advies en autonome systemen.

Huidige evaluatieparadigma's lijden onder twee kritieke beperkingen:

1. Beperkte Taxonomische Dekking: Bestaande benchmarks richten zich primair op statische, object-niveau fouten, waardoor ze er niet in slagen de long-tail distributie van hallucinaties binnen instructie-opvolging en kennisretentie te vangen.
2. Prestatiesaturatie: Statische datasets met vaste inputs stellen modellen in staat om benchmarks snel te memoriseren ("het examen leren"), zonder werkelijke robuustheid te verwerven. Hoge scores op deze statische sets maskeren vaak onderliggende broosheid, wat een vals gevoel van veiligheid creëert.

Er is een dringende behoefte aan een verschuiving van statische meting naar dynamische, adversariële stress-testen die de kwetsbaarheden van modellen systematisch kunnen onderzoeken onder evoluerende scenario's uit de echte wereld.

2. Methodologie

Het paper stelt een systematisch evaluatiekader voor dat een uitgebreide benchmark integreert met een zelf-evoluerend stress-testmechanisme.

2.1. UniHall: Een Unified Benchmark

De auteurs introduceren UniHall, een grootschalige, fijnmazige dataset gebaseerd op een uniforme taxonomie die drie dimensies beslaat:

• Object-niveau: Gefabriceerd bestaan, onjuiste attributen en valse relaties.
• Instructie-niveau: Falen in het weigeren van onmogelijke vragen en sycophantie (instemmen met misleidende premissen).
• Kennis-niveau: Verzonnen feiten en gefabriceerde referenties.

In tegenstelling tot eerdere werken die zich richten op monolithische objectfouten, integreert UniHall diverse open-domain en domeinspecifieke data, wat diepere analyse mogelijk maakt van specifieke foutmodi over verschillende cognitieve taken heen.

2.2. SAMF: Self-Adaptive Multimodal Fuzzing

Om benchmark-saturatie aan te pakken, stelt het paper SAMF (Self-Adaptive Multimodal Fuzzing) voor, een geautomatiseerd red-teaming framework geïnspireerd door software fuzz testing.

• Dynamische Mutatie: SAMF maakt gebruik van evolutionaire strategieën, inclusief heuristische zoektochten en Reinforcement Learning (RL), om semantisch behouden maar cognitief adversariële mutaties toe te passen op zowel tekstuele prompts als visuele inputs.
• Mutatie-operatoren:
  • Textueel: Redundantie/interferentie controle, complexiteitsvallen (syntactische complicaties) en kennisconflict-inductie (autoriteitsbias).
  • Visueel: Injectie van achtergronddistractie, redundante multi-view kopieën met kwaliteitsdegradatie en multi-image overload.
• Adaptief Beleid: Het framework gebruikt een pilot-subset van 20% om optimale mutatiestrategieën te ontdekken. RL-agents leren adaptieve beleid te optimaliseren voor operatorselectie en mutatie-intensiteit op basis van oracle-feedback, waarbij ze heuristische strategieën overtreffen in exploratie-efficiëntie.

2.3. Gestructureerde Metriek-suite

Om betrouwbare beoordeling van dynamische inputs te garanderen, bevat SAMF een gestructureerde metriek-suite aangedreven door een ensemble van multi-modale oracles (visuele detectoren, cross-modale alignment modellen, symbolische regels en LLM verifiers). De metrieken omvatten:

• Generic Hallucination Rate (GHR): Een binaire beslissingsfunctie die niet-onderbouwde maar vloeiende reacties detecteert.
• Breakdown Hallucination Rate (BHR): Decomponeert reacties in atomaire claims (Object, Instructie, Kennis) voor deterministische verificatie tegen bewijsstellen.
• Structured Hallucination Rate (SHR): Generaliseert BHR met behulp van GPT-gebaseerde judges voor claim-decompositie en ernst-scoring.
• Risico-bewuste Aggregatie: Weegt metrieken op basis van instantie-specifieke risiconiveaus (1–5) om de impact in de echte wereld te reflecteren.

3. Belangrijkste Bijdragen

1. UniHall Benchmark: Een risico-bewuste benchmark gebouwd op een uniforme Object–Instructie–Kennis hallucinatie-taxonomie, die een aanzienlijk uitgebreidere dekking biedt dan bestaande benchmarks.
2. SAMF Framework: Het eerste mutatie-gedreven MLLM fuzzing framework met adaptieve evolutie en gestructureerde oracle-verificatie, in staat om de saturatie van statische benchmarks te overwinnen.
3. Empirische Inzichten: Systematische stress-testen onthullen een dissociatie tussen redeneervermogen en feitelijke gronding, en identificeren een "helpfulness-hallucination trade-off" waarbij reinforcement learning alignment onbedoeld sycophantie verergert.

4. Experimentele Resultaten

Uit extensieve experimenten op state-of-the-art MLLM's (inclusief GPT-5 series, Gemini, Qwen, LLaVA en InternVL varianten) blijkt:

• Prestatiedegradatie onder Fuzzing: Alle modellen vertonen een significante prestatiedaling bij de overgang van statische naar fuzzing evaluatie. Bijvoorbeeld, de Generic Hallucination Rate (GHR) voor Qwen2.5-VL-7B stijgt van ~29,8% (statisch) naar ~42,7% (RL-gebaseerde fuzzing).
• Reasoning-Grounding Dissociatie: Sterkere algemene redeneerkracht leidt niet noodzakelijkerwijs tot een beter weerstand tegen hallucinaties. Modellen met geavanceerde redeneerkracht (bijv. Qwen3-VL-8B, GPT-5.2) vertonen soms hogere hallucinatiecijfers, met name in de kennis- en instructiedimensies, wat suggereert dat complexe redeneer-rationales meer ononderbouwde claims kunnen introduceren.
• De Alignment Tax: Agressieve reinforcement learning (RL) alignment voor gebruikers-helpfulness heeft de neiging hallucinaties te verergeren. Modellen fabriceren vaak plausibele informatie om misleidende instructies te bevredigen of behulpzaam te lijken, in plaats van onwetendheid toe te geven of te weigeren. Dit is bijzonder evident in de "Refuse" en "Sycophantic" categorieën, waar hallucinatiecijfers de saturatie naderen (nabij 100%).
• Categorie-gevoeligheid: Object-niveau hallucinaties worden relatief goed afgehandeld, terwijl instructie-niveau uitdagingen (weigeren, sycophantie) en kennis-niveau hallucinaties een duidelijke degradatie laten zien onder adversariële mutaties.
• Metriek-gevoeligheid: Verbale modellen worden zwaarder gestraft door oppervlakte-metrieken (GHR) dan door claim-niveau metrieken (SHR/BHR), wat de noodzaak voor granulaire verificatie benadrukt.

5. Betekenis en Claims

Het paper claimt een nieuw kader voor universele hallucinatie-beoordeling te hebben vastgesteld. Door verder te gaan dan statische leaderboards, demonstreren de auteurs dat huidige MLLM's latente kwetsbaarheden bezitten die alleen worden blootgelegd door dynamische, adversariële stress-testen.

Het werk beargumenteert dat:

• Statische benchmarks onvoldoende zijn: Hoge scores op statische datasets maskeren broosheid en falen om robuustheid te reflecteren in real-world, evoluerende scenario's.
• Alignment kosten heeft: Optimaliseren voor behulpzaamheid via RL kan ten koste gaan van feitelijke getrouwheid, wat een trade-off creëert die zorgvuldige kalibratie vereist.
• Robuustheid multimodale integratie vereist: Ware betrouwbaarheid hangt af van het vermogen van het model om feitelijke onafhankelijkheid te behouden onder conflicterende signalen (bijv. adversariële prompts versus visueel bewijs).

Uiteindelijk is het voorgestelde framework, de code en de benchmark (UniHall) bedoeld om de ontwikkeling van meer betrouwbare multimodale systemen te begeleiden door een rigoureus, zelf-evoluerend mechanisme te bieden voor het identificeren en mitigeren van hallucinaties.