Technische Samenvatting: ReactBench

Probleemstelling

Multimodale Grootte Taalmodellen (MLLM's) hebben aanzienlijke vooruitgang geboekt in visueel-taalbegrip, maar blijven vatbaar voor multimodale hallucinaties, waarbij modellen semantisch coherente antwoorden genereren die niet overeenkomen met de visuele input. Hoewel bestaande benchmarks (bijv. POPE, AMBER) een fundamentele rol hebben gespeeld bij het diagnosticeren van deze problemen, vertonen ze drie kritieke beperkingen naarmate MLL's zich ontwikkelen:

1. Simplicistische Scenario's: Veel benchmarks vertrouwen op basiscènes en beperkte query-formaten, wat leidt tot verzadiging door state-of-the-art modellen en opgeblazen prestatie-indicatoren die de ware capaciteitsgrenzen niet testen.
2. Geïsoleerde Oorzaakanalyse: Recente inspanningen onderzoeken vaak specifieke oorzaken (bijv. taal-priors of co-occurrence-bias) geïsoleerd, zonder een verenigd, oorzaak-gedreven raamwerk. Bovendien vertrouwen sommige benchmarks op tekst-naar-afbeelding-generatie voor adversariale monsters, wat de representativiteit voor de echte wereld mogelijk in gevaar brengt.
3. Gebrek aan Gedetailleerde Diagnose: Bestaande evaluaties richten zich doorgaans op geaggregeerde prestaties of grove samenvattingen van hallucinatiegedrag, en maken zelden gebruik van Chain-of-Thought (CoT) redeneersporen om gehallucineerde output terug te leiden naar specifieke sub-oorzaken binnen het redeneerproces.

Methodologie

Om deze gaten op te vullen, introduceren de auteurs ReactBench, een systematisch, oorzaak-gedreven benchmark ontworpen om het evaluatieparadigma te verschuiven van uitkomst-gerichte detectie naar oorzaak-gerichte diagnose. De methodologie omvat vier gerichte taken, die elk corresponderen met een specifiek falingsmechanisme, en een semi-automatische pijplijn voor datasetconstructie.

1. Taaldefinities

ReactBench evalueert MLLM's via vier taken die corresponderen met vier representatieve oorzaken van hallucinatie:

• Relationele Uitwissing (Co-occurrence Bias): Richt zich op hallucinaties veroorzaakt door statistische co-occurrence. Hoogfrequente objecttriplets (bijv. sneeuwschaats-wielen) worden geselecteerd en één entiteit wordt visueel gewist. Modellen worden bevraagd over het bestaan van het gewiste object aan de hand van vier dimensies: directe vragen, commonsense-gestuurde induktie, premisse-gestuurde induktie en absurd-contrast-induktie.
• Contradictorische Attribuut (Taal-priors): Richt zich op de afhankelijkheid van voorkennis boven visueel bewijs. Hoogfrequente object-attribuut-tupels (bijv. eekhoorn-zachte grijze vacht) worden bewerkt naar contradictorische toestanden (bijv. stekelige doornen). Modellen worden geëvalueerd op hun vermogen om het bewerkte attribuut te identificeren tegenover dezelfde vier query-dimensies.
• Bewerkingstracering (Cross-image Vergelijkende Perceptie): Richt zich op tekortkomingen bij het vergelijken van afbeeldingsparen. Objecten in een afbeelding ondergaan micro-bewerkingen (verplaatsing, verwijdering, toevoeging, vervanging). Modellen moeten veranderingen identificeren in drie instellingen: locatie-gesuggereerde, bewerking-gesuggereerde en zonder-suggestie-query's.
• Dichte Telling (Gedetailleerde Perceptuele Bottlenecks): Richt zich op moeilijkheden bij het tellen van meerdere objecten van dezelfde klasse in dichte scènes. Modellen worden bevraagd om exacte hoeveelheden of op intervallen gebaseerde bereiken.

2. Dataset Constructie Pijplijn

De benchmarkconstructie omvat een semi-automatische pijplijn die hoge fideliteit garandeert:

• Brondata: Afbeeldingen zijn afkomstig uit Visual Genome (voor de eerste drie taken) en FSC147 (voor Dichte Telling).
• Statistische Filtering: Kandidaat-afbeeldingen worden geselecteerd op basis van co-occurrence-kansen en objectfrequenties om sterke bias- of prior-voorwaarden te waarborgen.
• MLLM-gebaseerde Bewerking: Instance-niveau informatie wordt aan een MLLM gevoerd om precieze bewerkingsinstructies te genereren, die worden uitgevoerd door een afbeeldingsbewerkingsmodel (Qwen-Image-Edit-2511) om adversariale monsters te creëren.
• Examenstijl QA-Generatie: MLLM's genereren grootschalige vraag-antwoordparen (MC, YN, SA) op basis van de bewerkte afbeeldingen en metadata, met inbegrip van specifieke inducerende dimensies (bijv. absurd contrasten).
• Menselijke Verificatie: Een twee-traps menselijke review-proces valideert de kwaliteit van de afbeeldingsbewerking en de juistheid van de QA, waardoor visuele fideliteit en antwoordnauwkeurigheid worden gewaarborgd.

3. Evaluatiekader

• Metrics: Naast standaard nauwkeurigheid stellen de auteurs React-Score voor, een hiërarchisch gewogen metric die rekening houdt met vraagmoeilijkheid (Korte Antwoorden gewogen op 50%, MC/JN op 25%) en taakmoeilijkheid (Relationele Uitwissing en Dichte Telling elk gewogen op 30%).
• Gedetailleerde Sub-oorzaakanalyse: De auteurs maken gebruik van CoT-redeneersporen om een diagnostische analyse uit te voeren. Ze definiëren een taxonomie van sub-oorzaken voor elke taak (bijv. Activiteit-Entiteit Voltooiing voor Relationele Uitwissing, Blind Prior Assertie voor Contradictorisch Attribuut) en gebruiken een LLM om gehallucineerde antwoorden toe te schrijven aan deze specifieke sub-oorzaken.

Belangrijkste Resultaten

Uitgebreide evaluaties werden uitgevoerd op 13 geavanceerde open-source MLLM's (waaronder Qwen3.5, InternVL3, LLaVA-serie en MiMO-VL).

• Algemene Prestaties: Huidige MLLM's blijven opmerkelijk kwetsbaar, met gemiddelde nauwkeurigheden die ongeveer tussen 40% en 60% liggen. Het best presterende model, Qwen3VL-32B-Thinking, behaalde een React-Score van 65,3, terwijl eerdere architecturen zoals LLaVA-v1.6-7B slechts 34,5 scoorden.
• Effect van Chain-of-Thought (CoT): De introductie van CoT-redenering leverde uiteenlopende effecten op. Hoewel het hielp taal-prior-gedreven fouten te mitigeren in de taak Contradictorisch Attribuut (bijv. +8,0% verbetering voor Qwen3VL-32B-Instruct), verslechterde het vaak de prestaties op perceptie-intensieve taken zoals Bewerkingstracering en Dichte Telling. Dit suggereert dat lange redeneerketens visuele onzekerheid kunnen versterken en tussenliggende misinterpretaties kunnen accumuleren.
• Taks-specifieke Inzichten:
  • Perceptie versus Priors: Modellen vertoonden duidelijkere winst op perceptie-gerichte taken (Bewerkingstracering, Dichte Telling) in vergelijking met taken geworteld in pre-training data-distributies (Relationele Uitwissing, Contradictorisch Attribuut), waar de prestaties iets boven de 60% stagneerden.
  • Vraagformaten: Open-ended Korte Antwoorden (SA) bleken aanzienlijk moeilijker (19,1%–28,4% nauwkeurigheid) dan Meerkeuze (50,4%–64,9%) of Ja/Nee-formaten, wat wijst op een gebrek aan visuele gronding voor vrij-vorm generatie.
  • Inducerende Dimensies: "Absurd-contrast"-query's waren zeer effectief in het induceren van hallucinaties, wat leidde tot de ernstigste prestatiedalingen.
• Sub-oorzaak Distributie: De analyse onthulde dominante faalpatronen:
  • Relationele Uitwissing: 68% van de fouten kwam voort uit Activiteit-Entiteit Voltooiing en Scène-Object Associatie.
  • Contradictorisch Attribuut: 83,1% van de fouten was te wijten aan Blind Prior Assertie en Common Attribuut Projectie.
  • Bewerkingstracering: 89,7% van de fouten resulteerde uit Cross-image State Assimilatie en Gedetailleerde Blindheid.
  • Dichte Telling: Regelmatige Shortcut Fout (49,1%) en Sequentiële Enumeratie Tekortkoming (30,9%) waren de primaire bottlenecks.

Betekenis en Claims

De paper beweert dat ReactBench een systematisch en interpreteerbaar testbed biedt voor het diagnosticeren van multimodale hallucinaties. De betekenis hiervan ligt in:

1. Paradigmaverschuiving: De verschuiving van eenvoudige uitkomst-detectie naar een oorzaak-gedreven raamwerk dat systematisch specifieke falingsmechanismen blootlegt (co-occurrence bias, taal-priors, tekortkomingen in vergelijkende perceptie en gedetailleerde bottlenecks).
2. Diagnostische Granulariteit: Het bieden van een gedetailleerde sub-oorzaak taxonomie die hallucinaties terugleidt naar specifieke redeneerbreuken, waardoor actie-inzichten voor modelverbetering worden geboden die verder gaan dan generieke "grotere schaal"-benaderingen.
3. Echte Wereld Fideliteit: Door het gebruik van echte afbeeldingen met gerichte bewerkingen in plaats van synthetische tekst-naar-afbeelding-generatie, behoudt de benchmark een hogere visuele fideliteit en real-world representativiteit.
4. Richting voor Toekomstige MLLM's: De resultaten suggereren dat toekomstige modellen gerichte mitigeringsstrategieën vereisen, zoals het onderdrukken van plausibele maar visueel niet-ondersteunde priors en het versterken van visuele verificatiemechanismen (bijv. gelokaliseerde vergelijking en object-niveau tracking), in plaats van uitsluitend te vertrouwen op schaling.

De auteurs concluderen dat ReactBench niet alleen dient als evaluatiebenchmark, maar ook actie-inzichten biedt voor het verbeteren van de robuustheid van toekomstige MLLM's.