Technische Samenvatting: CEDI – Gecontextualiseerde Evaluatie van MLLM's door Dynamische, Multi-turn Interacties

Probleemstelling

Ondanks substantiële vooruitgang in Multi-modale Large Language Models (MLLM's) op statische benchmarks, blijft hun effectiviteit in real-world applicaties onzeker. De kern van het probleem is een fundamentele mismatch tussen huidige evaluatieparadigma's en daadwerkelijk gebruik. Bestaande benchmarks zijn doorgaans statisch, single-turn en worden uitgevoerd in gecontroleerde omgevingen, terwijl real-world interacties met MLLM's inherent dynamisch, multi-turn en gecontextualiseerd zijn. Deze kloof verhindert de detectie van foutmodi—specifiek visuele hallucinaties (het genereren van outputs die niet getrouw zijn aan de beeldinhoud)—die pas naar voren komen tijdens complexe, interactieve dialogen. Bovendien falen huidige evaluatiemethoden vaak in het vastleggen van de accumulatie van fouten over lange contexten of het onvermogen van het model om valse premissen te verwerpen.

Methodologie: Het CEDI-framework

De auteurs stellen CEDI voor (Contextualized Evaluations of MLLMs through Dynamic, multi-round Interactions), een framework dat evaluatie herdefinieert als een drie-partijen interactie:

1. De Geëvalueerde: De MLLM die wordt getest.
2. De Examinator: Een geautomatiseerde agent die een semi-gestructureerd, multi-turn interview afneemt.
3. De Beoordelaar (Grader): Een geautomatiseerde agent die de dialoog scoort op getrouwheid (faithfulness) en dekking (coverage).

1. Dynamische en Gecontextualiseerde Examinator

Geïnspireerd door menselijke evaluatie-interviews, past de examinator zijn vraagstrategie aan op basis van de antwoorden van het model.

• Scene Graph Representatie: Om te garanderen dat vragen geworteld zijn in visueel bewijs in plaats van taalprioriteiten, maakt de examinator gebruik van een Scene Graph ($G = (V, E, A)$) die objecten, relaties en attributen representeert.
• Context Modellering: De examinator simuleert een first-person gebruikersscenario met een specifiek doel (bijv. "Ik ben visueel beperkt en moet de toiletten vinden"). Het selecteert een relevant sub-graf ($G_s$) uit de volledige scene graph om de conversatie aan te drijven.
• Traversatie Strategie: Het interview wordt gemodelleerd als een traversatie over $G_s$. Bij elke beurt selecteert de examinator een doel-node en genereert één van vier vraagtypen:
  • Regulier: Gegronde vragen over waarneembare elementen.
  • Follow-up: Vragen die geconditioneerd zijn op de eerdere dialoog om consistentie te testen.
  • Adversarieel: Vragen over plausibele maar afwezige objecten/relaties om de afhankelijkheid van visueel bewijs versus statistische co-occurrence te testen.
  • Onbeantwoordbaar: Vragen gebaseerd op gefabriceerde premissen (valse objecten/relaties) om het vermogen van het model te testen om valse informatie te verwerpen.
• Context Schaling: Om brede visuele dekking te garanderen, genereert de examinator meerdere onderscheidende contexten per afbeelding, waardoor de unie van bevraagde sub-grafen wordt uitgebreid zonder dat een enkele uitputtende beschrijving vereist is.

2. Scene Graph-gebaseerde Beoordelaar

De beoordelaar evalueert het geaccumuleerde dialoogtranscript in plaats van single-turn responses.

• Parsing: Een LLM parseert het transcript naar een voorspelde scene graph ($\hat{G}$), waarbij gefilterd wordt op fysieke entiteiten.
• Metrieken: De beoordelaar vergelijkt $\hat{G}$ met de grondwaarheid scene graph ($G^*$) met behulp van:
  • Graph Edit Distance (GED): Meet de kosten van edit-operaties (inserties, deleties, substituties) om $\hat{G}$ te transformeren naar $G^*$. Inserties straffen hallucinaties af; deleties straffen ontbrekende content af.
  • $\Delta$Con: Meet structurele gelijkenis via node-affinity matrices.
  • Decompositie: De auteurs definiëren $GED_{hal}$ (isolatie van gehallucineerde content) en $GED_{cov}$ (isolatie van ontbrekende content) om precisie en recall te ontrafelen.

Belangrijkste Bijdragen

1. Framework Voorstel: Introductie van CEDI, wat de evaluatie van MLLM's verschuift van statische benchmarks naar dynamische, drie-partijen interacties geleid door scene graphs.
2. Vraagstrategie: Ontwikkeling van een semi-gestructureerd interviewprotocol met vier verschillende vraagtypen (inclusclusief adversariële en onbeantwoordbare vragen) ontworpen om specifieke hallucinatiegedragingen op te roepen.
3. Evaluatie Metriek: Een scene-graph-gebaseerde beoordelaar die zowel de ernst van hallucinaties als de visuele dekking op transcriptniveau kwantificeert, wat een hogere alignement biedt met menselijke annotaties dan bestaande metrieken zoals CHAIR of MMHal.
4. Empirische Validatie: Uitgebreide evaluatie over diverse modellen (open-source en proprietary), datasets (VG, COCO, ADE20K) en domeinen.

Resultaten

• Verhoogde Hallucinatie Elicitatie: CEDI legt consequent aanzienlijk meer hallucinaties bloot dan caption-gebaseerde, binary-question (bijv. POPE) en prompt-only baselines. Op de Synthetic Visual Genome (SVG) dataset verhoogde CEDI de dekking met 3–19 procentpunten en de per-turn hallucinatiegraad (VALOR) met 5–23 procentpunten vergeleken met caption baselines.
• Menselijke Alignement: De $GED_{hal}$ metriek vertoont een consistente Pearson correlatie ($\rho = 0.22–0.33$) met menselijk geannoteerde hallucinatie-aantallen over alle modellen, waarbij het CHAIR en MMHal overtreft, welke fluctueren of negatieve correlaties vertonen voor bepaalde modellen.
• Context en Historie Effecten:
  • Context Schaling: Het verhogen van het aantal contexten per afbeelding verbetert monotoon de detectie van hallucinaties en de dekking.
  • Dialooggeschiedenis: Modellen hallucineren vaker wanneer ze hun eigen gesprekshistorie kunnen zien, wat vaak eerder ondersteunde claims versterkt.
  • Vraagtypen: Modellen zijn bijzonder kwetsbaar voor "onbeantwoordbare" en "adversariële" vragen, die premisse-verwerping vereisen.
• Foutpatronen: Kwalitatieve analyse onthult dat hallucinaties gedomineerd worden door niet-bestaande objecten (62%), gevolgd door foutieve attributen (20%) en foutieve relaties (15%).

Betekenis en Claims

Het artikel claimt dat CEDI een stap vertegenwoordigt naar ecologisch valide beoordelingen van MLLM's. Door realistische, doelgerichte, multi-turn interacties te simuleren, onthult CEDI foutmodi die statische benchmarks missen, zoals de accumulatie van hallucinaties over lange contexten en het onvermogen om valse premissen te verwerpen. De auteurs stellen dat dit framework een trouwaardere basis biedt voor het diagnosticeren van model-fouten en het sturen van de ontwikkeling van betrouwbare VLMs voor real-world deployment. Hoewel de huidige instantie zich richt op visuele hallucinatie, stellen de auteurs dat de onderliggende formulering generaliseerbaar is naar bredere taken en applicaties.