MEVER: Multi-Modal and Explainable Claim Verification with Graph-based Evidence Retrieval

Technische Samenvatting: MEVER

1. Probleemstelling

Het verifiëren van de waarheid van beweringen (claim verification) is een complexe taak die steeds vaker een combinatie vereist van tekstuele en visuele informatie (bijv. het analyseren van een tekstuele caption in combinatie met een grafiek of chart). Bestaande methoden kampen met drie belangrijke tekortkomingen:

• Unimodale beperking: Veel modellen vertrouwen uitsluitend op tekstuele bewijslast en negeren visuele signalen, wat leidt tot onnauwkeurige verificatie bij multimedia-claims.
• Gebrek aan explainability: Veel modellen geven wel een oordeel (ondersteund/weerlegd), maar bieden geen transparante tekstuele uitleg die het redeneerproces rechtvaardigt.
• Inefficiënte retrieval: Bestaande retrieval-systemen zijn vaak tekstgericht en slagen er niet in om relevante visuele bewijslast effectief te koppelen aan een claim.

2. Methodologie

De auteurs introduceren MEVER, een model dat drie kernprocessen integreert: bewijslast-retrieval, multi-modale verificatie en uitleggeneratie.

A. Multi-modale Evidence Retrieval (Graph-based):
Het model maakt gebruik van een twee-laagse multi-modale graaf.

• Onderste laag: De tekstuele laag (bewijsteksten).
• Bovenste laag: De visuele laag (afbeeldingen/charts).
• Reasoning: Er wordt gebruikgemaakt van image-to-text en text-to-image reasoning via een Graph Neural Network (GNN). Dit zorgt ervoor dat de embeddings van een tekst de visuele informatie van de bijbehorende afbeeldingen absorberen, en vice versa, wat resulteert in rijke, cross-modale embeddings voor retrieval.

B. Multi-modale Claim Verificatie:
Om de claim en de gevonden bewijslast te vergelijken, gebruikt MEVER een hiërarchische fusie-aanpak:

• Token-level fusion: Een interactieve uitwisseling van informatie tussen de tokens van de claim en de tokens van de bewijslast via Multi-Head Attention (MHA).
• Evidence-level fusion: Een hiërarchische aggregatie waarbij eerst de afbeeldingen per tekst worden samengevoegd, waarna de verschillende bewijsstukken worden geaggregeerd tot één unified claim-evidence embedding voor de uiteindelijke classificatie.

C. Explainable Explanation Generation:
Voor de transparantie introduceert het model een Multi-modal Fusion-in-Decoder (FiD) module.

• Deze module combineert de embeddings van de claim, de tekst en de afbeeldingen om een coherente tekstuele uitleg te genereren.
• Consistency Regularizer: Om te voorkomen dat de gegenereerde uitleg spreekt tegen het gegeven oordeel (bijv. een uitleg die "ondersteunt" zegt terwijl het model "weerlegt" voorspelt), wordt een regularisatieterm toegevoegd aan de loss-functie die de voorspelde labels van de uitleg dwingt overeen te komen met de verificatie-output.

3. Belangrijkste Bijdragen

1. MEVER Model: Een integraal framework dat retrieval, verificatie en uitleg combineert via geavanceerde graaf- en fusietechnieken.
2. AIChartClaim Dataset: De creatie van een nieuwe, wetenschappelijke dataset in het AI-domein. In tegenstelling tot algemene datasets bevat deze claims gebaseerd op wetenschappelijke ontdekkingen, ondersteund door complexe charts (lijngrafieken, staafdiagrammen, etc.) met bijbehorende captions.
3. Nieuwe Architecturale Componenten: De introductie van de twee-laagse multi-modale graaf en de multi-modale FiD voor explainability.

4. Resultaten

De experimenten tonen aan dat MEVER superieur is aan de huidige state-of-the-art:

• Retrieval: MEVER presteert beter op MAP (Mean Average Precision) en Recall dan tekstuele baselines (zoals BM25 of JustiLM) en multi-modale baselines, wat de effectiviteit van de graaf-gebaseerde aanpak bewijst.
• Verificatie: Op de testsets (waaronder de nieuwe AIChartClaim en de algemene ChartCheck) behaalt MEVER de hoogste Macro F1-scores. De ablatiestudies laten zien dat zowel de token-level als de evidence-level fusie essentieel zijn voor de nauwkeurigheid.
• Uitleg: De gegenereerde uitleg scoort hoog op metrieken zoals ROUGE-L, METEOR en BLEU-2. De consistency regularizer zorgt ervoor dat de uitleg betrouwbaar en consistent is met het oordeel.

5. Betekenis (Significance)

Dit werk is significant omdat het een brug slaat tussen computer vision en natural language processing binnen de context van fact-checking. Door de focus te leggen op wetenschappelijke data (AI-charts), pakt het een specifiek en moeilijk probleem aan: het begrijpen van kwantitatieve trends in wetenschappelijke visualisaties. De nadruk op explainability maakt het model niet alleen nauwkeuriger, maar ook bruikbaarder voor menselijke onderzoekers die de betrouwbaarheid van wetenschappelijke claims moeten beoordelen.