The Automatic Verification of Image-Text Claims (AVerImaTeC) Shared Task

Probleemstelling

Automatische feitencontrole (Automated Fact-Checking, AFC) heeft tot nu toe voornamelijk gefocust op tekstuele claims. Echter, online desinformatie is steeds vaker multimodaal, waarbij ongeveer 80% van de claims zowel tekst als media (voornamelijk afbeeldingen) bevat. Bestaande benchmarks voor image-text claims hebben twee grote tekortkomingen:

1. Synthetische data: Veel datasets zijn kunstmatig gegenereerd door tekst of afbeeldingen te manipuleren, wat leidt tot een distributieverschil met echte wereldse claims.
2. Gebrek aan bewijs: Bestaande datasets van echte feitencontroles missen vaak de noodzakelijke context of expliciete bewijsannotaties, waardoor het moeilijk is om het redeneerproces van modellen te evalueren.

Het doel van de AVerImaTeC (Automatic Verification of Image-Text Claims) shared task is om systemen te ontwikkelen die niet alleen het juiste oordeel (verdict) over een claim geven, maar ook het juiste bewijs (evidence) ophalen en presenteren om dit oordeel te onderbouwen.

Methodologie en Opzet

1. Het Dataset: AVerImaTeC

Het paper introduceert een dataset van 1.297 claims, handmatig geëxtraheerd uit echte feitencontrole-artikelen.

• Structuur: Elke claim bestaat uit tekst en een afbeelding, met bijbehorende metadata (datum, bron).
• Annotatie: Het verificatieproces is opgedeeld in een reeks vraag-antwoordparen (QA-paren), elk ondersteund door webbewijs.
• Tijdsbeperking: Alle bewijsmateriaal moet vóór de datum van de claim zijn gepubliceerd om "temporale lekken" (temporal leakage) te voorkomen.
• Labels: Claims worden gelabeld als Supported (ondersteund), Refuted (weerlegd), Not Enough Evidence (niet genoeg bewijs) of Conflicting/Cherry-picking (tegenstrijdig/kersenplukken).

2. De Knowledge Store

Om de financiële last van het gebruik van dure zoek-API's te verlichten, hebben de organisatoren een curated knowledge store beschikbaar gesteld.

• Deze bevat zowel tekstuele als visuele bewijsstukken die relevant zijn voor de claims.
• Het bevat ook "adversariaal" en irrelevant bewijs om de ruis van een open web-omgeving te simuleren.
• De store is gegenereerd via Google Search API en Reverse Image Search (RIS), met strikte tijdsfilters.

3. Evaluatiemethode

De prestaties worden gemeten met de AVerImaTeC-score.

• Dit is een voorwaardelijke nauwkeurigheid: een oordeel telt alleen als correct als het bijbehorende evidence score een vooraf bepaald drempelwaarde (0,3) overschrijdt.
• Dit dwingt systemen om niet alleen het juiste antwoord te voorspellen, maar ook hoogwaardig bewijs te vinden.
• De evaluatie gebruikt een "LLM-as-a-Judge" framework (Gemma-3-27B) om de relevantie en dekking van het gevonden bewijs te vergelijken met de gouden standaard (human-annotated evidence).

Belangrijkste Resultaten

Tijdens de testfase deden 6 teams mee. Alle teams presteerden beter dan de baselines.

• Winnaar: Het team HUMANE behaalde de hoogste AVerImaTeC-score van 0,5455 (tegenover 0,1136 voor de baseline).
• Technische inzichten van de winnende teams:
  • Geavanceerd Scraping: HUMANE gebruikte Playwright in plaats van standaard scraping tools om leegte in de knowledge store op te vullen en meer tekstuele informatie te extraheren (+24,4% aan bewijs).
  • Meerdere Reverse Image Search (RIS) Engines: Het combineren van meerdere zoekmachines (zoals Google Lens naast Google Cloud Vision) verhoogde de dekking van relevante webpagina's aanzienlijk.
  • Retrieval: Alle topteams gebruikten een tweestaps-retrievalframework: eerst een sparse retriever (BM25) voor hoge recall, gevolgd door een dense retriever (neuronale embeddings zoals mxbai-embed-large-v1) voor semantische ranking.
  • Multimodale Retrievers: Teams zoals ADA-AGGR en Xxp gebruikten gespecialiseerde multimodale modellen (ColPali, SigLIP) om bewijs gerelateerd aan afbeeldingen beter te vinden.
• Prestatie per claimtype: Systemen presteerden goed op Event/Property en Media Analysis claims, maar hadden moeite met Causal claims.
• Prestatie per oordeeltype: Systemen presteerden zeer slecht op de zeldzame categorieën Not Enough Evidence en Conflicting Evidence, wat wijst op de inherente moeilijkheid om conflicterende informatie te redeneren.

Key Contributions (Bijdragen)

1. Eerste grote benchmark voor real-world image-text claims: Het biedt een dataset gebaseerd op echte feitencontroles met expliciete bewijsannotaties, in tegenstelling tot synthetische datasets.
2. Openbare Knowledge Store: Het leveren van een kant-en-klare verzameling bewijsmateriaal maakt deelname toegankelijker en verhoogt de reproduceerbaarheid.
3. Nieuwe Evaluatiestandaard: De introductie van de AVerImaTeC-score, die de kwaliteit van het bewijs koppelt aan de juistheid van het oordeel, stelt een hogere lat voor AFC-systemen.
4. Human Evaluation: Een gedetailleerde menselijke evaluatie toonde aan dat automatische evaluatiemethoden nog niet perfect aligneren met menselijke oordelen, vooral bij multimodale bewijzen (tekst vs. afbeelding).

Betekenis en Toekomstperspectief

De shared task benadrukt dat effectieve feitencontrole voor multimodale claims meer vereist dan alleen tekstuele analyse.

• Visuele verificatie is cruciaal: Het succes van teams die gebruikmaakten van Reverse Image Search en multimodale retrievers onderstreept het belang van het verifiëren van de visuele component van een claim.
• Open vs. Gesloten Modellen: De topteams maakten zwaar gebruik van gesloten bronmodellen (zoals Gemini-2.5-Pro). Een belangrijke toekomstvraag is hoe open-weight modellen via fine-tuning deze prestatiekloof kunnen dichten zonder de kosten van API's.
• Open Vragen: Het paper identificeert drie open vragen voor toekomstig onderzoek:
  1. Zijn gegenereerde zoekvragen (queries) noodzakelijk voor verificatie?
  2. Is een stap voor het beantwoorden van vragen (QA) nodig om bewijs te verfijnen?
  3. Is iteratieve QA (vragen stellen op basis van eerdere antwoorden) effectiever dan eenmalige vraaggeneratie?

Concluderend biedt AVerImaTeC een robuust kader voor het ontwikkelen van systemen die desinformatie in een multimodale wereld kunnen bestrijden, met een sterke focus op transparantie en bewijsvoering.