SciClaimEval: Cross-modal Claim Verification in Scientific Papers

Probleemstelling

Het verifiëren van wetenschappelijke claims (het bepalen of een bewering in een onderzoekspaper wordt ondersteund of weerlegd door bijbehorend bewijs) is een kritieke taak, vooral met de opkomst van generatieve AI en grote taalmodellen (LLMs) die het aantal inzendingen doen toenemen. Bestaande datasets voor deze taak hebben echter aanzienlijke beperkingen:

1. Synthetische Claims: Veel datasets (zoals SciVer) gebruiken claims die door experts zijn geschreven of door LLMs zijn gegenereerd, in plaats van authentieke claims uit gepubliceerde papers.
2. Onrealistische Negatieve Voorbeelden: "Weerlegde" claims worden vaak gegenereerd door bestaande claims te manipuleren (bijv. het toevoegen van ontkenningen zoals "niet"). Dit introduceert artefacten en heuristische aanwijzingen die modellen kunnen leren in plaats van echt redeneren.
3. Beperkte Multimodaliteit: Bestaande datasets missen vaak diverse representaties van bewijs. Tabellen worden soms alleen als afbeeldingen aangeboden, zonder gestructureerde formaten (zoals JSON of LaTeX), en figuren worden zelden als primaire bewijsbron gebruikt in combinatie met tekst.

Methodologie: SciClaimEval Dataset Constructie

De auteurs introduceren SciClaimEval, een nieuw dataset voor cross-modale claimverificatie. De constructie verloopt in drie hoofdstappen:

1. Data Preparatie:

   • Papers worden verzameld uit drie domeinen: Natuurlijke Taalverwerking (NLP), Machine Learning (ML) en Geneeskunde.
   • Bronnen zijn PeerJ (geneeskunde), de ACL Anthology/arXiv (NLP) en NeurIPS/arXiv (ML).
   • De tekst, figuren en tabellen worden geëxtraheerd. Tabellen worden bewaard in meerdere formaten: afbeeldingen (.png), LaTeX-bron, HTML en JSON.

2. Extractie van Claim-Bewijsparen:

   • Met reguliere expressies worden zinnen geïdentificeerd die expliciet verwijzen naar een tabel of figuur (bijv. "Zie Tabel 1").
   • Deze zinnen worden gekoppeld aan het corresponderende bewijsmateriaal. Contextuele zinnen uit dezelfde paragraaf worden toegevoegd om ambiguïteit te verminderen.

3. Menselijke Annotatie (Kerninnovatie):

   • Authentieke Claims: Alle claims (zowel ondersteunde als weerlegde) zijn direct uit de papers gehaald.
   • Evidence Modification (Bewijsmanipulatie): In plaats van de claim te veranderen om deze onwaar te maken, manipuleren annotatoren het bewijsmateriaal zelf.
     • Voor tabellen: Waarden in cellen worden gewijzigd, rijen/kolommen worden verwisseld, of rijen/kolommen worden toegevoegd/verwijderd.
     • Voor figuren: Grafieken worden gespiegeld, legenda's verwisseld, categorieën gewijzigd, of er worden nep-datapunten toegevoegd.
   • Dit resulteert in een "niet-ondersteunde" versie van de claim die logisch consistent is met de gemanipuleerde data, maar onwaar is ten opzichte van de originele paper.

Dataset Statistieken en Kenmerken

• Grootte: 1.664 geannoteerde samples uit 180 papers.
• Domeinen: NLP, ML en Geneeskunde.
• Verdeling: 876 ondersteunde claims en 788 weerlegde claims (plus 88 "alleen ondersteunde" samples waar het manipuleren van het bewijs te moeilijk bleek).
• Formaten: Figuren zijn beschikbaar als PNG. Tabellen zijn beschikbaar als PNG, LaTeX, HTML en JSON.
• Taken: Het dataset ondersteunt twee subtaken:
  1. Claim-label predictie: Bepaal of de claim ondersteund of weerlegd is.
  2. Claim-bewijs predictie: Identificeer welk bewijsmateriaal de claim ondersteunt (moeilijk omdat de gemanipuleerde versie visueel zeer vergelijkbaar is).

Experimenten en Resultaten

De auteurs hebben 11 multimodale foundation modellen (zowel open-source als proprietary) geëvalueerd, waaronder InternVL3.5, Qwen3-VL, LLaVA, Llama-3.2-Vision en OpenAI's o4-mini.

Evaluatiemetrics:
Naast de gebruikelijke Macro-F1, introduceerden ze Pair Accuracy. Dit is een strengere metric die meet of een model zowel de ondersteunde als de weerlegde versie van een claim-paar correct voorspelt. Dit voorkomt dat modellen scoren door toeval of het benutten van dataset-bias.

Belangrijkste bevindingen:

1. Prestatieverschil Open vs. Proprietary: Het proprietary model o4-mini presteert overal significant beter dan open-source modellen, maar zelfs dit model heeft moeite met figuren.
2. Figuren vs. Tabellen:
   • Tabellen: Modellen presteren goed op tabellen. o4-mini bereikt bijna menselijke prestaties (Macro-F1 ~85%, Pair Accuracy ~65-72%). Open-source modellen zoals Qwen3-VL-30B presteren ook redelijk goed.
   • Figuren: Dit is een groot uitdaging voor alle modellen. Er is een aanzienlijke kloof tussen de beste modellen en de menselijke baseline (menselijke F1 ~89%, o4-mini F1 ~78%). Modellen hebben moeite om kleine visuele wijzigingen (zoals een omgekeerde as of een andere legenda) te detecteren die de claim onwaar maken.
3. Context: Het toevoegen van extra context (tekst voor de claim) helpt niet altijd; soms presteren modellen beter zonder extra context, wat suggereert dat de bewijsstukken (figuur/tabel) vaak zelfstandig voldoende informatie bevatten.
4. Pair Accuracy: De scores voor Pair Accuracy zijn consistent lager dan Macro-F1, wat aangeeft dat veel modellen niet echt "redeneren" over het bewijs, maar eerder oppervlakkige patronen gebruiken.

Bijdragen en Significantie

1. Nieuwe Benchmark: SciClaimEval vult een gat in de literatuur door een dataset te bieden met authentieke claims en bewijs-gemanipuleerde negatieve voorbeelden, wat realistischere redeneertaken mogelijk maakt dan het manipuleren van tekst.
2. Cross-modale Diversiteit: Het is een van de eerste datasets die zowel figuren als tabellen omvat, waarbij tabellen in meerdere gestructureerde en ongestructureerde formaten worden aangeboden.
3. Inzicht in MLLM-capaciteiten: De resultaten tonen aan dat multimodale modellen nog significant moeten verbeteren in het visuele redeneren over wetenschappelijke figuren, terwijl ze redelijk goed zijn in het verwerken van tabellen.
4. Toekomstgericht: De dataset biedt een waardevolle resource voor het ontwikkelen van betrouwbaardere wetenschappelijke redeneersystemen en het detecteren van hallucinaties of fouten in AI-generatie van wetenschappelijke inhoud.

Conclusie:
SciClaimEval is een cruciale stap voorwaarts in het evalueren van de redeneercapaciteiten van AI-modellen in wetenschappelijke contexten. Het benadrukt dat hoewel modellen goed worden in het verwerken van gestructureerde tabellen, het begrijpen en verifiëren van complexe visuele data (figuren) nog een grote uitdaging blijft, zelfs voor de meest geavanceerde modellen.