SciEGQA: A Dataset for Scientific Evidence-Grounded Question Answering and Reasoning

Probleemstelling

Wetenschappelijke documenten bevatten complexe multimodale structuren (tekst, tabellen, figuren, cross-page referenties), wat het lokaliseren van bewijs en wetenschappelijk redeneren uiterst uitdagend maakt voor Document Visual Question Answering (DocVQA). Bestaande benchmarks hebben echter drie belangrijke beperkingen:

1. Te grofkorrelig: Veel datasets annoteren bewijs op paginaniveau. Dit is onvoldoende voor wetenschappelijke papers waar één pagina meerdere dichte technische elementen bevat.
2. Te gefragmenteerd: Token-level annotaties (op woordniveau) breken semantisch coherente eenheden op en verliezen context.
3. Geïsoleerde componenten: Datasets die zich richten op specifieke onderdelen (zoals alleen tabellen of figuren) negeren de bredere documentcontext, wat holistisch redeneren verhindert.

Het resultaat is dat bestaande modellen vaak niet kunnen aantonen waar in het document het antwoord vandaan komt, wat de interpreteerbaarheid en betrouwbaarheid van de evaluatie beperkt.

Methodologie: SciEGQA Dataset

Om deze problemen op te lossen, introduceren de auteurs SciEGQA, een dataset voor wetenschappelijk bewijs-gebaseerd vragen stellen en redeneren. De kern van de methode is semantisch gebiedsgebonden bewijs (semantic region-level evidence grounding), waarbij ondersteunend bewijs wordt gemarkeerd als semantisch coherente documentgebieden met bounding boxes.

De dataset bestaat uit twee complementaire componenten:

1. Menselijk geannoteerde Benchmark (1.623 QA-paren):

   • Gebaseerd op 80 wetenschappelijke papers uit 8 onderzoeksdomeinen (uit arXiv).
   • Annotatieproces: Annotators identificeren semantisch complete gebieden (tekstblokken, figuren, tabellen) en omcirkelen deze met bounding boxes. Een kruisvalidatiestrategie (IoU > 0.9 tussen annotators) garandeert hoge consistentie.
   • Redeneerscenario's: De dataset dekt drie niveaus van complexiteit:
     • SPSR: Single Page, Single Region.
     • SPMR: Single Page, Multi Regions.
     • MPMR: Multi Pages, Multi Regions.

2. Automatisch geconstrueerde Trainingset (>30.000 QA-paren):

   • Gebaseerd op >3.600 papers.
   • Pijplijn:
     • Segmentatie: Gebruik van SAM3 (Segment Anything Model) om visueel coherente gebieden te segmenteren zonder vooraf gedefinieerde structuur.
     • Filtering: Verwijdering van ruis via oppervlakte-thresholds en semantische filtering met sterke Vision-Language Models (VLMs).
     • Generatie: GPT-5.2 en Gemini 3 genereren vragen en antwoorden gebaseerd op de geselecteerde gebieden.
     • Verificatie: Een sterke VLM verifieert of het antwoord correct is afgeleid uit de specifieke bewijsgebieden.

Evaluatie Protocol

De auteurs stellen een nieuw evaluatieprotocol voor om lokaliseren en redeneren te ontkoppelen:

• Task 1: Grounding–Crop–then–Answer: Het model moet eerst de juiste bounding box(en) voorspellen. Deze gebieden worden uitgesneden en ingevoerd in een vast QA-model (Qwen3.5-27B) om het antwoord te genereren. Dit isoleert de prestaties van de "grounding" (IoU-meting) van de redeneercapaciteit.
• Task 2: Evidence-Granularity-QA: Evaluatie van de antwoordnauwkeurigheid bij verschillende invoerniveaus (volledig document vs. bewijspagina's vs. uitgesneden bewijsgebieden).

Resultaten

Experimenten met een breed scala aan state-of-the-art VLMs (inclusief Qwen3-VL, InternVL, GPT-5.2, Claude) tonen aan:

• Huidige beperkingen: Zelfs de meest geavanceerde modellen worstelen met bewijslokaliseren in wetenschappelijke documenten. De beste modellen bereiken slechts ~38,89% Mean IoU, wat aangeeft dat precieze lokaliseren een grote uitdaging blijft.
• Impact van Granulariteit: Er is een duidelijke trend: hoe fijner de granulariteit van het bewijs (van document -> pagina -> gebied), hoe hoger de antwoordnauwkeurigheid. Dit bevestigt dat het vinden van relevante context in grote documenten een knelpunt is.
• Effectiviteit van Training: Na fijne afstemming (SFT) op de automatisch gegenereerde SciEGQA trainingset, verbetert het Qwen3-VL-8B-model aanzienlijk. Het bereikt een Mean IoU van 38,66% en een QA-nauwkeurigheid van bijna 50%, wat aantoont dat de dataset effectieve supervisie biedt voor het verbeteren van redeneercapaciteiten.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. SciEGQA Benchmark: Een nieuwe, hoogwaardige dataset die semantisch gebiedsgebonden bewijs introduceert als tussenliggende granulariteit tussen paginaniveau en token-niveau.
2. Nieuwe Evaluatiemethode: Het "Grounding–Crop–then–Answer" protocol dat de capaciteit om bewijs te lokaliseren expliciet ontkoppelt van de redeneercapaciteit.
3. Schaalbare Dataconstructie: Een bewezen pijplijn voor het automatisch genereren van grote hoeveelheden trainingsdata voor wetenschappelijk redeneren.

Significantie:
SciEGQA is de eerste dataset die semantisch gebiedsgebonden gronding en multi-pagina redeneren voor wetenschappelijke documenten combineert. Het benadrukt dat huidige multimodale modellen nog niet klaar zijn voor complexe wetenschappelijke taken en biedt een cruciale basis voor toekomstig onderzoek naar betrouwbare, interpreteerbare en bewijs-gebaseerde AI-systemen in de wetenschap.