SciEGQA: A Dataset for Scientific Evidence-Grounded Question Answering and Reasoning

1. Il Problema

I documenti scientifici presentano sfide uniche per i modelli di Intelligenza Artificiale a causa della loro struttura multimodale complessa, che include paragrafi di testo, tabelle, figure e riferimenti incrociati tra pagine. Sebbene esistano benchmark per la Document Visual Question Answering (DocVQA), la maggior parte di essi soffre di limitazioni significative nella rappresentazione delle prove (evidence) necessarie per rispondere alle domande:

• Livello Pagina/Documento: Le annotazioni sono troppo grossolane (a livello di pagina intera), rendendo impossibile identificare le regioni specifiche che supportano la risposta.
• Livello Token: Le annotazioni a livello di singolo token o frase frammentano unità semantiche coerenti, perdendo il contesto necessario per il ragionamento.
• Componenti Isolati: Alcuni dataset si concentrano su singoli elementi (es. solo una tabella o un grafico), isolandoli dal contesto documentale più ampio.

Manca quindi un dataset che permetta di valutare e addestrare modelli sulla capacità di localizzare regioni semantiche coerenti (tramite bounding box) all'interno di documenti scientifici complessi per supportare il ragionamento multimodale.

2. Metodologia e Costruzione del Dataset

Gli autori introducono SciEGQA, un dataset progettato per colmare questo divario, caratterizzato da un'ancoraggio delle prove a livello di "regione semantica".

Componenti del Dataset

SciEGQA è composto da due parti complementari:

1. Benchmark a mano (Fine-grained Benchmark):
   • Derivato da 80 documenti scientifici di alta qualità provenienti da 8 domini di ricerca diversi (estratti da arXiv).
   • Contiene 1.623 coppie domanda-risposta di alta qualità.
   • Le prove sono annotate manualmente da esperti con bounding box che delimitano regioni semanticamente complete (testo, figure, tabelle).
   • Include tre scenari di ragionamento di crescente complessità:
     • SPSR (Single Page Single Region): Una pagina, una regione.
     • SPMR (Single Page Multi Regions): Una pagina, più regioni.
     • MPMR (Multi Pages Multi Regions): Più pagine, più regioni.
2. Set di Addestramento Automatico (Large-scale Training Set):
   • Generato automaticamente da oltre 3.600 documenti scientifici.
   • Contiene oltre 30.000 coppie QA.
   • Utilizza una pipeline automatizzata che include: segmentazione visiva (tramite SAM), filtraggio semantico, generazione di domande/risposte tramite VLM potenti (es. GPT-5.2, Gemini) e verifica delle risposte per garantire la coerenza con le regioni evidenziate.

Principi di Design

• Completezza Semantica: Le regioni evidenziate devono formare unità di informazione coerenti, non frammenti di testo.
• Copertura Multimodale: Le prove possono provenire da testo, tabelle o figure.
• Diversità del Ragionamento: Copre scenari che richiedono l'integrazione di informazioni da più regioni e più pagine.

3. Contributi Chiave

1. SciEGQA Dataset: Un nuovo benchmark e set di addestramento specifico per il QA basato su prove visive in documenti scientifici.
2. Ancoraggio a Livello di Regione Semantica: Proposta di una granularità di annotazione intermedia (tra pagina e token) che preserva la completezza semantica permettendo al contempo una localizzazione spaziale precisa tramite bounding box.
3. Protocollo di Valutazione "Grounding-Crop-then-Answer": Un protocollo sperimentale che disaccoppia la capacità di localizzare le prove (grounding) dalla capacità di ragionare e rispondere. Il modello deve prima predire le coordinate del bounding box, queste vengono ritagliate e poi inviate a un modello fisso per la generazione della risposta. Questo permette di valutare separatamente le due abilità.

4. Risultati Sperimentali

Gli autori hanno valutato una vasta gamma di modelli Vision-Language (VLM), inclusi Qwen3-VL, Qwen3.5, InternVL, Ernie, Kimi, Claude e GPT-5.2.

• Difficoltà del Benchmark: I risultati mostrano che anche i modelli più avanzati faticano notevolmente. La maggior parte dei modelli ottiene un IoU (Intersection over Union) medio inferiore al 40% nelle task di localizzazione delle prove, indicando che la localizzazione precisa in documenti scientifici è ancora una sfida aperta.
• Impatto della Granularità delle Prove: L'accuratezza delle risposte aumenta significativamente man mano che l'input diventa più granulare (da Documento intero -> Pagina -> Regione ritagliata). Questo dimostra che la localizzazione imprecisa delle prove è un collo di bottiglia principale per il ragionamento.
• Efficacia dell'Addestramento: Il fine-tuning su Qwen3-VL-8B utilizzando il set di addestramento automatico di SciEGQA ha portato a miglioramenti sostanziali:
  • L'IoU medio è salito dal 21,43% al 38,66%.
  • L'accuratezza delle risposte (QA Accuracy) è migliorata in tutte le configurazioni di granularità.
  • I modelli addestrati sono riusciti a localizzare correttamente le regioni e rispondere in casi in cui i modelli base fallivano.

5. Significato e Implicazioni

Il lavoro di SciEGQA è significativo per diversi motivi:

• Nuovo Standard di Valutazione: Fornisce un benchmark rigoroso che va oltre la semplice accuratezza della risposta, richiedendo la capacità di spiegare dove e perché una risposta è corretta all'interno di un documento complesso.
• Avanzamento del Ragionamento Scientifico: Dimostra che per comprendere documenti scientifici, i modelli non devono solo "leggere" il testo, ma devono essere capaci di navigare e integrare informazioni sparse tra testo, grafici e tabelle su più pagine.
• Risorse per la Ricerca: Il set di addestramento su larga scala offre una risorsa preziosa per migliorare le capacità di ragionamento dei VLM, aprendo la strada a futuri sviluppi nell'ottimizzazione basata sul reinforcement learning per l'analisi documentale scientifica.

In sintesi, SciEGQA evidenzia le attuali lacune dei modelli multimodali nel contesto scientifico e offre sia gli strumenti (dataset) che la metodologia (protocollo di valutazione) necessari per guidare la prossima generazione di sistemi di intelligenza artificiale verso una comprensione documentale più profonda e affidabile.