DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA

Sintesi Tecnica: DS@GT ARC a LongEval

Definizione del Problema
La conoscenza scientifica è dinamica, in continua evoluzione attraverso la ricerca e la pubblicazione continua. Questo drift temporale pone sfide significative per i sistemi di Generazione Aumentata da Recupero (RAG), che rischiano di recuperare informazioni obsolete o irrilevanti, di perdere prove o di generare risposte che non sono fattualmente fondate sui documenti sorgente forniti. Sebbene il RAG sia teoricamente ideale per il question answering (QA) scientifico sfruttando documenti esterni, gli attuali sistemi soffrono spesso di "errori legati al recupero", inclusa l'inclusione di documenti distrattori e la generazione di affermazioni non fondate. Esiste un divario critico tra le tradizionali metriche di valutazione del linguaggio naturale (che favoriscono la fluidità e la sovrapposizione lessicale) e il requisito di una rigorosa integrità delle citazioni e della fondatezza fattuale nei domini scientifici.

Metodologia
Il team DS@GT ARC ha partecipato al CLEF 2026 LongEval Task 4, che ha utilizzato il corpus di letteratura scientifica CORE. Il compito forniva una query e un set fisso di dieci documenti pre-recuperati, richiedendo ai partecipanti di generare risposte in linguaggio naturale supportate da citazioni specifiche da quel set. Il team ha valutato tre distinti approcci architettonici:

1. DS@GT Hybrid Baseline: Un'implementazione RAG standard che utilizza un recuperatore ibrido (BM25 + embedding densi BGE) per classificare chunk semantici sovrapposti. I top-$k$ chunk sono stati inseriti direttamente in un modello Gemma-4-31B istruito per la sintesi della risposta.
2. Pipeline Corrective RAG (CRAG) + CiteFix: Un'architettura correttiva a due stadi progettata per imporre la fondatezza:
   • Pre-Generazione: Un cross-encoder leggero (CRAG) valuta i chunk recuperati rispetto alla query, scartando quelli che non soddisfano una soglia di entailment per filtrare i distrattori prima della generazione.
   • Post-Generazione: CiteFix analizza le affermazioni generate rispetto ai chunk dei documenti citati. Le citazioni che mancano di entailment per supportare le specifiche affermazioni vengono rimosse, imponendo una rigorosa attribuzione.
3. Benchmark Modelli Frontier: Due esecuzioni curate manualmente utilizzando modelli allo stato dell'arte (GPT-5.5 Thinking e Claude Opus 4.7 Thinking) che hanno bypassato il chunking e lo scoring, sintetizzando le risposte direttamente dal testo grezzo dei dieci documenti candidati.

Strategia di Valutazione
Il team ha impiegato un framework di valutazione duale:

• Metriche Ufficiali del Task: Metriche standard inclusi ROUGE e punteggi BERT per la somiglianza lessicale/semantica rispetto a un gold set nascosto, Precisione della Citazione e Copertura dei Nugget.
• Diagnostica RAGAs Reference-Free: Un setup LLM-as-judge (utilizzando Claude Sonnet 4.6) per misurare la Global Faithfulness (fondatezza delle affermazioni rispetto all'intero contesto di 10 documenti), la Citation Faithfulness (fondatezza delle affermazioni strettamente rispetto ai documenti citati) e la Answer Relevancy.

Risultati Chiave
La valutazione ha rivelato una divergenza significativa tra le metriche di performance tradizionali e la fondatezza fattuale:

• Modelli Frontier: GPT-5.5 e Claude Opus 4.7 hanno ottenuto i punteggi più alti sulle metriche ufficiali (ROUGE, BERT, Answer Relevancy) e sulla Precisione della Citazione. Tuttavia, i diagnostici RAGAs hanno esposto un fallimento critico: questi modelli hanno spesso generato risposte altamente rilevanti facendo affidamento sulla loro memoria parametrica piuttosto che sul contesto fornito. Di conseguenza, hanno mostrato una bassa Citation Faithfulness (ad esempio, GPT-5.5 ha ottenuto 0.417), indicando che spesso hanno allucinato citazioni o non sono riusciti a fondare dettagli specifici nei documenti recuperati.
• Pipeline Correttiva: La pipeline CRAG+CiteFix ha ottenuto la più alta Global Faithfulness (0.784) e Citation Faithfulness (0.758) tra tutte le sottomissioni. Tuttavia, questa rigorosa aderenza alla fondatezza ha comportato punteggi ROUGE e BERT inferiori rispetto alla Hybrid Baseline. Questo calo è stato attribuito al "comportamento di astensione" della pipeline, dove il sistema si è rifiutato di generare risposte quando il contesto recuperato mancava di prove sufficienti, invece di allucinare dalla memoria parametrica.
• Significatività Statistica: Un test Wilcoxon signed-rank sui punteggi RAGAs ha indicato che i miglioramenti nella fedeltà forniti dalle correzioni non erano statisticamente significativi attraverso le 47 query di test, suggerendo potenziali limitazioni nei modelli NLI utilizzati per la verifica o nella specifica calibrazione degli interventi.

Significato e Conclusioni
L'articolo sostiene che la valutazione dei sistemi RAG QA affidabili richiede un cambiamento nel design delle metriche. I risultati dimostrano che i modelli frontier possono massimizzare la rilevanza della risposta e la fluidità pur fallendo nell'utilizzare il contesto fornito, un modo di fallimento che le metriche tradizionali (ROUGE/BERT) non riescono a penalizzare. Al contrario, le pipeline che impongono una rigorosa fondatezza possono apparire meno performanti sulle metriche di sovrapposizione lessicale a causa di comportamenti di astensione più sicuri.

Gli autori concludono che mettere in sicurezza le pipeline RAG QA nei domini scientifici necessita di metriche di valutazione che premino la sicurezza strutturale e i corretti modi di fallimento (come l'astensione) rispetto alla fluidità conversazionale che si basa sulla memoria parametrica. Propongono che i futi benchmark debbano dare priorità a metriche che impongano una rigorosa fondatezza della risposta per garantire che le affermazioni scientifiche siano empiricamente supportate dai documenti di ricerca citati.