BioDivergence: A Benchmark and Evaluation Framework for Hidden Contextual Contradictions in Biomedical Abstracts

Sintesi Tecnica: BioDivergence

Definizione del Problema
La letteratura biomedica contiene frequentemente risultati che sembrano contraddirsi tra diversi studi. Tuttavia, molti di questi apparenti disaccordi non sono vere contraddizioni logiche; piuttosto, sono "divergenze condizionate dal contesto" in cui le affermazioni rimangono localmente valide sotto diverse condizioni (ad es., coorti variabili, geografie, protocolli di saggio o sottotipi di malattie). Gli esistenti benchmark di Natural Language Inference (NLI) e di verifica delle affermazioni scientifiche (ad es., FEVER, SciFact, VitaminC) tipicamente riducono queste relazioni a etichette piatte (implicazione, contraddizione, neutralità) o categorie di conflitto grossolane. Questo approccio collassa la divergenza condizionata dal contesto in un'unica etichetta di "contraddizione", sopravvalutando il disaccordo nella letteratura e fallendo nel valutare una capacità critica per i sistemi di NLP biomedico a valle: la capacità di recuperare la specifica struttura contestuale che spiega il perché due risultati divergono.

Metodologia
Gli autori introducono BioDivergence, un framework di valutazione progettato per operazionalizzare il recupero delle contraddizioni contestuali nascoste. Il framework è costruito su tre componenti principali:

1. Ontologia e Tassonomia:

   • Tassonomia del Conflitto: Una tassonomia a sei classi che distingue tra nessun conflitto, contraddizione diretta, contraddizione contestuale, apparente contraddizione non specificata, insufficienza di evidenza ed unresolved scientific controversy (controversia scientifica irrisolta).
   • Ontologia della Divergenza: Un'ontologia a 13 assi che cattura le dimensioni contestuali che guidano il disaccordo (ad es., popolazione, geografia, periodo temporale, protocollo di saggio, disegno dello studio, sottotipo di malattia, ceppo di organismo, contesto clinico, ecc.).

2. Formulazione del Task:
   Il framework tratta l'analisi della contraddizione come un problema strutturato a output multipli. Per ogni coppia di affermazioni, il modello deve prevedere quattro target primari:

   • Tipo di Conflitto: Selezione dalla tassonomia a sei classi.
   • Assi di Divergenza: Identificazione del sottoinsieme di assi che spiegano la divergenza.
   • Confounder Dominante: Selezione dell'asse singolo più esplicativo.
   • Spiegazione di Riconciliazione: Una spiegazione in linguaggio naturale di come le affermazioni possano coesistere o perché la tensione rimanga.
   • (Output Scoped): L'estrazione dell'evidence-span a livello di affermazione è inclusa nella v1.0 come calibrazione al momento del rilascio secondo una regola "claim-verbatim" silver, piuttosto che come un benchmark di grounding maturo.

3. Costruzione del Benchmark (BioDivergence-Silver-v1.0):

   • Pipeline dei Dati: Il benchmark è costruito da 202.180 abstract normalizzati in cinque domini biomedici (AMR, oncologia, malattie infettive, genomica, trial clinici/epidemiologia), producendo 527.907 affermazioni e 50.000 coppie candidate.
   • Annotazione: Le etichette sono generate tramite una pipeline di annotazione "silver" vincolata da uno schema utilizzando LLM (Qwen2.5-72B per il pilota, Qwen2.5-7B per il rilascio completo) con fallback euristici e validazione dello schema.
   • Design della Split: Un'innovazione critica è la split primaria article-disjoint (11.865 coppie: 10.183 train / 840 dev / 842 test). Ciò garantisce che non vi sia sovrapposizione di articoli, affermazioni o ID di coppie tra le split. Questo design impedisce ai modelli di ottenere punteggi elevati tramite la memorizzazione a livello di articolo, costringendoli a imparare il ragionamento contestuale. Una variante legacy a livello di coppia è mantenuta solo per comparabilità a ritroso.

Contributi Chiave

1. Formalizzazione della Contraddizione Contestuale: Il documento formalizza il compito di recuperare il perché le affermazioni biomediche divergono, affrontando una lacuna lasciata dai flat NLI e dai benchmark di conflitto di conoscenza.
2. Framework di Valutazione Strutturato: Introduzione di una tassonomia del conflitto a sei classi e di un'ontologia della divergenza a 13 assi, accoppiate a una specifica di task a quattro target primari più uno scoperte (scoped).
3. Rilascio di BioDivergence-Silver-v1.0: Un benchmark silver su larga scala, article-disjoint, con audit espliciti sulla leakage e analisi di sensibilità.
4. Lente di Valutazione: Dimostrazione che la valutazione article-disjoint sposta fondamentalmente il ranking dei modelli, separando la memorizzazione dell'articolo dall'apprendimento del ragionamento contestuale.

Risultati Sperimentali

• Calo delle Prestazioni dovuto al Controllo della Leakage: Quando si passa dalla variante legacy a livello di coppia (che permette la sovrapposizione degli articoli) alla split primaria article-disjoint, il contextual-contradiction F1 del modello di riferimento fine-tuned scende di circa 12 punti (da ~0,521 a ~0,401). Ciò indica che una parte significativa delle prestazioni nei precedenti benchmark a livello di coppia era guidata dalla memorizzazione a livello di articolo.
• Prestazioni Zero-Shot: La valutazione test primaria completa di 842 esempi con Mistral-7B-Instruct-v0.3 (zero-shot) raggiunge un'accuratezza di 0,5523 e un contextual-F1 di 0,3894. Ciò conferma che il segnale è recuperabile da baseline indipendenti dalla famiglia di annotatori senza leakage di articoli.
• Difficoltà del Task: L'estrazione dell'asse di divergenza e la predizione del confounder dominante rimangono difficili per tutti i sistemi, restando indietro rispetto all'accuratezza del tipo di conflitto. Ciò suggerisce che recuperare il perché le affermazioni divergono è più difficile che decidere se divergono.
• Specializzazione del Modello: Gli LLM zero-shot dominano la classificazione grossolana e la generazione di riconciliazione, mentre i modelli di riferimento fine-tuned performano meglio sulla rilevazione contestuale e sulla predizione del confounder sulle split legacy. Le baseline basate su retrieval dominano l'estrazione dell'evidence-span (per costruzione della regola verbatim).
• Affidabilità: Il benchmark supporta in modo affidabile la valutazione per due classi di conflitto (no conflict e contextual contradiction) e nove dei tredici assi di divergenza nella v1.0.

Significatività e Claim
Il documento sostiene che BioDivergence fornisce una lente di valutazione necessaria che separa la divergenza contestuale dalla contraddizione diretta. Imponendo split article-disjoint, isola la memorizzazione a livello di articolo dal learning del task, offrendo una valutazione più onesta delle capacità di ragionamento contestuale di un modello. Gli autori posizionano BioDivergence-Silver-v1.0 non come una risorsa gold-standard curata da esperti, ma come un benchmark silver strutturato e su larga scala che espone compiti di ragionamento multi-componente precedentemente non valutati. Il framework evidenzia che le etichette piatte di contraddizione sono insufficienti per l'NLP biomedico, poiché oscurano la natura sfumata e dipendente dal contesto del disaccordo scientifico. Si nota che il lavoro futuro estenderà l'annotazione, il grounding e la calibrazione gold, ma la v1.0 è presentata come uno strumento funzionale per la valutazione consapevole della leakage.