Retrieval Augmented Biomedical Question Answering with Weak Question Recovery and Neural Reranking for BioASQ Task 14b

Sintesi Tecnica: Retrieval-Augmented Biomedical Question Answering con Weak-Question Recovery e Reranking Neurale

Definizione del Problema
Il quesito biomedico (QA - Question Answering) affronta sfide significative dovute alla rapida crescita della letteratura, alla terminologia specifica del dominio, alla variabilità dei sinonimi e alla necessità di ragionamento multi-hop. Sebbene i Large Language Models (LLM) abbiano migliorato la generazione di testi, la qualità del recupero (retrieval) rimane un collo di bottiglia; i documenti recuperati contengono spesso evidenze rumorose, parziali o debolmente correlate, portando a allucinazioni o risposte errate a valle. Nello specifico, le pipeline di recupero standard spesso falliscono su query "deboli" che coinvolgono malattie rare o relazioni complesse tra entità, dove la sovrapposizione lessicale è bassa. Il benchmark BioASQ Task 14b evidenzia queste difficoltà, richiedendo ai sistemi non solo di recuperare documenti e snippet rilevanti, ma anche di generare risposte esatte e riassunti ideali attraverso quattro tipologie di domande (sì/no, factoid, lista, riassunto).

Metodologia
Gli autori presentano una pipeline unificata sviluppata dal team DS@GT ARC BioASQ, che integra l'espansione della query da più fonti, il reranking neurale, un meccanismo di recupero condizionale delle domande deboli (weak-question recovery) e la generazione assistita da OpenBioLLM.

1. Pipeline di Recupero e Reranking:

   • Espansione della Query: Il sistema espande le query utilizzando tre strategie: espansione basata sulla memoria di addestramento (basata su domande BioASQ simili), espansione dei sinonimi biomedici tramite OpenBioLLM ed espansione consapevole delle relazioni (catturando legami tra malattia-trattamento o gene-percorso).
   • Recupero Iniziale: Le query espanse vengono inviate alle API di PubMed (NCBI E-utilities) per recuperare documenti candidati (60–100 per domanda).
   • Reranking Neurale: Un modello SentenceTransformer basato su MiniLM, sottoposto a fine-tuning, effettua il reranking dei candidati in base alla somiglianza semantica. Questo è combinato con segnali euristici (sovrapposenza del titolo, corrispondenza di parole chiave, allineamento delle entità).
   • Fusione: I risultati di molteplici espansioni delle query vengono uniti utilizzando la Reciprocal Rank Fusion (RRF) per migliorare la robustezza.

2. Recupero delle Domande Deboli (Weak-Question Recovery):

   • Un meccanismo condizionale identifica le query con scarse prestazioni basandosi sulla qualità degli snippet (punteggi di rilevanza lessicale < 0,35) e sui segnali di recupero (basso numero di articoli unici, alta ridondanza).
   • Per questi casi specifici, il sistema applica un'espansione semantica mirata e un'espansione consapevole delle relazioni per recuperare evidenze rilevanti, fondendo selettivamente i risultati migliorati invece di sostituire l'intero output.

3. Selezione e Potatura degli Snippet (Snippet Selection and Pruning):

   • L'analisi del set di addestramento ha rivelato rendimenti decrescenti nella copertura del vocabolario oltre i due snippet per domanda. Di conseguenza, la pipeline impiega una potatura controllata per rimuovere snippet ridondanti o a bassa rilevanza, bilanciando precisione e richiamo per ottimizzare l'efficienza del prompt per la generazione a valle.

4. Generazione della Risposta:

   • Modello: Il sistema utilizza aaditya/Llama3-OpenBioLLM-70B come backbone generativo. Per far rientrare questo modello da 70B in una singola NVIDIA A100 (40 GB), viene applicata la quantizzazione dei pesi consapevole dell'attivazione (AWQ), comprimendo i pesi a una precisione a 4-bit proteggendo al contempo i canali salienti.
   • Inferenza: Il modello è servito tramite vLLM con PagedAttention per gestire la frammentazione della memoria.
   • Prompting: Vengono utilizzati prompt strutturati con istruzioni di formattazione specifiche per tipo (ad es., "EXACT: yes/no" per i factoid, entità delimitate da pipe per le liste) per garantire la conformità agli schemi BioASQ.
   • Fasi: La Fase A+ utilizza le evidenze recuperate per la generazione, mentre la Fase B utilizza le evidenze "gold" fornite dagli organizzatori, permettendo l'ablazione degli effetti della qualità del recupero.

Risultati Chiave

• Recupero (Fase A): La pipeline proposta ha ottenuto una Mean Average Precision (MAP) di 0,0956 sul Batch 4. Gli studi di ablazione locale hanno mostato che l'intero framework (inclusi il recupero delle domande deboli e la pulizia) ha migliorato la MAP@10 da 0,0745 (baseline) a 0,0955, un miglioramento relativo di circa il 28%. Il sistema ha superato costantemente le configurazioni di reranking alternative che utilizzavano bi-encoder MPNet più grandi o cross-encoder generici MS MARCO, suggerendo che il fine-tuning specifico del dominio combinato con le strategie di recupero è più efficace rispetto al semplice aumento della dimensione del modello.
• Risposte Esatte (Fase A+ e B): Le prestazioni sono variate in base al batch e al tipo di domanda. Nella Fase B (utilizzando le evidenze gold), il sistema ha ottenuto un macro-F1 yes/no di 0,8952 (Batch 3) e una precisione rigorosa (strict accuracy) per i factoid di 0,4118. Ciò indica che, quando vengono fornite evidenze di alta qualità, il framework OpenBioLLM genera risposte esatte affidabili.
• Risposte Ideali: I punteggi ROUGE per i riassunti ideali sono stati inferiori alle metriche delle risposte esatte (ad es., ROUGE-2 F1 ~0,1758 nel Batch 3), suggerendo che, sebbene il raffinamento del recupero aiuti significativamente la predizione di risposte esatte, la generazione di riassunti astrattivi rimane una sfida che richiede un ulteriore instruction tuning.

Significato e Rivendicazioni
Il documento sostiene che il contributo primario risiede nella dimostrazione che il raffinamento consapevole del recupero e la selezione controllata delle evidenze sono critici per un QA biomedico robusto. Nello specifico:

• Recupero Mirato: Una strategia di recupero condizionale delle domande deboli affronta efficacemente le query difficili senza richiedere modifiche globali all'architettura centrale di recupero.
• Efficienza vs Dimensione: Un reranking leggero (MiniLM) combinato con un raffinamento strategico del recupero produce migliori compromessi tra efficacia ed efficienza computazionale rispetto a modelli più grandi e generici.
• Fondamento delle Evidenze: I risultati sottolineano che la qualità della risposta è altamente dipendente dalla qualità dell'evidenza; i fallimenti del recupero sono direttamente correlati agli errori di generazione, in particolare per le domande di tipo factoid e lista, dove la mancanza di una singola entità impatta le metriche.
• Ingegneria del Sistema: Il lavoro evidenzia che la formattazione robusta, il post-processing e la potatura degli snippet sono vitali quanto i modelli di recupero e generazione stessi per garantire la validità della sottomissione e la stabilità della valutazione nei contesti di benchmark.

Gli autori concludono che, sebbene il loro sistema non abbia raggiunto l'apice assoluto di tutte le sottomissioni BioASQ, il framework proposto dimostra che l'integrazione di un recupero adattivo, una generazione focalizzata sulle evidenze e un rigoroso post-processing produce sistemi di QA biomedico affidabili e computazionalmente efficienti.