From Voting to Agent Collaboration: Answer-Type-Aware LLM Pipelines for BioASQ 14b

Sintesi Tecnica: Dal Voto alla Collaborazione tra Agenti: Pipeline LLM Consapevoli del Tipo di Risposta per BioASQ 14b

Definizione del Problema
Il question answering (QA) biomedico affronta sfide significative a causa della rapida espansione della letteratura scientifica, dove le prove critiche sono spesso distribuite in più documenti, espresse in una terminologia eterogenea o presentate in contesti contrastanti. Sebbene i Large Language Models (LLM) abbiano mostrato promesse in contesti di recupero (retrieval-augmented), la loro applicazione al QA biomedico è ostacolata da limitazioni specifiche: sensibilità all'ordine dei frammenti (snippets) recuperati, difficoltà nel risolvere prove contrastanti, necessità di una precisa normalizzazione delle entità e il rischio di allucinazione. Inoltre, la sfida BioASQ Task B prevede formati di risposta distinti — sì/no, factoid e liste — ciascuno con requisiti di ragionamento e metriche di valutazione unici. Gli autori sostengono che una singola strategia di inferenza uniforme sia insufficiente per affrontare i diversi criteri di ragionamento e valutazione tra questi tipi di domande.

Metodologia
Il documento presenta ku_dmis, un framework LLM specifico per il tipo di domanda progettato per BioASQ 14b Task B. Il sistema impiega un'architettura modulare che indirizza le domande verso pipeline di inferenza specializzate in base al loro tipo, utilizzando molteplici LLM e strategie di ensemble per migliorare la robustezza.

1. Architettura del Sistema:

   • Input: Il sistema riceve una domanda, il suo tipo e i frammenti rilevanti gold-standard.
   • Routing: Un router indirizza l'input verso uno dei tre rami specializzati: Sì/No, Factoid o Lista.
   • Approccio Ensemble: Molteplici LLM (inclusi GPT-4o, varianti di GPT-5, Claude Sonnet/Opus e modelli Gemini) sono utilizzati come ragionatori complementari. I loro output vengono aggregati per mitigare i bias specifici dei modelli.

2. Strategie Specifiche per il Tipo di Domanda:

   • Domande Sì/No: Per affrontare la sensibilità all'ordine delle prove e ai segnali contrastanti, il sistema impiega lo shuffling dei frammenti combinato con l'auto-riflessione (self-reflection). Ogni modello interroga i frammenti rimescolati quattro volte. Un voto di maggioranza determina la risposta iniziale. Se gli output sono incoerenti, un agente di verifica interviene, strutturando le prove in categorie positive, negative e incerte per prendere una decisione binaria finale (Sì, No o Nessuno).
   • Domande Factoid: Queste richiedono l'identificazione precisa di entità biomediche (es. farmaci, geni). La pipeline utilizza l'input del frammento completo combinato con il Chain-of-Thought (CoT) basato sul recupero e in-context learning (ICL). Domande di addestramento semanticamente simili vengono recuperate per fornire dimostrazioni che guidino il modello nel ragionamento evidenza-risposta. Gli output di molteplici modelli vengono normalizzati e aggregati tramite filtraggio del consenso, mantenendo i candidati che compaiono in almeno tre output dei modelli, classificati per numero di voti.
   • Domande di Lista: Per bilanciare alta recall e precisione, viene utilizzata un'architettura di collaborazione multi-agente. Questa prevede quattro agenti sequenziali:
     • Analista di Evidenze (Evidence Analyst): Scansiona i frammenti, valuta la rilevanza ed estrae i candidati senza impegnarsi in una risposta finale.
     • Agente di Ragionamento (Reasoning Agent): Genera una lista di candidati rileggendo le evidenze per evitare omissioni.
     • Agente di Verifica (Verification Agent): Audita la lista per quanto riguarda l'ancoraggio (grounding), la completezza, la formattazione e i duplicati.
     • Agente Supervisore (Supervisor Agent): Esamina i report intermedi e i feedback per finalizzare la lista, adottandola o revisionandola in base ai frammenti originali.

3. Sviluppo e Valutazione:

   • Le strategie sono state selezionate sulla base di esperimenti preliminari sul set di test BioASQ 13b.
   • Il sistema finale è stato valutato sull'ufficiale sfida BioASQ 14b Task B attraverso quattro batch.
   • Le varianti di sottomissione (ku_dmis1–5) sono state testate per ottimizzare il prompting, la normalizzazione e le soglie di aggregazione.

Contributi Chiave

• Framework Unificato: Il documento unifica due approcci precedentemente distinti — gli ensemble basati su LLM e i framework di QA agentici — in un unico sistema consapevole del tipo di domanda.
• Inferenza Specifica per Tipo: Dimostra che procedure di inferenza distinte (shuffling/voto per il binario, CoT/consenso per il factoid e collaborazione multi-agente per le liste) sono necessarie per gestire i vincoli specifici di ragionamento e valutazione di ogni tipo di domanda BioASQ.
• Meccanismi di Robustezza: L'introduzione dello shuffling dei frammenti, degli agenti di verifica selettivi e dell'ICL basato sul recupero mira specificamente a risolvere i problemi di instabilità e allucinazione comuni nelle applicazioni LLM biomediche.

Risultati
Nella valutazione ufficiale BioASQ 14b, il sistema ku_dmis ha dimostrato prestazioni competitive in tutti i batch e tipi di domanda:

• Sì/No: Ha ottenuto prestazioni stabili con un punteggio medio di macro F1 di 0,9110 in quattro batch. Il sistema ha mantenuto un'alta accuratezza anche nei batch successivi, più impegnativi.
• Factoid: Ha ottenuto un Mean Reciprocal Rank (MRR) medio di 0,4626. Notevolmente, il sistema ha ottenuto il primo posto nel subtask factoid del Batch 4. Le prestazioni sono variate per batch, con i risultati più forti osservati nell'ultimo batch, suggerendo l'efficacia del ragionamento sul frammento completo e del filtraggio del consenso.
• Lista: Ha mostrato un miglioramento significativo tra i batch, con la media F-measure che è salita da 0,2734 nel Batch 1 a 0,5652 nel Batch 4, risultando in una media complessiva di 0,4439. Questo miglioramento è attribuito alla pipeline di agenti collaborativi che riduce sia la sovra-generazione che la sotto-generazione di entità.

Significatività e Rivendicazioni
Gli autori affermano che i loro risultati validano l'efficacia della combinazione di inferenza specifica per tipo di domanda, predizione ensemble e meccanismi di verifica espliciti per un QA biomedico affidabile. Il documento sottolinea che una strategia di prompting "taglia unica" è subottimale per i diversi requisiti della letteratura biomedica. Personalizzando la procedura di inferenza in base al formato della risposta — usando il voto per la stabilità nelle decisioni binarie, il consenso per la precisione delle entità e la collaborazione tra agenti per la copertura delle liste — il sistema raggiunge prestazioni robuste.

Il documento riconosce modestamente alcuni limiti, notando che il sistema si basa su modelli proprietari (limitando la riproducibilità), si concentra su risposte esatte piuttosto che sulla generazione di paragrafi ideali, e che la variabilità delle prestazioni suggerisce la necessità di una migliore normalizzazione dei sinonimi biomedici e di una soglia adattiva. Tuttavia, il contributo primario rimane la dimostrazione che le pipeline specializzate e consapevoli del tipo di domanda migliorano significativamente l'affidabilità e l'accuratezza degli LLM in domini biomedici complessi.