HypothesisMed: Inference-Time Answer Fusion and Structured Hypothesis-Space Reporting for Biomedical Question Answering

Sintesi Tecnica di HypothesisMed

Definizione del Problema
Le attuali valutazioni dei Large Language Models (LLM) per il question answering (QA) biomedico si basano pesantemente sull'accuratezza della risposta finale. Tuttavia, l'articolo sostiene che l'accuratezza da sola sia insufficiente per i flussi di lavoro biomedici sensibili all'affidabilità. Un modello può selezionare l'opzione corretta ma fallire nel produrre output analizzabili dalle macchine, ignorare istruzioni strutturate o impegnarsi con sicurezza in risposte errate quando lo spazio delle risposte disponibili è incompleto, duplicato o contraddittorio. I benchmark esistenti come MedQA, MedMCQA e PubMedQA tipicamente non valutano se un modello sia in grado di riconoscere questi spazi di risposta "deboli" o di fornire metadati di affidabilità verificabili insieme alle sue predizioni.

Metodologia: La Pipeline HypothesisMed
L'articolo introduce HypothesisMed, una pipeline di affidabilità in fase di inferenza progettata per separare la selezione della risposta dalla segnalazione strutturata dell'affidabilità. Il sistema opera attraverso i seguenti componenti:

• Strategie di Prompting: La pipeline valuta quattro metodi di inferenza:
  1. Direct Prompting: Ragionamento minimo, selezione diretta della risposta.
  2. Chain-of-Thought (CoT): Passaggi di ragionamento espliciti prima della selezione.
  3. HypothesisMed-v3 Prompting: Un prompt strutturato progettato per produrre metadati specifici.
  4. Proposed Fusion: Una combinazione dei precedenti.
• Etichette SPACE Strutturate: Un'innovazione centrale è il campo SPACE (un nome di etichetta, non un modello), che HypothesisMed-v3 utilizza per classificare lo stato dello spazio delle risposte in tre categorie:
  • VALID: Esiste un'unica migliore risposta supportata medicalmente.
  • INCOMPLETE: La risposta corretta appare mancante o insufficientemente rappresentata.
  • CONTRADICTED: Le opzioni sono internamente inconsistenti, duplicate o medicalmente contraddittorie.
• Answer Fusion: La risposta finale viene selezionata tramite voto di maggioranza su candidati analizzabili generati dai prompt direct, CoT e HypothesisMed-v3. Se non esiste una maggioranza stretta, viene utilizzato un ordine di fallback deterministico (Direct $\to$ CoT $\to$ HypothesisMed-v3).
• Metriche di Valutazione: Oltre alla standard Answer Accuracy, lo studio misura:
  • Parse Coverage: La frazione di output analizzati con successo in un'opzione valida.
  • SPACE Coverage: La frazione di output contenenti un'etichetta SPACE valida.
  • SPACE Accuracy: La correttezza dell'etichetta SPACE (ad esempio, identificare correttamente uno spazio VALID rispetto a dichiarare falsamente che sia INCOMPLETE).
  • False Commitment: Il tasso di risposte errate ad alta fiducia (fiducia $\ge$ 0.5).

Configurazione Sperimentale
Lo studio valuta quattro modelli open-weight: Qwen2.5-7B-Instruct, Phi-4-mini-instruct, DeepSeek-R1-Distill-Qwen-32B e BioMistral-7B.

• Valutazione Primaria: 1.000 esempi per dataset (MedQA, MedMCQA, PubMedQA) per tutti e quattro i modelli.
• Valutazione Scalata: 10.183 esempi per modello per Qwen2.5-7B e Phi-4-mini.
• SPACE Stress Test: Un test esteso di 12.000 esempi per modello dove gli spazi di risposta sono artificialmente perturbati (rimuovendo le risposte corrette per creare set INCOMPLETE, duplicando le risposte per creare set CONTRADICTED) per testare la capacità del modello di rilevare difetti.

Risultati Chiave

1. Trade-off tra Accuratezza e Affidabilità: Nella valutazione primaria dei quattro modelli, la pipeline proposta Answer Fusion + HypothesisMed-v3 ha migliorato l'accuratezza ponderata delle risposte rispetto al miglior baseline di Direct o CoT per tutti i modelli, aumentando simultaneamente la parse coverage e la SPACE coverage.
   • Qwen2.5-7B: Ha raggiunto un'accuratezza di 0.6367 (rispetto al baseline CoT di 0.6003) con il 100% di parse coverage e il 99.97% di SPACE coverage.
   • Phi-4-mini: Ha mostrato guadagni sostanziali, passando da 0.4817 (CoT) a 0.5767 (Proposto), con una massiccia riduzione dei false commitments (da 0.9838 a 0.4054).
2. Comportamenti Specifici del Modello:
   • DeepSeek-R1-32B: Ha mostrato un miglioramento dell'accuratezza con la fusion (da 0.1690 a 0.3877), ma gli autori osservano che ciò riflette principalmente un miglioramento della formattazione/usabilità piuttosto che un puro guadagno di ragionamento, poiché i suoi baseline avevano una parse coverage molto bassa.
   • BioMistral-7B: Ha dimostrato una scarsa conformità all'output strutturato (quasi zero SPACE coverage), indicando che la specializzazione di dominio non garantisce l'aderenza ai vincoli di output strutturato.
3. Valutazione Scalata: Nel test di 10.183 esempi, la fusion ha migliorato sostanzialmente l'accuratezza di Phi-4-mini (da 0.4296 a 0.5192). Per Qwen2.5-7B, il CoT rimaneva leggermente superiore in termini di accuratezza grezza rispetto alla fusion, ma il metodo di fusion forniva una parse/SPACE coverage completa e un false commitment significativamente inferiore.
4. SPACE Stress Test: La capacità di diagnosticare i difetti dello spazio delle risposte è rimasta difficile. Nello stress test, Qwen2.5-7B ha ottenuto una SPACE accuracy di 0.3074 e Phi-4-mini ha raggiunto 0.4168, suggerendo che l'inferenza strutturata basata solo su prompt fatica a rilevare in modo affidabile anomalie sottili nello spazio delle risposte.

Significatività e Rivendicazioni
L'articolo afferma esplicitamente che il suo contributo principale non è una rivendicazione universale di stato dell'arte per l'accuratezza del QA biomedico. Invece, la significatività risiede in:

• Separabilità delle Capacità: Dimostrare che l'accuratezza della risposta, la parseability, la segnalazione strutturata dell'affidabilità, la calibrazione e il comportamento di false-commitment sono capacità distinte e separabili che devono essere valutate indipendentemente.
• Componenti di Workflow Auditabili: Fornire un framework riproducibile in fase di inferenza per valutare i modelli biomedici come componenti di workflow auditabili sotto vincoli di affidabilità strutturata, piuttosto che semplicemente come generatori di risposte.
• Segnalazione di Affidabilità Strutturata: Introdurre un metodo per generare metadati leggibili dalle macchine (etichette SPACE) che permetta ai sistemi a valle di rilevare quando un modello sta operando su uno spazio di risposta incompleto o contraddittorio, mitigando così il rischio di impegni errati ma sicuri.

Gli autori concludono che, sebbene la diagnosi dello spazio delle risposte rimanga una sfida per i modelli attuali, la pipeline HypothesisMed offre un passo necessario verso la valutazione degli LLM biomedici con il rigore richiesto per un dispiegamento automatizzato sicuro.