Sintesi Tecnica: Ragionamento Guidato da Few-Shot Chain-of-Thought per la QA Medica Open-Ended

Definizione del Problema

Il documento affronta i limiti delle attuali applicazioni dei Large Language Model (LLM) in ambito sanitario, specificamente per quanto riguarda il question answering (QA) medico. Sebbene gli LLM mostrino potenziale nell'interpretare le query dei pazienti, i benchmark esistenti come il dataset USMLE-MedQA sono formattati come domande a scelta multipla (MCQ). Questo formato non riflette gli scenari clinici reali, in cui i clinici devono generare diagnosi senza opzioni predefinite. Inoltre, i metodi di prompting standard spesso si affidano a un ragionamento "eliminativo" (valutazione delle opzioni fornite) piuttosto che al ragionamento incrementale e prospettico utilizzato nella pratica clinica reale. Esiste una necessità critica di dataset e strategie di prompting che imitino il processo decisionale clinico open-ended e garantiscano la verificabilità delle risposte.

Metodologia

1. Costruzione del Dataset: MEDQA-OPEN

Gli autori propongono una versione modificata del dataset MEDQA-MCQ, denominata MEDQA-OPEN. Questo dataset trasforma le MCQ standard in domande aperte (open-ended) attraverso:

• La rimozione delle opzioni a scelta multipla.
• La riformulazione delle domande in modalità aperta.
• L'inclusione di risposte ragionate e approvate dai clinici.
  Inoltre, è stato creato il dataset CLINICIANCASES, che contiene 25 coppie domanda-risposta mediche complesse e reali, derivate da professionisti medici in attività.

2. Strategie di Prompting

Lo studio valuta e confronta due metodologie di prompting distinte:

• MCQ-ELIMINATIVE / ELIMINATIVE: Adattata da Liévin et al. (2022), questa strategia impiega un approccio Chain-of-Thought (CoT) in cui il modello itera attraverso le opzioni disponibili (nelle MCQ) o considera potenziali risposte, ragionando esplicitamente per accettare o rifiutare tali opzioni sulla base del contesto clinico.
• CLINICR (Ragionamento Clinico): Un nuovo prompt CoT a 5-shot progettato per imitare il ragionamento incrementale e prospettico di un clinico. Invece di valutare le opzioni, il modello:
  1. Copia l'anamnesi pertinente del paziente.
  2. Forma una struttura mentale per le diagnosi differenziali.
  3. Aggiunge o elimina incrementalmente potenziali diagnosi man mano che nuove informazioni contestuali (segni, risultati di test) vengono elaborate.
  4. Raggiunge una diagnosi finale senza fare affidamento su un elenco predefinito di opzioni.

3. Approccio Forward-Backward e Verifica

Per gestire l'incertezza inerente alla generazione open-ended, gli autori propongono un framework Forward-Backward:

• Step Forward (Avanti): Viene utilizzato il prompt CLINICR per campionare molteplici potenziali risposte (diagnosi differenziali).
• Step Backward (Indietro): Le opzioni generate vengono ristrette a una singola diagnosi finale. Ciò avviene tramite due metodi:
  • MCQ-ELIMINATIVE: Trattare le opzioni campionate come un nuovo set MCQ e utilizzare il prompt eliminativo per selezionare la migliore corrispondenza.
  • Verifier (Modello di Ricompensa): Un modello di ricompensa addestrato (basato su Llama-2-7B e Llama-2-70B) predice la probabilità che un'opzione sia corretta dato il quesito e il ragionamento. L'opzione con il più alto valore scalare di ricompensa viene selezionata.

4. Addestramento del Verifier

Un verifier è stato addestrato sul dataset MEDQA-MCQ per distinguere tra tripletti Domanda-Ragionamento-Risposta corretti e errati. I dati di addestramento includevano:

• Tripletti corretti (label 1) e errati (label 0).
• Dati aumentati dove il ragionamento CoT è stato generato per le risposte candidate.
• Il fine-tuning è stato eseguito utilizzando la Low-Ranked Adaptation (LoRA) su modelli Llama-2 con una perdita di modellazione della ricompensa (reward modeling loss).

Risultati Chiave

Performance su MCQ vs. Open-Ended

• Setting MCQ (MEDQA-MCQ): Nel dataset MCQ standard, il prompt MCQ-ELIMINATIVE ha leggermente superato o eguagliato il prompt MCQ-CLINICR (ad esempio, 52% vs 50% di accuratezza su Llama-2-70B). Ciò suggerisce che, quando le opzioni sono fornite, la strategia eliminativa è sufficiente e la complessità aggiunta del ragionamento incrementale non offre vantaggi significativi.
• Setting Open-Ended (MEDQA-OPEN & CLINICIANCASES): La strategia CLINICR ha superato significativamente la strategia ELIMINATIVE, in particolare sul modello più piccolo Llama-2-7B.
  • Su MEDQA-OPEN, CLINICR ha raggiunto l'83% (7B) e l'87% (70B) di accordo con gli esperti medici, rispetto al 56% (7B) e all'84% (70B) per ELIMINATIVE.
  • L'approccio ELIMINATIVE ha faticato in assenza di opzioni, spesso fallendo nell'estrarre efficacemente le informazioni necessarie dai parametri del modello.

Impatto della Verifica

L'approccio Forward-Backward utilizzando il Verifier ha prodotto le prestazioni più elevate in contesti a basse risorse (Llama-2-7B):

• Su MEDQA-OPEN, il metodo CLINICR-Verifier ha ottenuto l'87% di accordo con gli esperti con solo il 7% di disaccordo.
• Questo approccio ha costantemente superato il metodo ELIMINATIVE, che ha mostrato alti tassi di disaccordo (30%) sul modello 7B.
• Sul modello 70B, tutti i metodi hanno performato bene, indicando che i modelli più grandi possono estrarre informazioni efficacemente anche con un prompting meno sofisticato, sebbene il verifier abbia comunque fornito una selezione robusta.

Significato e Rivendicazioni

Il paper sostiene che il ragionamento incrementale guidato dal prompting (CLINICR) è superiore al ragionamento eliminativo per la QA medica open-ended perché rispecchia il reale processo cognitivo dei clinici: formulare diagnosi differenziali e raffinarle sulla base delle evidenze, piuttosto che selezionarle da un elenco vincolato.

I contributi chiave includono:

1. MEDQA-OPEN: Un nuovo dataset per valutare il ragionamento medico open-ended.
2. CLINICR: Una strategia di prompting che dimostra prestazioni significativamente migliori nel mimare gli scenari clinici reali rispetto ai prompt CoT allo stato dell'arte progettati per le MCQ.
3. Meccanismo di Verifica: L'introduzione di un verifier basato su un modello di ricompensa come alternativa valida all'eliminazione manuale delle opzioni, migliorando l'affidabilità degli output degli LLM in contesti medici.

Gli autori sottolineano che, sebbene gli LLM possano elaborare il linguaggio naturale, l'accuratezza e la verificabilità sono fondamentali in ambito sanitario. Il loro lavoro suggerisce che, per implementare efficacemente gli LLM nei sistemi di supporto clinico, la strategia di interazione deve andare oltre la semplice selezione di opzioni per passare a un ragionamento strutturato e incrementale e a una rigorosa verifica delle risposte. Lo studio rimane modesto, osservando che i risultati sono attualmente limitati ai modelli Llama-2 e che il lavoro futuro dovrà esplorare la generalizzabilità su altre architetture e l'integrazione di fonti di conoscenza non parametriche (es. RAG).