This Treatment Works, Right? Evaluating LLM Sensitivity to Patient Question Framing in Medical QA

Titolo: This Treatment Works, Right? Evaluating LLM Sensitivity to Patient Question Framing in Medical QA

1. Il Problema

I pazienti stanno sempre più ricorrendo ai Modelli Linguistici di Grande Dimensione (LLM) per ottenere risposte a domande mediche complesse. Tuttavia, esiste un rischio critico: gli LLM sono sensibili alla formulazione delle domande (prompt engineering). Idealmente, le risposte di un modello dovrebbero essere coerenti indipendentemente da come viene posta la domanda, specialmente quando basate sulle stesse evidenze scientifiche.
Il problema centrale indagato è se le variazioni nel modo in cui i pazienti formulano le loro richieste—specificamente attraverso il framing (positivo vs. negativo) e lo stile linguistico (tecnico vs. linguaggio semplice)—portino a conclusioni contraddittorie. Se un paziente riceve consigli medici diversi semplicemente perché ha chiesto "Questo trattamento funziona?" invece di "Questo trattamento non funziona?", o perché ha usato un linguaggio colloquiale invece che tecnico, le conseguenze cliniche possono essere gravi. Sebbene i sistemi Retrieval-Augmented Generation (RAG) siano stati proposti per migliorare l'affidabilità ancorando le risposte a documenti esterni, non è chiaro se questi sistemi mitigino la sensibilità degli LLM alla formulazione delle query.

2. Metodologia

Gli autori hanno condotto una valutazione sistematica in un ambiente controllato basato su RAG per il Question Answering (QA) medico.

• Dataset: È stato costruito un dataset personalizzato di 6.614 coppie di query. Le query sono state generate a partire da 629 revisioni sistematiche di alta qualità (Cochrane Reviews) e relative abstract di trial clinici randomizzati (RCT).
  • Per ogni documento, sono state generate coppie di domande che differivano solo per la formulazione:
    • Framing: Positivo (es. "Quanto è efficace X per Y?") vs. Negativo (es. "Quanto è inefficace X per Y?").
    • Stile: Tecnico (linguaggio medico specialistico) vs. Linguaggio semplice (livello di lettura di quinta elementare, simulando bassa alfabetizzazione sanitaria).
  • Le domande coprivano diverse categorie: fattori decisionali chiave (efficacia, sicurezza, costi), influenza sociale (aneddoti familiari, opinioni online, pareri medici) e scenari multi-turno (conversazioni progressive).
• Modelli Valutati: Sono stati testati 8 LLM (sia open-source che chiusi), inclusi GPT-5.1, Claude Sonnet 4.5, HuatuoGPT-o1, Llama 3.3/4, e Qwen3, con dimensioni variabili da 4B a 400B parametri.
• Setup Sperimentale:
  • Ambiente RAG Controllato: A differenza dei sistemi RAG reali che recuperano documenti dinamicamente, qui i documenti di riferimento (abstract delle revisioni Cochrane) erano fissi e identici per ogni coppia di domande, isolando l'effetto della formulazione della query.
  • Generazione delle Risposte: I modelli hanno generato risposte con razionale e citazioni basate sugli abstract forniti.
  • Valutazione della Coerenza: Per analizzare la coerenza su larga scala, è stato utilizzato un "LLM-as-a-judge" (Gemini 2.5 Flash) per determinare la direzione dell'evidenza (es. l'esito è "più alto", "più basso" o "uguale" rispetto al placebo). La coerenza è stata misurata confrontando la direzione dell'evidenza tra le risposte di una coppia (positiva vs. negativa).
• Metriche: Coerenza dell'accordo sulla direzione dell'evidenza, similarità coseno, sovrapposizione di entità e citazioni.

3. Contributi Chiave

• Creazione di un Benchmark Specifico: Sviluppo di un dataset su larga scala (6.614 coppie) che mappa evidenze mediche standardizzate (Cochrane) a variazioni sistematiche di framing e stile linguistico, colmando il divario tra benchmark accademici (es. MedQA) e scenari reali di pazienti.
• Valutazione in Ambiente RAG Controllato: Prima indagine sistematica che dimostra come la sensibilità al framing persista anche quando l'LLM ha accesso alle stesse evidenze documentali, sfidando l'assunzione che il RAG garantisca automaticamente robustezza.
• Analisi dell'Effetto Conversazionale: Dimostrazione che la suscettibilità al framing aumenta significativamente nelle conversazioni multi-turno, dove la persuasione ripetuta dell'utente influenza ulteriormente il modello.

4. Risultati Principali

• Sensibilità al Framing (RQ1): Le coppie di domande con framing opposto (positivo vs. negativo) hanno prodotto conclusioni contraddittorie in misura significativamente maggiore rispetto alle coppie con lo stesso framing (baseline).
  • Il tasso di accordo sulla direzione dell'evidenza è sceso dal 76.2% (Baseline) al 72.0% (Framed) su tutti i modelli.
  • La regressione logistica ha confermato che il framing negativo/positivo riduce significativamente l'accordo ($\beta_1 = -0.219, p < .001$).
  • Il tipo di domanda più suscettibile è stato quello relativo all'"Efficacia".
• Singolo vs. Multi-Turno (RQ2): L'effetto del framing è più pronunciato nelle conversazioni multi-turno.
  • Mentre l'accordo baseline era simile tra singolo e multi-turno, il divario tra Baseline e Framed si è ampliato nel tempo. Al quarto turno di conversazione, l'accordo nelle condizioni di framing è crollato drasticamente rispetto alla baseline per la maggior parte dei modelli, indicando un effetto "snowball" di allucinazioni o sycophancy (tendenza a compiacere l'utente).
• Stile Linguistico (RQ3): Non è stata trovata alcuna interazione significativa tra framing e stile linguistico.
  • L'effetto del framing è stato presente sia per le domande tecniche che per quelle in linguaggio semplice.
  • Contrariamente all'ipotesi iniziale, le domande in linguaggio semplice non hanno mostrato una suscettibilità maggiore rispetto a quelle tecniche quando le evidenze di base erano identiche. Questo suggerisce che, in un contesto RAG controllato, la chiarezza del linguaggio non mitiga il bias di framing.

5. Significato e Implicazioni

• Sicurezza Clinica: I risultati evidenziano un rischio reale per la salute pubblica: gli LLM possono fornire raccomandazioni mediche incoerenti o contraddittorie basandosi esclusivamente su come un paziente formula la domanda, anche quando il modello ha accesso alle stesse prove scientifiche corrette.
• Limiti del RAG: L'uso di documenti di recupero (RAG) non è sufficiente a garantire la robustezza contro i bias cognitivi introdotti dalla formulazione della query. I sistemi attuali non sono ancora pronti per un dispiegamento sicuro in contesti ad alto rischio senza ulteriori mitigazioni.
• Sfida per lo Sviluppo: Gli sviluppatori di applicazioni mediche basate su LLM devono valutare la robustezza dei modelli non solo su dati tecnici, ma su un'ampia gamma di formulazioni di domande tipiche dei pazienti, inclusi framing emotivi e conversazioni multi-turno.
• Direzione Futura: È necessario sviluppare strategie di mitigazione (es. prompt engineering robusto, tecniche di allineamento) per garantire che le risposte mediche siano invarianti rispetto alla formulazione della domanda, preservando l'integrità delle evidenze scientifiche.