Prompting language influences diagnostic reasoning and accuracy of large language models

Sintesi Tecnica: La Lingua del Prompt Influenza il Ragionamento Diagnostico e l'Accuratezza dei Modelli Linguistici di Grande Dimensione

Enunciato del Problema
Sebbene i Modelli Linguistici di Grande Dimensione (LLM) mostrino promesse nel supporto alle decisioni cliniche, la loro affidabilità nelle lingue diverse dall'inglese rimane incerta. La maggior parte delle valutazioni si basa su dati in lingua inglese e su benchmark standardizzati a scelta multipla, che non riescono a catturare la complessità del ragionamento clinico nel mondo reale. Dato che la pratica medica è profondamente intrecciata con la lingua, la cultura e l'epidemiologia locale, esiste un divario critico nella comprensione di whether gli LLM addestrati prevalentemente su corpora in inglese possano eseguire un ragionamento diagnostico con uguale fedeltà in altre lingue, come il francese. Questa disparità comporta rischi per l'implementazione equa dell'assistenza sanitaria e per la sicurezza dei pazienti, in particolare in contesti multilingue.

Metodologia
Gli autori hanno condotto una valutazione comparativa bilingue del ragionamento diagnostico e dell'accuratezza della diagnosi finale su cinque LLM: o3, DeepSeek-R1, GPT-4-Turbo, Llama-3.1-405B-Instruct e BioMistral-7B.

• Dataset: Lo studio ha utilizzato 180 vignette cliniche che coprono 16 specialità mediche (escludendo ambiti puramente tecnici o chirurgici). Le vignette sono state derivate da creazione sintetica, materiali di riferimento e incontri reali anonimizzati. Ogni vignetta è stata costruita in francese e tradotta indipendentemente in inglese da due medici, garantendo equivalenza semantica e accuratezza clinica.
• Prompting: I modelli sono stati interrogati una volta per vignetta in entrambe le lingue utilizzando un prompt standardizzato che istruiva il modello ad agire come medico, fornire un ragionamento clinico ed elaborare la diagnosi finale in formato JSON.
• Quadro di Valutazione: Due medici hanno valutato indipendentemente tutti gli output del modello utilizzando una scala a 18 punti composta da sei criteri:
  1. Validità Interna (0–5): Estrazione e interpretazione dei dati della vignetta.
  2. Validità Esterna (0–3): Accuratezza delle conoscenze mediche oltre la vignetta.
  3. Ipotesi e Diagnosi Differenziale (0–1): Generazione di differenziali pertinenti.
  4. Struttura Logica (0–4): Coerenza e organizzazione del ragionamento.
  5. Espressione (0–2): Correttezza sintattica e semantica.
  6. Accuratezza della Diagnosi Finale (0–3): Allineamento con la diagnosi di riferimento.
• Analisi Statistica: Le differenze di prestazioni tra inglese e francese sono state analizzate utilizzando modelli lineari misti (LMM) con la lingua come effetto fisso e vignetta/valutatore come intercette casuali. Sono stati utilizzati test unilaterali per valutare l'ipotesi che la prestazione in inglese superi quella in francese, con correzione di Bonferroni per confronti multipli. L'affidabilità inter-valutatore è stata valutata utilizzando i Coefficienti di Correlazione Intraclasse (ICC) e il kappa di Cohen.

Risultati Chiave

• Prestazioni Complessive: Quattro dei cinque modelli (DeepSeek-R1, GPT-4-Turbo, Llama-405B, BioMistral-7B) hanno ottenuto prestazioni significativamente migliori in inglese rispetto al francese. La differenza media nei punteggi complessivi è variata da 0,37 a 0,91 punti sulla scala a 18 punti (p aggiustato < 0,05).
  • Llama-405B ha mostrato il divario più ampio (0,91 punti).
  • BioMistral-7B, nonostante sia specializzato in medicina, ha ottenuto un punteggio complessivo sostanzialmente più basso (mediana ~8–9/18) e ha mostrato un divario linguistico significativo (0,78 punti).
  • o3 è stato l'unico modello a non mostrare alcun effetto linguistico complessivo (differenza media 0,08, p = 1,000), raggiungendo prestazioni vicine al soffitto (mediana 18/18) in entrambe le lingue.
• Dimensioni del Ragionamento: Il divario linguistico non è stato uniforme tra i tipi di ragionamento. Sono state osservate disparità significative a favore dell'inglese in:
  • Diagnosi Differenziale: Llama-405B, GPT-4-Turbo e DeepSeek-R1 hanno generato differenziali più coerenti in inglese.
  • Struttura Logica: GPT-4-Turbo, Llama-405B e BioMistral-7B hanno dimostrato un'organizzazione del ragionamento più coerente in inglese.
  • Validità Interna: Llama-405B e DeepSeek-R1 hanno mostrato una migliore estrazione e interpretazione dei dati clinici in inglese.
  • Espressione: BioMistral-7B ha mostrato errori sintattici più frequenti in francese.
• Tipi di Ragionamento: Il divario linguistico è stato più marcato per il ragionamento ipotetico-deduttivo e algoritmico, che richiedono inferenze complesse a più passaggi. Non è stato osservato alcun effetto linguistico per il ragionamento probabilistico in nessun modello.
• Correlazione: Per BioMistral-7B, la correlazione tra qualità del ragionamento e accuratezza della diagnosi è stata significativamente più forte in inglese ($\rho=0,75$) rispetto al francese ($\rho=0,60$), suggerendo che per questo modello ragionamento e accuratezza sono più strettamente accoppiati nel contesto inglese.

Significato e Affermazioni
Il documento afferma che la lingua del prompt rimane un determinante critico delle prestazioni degli LLM nel ragionamento diagnostico clinico. I risultati dimostrano che il divario di prestazioni non è semplicemente una questione di richiamo fattuale, ma si estende alla qualità, coerenza e validità interna del processo di ragionamento clinico stesso.

Gli autori sostengono che:

1. Implicazioni per l'Equità: Se i modelli producono ragionamenti di qualità inferiore e diagnosi meno accurate nella lingua madre del paziente (non inglese), ciò potrebbe esacerbare le disuguaglianze sanitarie esistenti. Ciò è particolarmente preoccupante poiché gli LLM sono utilizzati sempre più direttamente dai pazienti per informazioni sulla salute.
2. Oltre gli Esami: A differenza di studi precedenti limitati a esami di specializzazione medica a scelta multipla, questo studio conferma che i divari linguistici persistono in compiti di ragionamento diagnostico a risposta aperta che mimano più da vicino la pratica clinica reale.
3. L'Architettura del Modello Conta: La mancanza di un divario linguistico in o3 suggerisce che i progressi nelle capacità di ragionamento (ad esempio, scalabilità del calcolo al momento del test, catena di pensiero estesa) potrebbero mitigare parzialmente le disparità legate alla lingua, anche quando i dati di addestramento sono prevalentemente in inglese.
4. Disparità di Risorse: Poiché il francese è una lingua con risorse relativamente elevate e una rappresentazione sostanziale nei corpora di addestramento, gli autori ipotizzano che queste disparità siano probabilmente amplificate per le lingue a risorse inferiori.

Lo studio conclude che garantire prestazioni eque tra le lingue deve essere una priorità per lo sviluppo dei modelli e la valutazione normativa, per impedire che gli LLM perdano l'opportunità di ridurre, piuttosto che ampliare, le disuguaglianze nell'accesso a informazioni sanitarie affidabili. Per supportare la ricerca futura, gli autori hanno reso disponibile l'intero dataset bilingue e il codice di valutazione.