Sintesi Tecnica: Quando i Large Language Models Falliscono in Ambito Sanitario

Problematica

I Large Language Models (LLM) sono sempre più impiegati in ambito sanitario per compiti critici come il rispondere a quesiti clinici, il supporto alla diagnosi e la sintesi di referti. Tuttavia, questi modelli mostrano una significativa sensibilità alle sottili perturbazioni dei prompt, sia lessicali (a livello di parola) che sintattiche (a livello di struttura). In ambienti clinici critici per la sicurezza, anche minime variazioni nella formulazione — come la sostituzione di sinonimi, il riordinamento dei sintomi o lievi spostamenti sintattici — possono portare a output inconsistenti, errori diagnostici o consigli dannosi. Il problema centrale affrontato è la mancanza di robustezza intrinseca sia nei modelli general-purpose (es. GPT-3.5, Llama3) sia in quelli specifici per l'ambito medico (es. ClinicalBERT, BioLlama3, BioBERT) di fronte a variazioni di input benigne o avversarie. Questa imprevedibilità pone rischi inaccettabili per la fiducia clinica, poiché i modelli possono alterare diagnosi o raccomandare dosaggi errati basandosi esclusivamente su input riformulati.

Metodologia

Lo studio impiega un framework di analisi sistematica della sensibilità utilizzando il benchmark MedMCQA, un dataset su larga scala contenente oltre 194.000 domande a scelta multipla di ambito medico. La valutazione copre cinque modelli: GPT-3.5, Llama3, ClinicalBERT, BioLlama3 e BioBERT.

Strategia di Perturbazione

Gli autori categorizzano le perturbazioni in due tipi:

1. Perturbazioni Lessicali: Comprendono sostituzioni a livello di token, come la sostituzione di termini medici con sinonimi clinicamente accurati (es. da "shortness of breath" a "dyspnea") o l'introduzione di errori ortografici minori. Queste sono generate tramite BioSyn e validate tramite gli embedding di BioBERT e SciBERT per garantire l'equivalenza medica.
2. Perturbazioni Sintattiche: Comprendono cambiamenti strutturali, come il riordinamento delle clausole, il passaggio dalla forma attiva alla passiva o l'alterazione del focus della frase (es. l'uso del clefting), preservando al contempo il significato clinico sottostante.

Framework di Valutazione

La pipeline prevede:

1. La generazione di prompt perturbati ($P'$) a partire dai prompt originali ($P$).
2. La validazione dell'equivalenza semantica tramite Universal Sentence Encoder (USE) e BioSyn per garantire che l'input perturbato mantenga l'intento clinico originale.
3. La selezione dei top-$K$ prompt sintatticamente allineati basandosi sui punteggi di similarità del coseno.
4. L'esecuzione di questi prompt attraverso i target LLM e il confronto degli output con la verità di base (ground truth).

Metriche

Le prestazioni sono quantificate tramite:

• BERTScore: Misura la similarità sintattica e semantica tra la risposta del modello e la verità di base.
• Universal Sentence Encoder (USE) Score: Valuta la similarità degli embedding a livello di frase per valutare la preservazione del significato clinico.
• Response Rate (RR): La proporzione di risposte valide generate.
• Follow-up Instruction Rate (FIR): L'estensione in cui il modello aderisce a vincoli di formattazione o strutturali specifici (es. output in formato JSON) all'interno delle risposte valide.

La stabilità è categorizzata tramite soglie di punteggio: 0.9–1.0 (Molto Stabile), 0.7–0.9 (Moderatamente Stabile), 0.5–0.7 (Sensibilità Lieve) e <0.5 (Alta Sensibilità).

Contributi Chiave

1. Definizione Formale e Categorizzazione: Il documento definisce formalmente e categorizza le perturbazioni dei prompt in variazioni lessicali e sintattiche, valutando sistematicamente il loro impatto sulle prestazioni degli LLM in compiti sanitari.
2. Analisi Comparativa: Fornisce un confronto esaustivo tra modelli general-purpose e modelli specifici per il dominio medico, rivelando che nessuna delle due categorie è intrinsecamente immune alla sensibilità.
3. Identificazione delle Vulnerabilità: Lo studio identifica modalità di fallimento critiche, tra cui l' "instruction drift" (dove i modelli falliscono i vincoli di formattazione nonostante la correttezza della logica medica) e la "misinterpretazione strutturale" (dove i cambiamenti sintattici portano a diagnosi errate).
4. Evidenze di Benchmarking: Gli autori consolidano le evidenze sulla robustezza degli LLM attraverso i domini sanitari, dettagliando gli effetti osservati di specifici tipi di perturbazione sulla coerenza e l'accuratezza del modello.

Risultati

• Sensibilità Generale: Tutti i modelli valutati, inclusi quelli medici-specifici, hanno mostrato una riduzione delle prestazioni sotto perturbazione. L'accuratezza è scesa da circa il 98–99% in contesti non perturbati al 94–95% in presenza di cambiamenti sintattici.
• Impatto Lessicale vs. Sintattico: I modelli hanno dimostrato una relativa resilienza alle semplici sostituzioni lessicali (es. sinonimi), ma hanno mostrato una significativa fragilità sotto il riordinamento sintattico e i segnali contestuali fuorvianti.
• Instruction Drift: Le variazioni lessicali hanno spesso causato nei modelli la priorità del flusso del linguaggio naturale rispetto ai rigorosi istruzioni di formattazione (es. struttura JSON), portando a un calo dei punteggi FIR anche quando la diagnosi medica era corretta.
• Collasso Strutturale: Le perturbazioni sintattiche hanno occasionalmente causato un fallimento sistemico totale, in cui il modello ha erroneamente pesato i segni clinici (es. confondendo "aumento dello sputo" con "Edema Polmonare" invece di "BPCO"), risultando in diagnosi errate (fallimento del RR).
• Prestazioni dei Modelli: BioLlama3 ha dimostrato la maggiore robustezza tra i modelli testati, mentre BioBERT e ClinicalBERT hanno mostrato una maggiore sensibilità, in particolare alle variazioni sintattiche. I modelli general-purpose come GPT-3.5 hanno mostrato una stabilità competitiva ma non superiore rispetto ai modelli specializzati.

Significato e Rivendicazioni

Il documento afferma che gli LLM medici non sono intrinsecamente sicuri. Le scoperte mettono in discussione l'assunto che il fine-tuning specifico del dominio garantisca l'affidabilità in contesti clinici. Gli autori sottolineano che:

• L'imprevedibilità è Inaccettabile: In ambiti sanitari ad alto rischio, i modelli che cambiano diagnosi a causa di input riformulati o che allucinano farmaci sotto lievi riformulazioni non possono essere affidati con fiducia ai clinici.
• Necessità di Robustezza: Gli attuali benchmark focalizzati esclusivamente sull'accuratezza su dati puliti sono insufficienti. Esiste un urgente bisogno di una valutazione sistematica della robustezza che tenga conto delle variazioni lessicali e sintattiche.
• Direzioni Future: Gli autori invocano metriche standardizzate, test di perturbazione controllati (simili a framework come MedFuzz e RAmBLA) e lo sviluppo di modelli che siano o provabilmente resilienti o trasparentemente limitati nel loro deployment per garantire la sicurezza del paziente.

Lo studio conclude che, sebbene gli LLM detengano un potenziale significativo per la sanità, la loro attuale fragilità sotto le perturbazioni dei prompt richiede una progettazione dei prompt più accurata e ulteriori ricerche sulla robustezza avversaria prima che l'adozione clinica diffusa possa essere considerata sicura.