Sintesi Tecnica: Valutazione della Stabilità Semantica nei LLM Clinici

Definizione del Problema

I Large Language Models (LLM) vengono sempre più impiegati in contesti clinici per compiti quali il supporto alla diagnosi e la generazione di riassunti. Tuttavia, questi modelli mostrano una significativa sensibilità alle variazioni linguistiche minori negli input (ad esempio, riformulazioni, sostituzione di sinonimi o riordinamento sintattico). In ambienti sanitari critici per la sicurezza, gli input semanticamente equivalenti dovrebbero produrre previsioni coerenti; tuttavia, l'evidenza empirica suggerisce che le prestazioni possono deviare dell'8-50% sotto tali variazioni.

Una sfida metodologica primaria nella valutazione di questa instabilità è la mancanza di una verifica semantica affidabile. Gli approoli esistenti che si affidano a metriche di similarità basate su embedding (ad esempio, la similarità del coseno) spesso non riescono a catturare distinzioni clinicamente critiche riguardanti negazione, temporalità o gravità. Ad esempio, "il paziente ha dolore toracico" e "il paziente nega dolore toracico" possono ricevere punteggi di similarità elevati nonostante i significati clinici opposti. Senza una rigorosa verifica che le variazioni dei prompt preservino effettivamente il significato clinico, è impossibile distinguere la reale instabilità del modello da risposte legittime a contenuti alterati.

Metodologia

Gli autori propongono un framework sistematico per valutare la stabilità semantica utilizzando un benchmark rigorosamente verificato e tre nuove metriche.

1. Framework di Verifica Semantica

Per garantire che le variazioni dei prompt preservino il significato clinico, gli autori hanno sviluppato una pipeline di verifica multistadio:

• Generazione delle Variazioni: Partendo da 200 prompt base (100 da MedQA-USMLE e 100 da DiagnosisQA), sono state generate 10 variazioni che preservano il significato per ogni prompt utilizzando GPT-4o-mini. Le variazioni includevano l'espansione/compressione di abbreviazioni, la conversione da linguaggio clinico a linguaggio comune, il riordinamento sintattico e la trasformazione della voce. Vincoli rigorosi hanno proibito l'alterazione di fatti clinici, negazioni, temporalità o gravità.
• Filtraggio basato su NLI: Le variazioni generate sono state filtrate utilizzando tre modelli di Natural Language Inference (NLI) pre-addestrati (PubMedBERT-MNLI-MedNLI, roberta-large-mnli e deberta-large-mnli). Una variazione è stata mantenuta solo se soddisfaceva l'implicazione bidirezionale (implicazione reciproca) con il prompt originale in almeno due dei tre modelli.
• Audit Ibrido Umano-LLM: È stato applicato un processo di verifica a due round:
  • Round 1: I campioni verificati tramite NLI sono stati revisionati da un LLM-as-a-Judge (utilizzando GPT-5.2 e MedLLaMA3) e da un esperto clinico abilitato.
  • Round 2: I campioni rifiutati dai giudici LLM sono stati rivalutati dall'esperto clinico per recuperare le riformulazioni valide filtrate conservativamente dall'automazione.
  • Il benchmark finale consiste in 1.761 variazioni verificate che preservano il significato.

2. Metriche di Valutazione

Lo studio introduce tre metriche per quantificare la sensibilità del modello:

• Sensibilità alla Variazione che Preserva il Significato (MVS): La proporzione di variazioni verificate che determinano un cambiamento nell'output previsto dal modello rispetto al prompt base.
• Variazione di Confidenza ($\Delta$C): La variazione assoluta media della probabilità massima prevista dal modello (confidenza) attraverso le variazioni, anche quando l'output previsto rimane invariato.
• Instabilità nel Caso Peggiore (WCI): Una metrica per singolo campione che indica se una qualsiasi variazione verificata causa il passaggio del modello da una previsione corretta a una errata (o viceversa).

3. Configurazione Sperimentale

Il framework ha valutato 16 LLM open-source (8 General-Purpose [GP] e 8 Domain-Specific [DS]) su famiglie e scale di parametri corrispondenti (da 1.5B a 8B). I modelli sono stati testati con quantizzazione 4-bit NF4 con inferenza a precisione dimezzata. Le previsioni sono state derivate deterministicamente dalle probabilità dei token per isolare la sensibilità semantica dal rumore di campionamento.

Risultati Chiave

1. La Specializzazione di Dominio Non Garantisce la Robustezza

Contrariamente all'assunto che il fine-tuning medico assicuri la stabilità, i risultati mostrano che la robustezza è altamente dipendente dal modello piuttosto che strettamente dipendente dal dominio.

• Performance Miste: Diversi modelli DS sono risultati tra i più robusti, ma forti baseline GP (ad esempio, LLaMA3.1-8B, Qwen2.5-7B) erano ugualmente o più competitivi.
• Nessun Vantaggio Universale: L'analisi statistica (test di permutazione accoppiati) non ha rivelato alcuna evidenza costante che la specializzazione di dominio migliori la robustezza. In alcuni casi (ad esempio, MedQwen2.5-7B su MedQA), i modelli DS erano significativamente meno robusti dei loro corrispettivi GP.
• Dimenticanza Catastrofica: Alcuni modelli DS (ad esempio, MediChat-LLaMA3-8B) hanno performato peggio dei loro corrispettivi GP, suggerendo che le strategie di adattamento possono degradare le capacità di ragionamento generale.

2. La Difficoltà del Task Amplifica l'Instabilità

I modelli hanno mostrato una maggiore sensibilità (MVS e WCI più elevati) sul dataset più complesso MedQA rispetto a DiagnosisQA. Ciò indica che la stabilità semantica degrada all'aumentare delle richieste di ragionamento. Trasformazioni linguistiche specifiche, come la Riformulazione della Domanda e la Conversione da Linguaggio Clinico a Comune, si sono rivelate le più dirompenti, mentre le modifiche superficiali (ad esempio, l'espansione delle abbreviazioni) hanno avuto un impatto minimo.

3. Debole Allineamento tra Confidenza e Stabilità

• Confidenza vs. Previsione: Esiste solo una debole associazione tra l'instabilità della previsione (MVS) e la variazione di confidenza ($\Delta$C). I modelli spesso mantengono un'alta confidenza anche quando le loro previsioni cambiano sotto riformulazioni semanticamente equivalenti.
• Eccesso di Confidenza: Molti modelli sono rimasti eccessivamente sicuri di sé nonostante la ridotta robustezza o l'accuratezza inferiore. Ad esempio, Qwen2.5-3B ha ottenuto solo il 40% di accuratezza su MedQA pur riportando una confidenza di 0.90.
• Problemi di Calibrazione: La correlazione tra confidenza e accuratezza è stata modesta su DiagnosisQA ($r=0.41$) e debole su MedQA ($r=0.18$), indicando che i punteggi di confidenza non sono indicatori affidabili della correttezza o della robustezza nelle risposte a domande mediche (Medical QA).

4. Impatto della Quantizzazione

Lo studio ha rilevato che la quantizzazione 4-bit NF4 ha avuto un impatto trascurabile sulle metriche di stabilità per la maggior parte dei modelli, con solo piccole variazioni dipendenti dal dataset osservate nella WCI.

Significato e Rivendicazioni

L'articolo sostiene che il fine-tuning medico da solo non garantisce in modo affidabile un comportamento stabile sotto le naturali variazioni dei prompt. Gli autori affermano che:

1. La robustezza non è inerente alla specializzazione di dominio: Implementare un modello con fine-tuning medico non assicura automaticamente l'invarianza semantica; la robustezza dipende più dall'architettura, dalla scala e dalla qualità dell'addestramento che dalla presenza di dati medici.
2. La valutazione attuale è insufficiente: L'accuratezza standard dei benchmark è una misura inadeguata della prontezza clinica. I modelli possono apparire competenti su prompt statici pur fallendo catastroficamente sotto riformulazioni minori che preservano il significato.
3. La confidenza è fuorviante: L'alta confidenza del modello non deve essere interpretata come un segnale di stabilità o correttezza, poiché i modelli spesso esprimono una forte certezza anche quando i loro output sono fragili.
4. Necessità di una Valutazione Esplicita della Robustezza: Prima della distribuzione clinica, gli LLM devono essere sottoposti a una valutazione esplicita della robustezza utilizzando variazioni che preservano il significato, verificate tramite metodi semantici rigorosi (come l'NLI) piuttosto che semplici metriche di similarità.

Lo studio conclude che la stabilità semantica deve essere trattata come un requisito fondamentale per l'IA sanitaria, richiedendo un passaggio dalle valutazioni di accuratezza su singolo prompt ad analisi di sensibilità sistematica.