Reproducibility and Robustness of Large Language Models for Mobility Functional Status Extraction

Questo studio valuta la riproducibilità e la robustezza di diversi modelli linguistici di grandi dimensioni nell'estrazione di informazioni cliniche sullo stato funzionale della mobilità, dimostrando che la variabilità dei prompt e della temperatura influisce negativamente sulla stabilità, ma che tecniche come il voto a maggioranza possono mitigare efficacemente tali problemi.

L'essenziale

Immagina di avere un assistente medico digitale super intelligente, capace di leggere migliaia di cartelle cliniche scritte a mano da medici e di estrarne informazioni precise, come ad esempio: "Questo paziente riesce a camminare?" o "Usa un deambulatore?".

Questo è il compito che gli Modelli Linguistici di Grande Dimensione (LLM) stanno imparando a fare. Ma c'è un problema: questi assistenti sono un po' come artisti impressionisti. Se chiedi loro la stessa cosa due volte, potrebbero darti due risposte leggermente diverse, anche se la domanda è identica. E se cambi anche solo una parola nella domanda (ad esempio, invece di "Analizza il testo" dici "Esamina la nota"), potrebbero cambiare completamente idea.

In medicina, questo è un rischio enorme. Se un sistema dice "Sì" oggi e "No" domani per lo stesso paziente, i medici non possono fidarsi.

Ecco di cosa parla questo studio, spiegato in modo semplice:

1. Il Problema: L'Artista che cambia umore

Gli scienziati del Mayo Clinic hanno voluto testare tre diversi "artisti" (tre modelli di intelligenza artificiale diversi) per vedere quanto fossero affidabili nel leggere le note sulla mobilità dei pazienti (camminare, spostarsi, usare i mezzi, ecc.).

Hanno messo alla prova questi modelli in due modi:

• La Riproducibilità (La memoria): Se chiedi la stessa identica domanda 100 volte allo stesso modello, ottieni 100 volte la stessa risposta?
• La Robustezza (L'adattabilità): Se cambi leggermente la domanda (come se lo chiedesse un medico diverso con un modo di parlare diverso), il modello capisce ancora la stessa cosa o si confonde?

2. Gli Esperimenti: Tre Modelli a confronto

Hanno scelto tre tipi di modelli:

1. Il "Generalista" (Llama 3.3): Un modello molto potente che sa fare di tutto, come un medico generico esperto.
2. Il "Misto" (Llama 4): Un modello che usa una tecnica speciale chiamata "Mixture of Experts". Immaginalo come un ospedale dove, invece di un solo dottore, c'è un comitato di specialisti che decide chi deve curare il paziente. È veloce, ma a volte il "capo" che sceglie lo specialista sbagliato può creare confusione.
3. Lo "Specialista" (MedGemma): Un modello addestrato specificamente con libri di medicina e cartelle cliniche. È come un medico specializzato in geriatria che conosce perfettamente il linguaggio degli ospedali.

3. Cosa hanno scoperto? (Le Scoperte)

• La temperatura è come il "caffè" dell'AI:
  I modelli hanno un parametro chiamato "temperatura".

  • Temperatura 0: L'AI è come un robot calmo e preciso. Ripete sempre la stessa cosa. È il modo più sicuro per la medicina.
  • Temperatura alta: L'AI è come un artista un po' ebbro di creatività. Può inventare risposte più interessanti, ma diventa imprevedibile.
  • Risultato: Più alzavano la temperatura, più le risposte diventavano diverse tra loro (meno affidabili), anche se la "bontà" della risposta (l'accuratezza) rimaneva quasi uguale. In medicina, la stabilità è più importante della creatività.

• Il modello "Misto" è il più fragile:
  Il modello "Misto" (Llama 4) si è comportato bene quando la domanda era fissa, ma è crollato quando hanno cambiato leggermente le parole della domanda. È come se fosse molto sensibile al tono di voce: se cambi un aggettivo, lui cambia completamente opinione.
  Al contrario, lo Specialista (MedGemma) e il Generalista (Llama 3.3) sono stati molto più stabili, anche quando le domande venivano riformulate.

• L'accuratezza non è tutto:
  Hanno scoperto che un modello può avere un punteggio di "bontà" altissimo (90% di successo), ma se cambia risposta ogni volta che lo chiami, è inutile per un ospedale. La stabilità (la capacità di dare sempre la stessa risposta corretta) è fondamentale.

4. La Soluzione Magica: Il "Voto di Consenso"

C'è un trucco per rendere questi modelli più affidabili senza doverli riaddestrare? Sì! Si chiama Auto-Consistenza.

Immagina di non chiedere la risposta a un medico, ma di chiedere la stessa cosa a 10 medici diversi (o allo stesso medico 10 volte) e poi di prendere la risposta che la maggioranza ha dato (il "voto di maggioranza").

• Risultato: Questo metodo ha reso le risposte molto più stabili e affidabili, quasi come se avessero "raffreddato" l'AI.
• Il prezzo: Ci vuole più tempo e più potenza di calcolo (come avere 10 medici invece di uno), ma per la sicurezza dei pazienti ne vale la pena.

In sintesi

Questo studio ci dice che quando usiamo l'Intelligenza Artificiale in medicina:

1. Non basta che sia "brava" (accurata), deve essere anche prevedibile (stabile).
2. Bisogna usare impostazioni "fredde" (temperatura bassa) per evitare che l'AI diventi troppo creativa e sbagli.
3. Se dobbiamo usare impostazioni più "calde", possiamo usare il voto di maggioranza per assicurarci che la risposta sia solida.
4. Non tutti i modelli sono uguali: alcuni (come lo specialista medico) sono più affidabili di altri per questo tipo di lavoro.

È come scegliere un pilota per un aereo: non vuoi il pilota più creativo che fa acrobazie, vuoi quello che atterra sempre nello stesso modo, ogni volta, senza sorprese.

Sommario tecnico

Titolo: Riproducibilità e Robustezza dei Modelli Linguistici di Grande Dimensione (LLM) per l'Estrazione dello Stato Funzionale della Mobilità

1. Il Problema

I testi narrativi clinici contengono informazioni cruciali sullo stato funzionale dei pazienti, ma la loro estrazione automatica è resa difficile dalla variabilità linguistica, dalle abitudini di documentazione e dalle differenze tra i contesti assistenziali. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano dimostrato un'alta accuratezza nell'estrazione di informazioni cliniche (IE), la loro affidabilità operativa è spesso sottovalutata.
Il problema centrale affrontato dallo studio è la mancanza di quantificazione sistematica di due dimensioni critiche per il deployment clinico:

• Riproducibilità: La capacità del modello di produrre decisioni di estrazione coerenti quando interrogato ripetutamente con lo stesso prompt e lo stesso testo clinico.
• Robustezza: La stabilità delle decisioni di estrazione quando il prompt viene variato in modo naturale (es. parafrasi da parte di diversi clinici), senza essere avversario.
  L'accuratezza media (es. F1-score) da sola è insufficiente; sistemi instabili possono portare a criteri di inclusione incoerenti, analisi non riproducibili e ridotta fiducia degli utenti finali.

2. Metodologia

Lo studio ha adottato un disegno sperimentale controllato per valutare tre LLM open-weight con architetture distinte, applicati all'estrazione binaria di quattro classi di mobilità basate sul framework ICF (Classificazione Internazionale del Funzionamento, della Disabilità e della Salute):

1. Modelli valutati:
   • Llama 3.3 70B: Modello denso generico (baseline ad alta capacità).
   • Llama 4 (MoE): Modello "Mixture-of-Experts" generico, che utilizza un router per selezionare un sottoinsieme sparso di esperti.
   • MedGemma 27B: Modello specializzato nel dominio medico, adattato tramite training continuo su dati clinici.
2. Dataset: 800 sezioni di note cliniche annotate (200 per ciascuna delle 4 classi di mobilità) provenienti da fornitori sanitari di Rochester, MN.
3. Esperimenti:
   • Esperimento 1 (Riproducibilità intra-prompt): Esecuzione ripetuta (100 volte) dello stesso prompt a 11 livelli di temperatura (da 0.0 a 1.0) per misurare la stabilità sotto decodifica stocastica.
   • Esperimento 2 (Robustezza inter-prompt): Utilizzo di 10 parafrasi semanticamente equivalenti del prompt, eseguite a diverse temperature, per valutare la sensibilità alla riformulazione delle istruzioni.
   • Esperimento 3 (Mitigazione): Valutazione della "self-consistency" tramite votazione a maggioranza (majority voting) su 100 generazioni per aggregare i risultati.
4. Metriche:
   • Performance: F1-score medio.
   • Stabilità: Coefficiente di Kappa di Fleiss (κ) calcolato su più generazioni (raters).
   • Analisi Statistica: ANOVA a tre vie (Modello, Temperatura, Classe di Mobilità) con test post-hoc di Tukey HSD.

3. Contributi Chiave

• Quadro di Valutazione Unificato: Introduzione di un framework che valuta congiuntamente accuratezza e stabilità (ripetibilità e robustezza) in scenari di estrazione clinica, superando la sola metrica di accuratezza.
• Analisi Comparativa delle Architetture: Confronto diretto tra modelli densi, MoE e modelli specializzati nel dominio medico, evidenziando come l'architettura influenzi la stabilità.
• Quantificazione dell'Impatto della Temperatura: Dimostrazione empirica che l'aumento della temperatura degrada la stabilità molto più rapidamente di quanto non influenzi l'accuratezza media.
• Strategia di Mitigazione Pratica: Validazione della votazione a maggioranza come metodo efficace per migliorare la riproducibilità senza bisogno di ri-addestramento del modello.

4. Risultati Principali

• Effetto della Temperatura:
  • L'aumento della temperatura riduce sistematicamente il Kappa di Fleiss (stabilità), anche quando l'F1-score rimane stabile o migliora leggermente.
  • Llama 3.3 (Dens): Mostra un decadimento graduale della stabilità all'aumentare della temperatura.
  • Llama 4 (MoE): Presenta il decadimento più ripido della stabilità, specialmente nelle classi "Trasporto" e "Movimento oggetti". L'instabilità del router MoE amplifica la variabilità tra le esecuzioni.
  • MedGemma: Mantiene buone prestazioni e stabilità a temperature basse (0.0), ma mostra una sensibilità variabile in base al compito.
• Robustezza alle Parafrasi:
  • La riformulazione del prompt riduce significativamente la stabilità rispetto al prompt originale.
  • Llama 4 mostra una robustezza notevolmente inferiore rispetto agli altri due modelli (κ significativamente più basso), suggerendo che l'architettura MoE è più sensibile alle variazioni superficiali delle istruzioni.
  • Llama 3.3 e MedGemma mantengono una robustezza comparativamente più alta.
• Analisi Statistica:
  • L'ANOVA conferma che Modello, Temperatura e Classe di Mobilità sono fattori significativi.
  • L'interazione Modello × Temperatura è significativa per la riproducibilità, ma non per la robustezza (dove le differenze tra modelli persistono indipendentemente dalla temperatura).
  • I test post-hoc indicano che Llama 4 è statisticamente meno robusto rispetto a Llama 3.3 e MedGemma.
• Efficacia della Votazione a Maggioranza:
  • L'uso della self-consistency (votazione a maggioranza su 10 generazioni) aumenta drasticamente il Kappa di Fleiss, specialmente per i modelli più instabili (Llama 4) e a temperature elevate.
  • Questo approccio spesso preserva o migliora leggermente l'F1-score, ma comporta un costo computazionale maggiore (latenza e risorse).

5. Significato e Implicazioni

• Affidabilità Clinica: Lo studio dimostra che l'accuratezza media non è un indicatore sufficiente per il deployment clinico. Un modello può essere accurato in media ma produrre output incoerenti tra una run e l'altra o tra diversi prompt, rendendo i dati non affidabili per audit o decisioni cliniche.
• Scelta del Modello: Per applicazioni cliniche che richiedono stabilità, i modelli specializzati (MedGemma) o i modelli densi (Llama 3.3) a temperatura 0.0 sono preferibili rispetto ai modelli MoE generici, che mostrano una variabilità intrinseca maggiore.
• Raccomandazioni Operative:
  • Utilizzare temperatura = 0.0 per massimizzare la riproducibilità e la robustezza.
  • Se è necessario utilizzare temperature più alte (per recuperare prestazioni o per vincoli di sistema), implementare la votazione a maggioranza come meccanismo di controllo dell'affidabilità.
  • La standardizzazione dei prompt non è sufficiente; la selezione del modello deve tenere conto della sua sensibilità alle variazioni delle istruzioni.
• Futuro: Lo studio sottolinea la necessità di estendere queste valutazioni ad altri compiti clinici e di sviluppare tecniche di ottimizzazione orientate alla stabilità (es. fine-tuning stabile) per ridurre la dipendenza da costosi ensemble di inferenza.

In sintesi, il lavoro fornisce un framework empirico e raccomandazioni concrete per garantire che i sistemi di estrazione delle informazioni cliniche basati su LLM siano non solo accurati, ma anche ripetibili, robusti e affidabili in ambienti reali.