Evaluating Small Open LLMs for Medical Question Answering: A Practical Framework

1. Il Problema

L'integrazione di Modelli Linguistici di Grande Dimensione (LLM) nei flussi di risposta alle domande mediche richiede più della semplice accuratezza media. Un modello che fornisce risposte sostanzialmente diverse ogni volta che viene interrogato non è uno strumento medico affidabile, indipendentemente dalla sua qualità media.
Attualmente, le comunità online di salute (come Reddit) sono fonti primarie di informazioni ma sono vulnerabili alla disinformazione. L'uso di LLM come assistenti in questi contesti amplifica la necessità di coerenza dell'output oltre alla correttezza.
Il paradigma di valutazione dominante si basa su benchmark di "singola passata" (single-pass) contro un corpus di verità fondamentale (ground-truth) validato clinicamente. Questo approccio è inadeguato per l'uso medico perché ignora la varianza tra le esecuzioni (run-to-run variance). Un modello che risponde correttamente al 70% delle volte ma fornisce risposte diverse o errate nel restante 30%, o che cambia risposta ogni volta pur essendo corretta, erode la fiducia e l'auditabilità, aspetti critici nelle applicazioni sicure.

2. Metodologia

Gli autori hanno sviluppato un framework di valutazione open-source e riproducibile per LLM open-weight di piccole dimensioni, focalizzandosi sulla riproducibilità come metrica di primo piano.

• Dataset: Utilizzo di MedQuAD, un insieme di 16.412 coppie domanda-risposta mediche. Per lo studio sono state campionate 50 domande casuali (seed = 42).
• Modelli Valutati: Tre modelli open-weight locali ospitati tramite Ollama:
  1. Llama 3.1 8B: Modello generico istruito.
  2. Gemma 3 12B: Modello generico istruito di dimensioni maggiori.
  3. MedGemma 1.5 4B: Modello di dimensioni ridotte (4B) fine-tuned su corpora clinici.
• Setup di Inferenza:
  • Ogni domanda è stata sottoposta a 10 esecuzioni ripetute per modello (totale 1.500 risposte).
  • Parametri fissi: Temperatura T=0.2 (bassa, per ridurre la varianza), top-p=1.0, max token=512.
  • Prompt di sistema identico per tutti i modelli per isolare il comportamento del modello dagli effetti del prompt engineering.
• Pipeline di Valutazione: Un'architettura modulare in Python con tre comandi CLI (run, score, report).
• Metriche:
  • Qualità (vs Ground-Truth): 6 metriche (Exact Match, Token F1, String Similarity, BLEU, ROUGE-L, BERTScore) e un punteggio LLM-as-judge (un modello LLM locale valuta la correttezza fattuale e la sicurezza clinica).
  • Riproducibilità: Due metriche chiave calcolate sulle 10 esecuzioni per domanda:
    1. Tasso di auto-accordo normalizzato (Self-agreement rate): frazione di esecuzioni che corrispondono all'output più frequente (modale).
    2. Tasso di unicità normalizzato (Response uniqueness rate): numero di output distinti diviso per N.

3. Contributi Chiave

1. Protocollo di Valutazione "Reproducibility-First": Introduzione di metriche di coerenza interna (auto-accordo e unicità) come assi di valutazione pari all'accuratezza, quantificando la stabilità del modello.
2. Pipeline Open-Source: Sviluppo di un sistema modulare, riavviabile e riproducibile che separa la generazione delle risposte dalla loro valutazione, permettendo di ricalcolare le metriche senza ri-eseguire l'inferenza costosa.
3. Risultati Empirici: Analisi su 1.500 risposte che dimostrano come i fallimenti di riproducibilità persistano anche in regimi di temperatura quasi deterministici (T=0.2).

4. Risultati Principali

L'analisi su 1.500 risposte rivela scoperte critiche:

• Bassa Riproducibilità anche a T=0.2: Nonostante la temperatura bassa, la coerenza interna è estremamente scarsa.
  • Il tasso di auto-accordo varia tra 0,122 (Llama 3.1) e 0,198 (Gemma 3). Ciò significa che, in media, un modello concorda con se stesso in meno di una esecuzione su cinque.
  • L'unicità delle risposte è altissima: tra l'87% e il 97% di tutte le risposte per modello sono uniche.
  • Non c'è sovrapposizione tra gli spazi di output dei tre modelli (overlap pari a 0,000).
• Qualità vs. Riproducibilità:
  • Llama 3.1 8B: Ottiene la migliore qualità lessicale (Token F1) e la massima velocità (43 tok/s), ma la peggiore riproducibilità (97,4% di risposte uniche).
  • Gemma 3 12B: Ottiene il punteggio più alto dal giudice LLM (0,600) e la migliore riproducibilità (86,8% unicità), ma è il più lento (25,5 tok/s).
  • MedGemma 1.5 4B: Si posiziona ultimo o penultimo in tutte le metriche (qualità e riproducibilità), nonostante il fine-tuning clinico.
• Effetto della Dimensione vs. Specializzazione: Il modello fine-tuned clinicamente (MedGemma 4B) performa peggio dei modelli generici più grandi. Tuttavia, gli autori notano che questo confronto è confuso dalla differenza di scala (4B vs 8B/12B). La differenza di capacità (2-3x) potrebbe essere il fattore dominante rispetto alla specializzazione di dominio.

5. Significato e Implicazioni

• La temperatura non risolve il problema: Impostare una temperatura bassa (T=0.2) non garantisce output riproducibili. Per l'uso clinico, è necessario adottare strategie di stabilizzazione come il voting maggioritario su più esecuzioni, l'uso di soglie di confidenza o la revisione umana obbligatoria.
• Limiti dei Benchmark Attuali: I benchmark tradizionali che riportano solo l'accuratezza media nascondono completamente il rischio di instabilità, rendendo i modelli potenzialmente pericolosi in contesti medici.
• Scelta del Modello: La specializzazione di dominio (es. fine-tuning medico) non compensa automaticamente un divario significativo di capacità (dimensione del modello). La selezione dei modelli dovrebbe essere guidata da dati empirici e confronti a parità di scala, piuttosto che dalle etichette di marketing.
• Trade-off: Esiste un compromesso tra qualità lessicale/velocità e coerenza. I praticanti devono scegliere in base alle priorità del contesto di deployment (fedeltà della risposta vs. consistenza vs. latenza).

In conclusione, il paper invita la comunità NLP clinica ad adottare metriche di riproducibilità come standard accanto all'accuratezza, fornendo uno strumento open-source per rendere questa valutazione accessibile a chiunque disponga di una workstation commerciale.