Small LLMs for Medical NLP: a Systematic Analysis of Few-Shot, Constraint Decoding, Fine-Tuning and Continual Pre-Training in Italian

1. Problema e Contesto

I Large Language Models (LLM) hanno dimostrato prestazioni eccezionali nelle attività di Natural Language Processing (NLP) medico, ma le loro elevate esigenze computazionali ne limitano il deployment in contesti reali (ospedali, cliniche) che spesso operano sotto vincoli di risorse e budget stringenti.
Il lavoro si pone la domanda fondamentale: i "piccoli" LLM (SLLM), con circa 1 miliardo di parametri, possono eseguire compiti medici complessi mantenendo un'accuratezza competitiva? L'obiettivo è identificare strategie di adattamento efficaci per colmare il divario prestazionale tra modelli piccoli e grandi (es. 30B+ parametri) nel dominio medico italiano.

2. Metodologia

Gli autori hanno condotto un'analisi sistematica confrontando diverse strategie di adattamento su modelli di tre famiglie principali: Llama-3.2, Gemma-3 e Qwen-3 (versioni da ~1B parametri).

Dataset e Risorse

• Task: Sono stati valutati 20 sottocompiti su 5 macro-aree: Riconoscimento di Entità Nominate (NER), Estrazione di Relazioni (RE), Compilazione di Modelli di Casi Clinici (CRF), Risposta alle Domande (QA) e Estrazione di Argomenti (Argument Mining).
• Dataset: È stata creata la prima raccolta completa di dataset pubblici per NLP medico in italiano.
• Continual Pre-Training (CPT): È stato raccolto e rilasciato un nuovo dataset di 300 milioni di parole composto da:
  • 126M parole: Cartelle cliniche anonime del Pronto Soccorso di un ospedale italiano (Fenice Network).
  • 174M parole: Fonti scientifiche (tesi, pubblicazioni come Pensiero Scientifico e Zadig, Wikipedia medica, istruzioni farmaceutiche).

Strategie di Adattamento Valutate

Lo studio ha confrontato metodi a tempo di inferenza e a tempo di addestramento:

1. Zero-Shot & Few-Shot Prompting: Utilizzo di esempi nel prompt (4-shot) per guidare il modello.
2. Constraint Decoding (CD): Imposizione di strutture di output valide (es. JSON) tramite maschere dinamiche durante la generazione per evitare errori di formattazione.
3. Supervised Fine-Tuning (FT): Addestramento del modello su istruzioni e output attesi (utilizzando LoRA).
4. Continual Pre-Training (CPT): Ulteriore pre-addestramento sui dati medici specifici prima del fine-tuning, per internalizzare terminologia e sintassi clinica.

Configurazione Sperimentale

• Baseline: Modelli grandi come Qwen3-32B e MedGemma-27B (configurati con 4-shot).
• Hardware: Addestramento su GPU NVIDIA (H200 per FT, L40S per CPT) con tecniche di ottimizzazione come Flash Attention 2 e Sequence Packing.
• Metriche: F1-score per NER, RE, CRF, Argument Mining; Accuratezza per QA.

3. Risultati Chiave

Efficacia delle Strategie

• Fine-Tuning (FT): È emerso come l'approccio più efficace in assoluto. Permette ai piccoli modelli di internalizzare sia gli aspetti semantici che strutturali dei task medici.
• Inferenza (Few-Shot + CD): La combinazione di 4-shot prompting e Constraint Decoding offre la migliore alternativa a risorse limitate (senza addestramento), superando di gran lunga l'uso del solo Zero-Shot o del solo CD. Tuttavia, il 4-shot aumenta il tempo di inferenza del 53%, mentre il CD ha un impatto trascurabile.
• Continual Pre-Training (CPT): L'aggiunta di CPT prima del FT ha mostrato benefici limitati e non universali. Ha migliorato le prestazioni solo in un caso specifico (Gemma-3-1b-it), mentre per gli altri modelli il solo Fine-Tuning è stato sufficiente o superiore.

Prestazioni Assolute

• I piccoli LLM addestrati possono eguagliare o superare i modelli molto più grandi.
• La configurazione migliore (Qwen3-1.7B + Fine-Tuning) ha ottenuto un punteggio medio +9.2 punti superiore alla baseline Qwen3-32B (configurata con 4-shot).
• Anche Gemma-3-1b-it con CPT+FT ha superato la baseline di +4.7 punti.
• Il task più difficile è risultato l'Estrazione di Relazioni (RE), mentre il QA è stato il più semplice (probabilmente per la sovrabbondanza di dati QA nei pre-addestramenti generali).

Generalizzazione (Out-of-Distribution)

• I modelli adattati mostrano miglioramenti significativi anche su dataset non visti durante l'addestramento (es. test su dati di admission o dataset tradotti), sebbene il divario con i modelli grandi rimanga più marcato rispetto ai test in-distribution.
• Questo suggerisce che l'adattamento specifico del dominio è cruciale, ma i modelli piccoli faticano ancora a generalizzare su domini completamente nuovi rispetto ai loro omologhi più grandi.

4. Contributi Principali

1. Valutazione Sistematica: Analisi comparativa completa di diverse strategie di adattamento per SLLM nel contesto medico italiano.
2. Rilascio di Risorse:
   • Raccolta completa di dataset medici italiani per NLP.
   • Nuovo dataset di 300M parole (clinico + scientifico) per CPT.
   • Modelli SOTA open-source (es. Qwen3-1.7B adattato) che superano i baseline grandi.
   • Codice estensibile per facilitare la ricerca futura.
3. Insight Tecnici: Dimostrazione che per i task medici italiani, un modello da 1.7B parametri finemente sintonizzato è preferibile a un modello da 32B non adattato, offrendo un rapporto costo-prestazioni superiore.

5. Significato e Implicazioni

Il lavoro dimostra che le istituzioni sanitarie con risorse computazionali limitate non devono necessariamente rinunciare all'uso di LLM avanzati. Attraverso un Fine-Tuning supervisionato mirato, è possibile ottenere modelli compatti, efficienti e ad alte prestazioni per l'analisi di cartelle cliniche, estrazione di entità e compilazione di formulari.
Sebbene l'adattamento continui (CPT) non sia sempre necessario, la combinazione di Fine-Tuning e tecniche di inferenza strutturata (Constraint Decoding) rappresenta la via maestra per rendere l'IA medica accessibile e pratica in scenari reali, riducendo i costi infrastrutturali senza sacrificare l'accuratezza clinica.