Clinical named entity recognition in the Portuguese language: a benchmark of modern BERT models and LLMs

Titolo: Riconoscimento di Entità Nominative (NER) Clinico in Portoghese: un Benchmark di Modelli BERT Moderni e LLM

1. Problema e Contesto

I dati clinici non strutturati (note mediche, referti, piani di cura) contengono informazioni preziose spesso perse nei registri elettronici. Il Riconoscimento di Entità Nominative (NER) è fondamentale per estrarre automaticamente concetti medici. Tuttavia, esistono benchmark significativi per la lingua portoghese, specialmente in ambito clinico.
Le sfide principali identificate sono:

• Scarsità di risorse: Pochi modelli specifici per il portoghese clinico sono stati valutati su dataset reali.
• Squilibrio delle classi: I dataset clinici multilabel soffrono spesso di una distribuzione estremamente sbilanciata delle classi (alcune entità sono molto rare), il che degrada le prestazioni degli algoritmi.
• Divario Pubblico-Privato: I risultati ottenuti su dataset pubblici non sempre si traducono efficacemente su dati privati ospedalieri.
• Costi e Privacy: L'uso di grandi modelli linguistici (LLM) commerciali solleva preoccupazioni regarding privacy, costi e tempi di inferenza rispetto ai modelli locali.

2. Metodologia

Lo studio ha confrontato diversi modelli di linguaggio su due dataset distinti:

• Dataset Utilizzati:
  1. SemClinBr: Un corpus pubblico annotato semanticamente con 1.000 note cliniche da oltre 12 specialità mediche (15 gruppi semantici UMLS).
  2. Dataset Oncologico Privato: 500 note ambulatoriali di pazienti con cancro al seno, annotate da un team medico-studentesco su 10 entità specifiche (es. recettori ormonali, tipo istologico, metastasi).
• Modelli Valutati:
  • Modelli BERT: BioBERTpt (clinico, bio e misto), BERTimbau, ModernBERT e mmBERT (un modello multilingue addestrato con protocolli avanzati).
  • LLM (Large Language Models): GPT-5 (nelle varianti nano, mini, base e con diversi livelli di ragionamento) e Gemini-2.5 (flash, pro). Gli LLM sono stati testati solo su SemClinBr per preservare la privacy dei dati privati.
• Strategie di Addestramento e Valutazione:
  • Il problema è stato formulato come classificazione di token multilabel.
  • Gestione dello sbilanciamento: Sono state testate tre strategie: Iterative Stratification (per mantenere la distribuzione delle classi rare nei split di train/test), Loss Pesata (weighted loss) e Oversampling.
  • Metriche: Precisione, Recall e F1-score (sia macro che micro).
  • Hardware: I modelli BERT sono stati eseguiti localmente su una workstation consumer (RTX 4090), mentre gli LLM sono stati interrogati via API.

3. Risultati Chiave

• Prestazioni dei Modelli:
  • mmBERT-base ha ottenuto i migliori risultati complessivi, stabilendo un nuovo stato dell'arte (SOTA) su SemClinBr con un Micro F1-score di 0.7646.
  • I modelli BERT in generale hanno superato gli LLM più avanzati (come GPT-5 e Gemini) in termini di accuratezza, velocità di inferenza e costi, pur potendo essere eseguiti localmente.
  • Gli LLM, anche con livelli di ragionamento "alto", non hanno superato i modelli BERT e hanno richiesto costi e tempi di inferenza significativamente maggiori (es. GPT-5 con ragionamento "high" ha richiesto ~115 secondi e costi elevati per risposta).
• Gestione dello Sbilanciamento delle Classi:
  • La strategia di Iterative Stratification si è rivelata cruciale, migliorando drasticamente le prestazioni rispetto a una divisione casuale semplice (es. su SemClinBr, il Micro F1 è passato da 0.69 a 0.76).
  • L'uso combinato di Iterative Stratification e Loss Pesata (con un peso minimo fissato a 1.0 per le classi frequenti) ha offerto i migliori risultati sul dataset del cancro al seno.
• Schema di Annotazione:
  • Lo schema IO (Inside/Outside) ha generalmente performato meglio dello schema BIO (Begin/Inside/Outside) su alcuni modelli moderni (mmBERT, ModernBERT), suggerendo che l'aggiunta del tag "B" potrebbe complicare l'apprendimento in spazi di etichette molto grandi.

4. Contributi Principali

1. Nuovo Benchmark SOTA: Stabilisce un nuovo record di performance per il NER clinico in portoghese, dimostrando che modelli multilingue moderni (mmBERT) superano quelli specifici per la lingua (BioBERTpt) grazie a pre-addestramenti su scale massive (3 trilioni di token).
2. Validazione su Dati Privati: Dimostra che le performance ottenute su dati pubblici sono riproducibili su dati clinici privati e sensibili, un passo fondamentale per l'adozione reale nella sanità.
3. Analisi delle Strategie di Bilanciamento: Fornisce evidenze empiriche su come gestire dataset multilabel sbilanciati in ambito medico, identificando l'iterative stratification come metodo superiore rispetto a semplici tecniche di oversampling o weighting isolati.
4. Accessibilità e Privacy: Sottolinea la fattibilità di implementare sistemi NER di alta qualità in istituzioni sanitarie con risorse hardware limitate (PC desktop) e senza rischi per la privacy dei pazienti, evitando l'invio di dati a cloud esterni.

5. Significato e Implicazioni

Questo studio conferma che i modelli encoder-only basati su BERT, specialmente quelli addestrati con strategie multilingue avanzate come mmBERT, sono la scelta preferibile per il NER clinico in portoghese rispetto agli LLM generici.
Le implicazioni pratiche sono notevoli:

• Adozione Clinica: Le strutture sanitarie possono sviluppare sistemi di estrazione automatica delle informazioni senza dipendere da costosi servizi cloud o preoccuparsi della fuga di dati.
• Efficienza dei Dati: Dimostra che è possibile addestrare modelli performanti anche con dataset privati relativamente piccoli (500 note), purché si utilizzino strategie di split dei dati rigorose.
• Futuro della Ricerca: Indica la necessità di pre-addestramenti specifici su corpora biomedici portoghesi per migliorare ulteriormente le prestazioni e di esplorare l'ottimizzazione dei prompt per i piccoli modelli linguistici (SLM).

In sintesi, il lavoro fornisce una roadmap tecnica solida per l'implementazione di soluzioni di NLP clinico in Brasile e in altri paesi di lingua portoghese, bilanciando accuratezza, costi e privacy.