FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts

1. Problema e Contesto

Il paper affronta la sfida dell'estrazione di informazioni strutturate da testi clinici non strutturati, in particolare dai resoconti dei casi clinici e dalle note di dimissione. Si stima che l'80% dei dati clinici esista in formato non strutturato, rendendo difficile l'analisi automatica.
L'obiettivo specifico è l'identificazione di entità nominate (NER) relative all'uso e all'abuso di sostanze tossiche (abitudini tossiche) in testi clinici in spagnolo. Questo è cruciale per la ricerca clinica e la gestione dei pazienti, dato l'impatto globale dell'abuso di sostanze.
Il lavoro si concentra sul Subtask 1 della sfida condivisa ToxHabits (parte del workshop BioCreative IX), che richiede:

• Rilevamento di frasi trigger che indicano l'uso di sostanze.
• Classificazione in quattro categorie: Tabacco, Alcol, Cannabis e Droga.

2. Metodologia

Il team ha esplorato diverse strategie basate su Large Language Models (LLM), in particolare utilizzando modelli OpenAI (GPT-4.1, GPT-4o, GPT-4.5 preview) tramite un'implementazione privata su Azure.

Approccio Principale:

• In-Context Learning (Few-Shot Prompting): Il metodo migliore identificato è stato l'uso di GPT-4.1 con prompting few-shot.
• Pre-elaborazione del testo: I resoconti clinici sono stati suddivisi in sezioni (basate su due ritorni a capo consecutivi) per ridurre la lunghezza dell'input e migliorare l'accuratezza del modello nel recuperare le entità.
• Costruzione del Prompt:
  • Utilizzo di un set casuale di 5 esempi estratti dal set di addestramento per fornire contesto al modello.
  • Istruzioni chiare per estrarre le frasi contenenti abitudini tossiche per ciascuna delle quattro categorie.
  • Utilizzo della capacità di output strutturato del modello.
• Post-processing:
  • Le frasi estratte vengono cercate nel testo originale per recuperare gli span (intervallo di caratteri).
  • In caso di sovrapposizione tra menzioni, viene selezionato lo span più corto, poiché le annotazioni nel set di addestramento tendono a essere più concise.
• Ottimizzazione:
  • Sono stati utilizzati strumenti come DsPy per l'ottimizzazione dei prompt (incluso l'ottimizzatore MIPROv2).
  • È stata effettuata un'ottimizzazione manuale del prompt, che ha portato a un miglioramento delle prestazioni rispetto all'ottimizzazione automatica.
  • I parametri di generazione sono stati impostati su temperatura 0 (per la coerenza) o 1 (per l'ottimizzazione manuale), con top_p a 1 e un limite di token fino a 16.000 per i test manuali.

Baseline:

• Un approccio basato su dizionario filtrato dal set di addestramento.
• Un modello BERT-based (Spanish Clinical RoBERTa) addestrato per la classificazione dei token.

3. Risultati Chiave

Le prestazioni sono state valutate sul set di sviluppo (Dev) e sul set di test finale.

• Migliore Modello: Il modello GPT-4.1 con Few-Shot (5 esempi) e prompt ottimizzato manualmente ha ottenuto i migliori risultati sul set di test.
  • Precision: 0.59
  • Recall: 0.72
  • F1-Score: 0.65
• Confronto con Baseline:
  • Il modello Few-Shot ha superato il Zero-Shot di circa il 6% in F1 e la baseline basata su dizionario di circa il 2%.
  • Il modello Spanish Clinical RoBERTa ha ottenuto un F1 superiore (0.79 sul set di sviluppo), indicando che i modelli supervisionati tradizionali rimangono ancora più precisi per questo compito specifico rispetto agli LLM generici.
  • Le combinazioni ibride (Dizionario + GPT) hanno mostrato prestazioni inferiori rispetto al modello GPT puro, suggerendo che la strategia di fusione non è stata efficace.
• Metriche di Sovrapposizione (Partial Match):
  • Analizzando quanto le entità "gold" siano contenute nelle entità previste (metriche GC e GCT), i modelli ibridi e GPT-4.1 Zero-Shot hanno mostrato risultati competitivi, indicando che spesso il modello individua l'entità corretta ma include contesto aggiuntivo.

4. Contributi e Limiti

Contributi:

• Dimostrazione dell'efficacia degli LLM (in particolare GPT-4.1) per l'NER in spagnolo, una lingua con meno risorse rispetto all'inglese.
• Evidenza che il Few-Shot prompting è superiore allo Zero-Shot per compiti di estrazione di entità in dominio medico.
• Analisi dettagliata degli errori, mostrando che il modello tende a estrarre span più lunghi includendo attributi (metodo, quantità, negazioni) invece di fermarsi alla sola entità.

Limiti e Errori:

• Delimitazione delle Entità: Il principale errore è la corretta identificazione dei confini dell'entità. Il modello spesso include negazioni (es. "No fumador" invece di "fumador") o dettagli contestuali (es. "cocaína esnifada" invece di "cocaína").
• Sovra-identificazione: Il modello tende a identificare parole specifiche (es. nomi di farmaci specifici o tipi di alcol come "birra") che non sono state etichettate dagli esperti umani come abitudini tossiche nel dataset.
• Dipendenza dal Prompt: Le prestazioni sono fortemente legate alla qualità del prompt e alla selezione degli esempi (few-shot).
• Generalizzazione: I risultati sono specifici per GPT-4.1 (versione 2025-04-14) e il dataset ToxHabits; potrebbero non essere replicabili su altri modelli o dataset senza ri-adattamento.

5. Significato e Conclusioni

Il paper conclude che, sebbene i modelli LLM basati su prompting non superino ancora i modelli BERT finemente sintonizzati (fine-tuned) in termini di F1-score assoluto per l'NER clinico in spagnolo, offrono una direzione promettente per la ricerca futura, specialmente nel contesto multilingue.
I vantaggi principali degli LLM risiedono nella loro capacità di gestire più lingue e di essere istruiti con pochissimi esempi, riducendo la necessità di grandi dataset annotati.
Lavori Futuri:

• Implementare un passo di post-processing per affinare i confini delle entità estratte (es. filtrare negazioni o attributi).
• Esplorare la selezione di esempi few-shot basata sulla similarità semantica (kNN) per migliorare le prestazioni.
• Combinare l'estrazione dei trigger con la classificazione degli attributi in un unico flusso per sfruttare le capacità degli LLM di gestire compiti complessi in modo integrato.