Data Augmentation for Clinical Multilingual Information Extraction

Sintesi Tecnica: Data Augmentation per l'Estrazione di Informazioni Cliniche Multilingue

Definizione del Problema
L'elaborazione del linguaggio naturale (NLP) clinico è fondamentale per le applicazioni di informatica sanitaria come l'identificazione delle coorti, la farmacovigilanza e il supporto alle decisioni cliniche. Tuttavia, l'implementazione di modelli robusti in diverse istituzioni e lingue è fortemente limitata dalla scarsità di testi clinici annotati. Sebbene i Modelli di Linguaggio Pre-addestrati (PLM) abbiano fatto avanzare lo stato dell'arte, essi richiedono dataset annotati specifici per il compito (task) per il fine-tuning, che sono costosi e richiedono molte risorse per essere creati manualmente. Questo collo di bottiglia è particolarmente acuto nei contesti multilingue, dove le risorse di alta qualità sono spesso disponibili solo in inglese, lasciando altre lingue con lacune di prestazione significative. Le strategie esistenti di data augmentation spesso si affidano a modelli generativi computazionalmente costosi o richiedono lessici di sinonimi curati, limitandone la scalabilità e l'adattabilità a nuovi linguaggi e domini.

Metodologia
Gli autori propongono una strategia di data augmentation a basso costo e computazionalmente efficiente basata sulla sostituzione di parole vicine tramite embedding di parole. Il metodo utilizza gli embedding pre-addestrati Word2Vec (W2V) e FastText (FT) per identificare parole semanticamente simili da utilizzare per la sostituzione all'interno delle menzioni delle entità.

L'approccio differisce leggermente per i due task target:

• Riconoscimento delle Entità Nominate (NER): L'algoritmo opera frase per frase. Identifica le menzioni delle entità all'interno di una frase e seleziona casualmente una parola da ciascuna menzione (escludendo le parole strutturali) per sostituirla con il suo vicino più prossimo ($v_1$) basato sulla similarità del coseno, a condizione che il punteggio di similarità superi una soglia predefinita ($\tau$). Questo processo viene ripetuto $t$ volte (fattore di augmentation) per generare variazioni. Per garantire la diversità, l'algoritmo cicla attraverso le parole di una menzione e, se tutte le parole sono state sostituite prima che si completino le $t$ iterazioni, procede al vicino più prossimo successivo ($v_2$, ecc.).
• Entity Linking (EL): L'algoritmo raggruppa le menzioni delle entità in base ai loro codici associati. Per ogni codice, tenta di aumentare ogni menzione $t$ volte. A differenza del NER, che sostituisce una parola con un singolo vicino più prossimo, l'augmentation per l'EL utilizza tutte le parole vicine con punteggi di similarità superiori alla soglia $\tau$ (fino ai primi cinque) per generare una gamma più ampia di augmentations per ogni round.

Lo studio ha valutato questo metodo in cinque lingue (spagnolo, inglese, francese, italiano, portoghese) utilizzando tre benchmark multilingue: SympTEMIST (riconoscimento dei sintomi e normalizzazione), CANTEMIST (morfologia tumorale) e MultiCardioNER (riconoscimento di malattie e farmaci). Gli autori hanno confrontato le prestazioni dei PLM sottoposti a fine-tuning su dati non aumentati rispetto a dati aumentati con gli embedding W2V e FT, utilizzando varie soglie di similarità (da $0.75$a$0.90$).

Contributi Chiave

1. Un Algoritmo di Augmentation Leggero: Un metodo semplice e scalabile per il NER e l'EL clinico multilingue che non richiede lessici di sinonimi curati o grandi modelli generativi, rendendolo adattabile a contesti con scarse risorse.
2. Valutazione Multilingue Estesa: Una valutazione completa attraverso tre principali benchmark clinici che coprono cinque lingue, fornendo una visione ampia dell'efficacia del metodo in diversi contesti linguistici.
3. Analisi dei Modelli di Embedding: Un'analisi comparativa degli embedding Word2Vec e FastText, che rivela distinzioni di forza per i task NER rispetto a EL.

Risultati

• Prestazioni NER: La strategia di augmentation ha generalmente migliorato le prestazioni del NER, con guadagni del punteggio F1 compresi tra 0,75 e 5,54 punti percentuali.
  • Il miglioramento più significativo è stato osservato nel task Italian MultiDrug, dove l'F1 è aumentato di 5,54 punti.
  • È stato raggiunto un nuovo risultato state-of-the-art per il riconoscimento dei farmaci in inglese nel benchmark MultiCardioNER, superando il punteggio migliore precedente di 0,22 punti.
  • Word2Vec ha generalmente superato FastText per il NER. Gli autori attribuiscono ciò alla capacità di W2V di generare sinonimi più diversificati (ad esempio, sostituendo "rene" con "fegato" in un contesto funzionale) rispetto a FastText, che spesso produce variazioni morfologiche (ad esempio, cambiando il singolare in plurale) che offrono una diversità di addestramento inferiore.
• Prestazioni EL: I guadagni per l'Entity Linking sono stati più modesti ma generalmente positivi in quattro lingue su cinque, con miglioramenti dell'accuratezza fino a 0,77 punti.
  • FastText ha superato WordVec per l'EL. Gli autori suggeriscono che mentre le sostituzioni diversificate di W2V avvantaggiano il NER, la modellazione a livello di subword di FastText preserva meglio i significati specifici del concetto, il che è critico per un accurato entity linking.
  • Soglie di similarità più basse ($0.75, 0.80$) hanno costantemente ostacolato le prestazioni dell'EL, mentre soglie più alte ($0.85, 0.90$) hanno prodotto miglioramenti marginali.

Significatività e Rivendicazioni
Il paper conclude che la sostituzione dei vicini basata sugli embedding di parole offre un approccio semplice e computazionalmente efficiente per aumentare la diversità dell'addestramento per l'NLP clinico multilingue. Il metodo è particolarmente efficace per rafforzare le prestazioni del NER in contesti a basse risorse, dove la scarsità di dati etichettati è un collo di bottiglia primario.

Per l'Entity Linking, gli autori affermano che il metodo fornisce miglioramenti modesti ma ne evidenziano i limiti: l'alta precisione semantica richiesta per la normalizzazione del concetto significa che la semplice sostituzione delle parole può introdurre inesattezze se le parole sostituite non mappano esattamente allo stesso concetto clinico. Di conseguenza, gli autori suggeriscono che le future strategie di augmentation per l'EL dovrebbero enfatizzare la preservazione del concetto, potenzialmente attraverso vocabolari controllati o vincoli informati dalle ontologie.

Nel complesso, il lavoro supporta lo sviluppo di pipeline di informatica sanitaria più scalabili, consentendo l'estrazione di informazioni dai documenti clinici anche quando i dati etichettati sono limitati, senza l'elevato carico computazionale dei modelli generativi.