Team Fusion@ SU@ BC8 SympTEMIST track: transformer-based approach for symptom recognition and linking

Panoramica del Problema

Il paper affronta le sfide poste dal compito condiviso SympTEMIST, focalizzato sull'analisi di testi clinici in lingua spagnola. L'obiettivo principale è l'identificazione e la normalizzazione di sintomi, segni e reperti medici. Il compito è suddiviso in tre sottoproblemi, di cui il team ha partecipato ai primi due:

1. Riconoscimento delle Entità Nominate (NER): Identificare le menzioni di sintomi nel testo.
2. Collegamento delle Entità (Entity Linking - EL): Associare le menzioni identificate a codici standardizzati SNOMED-CT.

La complessità risiede nella natura non strutturata dei dati clinici, nella necessità di gestire sinonimi complessi e nella mancanza di codici per alcune menzioni (caso "NO_CODE").

Metodologia

Il team ha adottato un approccio basato su Transformer, suddividendo la soluzione in due fasi distinte.

1. Riconoscimento delle Entità Nominate (Sottotask 1)

• Preprocessing: I testi dei referti clinici sono stati segmentati in frasi utilizzando lo SPACCC Sentence Splitter, poiché circa il 33% dei documenti superava il limite di 512 token degli input dei modelli.
• Architettura del Modello:
  • È stato utilizzato un classificatore a livello di token basato su RoBERTa (specificamente PlanTL-GOB-ES/roberta-base-biomedical-clinical-es e CLIN-X-ES).
  • Sopra lo strato finale del Transformer è stato aggiunto un layer lineare seguito da un CRF (Conditional Random Field) per ottimizzare la sequenza di etichette (schema IOB2).
  • Sono state sperimentate varianti con l'aggiunta di uno strato BiLSTM a due livelli prima del CRF per catturare dipendenze a lungo termine.
• Strategie di Addestramento:
  • Data Augmentation: Sostituzione casuale di alcune menzioni di entità con sinonimi presi dal dizionario UMLS spagnolo, generando 1.672 frasi aggiuntive.
  • Pre-training Aggiuntivo: È stato tentato un ulteriore pre-training del modello base su un dataset di 337.039 sinonimi UMLS, ma i risultati hanno mostrato benefici limitati.

2. Collegamento delle Entità (Sottotask 2)

• Generazione dei Candidati: Il sistema utilizza SapBERT XLMR-Large (un modello multilingue basato su XLM-RoBERTa) per generare embedding vettoriali.
• Ricerca e Matching:
  • Viene calcolata la somiglianza coseno tra l'embedding della menzione e gli embedding delle entità presenti in una Knowledge Base (KB).
  • La KB è stata costruita combinando il gazetteer di SympTEMIST, il set di addestramento e i sinonimi UMLS.
• Gestione delle Entità Lunghe: Per gestire menzioni lunghe, è stata sperimentata una tecnica a finestra scorrevole (sliding window). Il punteggio finale per un codice è una combinazione lineare della similarità coseno calcolata su:
  1. L'intera menzione.
  2. I primi 75% dei token.
  3. Gli ultimi 75% dei token.
     I coefficienti ottimali trovati sono stati 0.75, 0.17 e 0.08 rispettivamente, indicando che l'informazione cruciale risiede spesso nella parte iniziale della menzione.

Risultati Chiave

Sottotask 1: NER

• Modello Migliore: Il modello basato su Spanish RoBERTa specializzato per il dominio biomedico ha ottenuto i risultati migliori, superando il modello multilingue CLIN-X-ES.
• Punteggi (Test Set):
  • Il modello Augmented Spanish RoBERTa + CRF ha raggiunto un F1-score di 0.725 (Precision: 0.732, Recall: 0.718).
  • L'aggiunta del layer BiLSTM ha migliorato leggermente la recall ma ha mostrato risultati complessivi inferiori rispetto al solo CRF in questo specifico contesto.
• Impatto dell'Augmentation: L'augmentation dei dati ha migliorato significativamente la precisione e l'F1 del modello RoBERTa, sebbene con una lieve diminuzione della recall.

Sottotask 2: Entity Linking

• Fattore Critico: La scelta della Knowledge Base ha avuto l'impatto maggiore sull'accuratezza.
• Punteggi (Test Set):
  • Il modello migliore ha raggiunto un'accuratezza del 58.9% utilizzando una KB arricchita con dati UMLS (Gazetteer + Train + UMLS).
  • L'uso di una KB più povera (Gazetteer + Train) ha portato a un'accuratezza del 58.8%.
  • L'approccio con la finestra scorrevole ha mostrato un miglioramento del 2% rispetto al modello base SapBERT, confermando l'utilità di focalizzarsi sulle parti iniziali delle menzioni lunghe.
• Nota sugli Errori: Un esperimento finale ha mostrato un crollo delle prestazioni (1.7% di accuratezza) a causa di un bug nella generazione della Knowledge Base, evidenziando la sensibilità del sistema alla qualità dei dati di input.

Contributi e Significatività

1. Validazione dell'Approccio Monolingua: Il lavoro dimostra che, per compiti specifici in un dominio linguistico ristretto (come la biomedicina spagnola), i modelli monolingua specializzati (Spanish RoBERTa) superano i modelli multilingue generici (XLM-R) per il NER.
2. Importanza della Knowledge Base: Per il task di Entity Linking, la qualità e la ricchezza della Knowledge Base (integrazione di UMLS e sinonimi) sono più determinanti dell'architettura del modello di embedding.
3. Tecniche per Entità Lunghe: L'introduzione della strategia a finestra scorrevole con pesi ottimizzati offre una soluzione pratica per il problema delle menzioni lunghe nei testi clinici, migliorando la capacità di recupero dei codici corretti.
4. Limiti del Pre-training: L'ulteriore pre-training su dataset di sinonimi UMLS non ha dimostrato vantaggi significativi rispetto al fine-tuning diretto su dati annotati, suggerendo che per questo compito specifico l'adattamento diretto è più efficiente.

In conclusione, il team Team Fusion@SU ha dimostrato che una combinazione di modelli Transformer specializzati, strategie di augmentation mirate e una Knowledge Base ben curata sono fondamentali per raggiungere lo stato dell'arte nel riconoscimento e normalizzazione dei sintomi in ambito clinico spagnolo.