Team Fusion@ SU@ BC8 SympTEMIST track: transformer-based approach for symptom recognition and linking

Resumo Técnico: Abordagem Baseada em Transformers para Reconhecimento e Vinculação de Sintomas (SympTEMIST)

1. O Problema
O artigo aborda a tarefa de Reconhecimento de Entidades Nomeadas (NER) e Vinculação de Entidades (EL) em textos clínicos em espanhol, especificamente no contexto do desafio compartilhado SympTEMIST. O objetivo é detectar menções de sintomas, sinais e achados clínicos e normalizá-los para códigos padronizados do SNOMED CT. O desafio é dividido em subtarefas, sendo que a equipe "Team Fusion@SU" participou das duas primeiras:

• Subtarefa 1: Identificação e extração das menções de entidades no texto.
• Subtarefa 2: Vinculação dessas menções aos códigos corretos do SNOMED CT.

O principal desafio reside na complexidade da linguagem clínica, na necessidade de lidar com textos longos que excedem os limites de tokens dos modelos e na precisão na normalização de termos para uma base de conhecimento massiva.

2. Metodologia

A equipe propôs uma abordagem híbrida baseada em Transformers, dividida em duas fases principais:

• Pré-processamento e Aumento de Dados:

  • Os textos clínicos foram divididos em sentenças usando o SPACCC Sentence Splitter para lidar com o limite de 512 tokens dos modelos.
  • Foi aplicado um aumento de dados modesto na fase de NER, substituindo menções de entidades por sinônimos do UMLS (Unified Medical Language System) em espanhol, gerando 1.672 sentenças adicionais.

• Subtarefa 1: Reconhecimento de Entidades Nomeadas (NER):

  • Arquitetura: Utilizou-se um classificador de nível de token baseado em Transformers, seguido por uma camada linear e uma CRF (Conditional Random Field).
  • Modelos Base: Foram testados dois modelos principais:
    1. PlanTL-GOB-ES/roberta-base-biomedical-clinical-es: Um RoBERTa especializado em domínio biomédico-clínico espanhol.
    2. CLIN-X-ES: Um modelo multilingue baseado em XLM-RoBERTa, pré-treinado no conjunto MeSpEN e documentos do Scielo.
  • Refinamentos: Adicionou-se uma camada BiLSTM de duas camadas antes da CRF para capturar dependências de longo prazo. Também foi testado o fine-tuning adicional (pré-treinamento contínuo) do modelo RoBERTa em um conjunto de dados de sinônimos do UMLS.

• Subtarefa 2: Vinculação de Entidades (EL):

  • Geração de Candidatos: O sistema busca correspondências exatas em uma base de conhecimento (KB) composta por gazetteers e dados de treino.
  • Ranking e Similaridade: Para correspondências não exatas, utiliza-se o modelo SapBERT XLMR-Large (multilingue) para gerar embeddings e calcular a similaridade de cosseno entre a menção e os aliases na KB.
  • Janela Deslizante (Sliding Window): Para lidar com menções longas, foi testada uma abordagem onde a pontuação final é uma combinação linear da similaridade com a menção completa, os primeiros 75% dos tokens e os últimos 75% dos tokens.
  • Base de Conhecimento: A composição da KB foi crucial, variando entre o gazetteer oficial, o conjunto de treino e dados adicionais do UMLS.

3. Contribuições Chave

• Validação de Arquiteturas Específicas de Domínio: Demonstrou que modelos pré-treinados especificamente para o domínio biomédico-clínico em espanhol (PlanTL-GOB-ES) superam modelos multilingues genéricos (CLIN-X-ES) para tarefas de NER neste contexto.
• Impacto da Composição da Base de Conhecimento: Identificou que a escolha e a composição da Base de Conhecimento (KB) têm o maior impacto na precisão da tarefa de Vinculação de Entidades, superando variações na arquitetura do modelo de embedding.
• Estratégia para Entidades Longas: Propôs e validou o uso de uma janela deslizante ponderada para melhorar a vinculação de menções longas, mostrando que a informação crítica para a classificação reside frequentemente no início da menção.
• Análise de Aumento de Dados: Mostrou que o aumento de dados via substituição por sinônimos do UMLS melhora significativamente a precisão e o F1-score no modelo RoBERTa, embora tenha tido efeitos mistos no modelo CLIN-X-ES.

4. Resultados

• NER (Subtarefa 1):

  • O melhor modelo foi o RoBERTa Biomedical + CRF com dados aumentados, alcançando um F1-score de 0,725 no conjunto de teste.
  • A adição da camada BiLSTM melhorou tanto a precisão quanto o recall em comparação ao modelo base.
  • O pré-treinamento adicional no conjunto de sinônimos do UMLS não trouxe benefícios significativos para o desempenho final no teste.

• Vinculação de Entidades (Subtarefa 2):

  • O modelo de melhor desempenho atingiu 58,9% de precisão (Accuracy) no conjunto de teste.
  • A configuração vencedora utilizou o SapBERT XLMR-Large com uma Base de Conhecimento rica, combinando o gazetteer do SympTEMIST, o conjunto de treino e dados do UMLS.
  • A abordagem de janela deslizante ofereceu uma melhoria de cerca de 2% em relação ao modelo base, mas a composição da KB foi o fator determinante.
  • Nota: Um erro de código na geração de uma das bases de conhecimento resultou em uma queda drástica de desempenho (1,7%), destacando a sensibilidade do sistema à qualidade dos dados de entrada.

5. Significado e Conclusão

O trabalho confirma que, para tarefas de processamento de linguagem natural em domínio clínico específico (espanhol), a especialização do modelo de linguagem (RoBERTa biomédico) é superior à abordagem multilingue genérica. Além disso, o estudo destaca que, para tarefas de vinculação de entidades, a qualidade e a abrangência da Base de Conhecimento são fatores mais críticos do que a complexidade do algoritmo de busca.

A abordagem proposta oferece um pipeline robusto para a normalização de sintomas clínicos, essencial para a interoperabilidade de dados de saúde e análise de registros eletrônicos. As descobertas sobre o tratamento de menções longas e o impacto do aumento de dados fornecem diretrizes valiosas para futuras pesquisas na área de saúde digital em línguas românicas.