Team Fusion@ SU@ BC8 SympTEMIST track: transformer-based approach for symptom recognition and linking

Resumen Técnico: Enfoque Basado en Transformers para el Reconocimiento y Vinculación de Síntomas (SympTEMIST)

1. Problema Abordado
El trabajo se centra en la participación del equipo Team Fusion@SU en la tarea compartida SympTEMIST, diseñada para detectar y normalizar síntomas, signos y hallazgos en textos clínicos en español. El desafío se divide en dos subtasas principales que el equipo abordó:

• Reconocimiento de Entidades Nombradas (NER): Identificar menciones de síntomas en el texto.
• Vinculación de Entidades (EL): Normalizar esas menciones a códigos estandarizados del sistema SNOMED CT.
  El dominio es específico (clínico/biomédico en español) y presenta desafíos como la longitud de las oraciones (que exceden el límite de tokens de los modelos), la ambigüedad de los términos y la necesidad de manejar menciones anidadas o sin código correspondiente.

2. Metodología

El enfoque propuesto es híbrido, combinando modelos de transformadores preentrenados con capas adicionales y estrategias de búsqueda semántica.

• Subtarea 1: Reconocimiento de Entidades Nombradas (NER)

  • Preprocesamiento: Los textos clínicos se dividen en oraciones utilizando el SPACCC Sentence Splitter para manejar el límite de 512 tokens de los modelos.
  • Arquitectura del Modelo: Se utiliza un clasificador a nivel de token basado en la arquitectura IOB2. La estructura consiste en:
    • Una capa de transformador (base).
    • (Opcional) Una capa BiLSTM de dos capas para capturar dependencias a largo plazo.
    • Una capa lineal seguida de una Condición Aleatoria de Campo (CRF) para la decodificación de etiquetas.
  • Modelos Base: Se compararon dos modelos:
    1. PlanTL-GOB-ES/roberta-base-biomedical-clinical-es (RoBERTa en español especializado en biomedicina).
    2. CLIN-X-ES (basado en XLM-RoBERTa, multilingüe).
  • Estrategias de Entrenamiento:
    • Aumento de Datos: Reemplazo aleatorio de menciones de entidades por sinónimos extraídos de UMLS en español.
    • Pre-entrenamiento Adicional: Se intentó pre-entrenar el modelo RoBERTa en un conjunto de datos de sinónimos de UMLS, aunque esto no mostró beneficios significativos.

• Subtarea 2: Vinculación de Entidades (EL)

  • Enfoque: Se utiliza un método en dos pasos:
    1. Generación de Candidatos: Búsqueda de coincidencias de la mención con alias en una Base de Conocimientos (KB).
    2. Puntuación y Selección: Cálculo de la similitud coseno entre las incrustaciones (embeddings) de la mención y los alias de la KB utilizando SapBERT XLMR-Large (un modelo de SapBERT entrenado para enlaces cruzados).
  • Manejo de Menciones Largas: Para abordar menciones que exceden el contexto del modelo, se implementó una ventana deslizante. La puntuación final se calculó como una combinación lineal de la similitud coseno de la mención completa, el primer 75% y el último 75% de los tokens (coeficientes óptimos: 0.75, 0.17, 0.08).
  • Base de Conocimientos (KB): Se compilaron KBs combinando el glosario (gazetteer) de SympTEMIST, el conjunto de entrenamiento y sinónimos de UMLS.

3. Contribuciones Clave

• Análisis de la Arquitectura NER: Demostración de que un modelo monolingüe especializado (RoBERTa biomédico en español) supera a los modelos multilingües (CLIN-X-ES) en este dominio específico.
• Efectividad del Aumento de Datos: Validación de que el aumento de datos mediante sinónimos de UMLS mejora significativamente la precisión y la puntuación F1 en el modelo RoBERTa, aunque reduce ligeramente la recuperación (recall).
• Impacto Crítico de la Base de Conocimientos: Identificación de que la calidad y el contenido de la KB son el factor más determinante para la precisión en la tarea de vinculación de entidades, superando a las variaciones en el modelo de embeddings.
• Optimización para Entidades Largas: Propuesta de una estrategia de ventana deslizante ponderada que mejora la detección de códigos correctos en menciones extensas.

4. Resultados

• NER (Subtarea 1):
  • El mejor modelo fue RoBERTa + BiLSTM + CRF con datos aumentados.
  • Precisión (Test): 0.732 | Recall (Test): 0.725 | F1 (Test): 0.732.
  • El modelo RoBERTa base con CRF y aumento de datos obtuvo un F1 de 0.725.
  • El pre-entrenamiento adicional en sinónimos de UMLS no mejoró los resultados.
• Vinculación de Entidades (Subtarea 2):
  • La mejor configuración alcanzó una precisión (Accuracy) del 58.9% en el conjunto de prueba.
  • Esta configuración utilizó la KB más rica: Glosario + Conjunto de Entrenamiento + UMLS.
  • La estrategia de ventana deslizante mejoró aproximadamente un 2% respecto al modelo base de SapBERT.
  • Se observó que las variaciones en la KB (aumentando menciones raras) mejoraron la validación pero no tuvieron impacto en la prueba final.

5. Significado y Conclusión

El estudio confirma que para tareas de procesamiento de lenguaje natural en el dominio clínico en español, la especialización del modelo de lenguaje y la calidad de los recursos léxicos (bases de conocimiento) son más críticos que la complejidad arquitectónica o el pre-entrenamiento adicional genérico.

• Para NER, la combinación de un modelo especializado en español con capas BiLSTM y CRF, alimentado con datos aumentados por sinónimos, establece un estado del arte robusto.
• Para EL, la estrategia basada en similitud coseno con SapBERT es efectiva, pero su éxito depende intrínsecamente de una base de conocimientos exhaustiva que incluya alias de UMLS.
• El trabajo destaca la importancia de adaptar las técnicas de vinculación (como ventanas deslizantes) para manejar la variabilidad en la longitud de las menciones clínicas, ofreciendo una hoja de ruta para sistemas de normalización de síntomas en entornos clínicos reales.