Clinical named entity recognition in the Portuguese language: a benchmark of modern BERT models and LLMs

Título: Reconocimiento de Entidades Nombradas (NER) Clínico en Portugués: Un Benchmark de Modelos BERT Modernos y LLMs

1. Planteamiento del Problema

Los registros de notas clínicas contienen información no estructurada valiosa para la gestión, investigación y mejora de la calidad asistencial. Sin embargo, la extracción automática de conceptos médicos mediante Reconocimiento de Entidades Nombradas (NER) en portugués carece de benchmarks robustos.
Los desafíos principales identificados son:

• Escasez de datos: Pocos conjuntos de datos públicos y privados anotados en portugués para tareas clínicas.
• Desequilibrio de clases: Los conjuntos de datos clínicos suelen tener clases muy desbalanceadas (algunas entidades son muy raras), lo que dificulta el entrenamiento de algoritmos.
• Brecha entre datos públicos y privados: Los resultados en benchmarks públicos no siempre se traducen a datos privados de instituciones de salud.
• Costo y privacidad: La dependencia de Grandes Modelos de Lenguaje (LLMs) en la nube plantea problemas de costo, latencia y privacidad de datos sensibles.

2. Metodología

El estudio comparó el rendimiento de modelos BERT modernos y LLMs en dos conjuntos de datos:

• Datos:
  1. SemClinBr: Un corpus público con 1,000 notas clínicas de más de 12 especialidades, anotadas con 15 grupos semánticos UMLS.
  2. Dataset de Cáncer de Mama: Un conjunto de datos privado de 500 notas ambulatorias de pacientes con cáncer de mama, anotado por un equipo médico y estudiantes (10 entidades específicas como receptores hormonales, HER2, metástasis, etc.).
• Modelos Evaluados:
  • BERT: BioBERTpt (varias versiones), BERTimbau, ModernBERT y mmBERT (modelo multilingüe de última generación).
  • LLMs: GPT-5 (con diferentes niveles de esfuerzo de razonamiento), GPT-4.1 y Gemini-2.5 (varias versiones), evaluados mediante few-shot prompting.
• Estrategias de Entrenamiento y Preprocesamiento:
  • División de datos: Se comparó la aleatorización simple frente a la estratificación iterativa (iterative stratification) para preservar la distribución de clases raras en los conjuntos de entrenamiento, validación y prueba.
  • Manejo de desbalance: Se probaron funciones de pérdida ponderada (weighted loss), oversampling y la fijación de un peso mínimo (1.0) para clases frecuentes.
  • Esquemas de anotación: Se evaluaron los esquemas IO (Inside/Outside) y BIO (Begin/Inside/Outside).
• Métricas: Precisión, Recall y F1-score (micro y macro), optimizando el umbral de probabilidad para maximizar el F1.

3. Contribuciones Clave

• Nuevo Estado del Arte (SOTA): Establecimiento de un nuevo récord de rendimiento en el dataset SemClinBr utilizando modelos BERT.
• Validación en Datos Privados: Demostración de que los resultados obtenidos en datos públicos se pueden reproducir en datos privados de oncología, validando la generalización del modelo.
• Análisis de Estrategias de Desbalance: Un estudio sistemático sobre cómo la estratificación iterativa, el oversampling y la ponderación de pérdidas afectan el rendimiento en datos clínicos multietiqueta desbalanceados.
• Comparativa Costo-Eficiencia: Evaluación del trade-off entre el rendimiento de los LLMs y los modelos BERT locales, destacando la viabilidad de ejecutar modelos potentes en hardware local sin riesgos de privacidad.

4. Resultados Principales

• Rendimiento del Modelo:
  • mmBERT-base obtuvo los mejores resultados en ambos datasets, alcanzando un F1-score micro de 0.7646 en SemClinBr y un 0.7723 en el dataset de cáncer de mama.
  • Los modelos BERT superaron consistentemente a los LLMs (GPT-5, Gemini) en términos de F1-score, además de ofrecer inferencia más rápida y ejecutarse localmente.
  • Los LLMs mostraron mejoras marginales al aumentar el "esfuerzo de razonamiento" (ej. GPT-5), pero esto conllevó un aumento exponencial en costos y tiempo de inferencia, sin superar a los modelos BERT.
• Impacto de las Estrategias de Datos:
  • La estratificación iterativa fue la técnica más crítica. En SemClinBr, mejoró el F1 micro de 0.6904 (división aleatoria) a 0.7646.
  • Para el dataset de cáncer de mama, la combinación de estratificación iterativa con pérdida ponderada (con un peso mínimo fijado en 1.0) fue la estrategia óptima.
  • El esquema de anotación BIO generalmente resultó en un F1 macro más bajo que IO para modelos modernos como mmBERT, sugiriendo desafíos arquitectónicos en espacios de etiquetas grandes.
• Recursos: Los modelos BERT se ejecutaron exitosamente en una GPU doméstica (RTX 4090), mientras que los LLMs requirieron acceso a API con costos significativos.

5. Significado e Implicaciones

• Viabilidad Local: El estudio demuestra que es posible desarrollar sistemas de NER clínico de alta calidad en portugués dentro de instituciones de salud, utilizando hardware accesible y sin exponer datos sensibles a la nube.
• Importancia de la División de Datos: Subraya que la forma en que se dividen los datos (estratificación iterativa) es tan crucial como la elección del modelo para manejar el desbalance inherente a la medicina.
• Futuro de la Investigación: Sugiere que el fine-tuning de modelos multilingües como mmBERT con datos biomédicos específicos en portugués podría mejorar aún más el rendimiento. También señala la necesidad de investigar la posible "contaminación de datos" en el pre-entrenamiento de modelos grandes, dado el rendimiento superior de mmBERT en datasets públicos recientes.
• Reproducibilidad: Todo el código fuente está disponible públicamente, fomentando la replicabilidad en la comunidad de investigación.

En conclusión, el trabajo valida que los modelos BERT multilingües modernos, combinados con estrategias adecuadas de manejo de datos, son la solución más robusta, eficiente y privada para la extracción de entidades clínicas en portugués en la actualidad.