StrokeID-NER : A Stroke Named Entity Recognition Dataset for Indonesian Patient- Generated Health Queries

Resumen Técnico: StrokeID-NER

Planteamiento del Problema
El accidente cerebrovascular (ictus) es la principal causa de muerte y discapacidad en Indonesia; sin embargo, las herramientas de Procesamiento de Lenguaje Natural (NLP) clínico para el triaje de accidentes cerebrovasculares se ven obstaculizadas por la falta de recursos anotados específicos del dominio para textos generados por pacientes. Aunque las plataformas de salud digital como Alodokter.com albergan vastos archivos de consultas de salud informales en indonesio, estos textos presentan desafíos de NLP únicos: extrema variación ortográfica, el uso de dialectos regionales (por ejemplo, el javanés), metáforas coloquiales, mezcla de códigos (code-mixing) y referencias temporales culturalmente específicas (por ejemplo, eventos del calendario islámico). Los conjuntos de datos de NER médica en indonesio existentes se centran en registros clínicos formales, noticias de salud o diálogos mixtos entre paciente y médico, fallando al abordar las complejidades lingüísticas y clínicas específicas de las consultas informales de pacientes sobre accidentes cerebrovasculares.

Metodología
El estudio presenta StrokeID-NER, un conjunto de datos de Reconocimiento de Entidades Nombradas (NER) especializado y un marco de evaluación (benchmarking) construido a través de cuatro fases:

1. Construcción de Datos: El conjunto de datos comprende 1,742 consultas de pacientes filtradas del conjunto de datos "Indonesia-medical-qna" (obtenido de Alodokter.com), centrándose exclusivamente en temas de accidente cerebrovascular y accidente cerebrovascular hemorrágico. Se excluyeron las respuestas de los médicos para simular las condiciones de triaje del mundo real que dependen únicamente de la entrada del paciente.
2. Esquema de Anotación: Las consultas fueron anotadas utilizando el esquema BIO (Begin-Inside-Outside) con nueve etiquetas a través de cuatro tipos de entidades con base clínica:
   • Síntoma (SYM): Manifestaciones físicas/neurológicas (por ejemplo, lemas, drodog).
   • Diagnóstico (DGN): Subtipos de accidente cerebrovascular y condiciones (por ejemplo, stroke ringan, pendarahan otak).
   • Temporal (TMP): Inicio, duración y cronología (por ejemplo, tiba-tiba, saat hari ke-20 puasa).
   • Factor de Riesgo (RF): Condiciones preexistentes y datos demográficos (por ejemplo, hipertensi, usia 65 tahun).
   • El acuerdo inter-anotador se evaluó en una muestra estratificada, arrojando un Kappa de Cohen de $\kappa = 0.857$.
3. Estadísticas del Conjunto de Datos: El corpus contiene 6,765 extensiones de entidad (entity spans). Una característica definitoria es la alta tasa de hapax (expresiones únicas que aparecen solo una vez), que oscila entre el 72.0% para Diagnóstico y el 86.9% para Factores de Riesgo, lo que refleja la naturaleza informal y diversa del texto.
4. Evaluación (Benchmarking): Se evaluaron cinco sistemas de NER en una división estratificada de entrenamiento/validación/prueba (1,211/256/275 consultas):
   • M1: IndoBERT-base + cabezal lineal.
   • M2: IndoBERT-base + capa CRF.
   • M3: XLM-RoBERTa-large (multilingüe) + cabezal lineal.
   • M4: IndoBERT-large + cabezal lineal.
   • Línea Base: GPT-5.4 evaluado en un entorno de zero-shot.
   • Métrica de Evaluación: F1-score macro promedio a nivel de extensión (span-level) usando seqeval.

Resultos Clave

• Rendimiento de los Modelos: El modelo XLM-RoBERTa-large (M3) ajustado (fine-tuned) logró el mejor rendimiento con un F1 macro de 0.7823. Superó al modelo monolingüe IndoBERT-large (M4, F1=0.7614) y a la línea base zero-shot GPT-5.4 (F1=0.6682) por 2.1 y 11.4 puntos, respectivamente.
• Perspectivas Específicas de la Entidad:
  • Diagnóstico (DGN) fue la entidad más fácil de reconocer (F1 0.86–0.89) debido a la alta frecuencia del término "stroke" y sus variantes.
  • Síntoma (SYM) y Factor de Riesgo (RF) fueron los más difíciles, correlacionándose con sus altas tasas de hapax.
  • El LLM zero-shot se desempeñó de manera comparable en DGN, pero se quedó significativamente atrás en SYM y RF, fallando al capturar expresiones informales y terminología regional.
• Análisis de Errores:
  • Restricción de Hapax: Existe una fuerte correlación negativa entre la tasa de hapax y la puntuación F1. El 68.3% de las extensiones de falsos negativos fueron omitidas por todos los cuatro modelos ajustados, lo que indica un techo de rendimiento impulsado por la cobertura léxica más que por la arquitectura del modelo.
  • Ajuste Fino vs. Zero-shot: El modelo ajustado identificó correctamente 204 extensiones que el modelo zero-shot omitió, frente a solo 57 en la dirección opuesta (una relación de 3.6:1). Esta ventaja fue más pronunciada para SYM (4.6:1) y RF (7.0:1).
  • Entrenamiento Binario vs. Conjunto: El entrenamiento de clasificadores binarios para entidades específicas mejoró el rendimiento para DGN y TMP, pero degradó el rendimiento para RF en 0.08 puntos de F1, lo que sugiere que el contexto entre entidades es crucial para identificar factores de riesgo.

Significancia y Reivindicaciones
El artículo reivindica cuatro contribuciones primarias:

1. Primer Corpus Público: Libera el primer corpus disponible públicamente para la NER de accidentes cerebrovasculares en indonesio, con base clínica, dirigido específicamente al texto informal generado por pacientes.
2. Perspectivas de Evaluación: Demuestra que para la NER clínica informal en lenguas de bajos recursos, el preentrenamiento multilingüe (XLM-RoBERTa) proporciona mayores ganancias de rendimiento que aumentar la escala del modelo monolingüe (IndoBERT-large), particularmente para entidades con alta diversidad léxica.
3. Análisis Lingüístico: Documenta los fenómenos lingüísticos únicos de las consultas de accidentes cerebrovasculares en indonesio, incluyendo la variación ortográfica, coloquialismos del javanés y expresiones temporales culturalmente específicas, que los recursos de NLP estándar no logran capturar.
4. Necesidad de Ajuste Fino (Fine-tuning): Valida empíricamente que el ajuste fino específico del dominio supera sustancialmente al prompting zero-shot de los grandes modelos de lenguaje para esta tarea, especialmente cuando se trata de lenguaje informal y contexto clínico.

Los autores concluyen que las mejoras futuras en el rendimiento están limitadas por la cobertura léxica más que por la arquitectura del modelo. Postulan que expandir el vocabulario de entrenamiento mediante la anotación adicional o la aumentación de datos es el camino más efectivo, en lugar de realizar modificaciones arquitectónicas. El conjunto de datos, las directrices y los modelos se publican para apoyar la investigación posterior en el campo del NLP clínico en indonesio.