StrokeID-NER : A Stroke Named Entity Recognition Dataset for Indonesian Patient- Generated Health Queries

Resumo Técnico: StrokeID-NER

Definição do Problema
O acidente vascular cerebral (AVC) é a principal causa de morte e incapacidade na Indonésia, mas as ferramentas de Processamento de Linguagem Natural (PLN) clínico para triagem de AVC são dificultadas pela falta de recursos anotados específicos para o domínio de textos gerados por pacientes. Embora plataformas de saúde digital como o Alodokter.com hospedem vastos arquivos de consultas de saúde informais em indonésio, esses textos apresentam desafios únicos de PLN: variação ortográfica extrema, o uso de dialetos regionais (ex: javanês), metáforas leigas, mistura de códigos (code-mixing) e referências temporais culturalmente específicas (ex: eventos do calendário islâmico). Os conjuntos de dados de NER médica em indonésio existentes focam ou em registros clínicos formais, notícias de saúde ou diálogos mistos entre paciente e médico, falhando em abordar as complexidades linguísticas e clínicas específicas das consultas de AVC informais, exclusivas de pacientes.

Metodologia
O estudo introduz o StrokeID-NER, um conjunto de dados de Reconhecimento de Entidades Nomeadas (NER) especializado e uma estrutura de benchmarking construída através de quatro fases:

1. Construção de Dados: O conjunto de dados compreende 1.742 consultas de pacientes filtradas do conjunto "Indonesia-medical-qna" (extraído do Alodokter.com), focando exclusivamente em tópicos de AVC e AVC hemorrágico. As respostas dos médicos foram excluídas para simular condições de triagem do mundo real baseadas apenas no input do paciente.
2. Esquema de Anotação: As consultas foram anotadas usando o esquema BIO (Begin-Inside-Outside) com nove etiquetas em quatro tipos de entidades clinicamente fundamentadas:
   • Sintoma (SYM): Manifestações físicas/neurológicas (ex: lemas, drodog).
   • Diagnóstico (DGN): Subtipos de AVC e condições (ex: stroke ringan, pendarahan otak).
   • Temporal (TMP): Início, duração e tempo (ex: tiba-tiba, saat hari ke-20 puasa).
   • Fator de Risco (RF): Condições pré-existentes e demografia (ex: hipertensi, usia 65 tahun).
   • O acordo inter-anotador foi avaliado em uma amostra estratificada, resultando em um Kappa de Cohen de $\kappa = 0,857$.
3. Estatísticas do Conjunto de Dados: O corpus contém 6.765 extensões (spans) de entidades. Uma característica definidora é a alta taxa de hapax (expressões únicas que aparecem apenas uma vez), variando de 72,0% para Diagnóstico a 86,9% para Fatores de Risco, refletindo a natureza informal e diversa do texto.
4. Benchmarking: Cinco sistemas de NER foram avaliados em uma divisão estratificada de treino/validação/teste (1.211/256/275 consultas):
   • M1: IndoBERT-base + cabeça Linear.
   • M2: IndoBERT-base + camada CRF.
   • M3: XLM-RoBERTa-large (multilíngue) + cabeça Linear.
   • M4: IndoBERT-large + cabeça Linear.
   • Baseline: GPT-5.4 avaliado em um cenário zero-shot.
   • Métrica de Avaliação: F1-score macro-médio por extensão (span-level) usando seqeval.

Principais Resultados

• Desempenho dos Modelos: O modelo ajustado (XLM-RoBERTa-large (M3)) alcançou o melhor desempenho com um F1 macro de 0,7823. Ele superou o monolíngue IndoBERT-large (M4, F1=0,7614) e o baseline zero-shot GPT-5.4 (F1=0,6682) em 2,1 e 11,4 pontos, respectivamente.
• Insights Específicos de Entidades:
  • Diagnóstico (DGN) foi a entidade mais fácil de reconhecer (F1 0,86–0,89) devido à alta frequência do termo "stroke" e suas variantes.
  • Sintoma (SYM) e Fator de Risco (RF) foram os mais difíceis, correlacionando-se com suas altas taxas de hapax.
  • O LLM zero-shot teve desempenho comparável em DGN, mas ficou significativamente atrás em SYM e RF, falhando em capturar expressões informais e terminologia regional.
• Análise de Erros:
  • Restrição de Hapax: Existe uma forte correlação negativa entre a taxa de hapax e o F1 score. 68,3% das extensões de falsos negativos foram perdidas por todos os quatro modelos ajustados, indicando um teto de desempenho impulsionado pela cobertura lexical, em vez da arquitetura do modelo.
  • Ajuste Fino vs. Zero-shot: O modelo ajustado identificou corretamente 204 extensões que o modelo zero-shot perdeu, comparado a apenas 57 no sentido inverso (proporção de 3,6:1). Essa vantagem foi mais pronunciada para SYM (4,6:1) e RF (7,0:1).
  • Treinamento Binário vs. Conjunto: O treinamento de classificadores binários para entidades específicas melhorou o desempenho para DGN e TMP, mas degradou o desempenho para RF em 0,08 pontos de F1, sugerindo que o contexto entre entidades é crucial para identificar fatores de risco.

Significância e Alegações
O artigo reivindica quatro contribuições primárias:

1. Primeiro Corpus Público: Ele lança o primeiro corpus publicamente disponível e clinicamente fundamentado para NER de AVC em indonésio, visando especificamente textos informais gerados por pacientes.
2. Insights de Benchmarking: Demonstra que, para NER clínico informal em línguas de baixos recursos, o pré-treinamento multilíngue (XLM-RoBERTa) proporciona maiores ganhos de desempenho do que aumentar a escala do modelo monolíngue (IndoBERT-large), particularmente para entidades com alta diversidade lexical.
3. Análise Linguística: Documenta fenômenos linguísticos únicos das consultas de AVC em indonésio, incluindo variação ortográfica, coloquialismos javaneses e expressões temporais culturalmente específicas, que os recursos padrão de PLN falham em capturar.
4. Necessidade de Ajuste Fino (Fine-tuning): Valida empiricamente que o ajuste fino de domínio supera substancialmente o prompting zero-shot de grandes modelos de linguagem para esta tarefa, especialmente ao lidar com linguagem informal e contexto clínico.

Os autores concluem que as melhorias futuras no desempenho são limitadas pela cobertura lexical, e não pela arquitetura do modelo. Eles postulam que expandir o vocabulário de treinamento através de anotação adicional ou aumento de dados é o caminho mais eficaz, em vez de modificações arquiteturais. O conjunto de dados, as diretrizes e os modelos são liberados publicamente para apoiar pesquisas adicionais em PLN clínico em indonésio.