Clinical named entity recognition in the Portuguese language: a benchmark of modern BERT models and LLMs

1. Problema

O texto clínico não estruturado em prontuários eletrônicos contém informações valiosas, mas difíceis de processar automaticamente. A Reconhecimento de Entidades Nomeadas (NER) é crucial para extrair conceitos médicos, mas existem lacunas significativas no contexto da língua portuguesa:

• Escassez de Benchmarks: Há poucos benchmarks públicos e robustos para NER clínica em português.
• Desequilíbrio de Classes: Conjuntos de dados clínicos frequentemente apresentam classes desbalanceadas (algumas entidades são muito raras), o que prejudica o desempenho dos modelos.
• Generalização: Resultados obtidos em dados públicos nem sempre se traduzem para dados privados de instituições de saúde.
• Avaliação de Novos Modelos: Modelos modernos de BERT (como mmBERT) e Grandes Modelos de Linguagem (LLMs) ainda não foram comparados sistematicamente para NER clínica em português.

2. Metodologia

O estudo realizou uma avaliação comparativa rigorosa utilizando dois conjuntos de dados distintos:

• Dados Públicos: O corpus SemClinBr (1.000 entradas de 12 especialidades médicas, com 15 grupos semânticos do UMLS).
• Dados Privados: Um conjunto de 500 notas clínicas de pacientes com câncer de mama de um centro oncológico no sul do Brasil, anotado por uma equipe médica e estudantes (10 entidades específicas, como receptores hormonais, tipo histológico, metástase, etc.).

Modelos Avaliados:

• Modelos BERT: BioBERTpt (versões clin, bio, all), BERTimbau, ModernBERT e mmBERT (focado em capacidades multilíngues).
• LLMs (Large Language Models): GPT-4.1, GPT-5 (várias versões e níveis de esforço de raciocínio) e Gemini-2.5. Os LLMs foram testados apenas no SemClinBr devido a restrições de privacidade dos dados privados.

Estratégias de Treinamento e Avaliação:

• Tarefa: Classificação de tokens multirrótulo (multilabel).
• Métricas: Precisão, Recall e F1-score (micro e macro).
• Tratamento de Desequilíbrio: Foram testadas três estratégias principais:
  1. Estratificação Iterativa (Iterative Stratification): Para garantir a distribuição de classes raras nas divisões de treino/validação/teste.
  2. Função de Perda Ponderada (Weighted Loss): Atribuição de pesos maiores a classes menos frequentes.
  3. Oversampling: Replicação de exemplos de classes minoritárias.
• Esquemas de Anotação: Comparação entre IO (Inside/Outside) e BIO (Begin/Inside/Outside).

3. Principais Contribuições

• Novo State-of-the-Art (SOTA): Estabelecimento de um novo recorde de desempenho para NER clínica em português no dataset SemClinBr.
• Validação em Dados Reais: Demonstração de que modelos treinados e avaliados em dados públicos podem generalizar bem para dados privados e sensíveis (câncer de mama).
• Análise de Estratégias de Desequilíbrio: Um estudo sistemático sobre como a estratificação iterativa, perda ponderada e oversampling afetam o desempenho em dados clínicos multirrótulo.
• Código Aberto: Disponibilização de todo o código-fonte para reprodutibilidade.
• Comparação Custo-Benefício: Análise detalhada do custo, tempo de inferência e desempenho entre modelos BERT locais e LLMs na nuvem.

4. Resultados

• Desempenho dos Modelos:
  • O mmBERT-base obteve os melhores resultados em ambos os datasets, alcançando um Micro F1-score de 0,7646 no SemClinBr e 0,7723 no dataset de câncer de mama.
  • Os modelos BERT superaram consistentemente os LLMs (GPT-5, Gemini) em termos de F1-score, além de serem mais rápidos e executáveis localmente sem riscos de vazamento de dados.
  • O aumento do "esforço de raciocínio" nos LLMs (GPT-5) trouxe ganhos marginais de desempenho, mas com um aumento exponencial no custo e tempo de inferência, não superando os BERTs.
• Impacto das Estratégias de Desequilíbrio:
  • A Estratificação Iterativa foi a técnica mais impactante, melhorando significativamente o F1-score em comparação com a divisão aleatória simples.
  • No dataset de câncer de mama, a combinação de estratificação iterativa com perda ponderada (com peso mínimo fixado em 1,0) foi a estratégia vencedora.
  • No SemClinBr, a estratificação iterativa isolada foi suficiente para atingir o pico de desempenho.
• Esquemas de Anotação: O esquema BIO (que duplica o número de classes) resultou em desempenho inferior ao IO para modelos como mmBERT e ModernBERT, sugerindo desafios de escalabilidade arquitetural para espaços de rótulos maiores.

5. Significado e Conclusão

O estudo demonstra que modelos BERT multilíngues modernos, especialmente o mmBERT, são altamente eficazes para NER clínica em português, superando modelos monolíngues tradicionais e LLMs caros.

• Viabilidade Prática: É possível desenvolver sistemas de alta qualidade em instituições de saúde com recursos computacionais modestos (ex: uma GPU RTX 4090) e esforços de anotação limitados.
• Importância da Divisão de Dados: A forma como os dados são divididos (estratificação iterativa) é tão crítica quanto a escolha do modelo para lidar com classes desbalanceadas.
• Futuro: O trabalho sugere que o fine-tuning de modelos como o mmBERT em corpora biomédicos específicos em português e o uso de modelos pequenos otimizados são caminhos promissores para futuras pesquisas, superando a dependência de LLMs de grande porte para tarefas de extração estruturada.