ELM: A Hybrid Ensemble of Language Models for Automated Tumor Group Classification in Population-Based Cancer Registries

Resumo Técnico: ELM para Classificação de Grupos de Tumores

1. O Problema

Os Registros de Câncer Baseados em População (PBCRs) são fundamentais para a vigilância e pesquisa oncológica, mas dependem da extração manual de dados de relatórios de patologia não estruturados. Este processo é intensivo em mão de obra: um registro de tamanho médio pode gastar até 900 horas-pessoa anualmente apenas para classificar cerca de 100.000 relatórios em grupos de tumores.

As abordagens automatizadas atuais, baseadas em regras (como o sistema eMaRC utilizado nos EUA e Canadá), falham em lidar com a complexidade linguística dos relatórios clínicos. Elas sofrem com:

• Incapacidade de capturar dependências de longo alcance e contexto.
• Dificuldade em distinguir tumores primários de lesões metastáticas.
• Falha em interpretar terminologia médica complexa e variações de formato entre instituições.
• Taxas de erro elevadas que exigem revisão manual completa de todos os casos, tornando a automação redundante.

2. Metodologia: A Arquitetura Híbrida ELM

O artigo propõe o ELM (Ensemble of Language Models), uma arquitetura híbrida inovadora que combina a eficiência de modelos de linguagem pequenos (codificadores) com o raciocínio avançado de Grandes Modelos de Linguagem (LLMs).

Componentes Principais:

1. Ensemble de Modelos Codificadores (Small Encoder-Only Models):

   • Utiliza seis modelos codificadores finamente ajustados (fine-tuned): três baseados em GatorTron, três em BCCRTron e três em ClinicalBERT.
   • Estratégia de Segmentação: Para contornar limites de tokens, cada relatório é dividido em duas partes. Três modelos analisam os primeiros 512 tokens (topo, onde geralmente está o diagnóstico final) e três analisam os últimos 512 tokens (base, onde estão impressões e raciocínios). Isso maximiza a cobertura do texto.
   • Votação: Os modelos votam independentemente. Se houver concordância de pelo menos 5 de 6 modelos e o grupo de tumor não for classificado como "difícil", a previsão é aceita.

2. Arbitragem por LLM (Large Language Model):

   • Casos onde a concordância é baixa (<5 votos) ou que pertencem a categorias historicamente difíceis (ex: leucemia, linfoma, pele, mieloma múltiplo) são encaminhados a um LLM.
   • Engenharia de Prompt: O LLM (Mistral Nemo Instruct-2407, 12B parâmetros) não recebe a tarefa de escolher entre todos os 19 grupos. O prompt restringe a escolha a um conjunto pequeno (2-4 opções) baseado nas previsões do ensemble e conhecimento de especialistas.
   • Saída Estruturada: O LLM deve retornar a previsão e o raciocínio em formato JSON, garantindo explicabilidade e conformidade com regulamentos de privacidade (implantação local).

3. Contribuições Chave

• Primeira Implantação de Sucesso em PBCR: O ELM é apresentado como a primeira solução híbrida (codificadores pequenos + LLM) implantada com sucesso em um registro de câncer real para classificação de grupos de tumores.
• Eficiência Computacional Estratégica: Ao rotear apenas 15-20% dos casos para o LLM (os casos ambíguos), o sistema mantém a maioria das previsões rápidas (<1 segundo por relatório), evitando o custo proibitivo de usar LLMs para todos os casos.
• Tratamento de Ambiguidade Clínica: O sistema supera limitações de regras fixas ao lidar com distinções sutis (ex: leucemia vs. linfoma, melanoma vs. câncer de pele não melanoma) através da arbitragem contextual do LLM.
• Validação Operacional: Demonstração de que a automação pode reduzir drasticamente a carga de trabalho manual sem comprometer a qualidade dos dados.

4. Resultados

O modelo foi avaliado em um conjunto de teste cego de 2.058 relatórios de patologia cobrindo 19 grupos de tumores.

• Desempenho Geral: O ELM alcançou uma Precisão Ponderada, Recall e F1-Score de 0,94.
  • Superior ao ensemble de codificadores sem LLM (F1: 0,91).
  • Superior a abordagens puramente baseadas em regras (eMaRC: F1: 0,64).
  • Superior a uma abordagem de LLM único sem guia de ensemble (F1: 0,88).
• Melhorias em Categorias Difíceis:
  • Leucemia: F1 aumentou de 0,76 para 0,88.
  • Linfoma: F1 aumentou de 0,76 para 0,89.
  • Câncer de Pele: F1 aumentou de 0,44 para 0,58 (com melhorias específicas para câncer de pele não melanoma chegando a 0,74 com roteamento estratégico).
• Impacto Operacional: No British Columbia Cancer Registry (BCCR), a implantação reduziu a necessidade de revisão manual em 60-70%, economizando aproximadamente 900 horas-pessoa anualmente. A qualidade dos dados manteve-se estável em auditorias trimestrais.

5. Significado e Conclusão

O trabalho demonstra que a combinação estratégica de modelos de linguagem de diferentes escalas resolve o dilema entre precisão e eficiência em ambientes de saúde.

• Viabilidade: Prova que é possível automatizar tarefas complexas de extração de dados clínicos em grande escala sem depender exclusivamente de LLMs caros ou de regras frágeis.
• Escalabilidade: A metodologia é aplicável a outros registros de câncer globais que estão migrando para relatórios de patologia eletrônicos, prometendo economizar milhares de horas-pessoa na vigilância do câncer.
• Futuro: O estudo destaca a necessidade de validação externa em outros idiomas e regiões, bem como o uso de aprendizado ativo para melhorar o desempenho em tipos de tumores raros.

Em suma, o ELM representa um marco na informática em saúde, transformando um gargalo operacional crítico em um processo automatizado, rápido e preciso, permitindo que especialistas humanos foquem em tarefas de maior valor cognitivo.