Natural Language Processing Based Solution for Labeling Brain Metastasis Identified in Radiology Reports

Resumo Técnico: Solução Baseada em Processamento de Linguagem Natural para Rotulagem de Metástases Cerebrais Identificadas em Relatórios Radiológicos

Definição do Problema
As metástases cerebrais (MC) representam uma carga significativa na neuro-oncologia, excedendo em muito o volume de tumores primários do sistema nervoso central. No entanto, a quantificação precisa das MC permanece elusiva porque os registros atuais de câncer não são obrigados a capturar a progressão metastática. Embora os registros capturem MC síncronas (presentes no diagnóstico), eles perdem a maioria das MC assíncronas que se desenvolvem após o diagnóstico inicial do câncer. A identificação desses casos assíncronos depende atualmente da revisão manual de registros por registradores treinados, um processo que consome muitos recursos e limita a vigilância em nível populacional. As tentativas existentes de Processamento de Linguagem Natural (PLN) frequentemente dependem da extração de palavras-chave ou analisam apenas a seção "Impressão/Conclusão" dos relatórios radiológicos, podendo perder até 36% dos achados relevantes documentados exclusivamente na seção "Achados". Além além disso, poucos estudos validaram a generalizabilidade do modelo em fontes de dados heterogêneas ou fluxos de trabalho do mundo real.

Metodologia
O estudo desenvolveu e validou um pipeline de PLN utilizando dados de registro de câncer baseados na população de Alberta, Canadá (diagnósticos 2012–2019, acompanhamento até 2022), com validação externa em Ontário e Colúmbia Britânica. A metodologia procedeu através de quatro fases:

1. Curadoria e Amostragem de Dados:

   • Fase 1 (Treinamento Inicial): Para abordar a baixa prevalência de MC, uma estratégia de amostragem estratificada foi empregada utilizando dados do Registro de Câncer de Alberta. Os pacientes foram categorizados por status de tumor cerebral primário e status de metástase síncrona para enriquecer o conjunto de dados. 1.200 relatórios foram anotados manualmente por assistentes de pesquisa sob orientação de radiologistas.
   • Fase 2 (Amostragem Guiada pelo Modelo): Para capturar as MC assíncronas, o modelo da Fase 1 foi aplicado a 30.000 relatórios pós-diagnóstico. As probabilidades preditas foram utilizadas para guiar a amostragem estratificada, resultando em 1.011 relatórios adicionais anotados manualmente.
   • Conjunto de Treinamento Final: O conjunto de treinamento consolidado compreendeu 1.879 relatórios (505 positivos para MC).

2. Arquitetura do Modelo:

   • Modelo Base: O Bio_ClinicalBERT (inicializado com BioBERT e pré-treinado no MIMIC-III) foi selecionado para lidar com a terminologia clínica.
   • Tratamento de Seções: Para respeitar o limite de 512 tokens do modelo e evitar a truncagem de 25% dos relatórios, o pipeline isolou as seções "Achados" e "Impressões" usando expressões regulares.
   • Estratégia de Ensemble: Dois modelos separados foram treinados, um para cada seção. A predição final do relatório foi determinada pela aplicação da probabilidade máxima prevista dos dois modelos componentes.
   • Tratamento de Dados Ausentes: Na validação interna e na validação externa de Ontário, as seções ausentes foram imputadas com o texto completo do relatório. Na validação da Colúmbia Britânica, as seções ausentes foram tratadas como strings vazias.

3. Estratégia de Validação:

   • Validação Interna: Testado em 1.833 relatórios de 357 pacientes (Alberta) diagnosticados entre 2012–2013, sem sobreposição com os dados de treinamento.
   • Validação Externa:
     • Ontário: 17.402 relatórios do St. Michael's Hospital (Toronto) foram filtrados via amostragem estratificada.
     • Colúmbia Britânica: 908 relatórios do Registro de Câncer da BC foram revisados manualmente.
   • Anotação: Todos os conjuntos de validação passaram por anotação manual por profissionais médicos, com discrepâncias adjudicadas por clínicos seniores. Relatórios rotulados como tumores cerebrais primários foram excluídos da avaliação de desempenho de MC.

Principais Resultados

• Validação Interna: Em um limiar de probabilidade de 0,4, o modelo de ensemble alcançou uma sensibilidade de 0,888 e uma precisão de 0,499.
• Desempenho do Ensemble: A abordagem de ensemble superou substancialmente os modelos de seção única. Os modelos de seção única alcançaram sensibilidades de apenas 67,8% (apenas Achados) e 74,2% (apenas Impressões), demonstrando a necessidade de processar ambas as seções.
• Validação Externa: O modelo demonstrou robustez através de diversas distribuições de dados:
  • Ontário: Sensibilidade de 0,918.
  • Colúmbia Britânica: Sensibilidade de 0,726.

Significância e Alegações
O artigo afirma que este pipeline baseado em PLN aborda com sucesso os requisitos operacionais dos registros de câncer ao permitir a vigilância escalável de metástases cerebrais assíncronas. Ao processar tanto as seções "Achados" quanto "Impressões", o sistema captura um volume maior de casos relevantes do que as abordagens de seção única. Os autores afirmam que o modelo atende aos padrões de sensibilidade exigidos para operações de registro e está sendo implementado em fluxos de trabalho de vigilância em Alberta e Colúmbia Britânica. Esta implementação fornece uma base para a vigilância populacional de MC, indo além das limitações dos processos de revisão manual atuais e dos mandatos de registro que capturam apenas casos síncronos.