In-Domain Supervised Pathology Report Classification: A Reproducible Pipeline from Data Curation to Production-Matched Evaluation

Resumo Técnico: Classificação de Relatórios de Patologia Supervisionada In-Domain

Definição do Problema
Modelos de Processamento de Linguagem Natural (PLN) biomédicos supervisionados frequentemente sofrem uma degradação significativa de desempenho quando implantados em diferentes registros de câncer devido a mudanças de distribuição (distribution shifts). Este problema surge de heterogeneidades nos estilos de relatórios, fontes de dados e fluxos de trabalho clínicos. Especificamente, o classificador MOSSAIC OncoID, treinado com dados do registro SEER de Seattle, alcançou alta precisão localmente, mas exibiu uma alta taxa de falsos positivos (FPR) quando implantado no Registro de Câncer de Kentucky (KCR). Isso resultou em uma carga de revisão manual insustentável para a equipe do registro, pois o modelo sinalizou muitos relatórios não relatáveis. Além disso, os modelos supervisionados existentes frequentemente dependem de conjuntos de dados que representam tipos únicos de câncer ou instalações únicas, limitando sua generalização.

Metodologia
Os autores propõem um pipeline supervisionado in-domain reprodutível, projetado para treinar um classificador usando dados coletados rotineiramente do registro alvo (KCR). A metodologia abrange curadoria de dados, treinamento do modelo e avaliação correspondente à produção.

• Curadoria e Estratificação de Dados:
  O pipeline utiliza relatórios de patologia do banco de dados KCR Feeds, estratificando os dados em três subconjuntos para garantir a representatividade:

  1. Relatórios Vinculados ($M_{linked}$/$H_{linked}$): Relatórios vinculados a casos de câncer no sistema SEERDMS. Estes são estratificados por topografia de câncer (sítio primário) para garantir ampla representação em diversos sítios de câncer.
  2. Relatórios Não Vinculados ($M_{unlinked}$/$H_{unlinked}$): Relatórios categorizados por um Especialista em Dados de Oncologia (ODS), mas não vinculados a um caso específico. São estratificados por categorias atribuídas pelo ODS (ex: "Necessita Revisão", "Metástases", "Sem Câncer").
  3. Negativos do Modelo de Seattle ($SM^-$): Relatórios rotulados como não relatáveis pelo modelo OncoID de Seattle. Estes são excluídos do treinamento para evitar ruído de rótulo (pois carecem de validação humana), mas são incluídos no conjunto de teste (holdout) para simular o fluxo de dados do mundo real.

  Os dados de treinamento são divididos em 80:20 para relatórios vinculados e 90:10 para não vinculados, para corresponder às proporções observadas nos fluxos de dados de produção.

• Arquitetura do Modelo e Treinamento:
  O estudo utiliza o classificador OncoID, uma arquitetura de Rede de Autoatenção Hierárquica (HiSAN) implementada via pacotes de software BARDI e FrESCO.

  • Pré-processamento: A construção do vocabulário inclui contagem mínima de palavras de 5, remoção de caracteres especiais e exclusão de nomes próprios comuns.
  • Tratamento de Desequilíbrio de Classes: Para priorizar a revocação (recall) (minimizando casos de câncer perdidos), os autores experimentaram esquemas de ponderação de função de perda (30:1, 15:1 e sem peso) para as classes de não-relatáveis versus relatáveis.
  • Seleção do Ponto de Operação: O objetivo é manter uma Taxa de Falsos Negativos (FNR) extremamente baixa, mantendo ao mesmo tempo a Taxa de Falsos Positivos (FPR) baixa o suficiente para ser gerenciável pelos revisores humanos.

• Avaliação e Validação:

  • Holdout Correspondente à Produção: Um conjunto de teste ($H$) de 418.166 relatórios espelha o ambiente de produção, incluindo dados rotulados por humanos e filtrados por modelo.
  • Auditoria Manual Cega: Uma revisão manual de duas etapas de 600 relatórios foi realizada para estimar a prevalência de verdadeiros positivos e quantificar o ruído de rótulo. Dois funcionários de ODS independentes revisaram os relatórios, com um terceiro adjudicando conflitos, seguindo estritamente as Diretrizes de Codificação e Relatabilidade SEER de 2024.
  • Revisão Qualitativa: Os autores analisaram 30 falsos negativos e 30 falsos positivos para identificar padrões em erros de classificação.

Principais Resultados

• Melhoria de Desempenho: O modelo OncoID treinado em Kentucky superou significativamente o modelo de base treinado em Seattle no conjunto de teste do KCR.
  • F1 Score: Melhorou de 0.860 (Seattle) para 0.922 (Kentucky).
  • Taxa de Falsos Negativos (FNR): Reduziu de 0.010 para 0.003.
  • Taxa de Falsos Positivos (FPR): Reduziu de 0.183 para 0.097.
• Seleção do Ponto de Operação: O modelo treinado com o esquema de peso de perda de 15:1 foi selecionado como o ponto de operação final, alcançando uma FNR de 0.003 e uma FPR de 0.097. Este equilíbrio prioriza a captura de casos enquanto reduz a carga de revisão manual em aproximadamente 47% em comparação com o modelo de base (18,3% vs. 9,7% de relatórios não-relatáveis sinalizados).
• Análise de Ruído de Rótulo: A auditoria manual cega revelou que os rótulos originais do conjunto de dados continham ruído substancial. A prevalência positiva estimada no conjunto de teste caiu de 0.500 (rótulo original) para 0.398 (rótulo auditado), indicando que cerca de 20% dos relatórios rotulados como "relatáveis" eram, na verdade, não-relatáveis. Os erros concentraram-se em sítios primários raros (ex: língua, boca, gengiva) e categorias específicas como "Projeto-Específico".
• Desempenho por Sítio: O modelo alcançou FNRs próximas de zero para cânceres comuns (mama: 0.0001, pulmão: 0.0005), mas apresentou FNRs mais altas para cânceres raros, refletindo a dificuldade de adquirir dados de treinamento equilibrados para condições raras.

Significância e Alegações
O artigo alega que treinar um classificador supervisionado em dados in-domain que correspondam à formatação, linguagem e terminologia locais é essencial para superar mudanças de distribuição em PLN de registros de câncer. A principal contribuição é uma receita reprodutível para que outros registros de câncer possam:

1. Construir conjuntos de treinamento in-domain usando fluxos de dados rotineiros.
2. Construir conjuntos de teste (holdout) correspondentes à produção que incluam dados rotulados por humanos e filtrados por modelos.
3. Selecionar pontos de operação que controlem estritamente a FNR enquanto mantêm a FPR gerenciável para a equipe.

Os autores enfatizam que, embora o modelo de Kentucky demonstre forte potencial para reduzir a carga de revisão manual sem perder casos, a abordagem não é uma solução "tamanho único". Ela requer curadoria de dados local e reconhece que o ruído de rótulo e as variações linguísticas entre as instalações permanecem desafios. O estudo não pretende resolver todos os problemas de generalização, mas fornece um framework validado para que os registros adaptem os modelos aos seus contextos operacionais específicos. Trabalhos futuros são propostos para explorar o suavizamento de rótulos (label smoothing), testes de robustez contra variações de fraseologia de instalações e mudanças de HL7, além do uso potencial (mas atualmente restrito) de Grandes Modelos de Linguagem (LLMs), dadas as limitações de privacidade e recursos.