Automated Extraction of Cancer Registry Data from Pathology Reports: Comparing LLM-Based and Ontology-Driven NLP Platforms

Este estudo demonstra que a plataforma baseada em LLM, Brim Analytics, alcança alta precisão na extração automatizada de dados de registros de câncer a partir de relatórios de patologia, superando o sistema orientado a ontologias DeepPhe, especialmente na determinação do estágio T.

O essencial

Imagine que os hospitais são como bibliotecas gigantes, mas em vez de livros, elas guardam milhões de "relatos de descoberta" escritos à mão por médicos patologistas. Esses relatos descrevem tumores, mas estão escritos em uma linguagem complexa, cheia de termos técnicos e formatos diferentes (alguns parecem cartas, outros parecem formulários de computador).

Para ajudar a combater o câncer, precisamos transformar esses relatos bagunçados em dados organizados, como se fosse encaixar peças de um quebra-cabeça em uma tabela de Excel. Antigamente, pessoas especializadas (os "registradores de tumores") tinham que ler cada um desses milhões de papéis manualmente. É um trabalho exaustivo, lento e caro.

Este estudo da Universidade Johns Hopkins perguntou: "Podemos usar Inteligência Artificial (IA) para fazer esse trabalho de leitura e organização, e qual tipo de IA funciona melhor?"

Eles testaram dois "robôs leitores" diferentes em 364 relatórios reais de câncer de pâncreas e mama. Vamos conhecer os dois concorrentes:

1. Os Dois Concorrentes

O Robô "Brim Analytics" (O Especialista com Manual de Instruções)

• Como funciona: Imagine um estagiário superinteligente que você treinou especificamente para a tarefa. Você lhe dá um manual de instruções muito claro (baseado nas regras oficiais de medicina) e diz: "Se o médico escrever 'cabeça' ou 'parte cefálica', entenda que é o mesmo lugar. Se houver dúvida, marque como 'não encontrado' em vez de chutar."
• A mágica: Ele usa uma tecnologia chamada LLM (Modelo de Linguagem Grande), que é como um cérebro que entende contexto e nuances, mas guiado por regras estritas para não alucinar.
• O resultado: Ele foi excelente! Entendeu quase tudo corretamente (96,7% de precisão no câncer de pâncreas e 93,7% no de mama). Ele foi tão bom que, mesmo quando mudou de ler sobre pâncreas para ler sobre mama (sem ser re-treinado), ele manteve a alta performance.

O Robô "DeepPhe" (O Caçador de Palavras-Chave)

• Como funciona: Imagine um scanner que procura por palavras específicas em um dicionário médico (uma "ontologia"). Se ele vê a palavra "tumor", ele marca. Se vê "metástase", ele marca. Ele não "entende" a frase inteira, apenas busca padrões que já conhece.
• O problema: Ele funciona muito bem quando o relatório é um formulário padronizado (como um check-box), mas se o médico escrever uma carta livre com palavras diferentes, o robô se perde.
• O resultado: Ele foi bom em encontrar os gânglios linfáticos (N stage), mas falhou muito em medir o tamanho do tumor (T stage). No câncer de mama, ele acertou apenas 70% do tamanho do tumor, muitas vezes achando que o tumor era maior do que realmente era.

2. A Batalha de Velocidade e Precisão

• Velocidade: Ambos os robôs são rápidos como o raio. O Brim levou menos de 1 segundo por relatório no pâncreas, e o DeepPhe levou cerca de 1 segundo também. É muito mais rápido que um humano.
• Precisão:
  • O Brim foi o campeão. Ele errou pouco e, quando errou, foi "conservador" (achou que o tumor era menor do que era, o que é mais seguro na medicina do que achar que é maior).
  • O DeepPhe teve mais dificuldade. Ele tendeu a "alucinar" e achar que o tumor era maior do que era (falsos positivos), especialmente em relatórios escritos à mão (não padronizados).

3. A Lição Principal (A Metáfora do Tradutor)

Pense nos relatórios de patologia como cartas escritas em dialetos diferentes.

• O DeepPhe é como alguém que tenta traduzir usando apenas um dicionário. Se a carta usar uma gíria ou uma frase diferente, ele falha.
• O Brim Analytics é como um tradutor humano experiente que, além do dicionário, tem um manual de estilo e entende o contexto da conversa. Ele sabe que "cabeça do pâncreas" e "parte superior" significam a mesma coisa, mesmo que o médico tenha escrito de formas diferentes ao longo dos anos.

Conclusão Simples

O estudo mostra que a Inteligência Artificial moderna (como o Brim) está pronta para ajudar os hospitais. Ela pode ler os relatórios bagunçados e transformá-los em dados organizados com uma precisão impressionante.

Isso não significa que os médicos humanos vão ser substituídos. Pelo contrário! A ideia é que a IA faça o "trabalho sujo" de ler e preencher 90% dos dados, e os especialistas humanos fiquem apenas para revisar os casos difíceis ou duvidosos. Isso libera tempo para os médicos focarem no que realmente importa: cuidar dos pacientes.

Em resumo: A tecnologia deu um grande salto. Hoje, temos robôs leitores que são rápidos, precisos e conseguem entender a "bagunça" dos relatórios médicos reais, abrindo caminho para um futuro onde os dados do câncer são organizados automaticamente para salvar mais vidas.

Resumo técnico

Título: Extração Automatizada de Dados de Registro de Câncer a partir de Relatórios de Patologia: Comparação entre Plataformas NLP Baseadas em LLM e Orientadas a Ontologia

1. Problema Investigado

A padronização de dados oncológicos exige a conversão de relatórios de patologia não estruturados em variáveis estruturadas para registros de câncer. Atualmente, esse processo é majoritariamente manual, realizado por registradores de tumores certificados, o que é intensivo em recursos, lento e propenso a variabilidade na interpretação. Embora existam ferramentas automatizadas, a maioria das avaliações é realizada em condições idealizadas que não refletem a realidade da implantação (devido à vasta heterogeneidade de formatos, terminologias e estruturas dos relatórios entre instituições e ao longo do tempo). Há uma lacuna crítica entre o desempenho reportado dos sistemas e sua utilidade real na oncologia, especialmente quanto à generalização entre diferentes tipos de câncer sem modificações específicas.

2. Metodologia

O estudo foi um estudo retrospectivo realizado no Johns Hopkins Hospital, avaliando duas plataformas de extração automatizada distintas sob condições realistas de implantação:

• Cohortes de Dados:
  • Câncer de Pâncreas (Adenocarcinoma): 330 relatórios de validação (extraídos de um total de 480), cobrindo o período de 2006 a 2025. Os relatórios eram heterogêneos (72,1% narrativos em texto livre, 27,9% com modelos sinópticos estruturados).
  • Câncer de Mama: 34 relatórios independentes (2006-2025), utilizados para testar a generalização entre doenças sem modificações específicas do sistema.
• Sistemas Comparados:
  1. Brim Analytics: Uma plataforma baseada em LLM (Large Language Models) e guiada por especificações. Utiliza um framework onde especialistas clínicos definem explicitamente protocolos de extração (o que extrair, como resolver ambiguidades), que são executados pelo LLM. O sistema foi otimizado em um subconjunto de dados de pâncreas e testado em dados de validação e no conjunto de mama (transferência zero-shot).
  2. DeepPhe: Um sistema de extração de fenótipos de câncer orientado a ontologia (código aberto, baseado no cTAKES). Utiliza uma arquitetura de dupla pipeline combinando uma ontologia específica do domínio com detecção de menções baseada em regras e sumarização de fenótipos, mapeando para o National Cancer Institute (NCI) Thesaurus. Foi executado com configurações padrão (out-of-the-box), sem personalização.
• Padrão-Ouro (Gold Standard): Sete variáveis oncológicas foram definidas (Estágio T, N, M, classificação OncoTree, sítio tumoral, status de margem e grau histológico) seguindo diretrizes da Commission on Cancer e AJCC 8ª edição. A anotação foi realizada por especialistas, com validação inter-rater (κ = 1,0).
• Métricas de Avaliação: Precisão, Recall, F1-score, Especificidade, Acerto (Accuracy) e Coeficiente Kappa de Cohen, além de tempos de processamento.

3. Principais Contribuições

• Validação Realista: Avaliação de sistemas de NLP em relatórios clínicos reais, não modificados, cobrindo uma evolução temporal de 19 anos e formatos mistos (narrativo e sinóptico).
• Comparação de Arquiteturas: Análise direta entre uma abordagem baseada em LLM com regras explícitas (Brim) e uma abordagem baseada em ontologia tradicional (DeepPhe).
• Análise de Generalização Transversal: Teste da capacidade dos sistemas de transferir conhecimento de um tipo de câncer (pâncreas) para outro (mama) sem reengenharia específica.
• Análise de Erros por Formato: Identificação de como a estrutura do relatório (texto livre vs. sinóptico) impacta o desempenho, uma dimensão frequentemente negligenciada em estudos anteriores.

4. Resultados

Desempenho no Câncer de Pâncreas:

• Brim Analytics: Alcançou alta precisão média (96,7%). Destacou-se em Estágio T (96,4%) e Grau Histológico (97,0%). O tempo médio de processamento foi de 0,9 segundos por relatório.
• DeepPhe: Desempenho comparável apenas no Estágio N (96,4%), mas com deficiências notáveis no Estágio T (83,6%) e M (91,5%). O tempo médio foi de 1,1 segundos.
• Análise de Erros: O Brim mostrou um viés conservador (mais falsos negativos, o que é clinicamente preferível para evitar estadiamento excessivo). O DeepPhe apresentou um viés de falsos positivos significativo no Estágio T (superclassificação da extensão do tumor).

Desempenho no Câncer de Mama (Generalização):

• Brim Analytics: Mantive a estabilidade, com queda média de apenas 3,0 pontos percentuais (média de 93,7%). Alcançou 100% de acurácia no Estágio T e Status de Margem.
• DeepPhe: Sofreu uma queda mais acentuada (média de 83,3%, queda de 7,2 pontos percentuais). O Estágio T caiu para 70,6% (quase ao nível do acaso, κ = 0,076), e o Estágio M teve recall muito baixo (20%).

Impacto do Formato do Relatório:

• O Brim demonstrou desempenho agnóstico ao formato (erro de 4,6% em narrativos vs. 1,1% em sinópticos).
• O DeepPhe foi altamente dependente de relatórios estruturados, com taxas de erro de 21,4% em relatórios narrativos no pâncreas, limitando sua utilidade em arquivos históricos.

5. Significado e Conclusões

O estudo demonstra que as plataformas de NLP baseadas em LLM, quando guiadas por especificações clínicas explícitas (como o Brim Analytics), podem atingir alta precisão na extração de dados de registros de câncer, superando sistemas baseados em ontologia tradicionais em cenários de relatórios não estruturados e na generalização entre diferentes tipos de câncer.

• Viabilidade Operacional: O Brim oferece transparência (regras auditáveis), adaptabilidade a novas diretrizes sem retreinamento de modelo e robustez a variações de terminologia.
• Limitações do DeepPhe: A abordagem baseada em ontologia, embora útil para relatórios sinópticos, enfrenta dificuldades significativas com a heterogeneidade de linguagem em textos livres e na generalização para novas doenças sem engenharia de ontologia extensiva.
• Implicações Futuras: Os autores sugerem que a automação deve atuar como uma camada de pré-preenchimento ("first-pass") em fluxos de trabalho com humanos no loop, priorizando casos para revisão humana. O próximo passo crítico é a validação multicêntrica para garantir a generalização em diferentes culturas de documentação e sistemas de EHR.

Em suma, a extração automatizada baseada em LLM é viável e pronta para apoiar fluxos de trabalho de registros de câncer, reduzindo a carga manual e aumentando a padronização dos dados oncológicos.