Resumo Técnico: DeepSeek para Compreensão de Relatórios de Patologia

Definição do Problema

Relatórios de patologia são documentos densos em informações e críticos na oncologia, contendo dados sobre histologia tumoral, estadiamento e biomarcadores. No entanto, seu formato de texto livre não estruturado dificulta o reúso escalável para construção de coortes, enriquecimento de registros e pesquisa de desfechos. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial para interpretar esses formatos variados, sua utilidade específica para a compreensão de relatórios de patologia — particularmente no que diz respeito à extração de tipo de câncer, estadiamento AJCC e predição de prognóstico — requer um benchmarking independente. Além disso, permanece incerto se variantes de LLM maiores e mais caras (ex: modelos "Pro") oferecem ganhos de desempenho suficientes sobre variantes mais rápidas e baratas (ex: "Flash") para justar o custo, e se as variáveis estruturadas extraídas por LLM adicionam valor prognóstico além do texto bruto em modelagem supervisionada.

Metodologia

O estudo conduziu um benchmark independente utilizando tarefas do estilo PathRep-Bench derivadas do The Cancer Genome Atlas (TCGA). O conjunto de dados compreendeu 952 relatórios de patologia divididos em conjuntos de treinamento (7.618), validação (953) e teste (952).

Tarefas e Modelos

Três tarefas específicas foram avaliadas:

1. Identificação de Tipo de Câncer: Seleção de um entre 32 tipos de câncer do TCGA.
2. Predição de Estadiamento AJCC: Mapeamento de relatórios para quatro grupos de alto nível de estágio (I–IV), incluindo o tratamento de subestágios.
3. Predição de Prognóstico: Classificação de relatórios como "bom" ou "ruim" com base em limiares específicos da doença para sobrevivência.

Dois modelos DeepSeek foram comparados: DeepSeek V4 Flash e DeepSeek V4 Pro.

• Estratégia de Prompting: Todas as chamadas utilizaram prompting com restrição de JSON. A identificação do tipo de câncer utilizou o modo de não-raciocínio (non-reasoning), enquanto o estadiamento AJCC e o prognóstico utilizaram o modo de raciocínio (reasoning).
• Baselines de Prognóstico: O estudo treinou classificadores de regressão logística TF-IDF locais. Avaliou seis conjuntos de características, incluindo apenas texto, texto mais campos estruturados originais, e texto mais variáveis extraídas pelo DeepSeek.
• Métricas de Avaliação: Acurácia e Macro F1 foram calculados com intervalos de confiança de 95% derivados de reamostragem bootstrap não paramétrica. Comparações estatísticas pareadas usaram testes de McNemar e diferenças de bootstrap pareadas.

Principais Resultados

1. Identificação de Tipo de Câncer

• Desempenho: O DeepSeek V4 Flash alcançou um desempenho próximo ao teto com 0,9800 de acurácia e 0,9778 de macro F1.
• Comparação de Modelos: O DeepSeek V4 Pro não apresentou melhoria significativa no desempenho (0,9769 de acurácia), mas incorreu em um custo aproximadamente 2,54 vezes maior.
• Análise de Erros: Os erros restantes foram clinicamente plausíveis (ex: reto vs. adenocarcinoma de cólon).

2. Predição de Estadiamento AJCC

• Desempenho: O DeepSeek V4 Flash alcançou 0,8165 de acurácia e 0,7841 de macro F1 em 594 relatórios de teste rotulados.
• Comparação de Modelos: O DeepSeek V4 Pro não melhorou significativamente a acurácia (0,8098) e sofreu de problemas de confiabilidade, produzindo 14 saídas finais vazias sob o orçamento de 4.096 tokens. Embora o Pro tenha mostrado uma acurácia ligeiramente superior em respostas válidas, as saídas vazias e o custo significativamente mais alto tornaram o Flash a escolha superior neste cenário.
• Análise de Erros: O principal modo de erro foi subestimar o Estágio IV como Estágio III.

3. Predição de Prognóstico

• Prompting de LLM: O prompting direto do DeepSeek foi fraco. O desempenho zero-shot foi de 0,5083 de macro F1, melhorando apenas ligeiramente para 0,5647 com prompting 8-shot.
• Modelagem Supervisionada: Um classificador de regressão logística TF-IDF apenas de texto alcançou o maior desempenho (0,8571 de acurácia, 0,8543 de macro F1).
• Ablação de Características: As variáveis estruturadas extraídas pelo DeepSeek não melhoraram significativamente a predição de prognóstico sob o framework avaliado em comparação com o uso direto do texto original do relatório de patologia. De fato, modelos que dependiam exclusivamente de variáveis extraídas pelo DeepSeek tiveram desempenho substancialmente inferior (0,6407 de macro F1) aos que utilizaram o texto bruto.

4. Análise de Custo

O DeepSeek V4 Flash foi consistentemente mais econômico. Para identificação de tipo de câncer, o Flash custou US$ 0,19 por 1.000 relatórios comparado a US$ 0,49 para o Pro. Para estadiamento AJCC, o Flash custou US$ 0,27 contra US$ 1,17 para o Pro.

Principais Contribuições

1. Benchmarking Independente: Forneceu a primeira avaliação independente da família de modelos DeepSeek nas tarefas do PathRep-Bench, estabelecendo baselines de desempenho para extração de câncer, estadiamento e prognóstico.
2. Análise de Troca Custo-Desempenho: Demonstrou que o modelo DeepSeek V4 Flash, mais barato, superou ou igualou o V4 Pro em acurácia, oferecendo simultaneamente melhor confiabilidade (menos saídas vazias) e menor custo.
3. Validação de Arquitetura Híbrida: Mostrou que, embora os LLMs se destaquem na extração flexível de informações e suporte ao estadiamento, as variáveis estruturadas extraídas não adicionam valor prognóstico significativo além do texto bruto no framework avaliado. O próprio texto bruto reteve a maior parte da informação prognóstica.
4. Caracterização de Erros: Identificou que as falhas dos modelos eram frequentemente clinicamente plausíveis (ex: confusão entre subtipos de câncer adjacentes ou subestimação de estadiamento) em vez de alucinações aleatórias.

Significância e Alegações

O artigo conclui que o DeepSeek é eficaz para a extração de informações de patologia e fornece um forte suporte para o estadiamento AJCC, particularmente quando se utiliza a variante Flash, que é mais eficiente em termos de custo. No entanto, a predição de prognóstico é melhor enquadrada como uma tarefa de modelagem de desfecho supervisionada, em vez de uma tarefa pura de prompting ou extração de LLM.

Os autores propõem uma arquitetura híbrida (ilustrada na Figura 2 do artigo) onde:

• O DeepSeek lida com tarefas de compreensão de linguagem flexíveis: extração de tipo de câncer, suporte ao estadiamento e conversão de relatórios em variáveis estruturadas.
• Modelos baseados em texto supervisionados (ex: regressão logística em características TF-IDF) lidam com a predição de prognóstico, utilizando o texto bruto do relatório diretamente.

O estudo enfatiza que, sob o framework avaliado, as variáveis extraídas por LLM não adicionaram valor significativo à predição de prognóstico além do que já era capturado no texto bruto, sugerindo que, para predição de desfechos, o aprendizado supervisionado direto no texto não estruturado continua sendo a abordagem mais robusta. Os autores observam limitações, incluindo o uso de um único conjunto de dados público, endpoints de prognóstico binários simplificados e a falta de coortes de validação externa.