Fully Automated Abstraction of Longitudinal Breast Oncology Records with Off-The-Shelf Large Language Models

Este estudo demonstra que modelos de linguagem de grande escala prontos para uso podem automatizar com alta precisão a extração de dados de registros oncológicos longitudinais complexos de câncer de mama, alcançando desempenho comparável ao de oncologistas especialistas e permitindo a criação escalável de conjuntos de dados de pesquisa de alta qualidade sem necessidade de ajuste fino.

O essencial

Imagine que você tem uma biblioteca gigante cheia de livros antigos, escritos à mão, com letras miúdas, rabiscos e páginas soltas. Esses "livros" são os prontuários médicos de pacientes com câncer de mama. Para os pesquisadores, esses livros contêm a resposta para perguntas vitais: "O câncer voltou?", "Quais remédios funcionaram?" e "Quanto tempo o paciente viveu?".

O problema é que, até hoje, para ler esses livros e tirar as informações importantes, era necessário contratar uma equipe de especialistas (médicos oncologistas) para ler cada página, um por um. É um trabalho lento, caro e que deixa muitos dados importantes escondidos no meio do texto.

A Grande Descoberta: O "Leitor Mágico"

Este estudo de Stanford testou uma ideia ousada: e se usássemos uma Inteligência Artificial (IA) moderna, como o ChatGPT ou o Gemini, para ler esses livros sozinha?

Os pesquisadores não ensinaram a IA de um jeito novo (não fizeram "treinamento especial"). Eles pegaram modelos de IA que já existem no mercado ("prontos para uso") e criaram um sistema inteligente para ajudá-los a encontrar as informações certas.

Como funcionou a mágica? (A Analogia do Detetive)

Pense na IA não como um robô que lê tudo de uma vez, mas como um detetive superorganizado:

1. A Biblioteca Bagunçada: O prontuário do paciente é como uma pilha de documentos desordenada: notas de consultas, laudos de exames, receitas de remédios, tudo misturado.
2. O Mapa do Tesouro: Antes de a IA começar a ler, o sistema cria um "mapa". Se o detetive precisa saber a data do diagnóstico, ele vai direto para os laudos de patologia (como quem vai direto ao capítulo da história onde o herói nasce). Se precisa saber quais remédios foram dados, ele vai para as notas de administração de medicamentos.
3. A Leitura Rápida: A IA lê apenas as partes relevantes, extrai a informação e a coloca em uma planilha organizada. Ela faz isso em minutos, algo que levaria horas para um humano.

O Grande Teste: IA vs. Humanos

Os pesquisadores pegaram 100 pacientes com histórias de câncer complexas (alguns com mais de 3.000 páginas de texto cada!). Eles pediram para a IA extrair dados e compararam o resultado com o de médicos especialistas que fizeram o mesmo trabalho manualmente.

Os Resultados (A Metáfora do Esporte)

• Precisão nos Fatos Simples: Para coisas que estão escritas claramente, como "o tumor é do tipo X" ou "o paciente tem uma mutação genética Y", a IA foi quase perfeita. Ela acertou 99% das vezes, tão bem quanto os melhores médicos. Foi como um jogador de tênis que acerta 99% dos saques.
• O Desafio da História Completa: A parte mais difícil foi reconstruir a linha do tempo dos tratamentos (quem tomou qual remédio, quando e por que parou). Aqui, a IA ficou um pouco atrás dos médicos especialistas, mas ainda assim foi melhor do que os coordenadores de pesquisa (pessoas que ajudam os médicos, mas não são especialistas).
• O Resultado Final (A Lição de Sobrevivência): O ponto mais importante foi este: mesmo que a IA tenha cometido pequenos erros ao detalhar a história de cada paciente individualmente, quando olhamos para o grupo inteiro, os resultados foram idênticos.
  • A curva de sobrevivência (quem viveu quanto tempo) calculada pela IA foi a mesma da calculada pelos humanos.
  • As estatísticas sobre quais fatores aumentam o risco de morte foram as mesmas.

Por que isso é revolucionário?

Imagine que você quer entender como o clima mudou no mundo nos últimos 50 anos.

• O Jeito Antigo: Você contrata 1.000 pessoas para ler diários de bordo de navios, um por um. Levaria uma vida inteira.
• O Novo Jeito (IA): Você usa um robô para ler todos os diários em uma tarde. Ele pode errar um detalhe aqui ou ali, mas o mapa do clima global que ele desenha é perfeito.

Conclusão Simples

Este estudo mostrou que podemos usar IAs "compradas na prateleira" (sem precisar criar uma nova do zero) para transformar montanhas de textos médicos bagunçados em dados organizados e úteis para pesquisas.

Isso significa que, no futuro, poderemos estudar milhares de pacientes de uma só vez, responder perguntas complexas sobre o câncer muito mais rápido e, o mais importante, fazer isso sem precisar gastar anos e milhões de dólares com leitura manual. A IA não substitui o médico, mas ela dá ao médico e ao pesquisador superpoderes para ver o que antes estava escondido nas páginas.

Resumo técnico

Título do Estudo

Abstração Totalmente Automatizada de Registros Longitudinais de Oncologia Mamária com Modelos de Linguagem de Grande Escala (LLMs) Prontos para Uso.

1. O Problema

A pesquisa clínica em oncologia depende criticamente da extração manual de variáveis-chave dos registros médicos eletrônicos (RME) para criar conjuntos de dados estruturados. Este processo apresenta desafios significativos:

• Gargalo de Escala: A abstração manual é intensiva em mão de obra, limitando o tamanho e a qualidade de estudos observacionais e epidemiológicos.
• Dados Não Estruturados: Informações cruciais, como recorrência da doença, histórico de tratamento, biomarcadores e motivos de descontinuação, estão frequentemente documentados apenas em texto livre (notas clínicas), e não em campos estruturados.
• Inconsistência: A revisão manual é suscetível a variações entre diferentes revisores.
• Limitações de Modelos Atuais: Abordagens anteriores frequentemente dependem de sistemas proprietários ou modelos treinados especificamente para uma instituição, o que limita a reprodutibilidade, a portabilidade e o controle local sobre dados de saúde protegidos (PHI).

O objetivo do estudo foi determinar se LLMs de propósito geral "prontos para uso" (off-the-shelf), disponíveis em ambientes compatíveis com HIPAA, poderiam abstrair variáveis complexas de registros oncológicos longitudinais sem necessidade de fine-tuning (ajuste fino) ou treinamento específico da instituição.

2. Metodologia

O estudo foi realizado no Stanford University com aprovação do IRB (protocolo 19482).

• Cohorte: 100 pacientes selecionados aleatoriamente de um banco de dados institucional de câncer de mama, enriquecido para casos complexos (pacientes que realizaram testes FoundationOne). A mediana de acompanhamento foi de 6,5 anos, com um tamanho de prontuário mediano de ~3.100 páginas de texto.
• Pipeline de Abstração Automatizada:
  • Entrada: Documentos de texto brutos (notas clínicas, laudos de patologia, registros de administração de medicamentos, dados demográficos) exportados do RME, sem pré-processamento, normalização ou limpeza.
  • Processo: O pipeline segmenta os documentos em "chunks" (trechos) e utiliza estratégias de recuperação (RAG - Retrieval-Augmented Generation) combinando busca exata, BM25 e embeddings semânticos para encontrar os trechos relevantes para cada variável.
  • Modelos: Foram testados quatro LLMs comerciais via plataforma SecureGPT: GPT-5, GPT-4o, DeepSeek-R1 e Gemini 2.5 Pro.
  • Prompting: Prompts específicos para cada tarefa foram utilizados. O pipeline é stateless (sem histórico de chat), mas mantém saídas intermediárias para tarefas multi-passos.
• Padrão-Ouro (Ground Truth) e Comparadores:
  • Oncologistas: Quatro oncologistas especializados em câncer de mama realizaram a abstração manual. Para a variável mais complexa (linhas de terapia sistêmica), um segundo oncologista abstraiu independentemente para estabelecer a variabilidade inter-experto como benchmark.
  • Coordinadores de Pesquisa: Dados históricos de coordenadores foram usados como comparador adicional.
• Variáveis Avaliadas: Datas de diagnóstico e recorrência, estágio clínico, subtipo de biomarcadores (HR, HER2), resultados de testes genéticos (BRCA, PIK3CA, ESR1) e reconstrução detalhada de terapias sistêmicas (drogas, datas, intenção, motivo de descontinuação).
• Métricas de Desempenho: Concordância exata para variáveis categóricas; concordância dentro de ±90 dias para datas; similaridade de Jaccard para linhas de terapia; e preservação de estimativas de sobrevivência e Hazard Ratios (HR).

3. Principais Contribuições

• Pipeline Open-Source: Desenvolvimento de um pipeline de abstração totalmente automatizado que utiliza LLMs comerciais sem necessidade de treinamento específico da instituição.
• Validação Rigorosa: Comparação direta contra múltiplos oncologistas especialistas e coordenadores de pesquisa em um cenário de dados reais e complexos.
• Validação de Inferência Epidemiológica: Demonstração de que, apesar de erros no nível do paciente individual, os dados derivados de LLMs preservam as estimativas de sobrevivência e os efeitos de risco em nível de coorte.
• Validação Externa: Teste do pipeline em uma coorte externa distinta (pacientes jovens com câncer de mama e gravidez) sem modificações, confirmando a robustez do método.

4. Resultados Chave

• Desempenho em Variáveis Clínicas (Não Terapêuticas): Os melhores LLMs alcançaram concordância excepcional com os especialistas:
  • Status de recorrência: 99%.
  • Variantes patogênicas germinativas BRCA1/2: 100%.
  • Status de Receptor Hormonal (HR): 99%.
  • Status HER2: 96%.
  • Estágio clínico: 91%.
• Abstração de Terapia Sistêmica:
  • Para a extração de drogas anticâncer, os LLMs atingiram uma similaridade de Jaccard de 0,90-0,91, com intervalos de confiança sobrepostos aos do segundo oncologista (0,86-0,89), indicando desempenho comparável à variabilidade inter-experto.
  • Para a reconstrução exata das linhas de terapia, o desempenho dos LLMs foi ligeiramente inferior ao do segundo oncologista (diferença de ~9 pontos percentuais), mas ainda superior aos coordenadores de pesquisa.
  • Todos os quatro LLMs superaram os coordenadores de pesquisa na abstração de terapia sistêmica.
• Preservação de Inferência Estatística:
  • As curvas de sobrevivência (Kaplan-Meier) para Sobrevida Global e Sobrevida Livre de Recorrência foram estatisticamente indistinguíveis entre os conjuntos de dados derivados de especialistas e os derivados de LLMs (p > 0,90).
  • As estimativas de Hazard Ratio (HR) para estágio e status de receptor hormonal foram similares entre os métodos, sem heterogeneidade significativa.
• Validação Externa: Em uma coorte de 97 pacientes jovens, o pipeline não modificado manteve alto desempenho na detecção de recorrência e uso de terapia endócrina adjuvante.

5. Significado e Conclusão

O estudo demonstra que LLMs de propósito geral, integrados em um pipeline de recuperação fixo, podem automatizar a abstração de registros oncológicos complexos com desempenho que se aproxima da variabilidade entre especialistas humanos, sem a necessidade de fine-tuning ou dados de treinamento rotulados.

• Impacto na Pesquisa: Esta abordagem oferece um caminho prático para escalar a criação de conjuntos de dados retrospectivos de alta qualidade a partir de registros médicos narrativos, permitindo estudos observacionais de grande escala que antes eram inviáveis devido ao custo e tempo da revisão manual.
• Implicações Clínicas: Facilita a realização de estudos de coorte multi-institucionais, onde cada instituição pode executar o mesmo pipeline validado localmente, mantendo os dados do paciente dentro de seus sistemas (privacidade), enquanto compartilha apenas os dados estruturados anonimizados.
• Limitações e Futuro: O desempenho é dependente da qualidade e disponibilidade dos dados no prontuário (ex: notas de hospitais externos não integradas podem levar a erros). Embora haja uma lacuna em tarefas de raciocínio clínico complexo no nível individual, a agregação de dados em nível de coorte parece robusta. O estudo enfatiza a necessidade de rigor científico, definições transparentes e benchmarks contínuos à medida que a abstração automatizada se torna comum.

Em resumo, o trabalho valida o uso de LLMs comerciais como uma ferramenta viável e poderosa para transformar dados clínicos não estruturados em evidência científica escalável.