Tracking Cancer Through Text: Longitudinal Extraction From Radiology Reports Using Open-Source Large Language Models

Este artigo apresenta um pipeline totalmente aberto e localmente implantável, baseado no modelo de linguagem \texttt{qwen2.5-72b} e no framework \texttt{llm\_extractinator}, que extrai com alta precisão informações longitudinais sobre carga tumoral e resposta ao tratamento de relatórios de radiologia, demonstrando a viabilidade de modelos de linguagem abertos para tarefas oncológicas que exigem privacidade e reprodutibilidade.

O essencial

Imagine que os relatórios de radiologia (aqueles textos longos que os médicos escrevem após um exame de tomografia) são como diários de bordo de um navio.

Nesses diários, os médicos registram tudo o que acontece com o "inimigo" (o câncer) ao longo do tempo: se ele está crescendo, encolhendo ou se surgiram novos inimigos. O problema é que esses diários são escritos à mão, de forma desorganizada, com palavras diferentes para a mesma coisa e cheios de detalhes técnicos. Para um computador, ler isso e entender a história completa é como tentar montar um quebra-cabeça onde as peças estão misturadas com areia.

Este artigo apresenta uma solução mágica e segura para ler esses diários automaticamente.

1. O Problema: O Labirinto de Papel

Antes, para ler esses relatórios, os cientistas precisavam de:

• Regras rígidas: Como um manual de instruções que falhava se o médico escrevesse de um jeito diferente.
• Modelos secretos: Inteligências Artificiais (IA) muito poderosas, mas que eram "caixas pretas" de empresas privadas. Isso era um problema porque, em hospitais, os dados dos pacientes são confidenciais e não podem sair do prédio (como levar um diário médico para fora do hospital).

2. A Solução: O Detetive de Código Aberto

Os autores criaram um novo sistema, como se fosse um detetive particular que trabalha dentro da própria casa do hospital (localmente), garantindo que nenhum dado saia dali.

• O Detetive (O Modelo): Eles usaram uma IA de código aberto chamada Qwen2.5-72b. Pense nela como um super-leitor que entende a língua humana perfeitamente e não precisa ser "ensinado" do zero para cada tarefa.
• O Método (O Roteiro): Eles usaram uma ferramenta chamada llm_extractinator. Imagine isso como um molde de biscoito. Você coloca a massa (o texto bagunçado do relatório) dentro, e o molde corta exatamente o formato que você quer (dados organizados em uma tabela), sem desperdício.
• A Missão: O sistema lia dois relatórios de um mesmo paciente (um de hoje e um de meses atrás) e tentava responder: "O tumor A de ontem é o mesmo de hoje? Ele cresceu? Surgiu um tumor novo?".

3. Como Funciona na Prática?

O sistema foi treinado para seguir as regras do RECIST (que é como um "manual de regras" internacional para medir tumores).

• Ligando os Pontos: Em vez de ler um relatório de cada vez, o sistema lia o par (passado e presente) juntos. É como se você lesse o capítulo 1 e o capítulo 2 de um livro ao mesmo tempo para entender a evolução da história, em vez de ler apenas o capítulo 2 e adivinhar o que aconteceu antes.
• A Linguagem: Eles ensinaram o sistema a ignorar ruídos e focar no essencial: tamanho do tumor, localização exata e se ele é "alvo" (o principal), "não-alvo" (outros) ou "novo".

4. O Resultado: Quase Perfeito

Eles testaram esse sistema em 50 pares de relatórios reais (100 exames no total) e o resultado foi impressionante:

• Precisão: O sistema acertou mais de 93% dos detalhes importantes (tamanho, nome, localização).
• Comparação: Quando dois médicos humanos leram os mesmos relatórios, eles concordaram entre si em 93% dos casos. O sistema da IA ficou quase no mesmo nível de precisão dos humanos!
• Segurança: Como tudo roda no computador do hospital, os dados dos pacientes nunca foram para a nuvem ou para empresas externas.

5. Por que isso é importante?

Imagine que, em vez de ter apenas 50 diários, você pudesse ler milhões de diários de pacientes em segundos.

• Pesquisa: Os cientistas poderiam descobrir padrões de cura muito mais rápido.
• Privacidade: Os hospitais podem usar essa tecnologia sem medo de vazar dados sensíveis.
• Acesso: Como o sistema é "código aberto" (como um receita de bolo que qualquer um pode copiar e melhorar), qualquer hospital no mundo pode usá-lo sem pagar licenças caras.

Resumo da Ópera

Os autores criaram um robô leitor de histórias que trabalha dentro do hospital, segue regras estritas de medicina e consegue transformar textos confusos de radiologia em dados organizados e precisos, quase tão bem quanto um médico especialista, mas de forma automática e segura. É um passo gigante para usar a inteligência artificial a favor da saúde, sem abrir mão da privacidade.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Tracking Cancer Through Text: Longitudinal Extraction From Radiology Reports Using Open-Source Large Language Models", apresentado em português:

1. Problema

Os relatórios de radiologia contêm informações longitudinais cruciais sobre a carga tumoral, resposta ao tratamento e progressão da doença, essenciais para a oncologia e critérios padronizados como o RECIST (Response Evaluation Criteria in Solid Tumors). No entanto, a natureza narrativa e não estruturada desses relatórios dificulta a análise automatizada em escala.

Existem três desafios principais identificados no estudo:

• Formato Não Estruturado: A extração de dados específicos (como dimensões de lesões e localizações) de texto livre é complexa.
• Limitações de Privacidade e Propriedade: A maioria dos sistemas de ponta utiliza Grandes Modelos de Linguagem (LLMs) proprietários, o que levanta preocupações sobre privacidade de dados, segurança e reprodutibilidade em ambientes de saúde sensíveis.
• Falta de Abordagem Longitudinal: Esforços anteriores tratam relatórios como documentos independentes, ignorando a necessidade de vincular lesões ao longo do tempo para avaliar a evolução da doença e a resposta terapêutica.

2. Metodologia

O estudo propõe um pipeline totalmente de código aberto e localmente implantável para extração de informações longitudinais de relatórios de TC (Tomografia Computadorizada) de tórax/abdômen em holandês.

• Conjunto de Dados:

  • Dados retirados do Radboudumc (março de 2021 a março de 2025).
  • Seleção de pacientes com múltiplos relatórios em diferentes pontos temporais.
  • Filtro inicial baseado na presença do termo "target" (alvo) em pelo menos dois relatórios.
  • Teste Final: 50 pares de relatórios (100 relatórios individuais) após revisão manual e divisão em conjunto de debug (10 pares) e conjunto de teste (50 pares).

• Arquitetura do Sistema:

  • Framework: Utilização do llm_extractinator, um framework de código aberto agnóstico à linguagem para processamento de texto clínico.
  • Modelo LLM: O modelo Qwen2.5-72b (versão instruct-q4_K_M) foi selecionado após avaliação comparativa por seu desempenho superior dentro das restrições computacionais.
  • Hardware: Inferência realizada em duas GPUs NVIDIA A100 (40 GB cada), com temperatura definida como 0 para garantir consistência.

• Engenharia de Prompt e Processamento:

  • Processamento em Pares: Os relatórios são concatenados para permitir que o modelo raciocine sobre a continuidade temporal, identificando se uma lesão persistiu, resolveu ou se tornou nova.
  • Regras RECIST: O prompt foi configurado para seguir estritamente as convenções RECIST, incluindo a identificação de valores numéricos corretos em tabelas, validação de identificadores de imagem (SE-IMA) e categorização de lesões em Alvo (TL), Não-Alvo (NTL) e Novas (NL).
  • Parser de Saída: Uso de modelos Pydantic v2 para forçar a saída em formato JSON estruturado, garantindo que os dados extraídos (rótulo, descrição, tamanho em mm, SE-IMA) sigam um esquema definido.

• Avaliação:

  • Comparação das saídas do LLM com anotações manuais de dois leitores independentes.
  • Métricas avaliadas em três níveis: consistência do rótulo (identificação e vinculação temporal), precisão do tamanho e precisão do identificador de imagem (SE-IMA).

3. Principais Contribuições

1. Pipeline de Código Aberto: Apresentação de uma solução totalmente reprodutível e implantável localmente, eliminando a dependência de APIs proprietárias e garantindo que os dados de pacientes permaneçam dentro da instituição.
2. Formulação de Tarefa Longitudinal: Definição de uma nova abordagem para vinculação de lesões em múltiplos pontos temporais sob as diretrizes RECIST, tratando o par de relatórios como uma unidade de raciocínio.
3. Validação Quantitativa: Demonstração de que LLMs de código aberto podem atingir desempenho clinicamente significativo (>93% de precisão em nível de atributo) em tarefas complexas de oncologia.

4. Resultados

A avaliação no conjunto de 50 pares de relatórios mostrou alto desempenho:

• Precisão em Nível de Atributo:
  • Lesões Alvo (TL): 93,7% de precisão.
  • Lesões Não-Alvo (NTL): 94,9% de precisão.
  • Novas Lesões (NL): 94,0% de precisão.
• Precisão Global:
  • A precisão agrupada para extração completa de TL foi de 78,1%.
  • Para NTL e NL, a precisão de identificação correta foi de 90,0% e 89,1%, respectivamente.
• Confiabilidade:
  • 62,0% dos pares de relatórios tiveram todos os atributos extraídos sem erros.
  • A concordância entre os leitores humanos foi alta (93,3%), e as diferenças entre o LLM e os leitores foram estatisticamente insignificantes.
• Desempenho por Tipo de Erro:
  • Os erros em lesões alvo foram equilibrados entre atributos de tamanho (45%) e identificadores de imagem (55%).
  • Desafios persistiram em casos de medições difíceis (ex: "não mensurável" ou lesões resolvidas com traços), onde o modelo às vezes falhou em retornar valores nulos ou interpretar contextos ambíguos.

5. Significado e Conclusão

O estudo demonstra que é viável utilizar LLMs de código aberto e implantados localmente para extrair dados estruturados longitudinais de textos clínicos rotineiros, superando barreiras de privacidade e reprodutibilidade.

• Impacto na Pesquisa Clínica: A capacidade de transformar relatórios não estruturados em dados estruturados em larga escala permite análises populacionais retrospectivas e o desenvolvimento de modelos de IA mais robustos.
• Privacidade de Dados: A abordagem local resolve o dilema de usar IA avançada sem expor dados sensíveis de pacientes a servidores externos.
• Futuro: Embora existam desafios relacionados a formatação de tabelas e ambiguidades de medição, o pipeline proposto oferece uma base sólida para a automação de tarefas oncológicas complexas, sugerindo que LLMs abertos são uma alternativa viável e eficaz aos sistemas proprietários na medicina.