RadTimeline: Timeline Summarization for Longitudinal Radiological Lung Findings

Resumo Técnico: RadTimeline

1. O Problema

O acompanhamento de achados em relatórios radiológicos longitudinais (ao longo do tempo) é crucial para identificar a progressão de doenças, a resposta ao tratamento e avaliar riscos (como no câncer de pulmão). No entanto, o processo manual de ler múltiplos relatórios de um mesmo paciente, extrair informações relevantes e correlacionar mudanças sutis entre exames é:

• Intenso em tempo: Consome muitos recursos clínicos.
• Cognitivamente sobrecarregante: Difícil de rastrear a evolução de múltiplos nódulos ou lesões simultaneamente.
• Propenso a erros: Achados podem ser perdidos ou mal interpretados quando os relatórios são lidos isoladamente.

Embora existam ferramentas de IA para sumarização, a maioria gera resumos não estruturados. Isso dificulta a verificação de fatos (fact-checking) e a compreensão clara das mudanças temporais específicas de cada achado. Além disso, abordagens anteriores que usam tópicos pré-definidos (como em insuficiência cardíaca) não são práticas para radiologia pulmonar, onde a evolução de nódulos específicos varia muito entre pacientes.

2. Metodologia

Os autores propõem uma nova tarefa de sumarização estruturada em formato de linha do tempo (timeline) e um conjunto de dados para avaliação chamado RadTimeline.

A. Formato de Saída (Timeline)
O resumo é organizado em uma tabela bidimensional:

• Colunas: Representam exames radiológicos com carimbo de data (ex: "2023-05_Chest-CT").
• Células: Contêm fatos atomizados sobre achados pulmonares extraídos de cada relatório (ex: "nódulo subsólido estável no lobo superior direito").
• Linhas: Agrupam achados temporalmente relacionados que representam a evolução de uma mesma lesão. Cada linha possui um cabeçalho (nome do grupo) que descreve as características distintivas do grupo (ex: "nódulo de vidro fosco no lobo superior direito").

B. Abordagem de 3 Passos com LLMs
O sistema utiliza Grandes Modelos de Linguagem (LLMs) em três etapas sequenciais:

1. Extração de Achados: O LLM lê cada relatório individualmente e extrai fatos sobre achados pulmonares, formatando-os como uma lista. Filtros automáticos removem achados ausentes (ex: "sem novos nódulos").
2. Geração de Nomes de Grupos: Com base nos relatórios longitudinais, o LLM gera uma lista de nomes interpretáveis para os grupos de achados (os cabeçalhos das linhas). Esta é uma etapa intermediária crítica para evitar comparações par a par dispendiosas.
3. Atribuição de Grupos: Cada achado extraído é mapeado para um dos nomes de grupos gerados. Isso pode ser feito via:
   • Abordagem baseada em LLM: Usando prompts (zero-shot ou few-shot) para classificar cada achado em um grupo.
   • Abordagem baseada em Embeddings: Usando modelos de vetores (como E5-Mistral) para calcular similaridade semântica entre o achado e o nome do grupo.

C. Conjunto de Dados RadTimeline

• Origem: 10 pacientes de um projeto de vigilância de câncer de pulmão (UW Medicine).
• Dados: 65 relatórios de imagem torácica (CT, Raio-X) ao longo de 5 anos.
• Anotação: Criado com a ajuda de dois estudantes de medicina e um médico. Inclui "achados ouro" (gold findings), atribuições de grupos e nomes de grupos refinados manualmente.
• Métricas de Avaliação: ROUGE-L (para extração e nomes), CoNLL F1 (para agrupamento/clustering) e taxas de achados desnecessários ou perdidos.

3. Resultados Principais

Os experimentos compararam modelos como Llama 3.1 8B e GPT-4o, testando diferentes estratégias de prompt e contextos.

• Extração de Achados:

  • O GPT-4o superou o Llama 3.1, apresentando maior precisão (ROUGE-L de 67 vs 62) e significativamente menos previsões desnecessárias (25% vs 40%).
  • Ambos os modelos tiveram baixas taxas de achados perdidos.
  • Filtros agressivos para remover achados "ausentes" melhoraram a precisão sem aumentar significativamente os erros de omissão.

• Geração de Nomes de Grupos:

  • A qualidade do nome do grupo é crítica. O GPT-4o gerou nomes mais específicos e relevantes.
  • O uso de contexto completo (relatórios inteiros) versus apenas achados (lista extraída) mostrou trade-offs: o contexto completo ajudou a fundir achados relacionados, enquanto a lista de achados reduziu o ruído, mas às vezes dificultou a geração de nomes coerentes.

• Atribuição de Grupos (Agrupamento):

  • Desempenho Humano: A concordância entre anotadores humanos (CoNLL F1) foi de ~82-86%.
  • LLMs: A configuração mais eficaz (GPT-4o com prompts "Multiple" e nomes de grupos gerados pelo próprio GPT-4o) alcançou 84 CoNLL F1, aproximando-se do desempenho humano.
  • Embeddings: Métodos baseados em embeddings (E5-Mistral) alcançaram desempenho próximo ao humano (84 CoNLL F1) quando usados com nomes de grupos "oracle" (ideais) e instruções específicas de domínio, sugerindo que são alternativas mais eficientes computacionalmente se a geração de nomes for aprimorada.
  • Importância da Etapa Intermediária: Remover a etapa de geração de nomes de grupos causou uma queda drástica no desempenho (para ~70 CoNLL F1), confirmando que gerar nomes intermediários é essencial para o agrupamento eficaz.

4. Contribuições Chave

1. Novo Formato de Sumarização: Introdução de uma estrutura de linha do tempo 2D que facilita a comparação temporal e a verificação de fatos, superando limitações de resumos não estruturados.
2. Dataset RadTimeline: Criação de um conjunto de dados anotado manualmente focado em achados pulmonares longitudinais, com métricas específicas para facticidade, qualidade de nomes e agrupamento.
3. Arquitetura de 3 Passos: Demonstração de que dividir a tarefa em extração, geração de nomes de grupo e atribuição é superior à tentativa de agrupamento direto, especialmente para modelos menores ou estratégias baseadas em embeddings.
4. Análise de Trade-offs: Evidência de que o GPT-4o oferece melhor precisão, mas que configurações bem ajustadas de LLMs menores ou embeddings podem atingir desempenho humano em tarefas de agrupamento.

5. Significado e Impacto

O trabalho RadTimeline avança o estado da arte na aplicação de IA na radiologia clínica ao:

• Aumentar a Eficiência Clínica: Automatizar a revisão de históricos complexos, reduzindo a carga cognitiva dos radiologistas.
• Melhorar a Segurança do Paciente: Facilitar a detecção de progressão de doenças (como o crescimento de nódulos) que poderiam ser negligenciados em relatórios isolados.
• Garantir Rastreabilidade: O formato estruturado permite que cada afirmação na sumarização seja vinculada diretamente ao relatório de origem, essencial para cenários clínicos de alto risco.
• Escalabilidade: A metodologia proposta pode ser estendida para outros tipos de registros clínicos longitudinais (histórico de medicação, progressão de sintomas), oferecendo um modelo para sumarização estruturada de dados de saúde complexos.

Em resumo, o RadTimeline demonstra que, com a estruturação adequada e o uso estratégico de LLMs, é possível automatizar a criação de linhas do tempo clínicas com qualidade próxima à humana, resolvendo um problema crítico de análise de dados longitudinais em saúde.