INFORM-CT: INtegrating LLMs and VLMs FOR Incidental Findings Management in Abdominal CT

Título: INFORM-CT: Integração de LLMs e VLMs para Gestão de Achados Incidentais em TC Abdominal

1. Problema

Achados incidentais em tomografias computadorizadas (TC) abdominais são comuns e podem ter implicações clínicas significativas, exigindo relatórios que sigam diretrizes médicas estabelecidas (como as do ACR - American College of Radiology).

• Desafios Atuais: A inspeção manual por radiologistas é demorada e sujeita a variabilidade.
• Limitações de Métodos Anteriores: Abordagens baseadas em deep learning tradicional (detecção de anomalias, segmentação específica) geralmente focam em um tipo específico de achado ou órgão, faltando uma abordagem de propósito geral para múltiplos achados em vários órgãos.
• Limitações de Modelos Multimodais (VLM): Modelos Visão-Linguagem (como CLIP ou MERLIN) mostram promessa, mas lutam para realizar tarefas diagnósticas complexas que exigem raciocínio lógico, medições precisas e adesão estrita a protocolos clínicos em um fluxo de trabalho automatizado.

2. Metodologia: O Framework INFORM-CT

O artigo propõe uma arquitetura de agente baseada no paradigma "Plan-and-Execute" (Planejar e Executar), integrando Grandes Modelos de Linguagem (LLMs) e Modelos Visão-Linguagem (VLMs) para automatizar a detecção, classificação e relatório de achados incidentais.

O pipeline consiste em três componentes principais:

A. Parsing de Diretrizes (Conversão de PDF para Lógica)

• As diretrizes médicas (geralmente em PDF) são processadas por um LLM (GPT-4o) utilizando o framework LangChain.
• O objetivo é converter texto, tabelas, figuras e notas de rodapé em estruturas JSON organizadas em árvores de decisão.
• Essas árvores contêm nós de verificação, detecções, medições e recomendações finais.

B. Arquitetura Agente: Planejador e Executor

1. Planejador (Planner):

   • Utiliza um LLM (Claude 3.5) com capacidades robustas de geração de código.
   • Recebe a árvore de decisão parseada e um conjunto de funções base pré-definidas.
   • Gera scripts Python que codificam a lógica clínica (ex: "se o tumor > X mm e for heterogêneo, então recomendar biópsia").
   • Opera em um ciclo iterativo: Gera um rascunho -> Executa -> Recebe feedback (erros de sintaxe ou semântica) -> Refina o código até que o critério de parada seja atendido.

2. Executor (Executor):

   • Executa o script Python gerado.
   • Invoca as funções base para realizar as tarefas reais de análise de imagem.

C. Funções Base (Sub-rotinas)

O sistema depende de uma biblioteca de funções especializadas:

• Segmentação de Órgãos: Baseada em modelos como TotalSegmentator e nnUNet para isolar órgãos (fígado, pâncreas, rins).
• Segmentação de Massas/Tumores: Detecção e segmentação de lesões.
• Medições de Imagem: Cálculo de diâmetro (mm/cm), espessura de bordas (distância de Hausdorff) e intensidade de nível de cinza (Unidades Hounsfield - HU).
• Labeler (Classificador): Utiliza o modelo MERLIN (VLM de estado da arte para TC abdominal 3D) para classificar atributos de alto nível (ex: "benigno", "suspicious", "flash-filling") com base na similaridade de cosseno entre o volume 3D e descrições textuais.

3. Contribuições Principais

1. Pipeline Geral para Achados Incidentais: Primeira proposta de um pipeline automatizado para a região abdominal inteira, baseado em uma abordagem de agente LLM+VLM, que se adapta a protocolos clínicos específicos.
2. Geração de Código a partir de Diretrizes: Método inovador que transforma diretrizes médicas em PDF em programas Python robustos e executáveis, contendo múltiplas sub-rotinas visuais, eliminando a necessidade de treinamento manual de modelos para cada nova diretriz.
3. Novo Benchmark: Introdução de um conjunto de dados e metodologia para criar exemplos de teste baseados em relatórios de TC abdominal real, cobrindo três órgãos (Fígado, Pâncreas, Rim).

4. Resultados Experimentais

Os experimentos foram conduzidos em um conjunto de dados interno com milhares de TCs abdominais, focando em 168 casos de fígado, 188 de pâncreas e 98 de rim.

• Comparação: O INFORM-CT foi comparado contra uma linha de base "Pura" (uso direto do modelo MERLIN sem o framework de agente) e previsões aleatórias.
• Desempenho (Acurácia e F1 Ponderado):
  • Fígado: INFORM-CT alcançou 63,09% de acurácia (vs. 12,5% do MERLIN puro).
  • Rim: INFORM-CT alcançou 60,0% (vs. 48,8% do MERLIN puro).
  • Pâncreas: INFORM-CT alcançou 41,48% (vs. 11,17% do MERLIN puro).
• Explicabilidade: O modelo INFORM-CT demonstrou capacidade superior em alinhar o "caminho de decisão" (explicação) com os relatórios dos radiologistas (54,76% de precisão na trajetória vs. 4,76% do MERLIN).
• Estudo de Ablação: Remover o componente de segmentação (substituindo-o pelo VLM) fez a acurácia cair drasticamente (de 63,09% para 20,45% no fígado), provando que a segmentação precisa baseada em modelos clássicos é crítica e não pode ser substituída apenas por VLMs.

5. Significado e Conclusão

O trabalho demonstra que a integração de LLMs para raciocínio lógico/geração de código com VLMs e modelos de segmentação tradicionais cria um sistema híbrido superior para tarefas médicas complexas.

• Eficiência e Precisão: O framework supera abordagens puramente baseadas em VLM, oferecendo maior precisão e eficiência na gestão de achados incidentais.
• Adaptabilidade: A capacidade de gerar código a partir de PDFs de diretrizes permite que o sistema se adapte rapidamente a novas protocolos hospitalares ou diretrizes de diferentes sociedades (ex: ACR, ESR) sem re-treinamento de modelos de IA.
• Interpretabilidade: Ao seguir árvores de decisão explícitas, o sistema oferece explicações claras sobre como uma recomendação foi alcançada, um requisito crucial para a adoção clínica.

Em suma, o INFORM-CT representa um avanço significativo na automação da radiologia, movendo-se de modelos de "caixa preta" para sistemas agênticos transparentes, baseados em regras clínicas e executáveis.