Enhancing Fine-Grained Spatial Grounding in 3D CT Report Generation via Discriminative Guidance

Resumo Técnico: DCP-PD para Geração de Relatórios de TC Torácica

1. Problema e Motivação

Os Modelos de Linguagem e Visão (VLMs) têm mostrado potencial para gerar relatórios radiológicos a partir de exames de Tomografia Computadorizada (TC) volumétrica, visando melhorar a eficiência e a consistência do fluxo de trabalho clínico. No entanto, os métodos existentes enfrentam duas limitações críticas:

1. Supervisão de Treinamento Grossa: A maioria dos métodos alinha o volume inteiro da TC com um relatório de texto livre, sem alinhamento explícito para atributos finos (como localização espacial exata) ou atributos de patologia específicos.
2. Avaliação Insuficiente: As métricas de avaliação são tipicamente holísticas (sobreposição lexical, correspondência de entidades ou pontuações de "LLM como juiz"), falhando em diagnosticar a fundamentação espacial (spatial grounding) precisa. Gerar relatórios estruturados ajuda, mas não resolve a necessidade de localizar patologias em lóbulos ou lados específicos (esquerdo/direito).

Além disso, abordagens anteriores que tentam melhorar o alinhamento através de segmentação anatômica ou classificadores auxiliares tendem a acoplar rigidamente o VLM a uma arquitetura específica. Isso exige o retreinamento completo do modelo se o classificador auxiliar for atualizado, limitando a modularidade e a escalabilidade.

2. Metodologia: DCP-PD

Os autores propõem o DCP-PD (Discriminative Cue-Prompting with Prompt Dropout), um framework plug-and-play que integra orientações discriminativas na geração de relatórios sem acoplar o VLM a um modelo auxiliar específico.

O pipeline consiste em três etapas principais:

• A. Estruturação de Relatórios e Extração de Rótulos (Supervisão Fina):

  • Relatórios de texto livre são convertidos em representações estruturadas e conscientes da anatomia usando um LLM.
  • Define-se um conjunto hierárquico de perguntas clínicas binárias (Question-Answer Sets - QAS) para extrair rótulos de "verdade":
    • QAS1: Presença/Ausência da anomalia.
    • QAS2: Laterality (Lado Esquerdo/Direito).
    • QAS3: Localização por lobo pulmonar (ex: Lobo Superior Direito).
  • Esses rótulos são transformados em "prompts de dica" (cue prompts) em linguagem natural.

• B. Treinamento de Modelos Discriminativos:

  • Utiliza-se um backbone de visão congelado (Atlas/Pillar-0) para extrair embeddings de TC em múltiplas escalas.
  • Treinam-se classificadores lineares leves (multi-label) para prever os rótulos derivados das perguntas (QAS) a partir desses embeddings. Esses modelos são independentes do gerador de texto.

• C. Treinamento do VLM com Prompt Dropout:

  • O VLM é treinado em duas etapas:
    1. Alinhamento: Ajuste do projetor visual para alinhar tokens de imagem ao espaço de tokens do LLM.
    2. SFT Guiado Discriminativamente: O LLM é treinado para gerar relatórios condicionados aos prompts de dica (baseados nos rótulos verdadeiros durante o treino).
  • Inovação Chave (Prompt Dropout): Para evitar que o modelo aprenda um "atalho" (apenas copiar o texto do prompt e ignorar a imagem), aplica-se dropout aleatoriamente nas entidades das dicas durante o treinamento. Isso força o modelo a verificar as características visuais e manter a fundamentação visual, mesmo quando as dicas estão incompletas.

• D. Inferência Modular:

  • Na inferência, o prompt é preenchido dinamicamente com as previsões de um modelo discriminativo pré-treinado.
  • Como o VLM foi treinado no formato de template e não nos outputs específicos de um modelo, é possível substituir o classificador por um modelo mais avançado a qualquer momento sem retreinar o VLM.

3. Principais Contribuições

1. Framework DCP-PD: Uma abordagem modular que condiciona a geração de relatórios em dicas de linguagem natural, permitindo orientação de inferência a partir de modelos discriminativos arbitrários.
2. Desacoplamento e Modularidade: O VLM não depende da arquitetura do discriminador, permitindo atualizações de componentes sem retreinamento do gerador.
3. Escalabilidade para Cues Ricos: O método escala além da simples detecção de presença para incluir atributos espaciais complexos (laterality e lóbulos).
4. Protocolo de Avaliação Hierárquico: Introdução de um protocolo de "conjunto de perguntas" (presença → laterality → lobo) para avaliar diretamente a fundamentação espacial, demonstrando que a localização fina permanece um desafio mesmo para modelos de alto desempenho.
5. Mecanismo de Mitigação de Atalhos: O uso de Prompt Dropout garante que o modelo não ignore a entrada visual em favor das dicas textuais.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados CT-RATE (in-distribution) e Rad-ChestCT (out-of-distribution).

• Desempenho Geral (CT-RATE):

  • O modelo DCP-PD atingiu o estado da arte (SOTA) no benchmark CT-RATE.
  • O F1 macro melhorou de 0,501 (base VLM) para 0,603 (aprox. 20% de melhoria relativa) usando dicas preditas.
  • Com um classificador discriminativo mais forte (DCP-2), o F1 subiu para 0,603, representando um ganho de ~37% sobre a linha de base sem dicas.

• Generalização (Rad-ChestCT):

  • O modelo demonstrou forte capacidade de generalização fora da distribuição, aumentando o F1 de 0,266 para 0,503 (aprox. 89% de melhoria relativa), superando significativamente métodos anteriores.

• Mitigação de Atalhos:

  • Sem o Prompt Dropout, o modelo colapsa quando as dicas são removidas na inferência (F1 cai para 0,094).
  • Com o Prompt Dropout, o modelo mantém robustez (F1 de 0,366 na ausência de dicas), provando que ele aprendeu a fundamentar a geração nas imagens e não apenas a copiar o prompt.
  • Métricas de atenção mostram que o DCP-PD reduz a dependência de tokens de texto (dicas) e aumenta a dependência de tokens de imagem em comparação com modelos sem dropout.

• Fundamentação Espacial Fina:

  • O DCP-PD superou consistentemente o VLM base na detecção de laterality e localização por lobo, aproximando-se do desempenho de classificadores discriminativos independentes.
  • Estudos qualitativos mostram que o modelo consegue identificar patologias e suas localizações exatas (ex: nódulos no lobo médio direito) que o modelo base falha em detectar.

5. Significado e Impacto

Este trabalho representa um avanço significativo na geração de relatórios radiológicos ao resolver o problema do "acoplamento rígido" entre geradores de texto e modelos de detecção.

• Flexibilidade Clínica: Permite que hospitais ou pesquisadores atualizem seus modelos de detecção de patologias sem precisar retreinar o sistema de geração de relatórios inteiro, facilitando a adoção de novos algoritmos.
• Precisão Diagnóstica: Ao focar na fundamentação espacial fina (lóbulos, lados), o sistema gera relatórios mais clinicamente úteis, reduzindo erros de localização que podem impactar o tratamento.
• Novo Paradigma de Avaliação: O protocolo proposto de perguntas hierárquicas oferece uma maneira mais rigorosa e diagnóstica de avaliar a qualidade de modelos VLMs em radiologia, indo além de métricas puramente lexicais.

Em suma, o DCP-PD estabelece um novo padrão para a geração de relatórios de TC, combinando a flexibilidade da linguagem natural com a precisão de modelos discriminativos, tudo isso mantendo a robustez visual necessária para aplicações médicas reais.