Disease-Centric Vision-Language Pretraining with Hybrid Visual Encoding for 3D Computed Tomography

Resumo Técnico: Pré-treinamento de Visão-Linguagem Centrado em Doenças com Codificação Visual Híbrida para Tomografia Computadorizada 3D

Definição do Problema
O pré-treinamento de visão-linguagem (VLP) tem mostrado promessa na IA médica ao aproveitar relatórios radiológicos como supervisão textual rica. No entanto, os métodos existentes enfrentam duas limitações críticas quando aplicados à Tomografia Computadorizada (TC) 3D:

1. Backbones Visuais Ineficientes: A maioria dos modelos reaproveita backbones projetados para imagens naturais 2D. Estender os Vision Transformers (ViT) para TC 3D via patcheificação volumétrica acarreta custos computacionais excessivos e sacrifica a resolução espacial, levando à perda de detalhes críticos em pequenas lesões. Por outro lado, as Redes Neurais Convolucionais (CNNs) 3D capturam bem as texturas locais, mas carecem de compatibilidade com as arquiteturas mainstream de VLM, dificultando a transferência de priors cross-modais aprendidos durante o pré-treinamento em larga escala.
2. Alinhamento Semântico Grosseiro: As abordagens atuais dependem de aprendizado contrastivo imagem-texto global, ignorando correspondências de grão fino entre achados patológicos específicos e suas descrições textuais. Mesmo métodos de alinhamento ao nível de órgão frequentemente confundem doenças distintas (ex: "atelectasia", "enfisema" e "nódulos pulmonares") dentro do mesmo órgão sob um rótulo genérico de "anormalidade", obscurecendo associações específicas de doenças e prejudicando a discriminação diagnóstica.

Metodologia
Os autores propõem o CT-DiagVLM, um framework de VLP customizado centrado no co-design de representação eficiente, alinhamento de grão fino e inferência robusta. O framework consiste em três componentes principais:

1. Codificador Visual Híbrido CNN–ViT:

   • Para equilibrar a captura de detalhes locais com a atenção global, o modelo substitui o módulo de patch embedding padrão do ViT por um backbone de CNN 3D (especificamente uma ResNet-18 3D).
   • Ele emprega um mecanismo de Fusão de Patch de Múltiplas Escalas (MSF-PE). As características de quatro estágios da CNN são projetadas, alinhadas via interpolação trilinear e fundidas para criar inicializações de tokens ricas.
   • Esses embeddings são alimentados em um codificador ViT inicializado com pesos pré-treinados do SigLIP-2. Este design preserva os mecanismos de atenção global e os priors cross-modais, enquanto captura eficientemente detalhes anatômicos locais de múltiplas escalas sem o ônus computacional da autoatenção direta em volumes 3D de alta resolução.
   • Um decodificador estilo U-Net prevê máscaras de órgãos, que são usadas para filtrar os tokens do ViT e gerar embeddings visuais específicos de órgãos via atenção cruzada (cross-attention) com queries de órgãos aprendíveis.

2. Aprendizado Contrastivo de Nível de Doença:

   • Indo além do alinhamento ao nível de órgão, o framework introduz um mecanismo para desentrançar patologias que ocorrem simultaneamente.
   • Tokens de Query Aprendíveis: Para cada órgão, um conjunto de vetores de query aprendíveis representa todas as condições possíveis (doenças específicas + estado saudável).
   • Extração Dinâmica: Essas queries realizam atenção cruzada sobre o relatório radiológico completo para extrair dinamicamente semânticas textuais específicas de cada condição, sem exigir a decomposição explícita do relatório.
   • Objetivo Contrastivo: O modelo alinha os embeddings visuais ao nível do órgão com esses embeddings textuais específicos de cada doença. Ele atrai os embeddings visuais em direção aos embeddings textuais da mesma doença presente no lote (batch) e os afasta de outras condições. Isso permite o treinamento tanto em rótulos reais quanto em pseudo-rótulos gerados por LLM.

3. Estratégia de Prompt Consciente do Diagnóstico:

   • Para preencher a lacuna entre o pré-treinamento e a inferência zero-shot, os autores substituem prompts binários manuais (ex: "TC mostra doença X") por frases clínicas reais.
   • Construção de Protótipos: Para cada condição, o sistema recupera relatórios diversos do conjunto de treinamento (guiados por rótulos ou pseudo-rótulos) e agrega seus embeddings específicos de condição em um protótipo de doença global.
   • Inferência: Os escores diagnósticos são computados via similaridade de cosseno entre os embeddings visuais ao nível do órgão e esses protótipos agregados, garantindo fidelidade semântica e robustez contra variações de fraseologia.

Principais Contribuições

• Arquitetura Híbrida: Um codificador híbrido CNN-ViT que integra características de CNN 3D de múltiplas escalas em um ViT pré-treinado, alcançando eficiência em volumes 3D enquanto mantém a compatibilidade com VLM.
• Alinhamento de Grão Fino: Um mecanismo de aprendizado contrastivo de nível de doença usando tokens de query aprendíveis para extrair e alinhar semânticas de doenças específicas de relatórios não estruturados, permitindo o desentranhamento de múltiplas patologias dentro de um único órgão.
• Estratégia de Inferência Robusta: Uma estratégia de prompt consciente do diagnóstico que utiliza linguagem clínica real e protótipos agregados para aumentar a confiabilidade diagnóstica zero-shot e reduzir a lacuna entre pré-treinamento e inferência.

Resultados Experimentais
O modelo foi avaliado em dois benchmarks públicos de TC de tórax: CT-RATE (teste interno) e Rad-ChestCT (teste externo).

• Benchmarks Padrão: O CT-DiagVLM alcançou um AUC de 84,4% no CT-RATE, superando o estado da arte anterior (fVLM) em 5,1% e o ViSD-Boost em 5,4%. No dataset externo Rad-ChestCT, alcançou 75,4% de AUC, uma melhoria de 5,4% sobre o fVLM.
• Escalabilidade (60 Doenças): Usando o Qwen3-Max para gerar pseudo-rótulos para 60 condições distintas, o modelo demonstrou escalabilidade significativa, alcançando um AUC de 85,6% comparado a 75,8% de um modelo base (um ganho de +9,8%). Embora a sensibilidade tenha diminuído ligeiramente devido às fronteiras de decisão mais conservadoras e robustas ao ruído, a especificidade e o AUC melhoraram substancialmente.
• Tarefas Downstream: O modelo pré-treinado mostrou forte transferibilidade para geração de relatórios radiológicos, alcançando um F1-score de 45,5% no CT-RATE, superando métodos existentes.
• Estudos de Ablação: Experimentos confirmaram que cada componente (codificador híbrido, perda de nível de doença e estratégia de prompt) contribui de forma única e sinérgica. O codificador híbrido sozinho proporcionou um ganho de +1,0% de AUC, enquanto o framework completo entregou o total de +5,1% de melhoria.

Significância
O artigo argumenta que a estratégia de co-design proposta é essencial para traduzir o potencial dos modelos de fundação em um VLP médico eficaz. Ao abordar a ineficiência dos backbones visuais em 3D e a confusão semântica de doenças distintas, o CT-DiagVLM demonstra que o pré-treinamento centrado em doenças pode alcançar desempenho de estado da arte e forte generalização. Os autores afirmam que este trabalho fornece uma direção promissora para sistemas de IA médica de uso geral e clinicamente viáveis, capazes de realizar diagnósticos e raciocínios precisos com a nuance da linguagem clínica real. A abordagem destaca a importância do alinhamento semântico de grão fino e a utilidade de alavancar LLMs para o aprendizado escalável e específico de doenças na ausência de anotações manuais densas.