Resumo Técnico: Adaptação de Modelos de Fundação de CT Contextualizada pela Anatomia

Definição do Problema

Modelos de fundação de visão-linguagem para CT (ex: Merlin, CT-CLIP) demonstraram um forte desempenho zero-shot em diversas tarefas downstream ao serem treinados em representações de volumes completos. No entanto, esses modelos tipicamente condensam um volume 3D de CT inteiro em um único embedding, o que dilui sinais anatômicos detalhados. Por outro lado, abordagens existentes de pré-treinamento de visão-linguagem de grão fino (FVLP) alinham características visuais específicas da anatomia com descrições textuais específicas, mas frequentemente descartam o contexto global fornecido pelos modelos de volume completo. Além disso, os métodos atuais de FVLP geralmente exigem o treinamento de todo o modelo do zero, tornando-os computacionalmente caros e difíceis de escalar. Há uma necessidade de um framework que adapte modelos de fundação congelados para alcançar o alinhamento ao nível da anatomia, preservando e potencializando a informação contextual global sem o custo de um retreinamento total.

Metodologia: Adaptação Contextualizada pela Anatomia (ACA)

Os autores introduzem a Adaptação Contextualizada pela Anatomia (ACA), um framework leve projetado para adaptar representações de modelos de fundação de CT congelados para o alinhamento visão-linguagem ao nível da anatomia. A metodologia consiste em três componentes principais:

1. Construção de Embeddings:

   • Visual: O framework utiliza o TotalSegmentator para decompor volumes de CT em 44 estruturas anatômicas. Essas máscaras de segmentação são projetadas sobre os mapas de características espaciais de um backbone de modelo de fundação congelado (ou o I3D ResNet152 do Merlin ou o CT-ViT do CT-CLIP). As características correspondentes a cada estrutura anatômica são submetidas a um mean-pooling para criar os embeddings ao nível da anatomia.
   • Texto: Achados específicos da anatomia são extraídos de relatórios radiológicos usando um Modelo de Linguagem Grande (Qwen3-4B-Instruct). Esses achados são codificados usando o codificador de texto congelado do respectivo modelo de fundação para produzir os embeddings de texto ao nível da anatomia. Um embedding de texto separado ao nível do exame é gerado a partir do relatório completo.
   • Codificação Posicional: Codificações de posição espacial inter-anatomia são computadas com base na distância $\ell_2$ entre os centroides no espaço de voxels das estruturas anatômicas, normalizadas pela diagonal do volume.

2. Transformer Inter-Anatomia:

   • Para capturar as relações entre as anatomias, os embeddings de anatomia passam por um transformer inter-anatomia treinável.
   • Antes de entrar no transformer, cada embedding é aumentado com codificações de posição espacial aprendidas e embeddings de tipo de anatomia aprendíveis.
   • Este módulo contextualiza o embedding de cada anatomia ao atender ao conjunto completo de estruturas presentes no exame, permitindo que o modelo aprenda as relações entre órgãos (ex: comparações de tamanho relativo).

3. Função de Perda Combinada:

   • Perda ao Nível da Anatomia ($\mathcal{L}_{anatomy}$): Uma perda contrastiva que alinha cada embedding de anatomia contextualizado com sua descrição de texto correspondente extraída. Esta perda utiliza uma matriz de alvo suave (soft target matrix) para lidar com falsos negativos, tratando instâncias "normais" de diferentes pacientes como pares positivos para evitar penalizar estruturas saudáveis semanticamente idênticas.
   • Perda ao Nível do Exame ($\mathcal{L}_{scan}$): Uma perda contrastiva que alinha o embedding visual de nível de exame resultante do mean-pooling (derivado dos embeddings de anatomia contextualizados) com o embedding do relatório radiológico completo. Isso fornece um sinal de supervisão global para garantir que o modelo mantenha uma visão coerente de todo o exame.
   • O objetivo total é a soma dessas duas perdas ($\mathcal{L}_{total} = \mathcal{L}_{anatomy} + \lambda \mathcal{L}_{scan}$).

Principais Contribuições

• Adaptação Leve: O ACA adapta modelos de fundação congelados usando apenas módulos treináveis leves (o transformer e os cabeçalhos de projeção), evitando o custo computacional do retreinamento end-to-end exigido pelos métodos de FVLP existentes.
• Alinhamento de Grão Fino Contextualizado: Diferente de métodos de grão fino anteriores que tratam as anatomias de forma independente, o ACA introduz um transformer inter-anatomia que modela explicitamente as relações entre as anatomias, abordando a limitação de ignorar o contexto global nas abordagens de grão fino.
• Supervisão de Dupla Granularidade: O framework combina de forma única o aprendizado contrastivo ao nível da anatomia com o alinhamento do relatório ao nível do exame, permitindo que o modelo aprenda tanto a patologia de órgãos específicos quanto o contexto clínico global simultaneamente.

Resultados

O framework foi avaliado em dois conjuntos de dados de larga escala: Merlin (CT abdominal) e CT-RATE (CT de tórax), utilizando seus respectivos modelos de fundação congelados como backbones.

• Ganhos de Desempenho: O ACA superou consistentemente tanto os baselines dos modelos de fundação congelados quanto os métodos de adaptação de grão fino existentes (incluindo adaptações MLP, fVLM e ViSD-Boost) em classificação de achados zero-shot.
  • No dataset Merlin, o ACA melhorou o macro-average AUROC in-distribution de 0.7729 (baseline Merlin) para 0.8213.
  • No dataset CT-RATE, melhorou o AUROC in-distribution de 0.7082 (baseline CT-CLIP) para 0.7311.
  • Ganhos significativos também foram observados em configurações fora da distribuição (ex: ACA treinado no Merlin no conjunto de teste do CT-RATE: 0.7400 vs. 0.6919 do baseline).
• Estudos de Ablação: A remoção de qualquer uma das perdas (nível de anatomia ou nível de exame) resultou em diminuição do desempenho, confirmando que tanto o alinhamento anatômico local quanto a supervisão de contexto global são necessários.
• Pooling Guiado pela Anatomia: Uma estratégia de inferência que restringe o pooling às estruturas anatomicamente relevantes para achados específicos melhorou ainda mais o desempenho, particularmente para modelos sem supervisão de nível de exame.
• Associações Aprendidas: A análise dos pesos de atenção revelou que o transformer aprendeu associações inter-anatômicas plausíveis (ex: continuidade estômago-intestino delgado-cólon no Merlin; pulmão-esôfago no CT-RATE) puramente a partir do treinamento contrastivo, refletindo o escopo anatômico dos dados de treinamento.
• Estudo de Caso: Na detecção de esplenomegalia, o ACA identificou corretamente o aumento patológico comparando o tamanho do baço em relação aos órgãos circundantes, enquanto os baselines de grão fino independentes falharam em fazer essa avaliação relativa.

Significância e Alegações

O artigo afirma que o ACA fornece um caminho prático e eficiente em termos de computação para melhorar o aprendizado de representação em imagens médicas. Ao demonstrar que modelos de fundação congelados podem ser efetivamente adaptados para tarefas visão-linguagem anatomicamente fundamentadas com menos de uma hora de treinamento (uma vez que os embeddings sejam armazenados em cache), os autores argumentam que o retreinamento end-to-end completo não é estritamente necessário para alcançar o desempenho de estado da arte em grão fino.

Os autores posicionam o ACA como uma solução que preenche a lacuna entre o contexto global amplo dos modelos de volume completo e a especificidade do alinhamento de grão fino. Eles observam que, embora suas comparações com outros métodos de grão fino (fVLM, ViSD-Boost) sejam conduzidas sob uma configuração correspondente de "embedding congelado" (em vez de comparar contra as versões originais treinadas end-to-end), os resultados apoiam a eficácia de sua estratégia de adaptação. O trabalho é limitado à classificação de achados zero-shot, deixando segmentação e geração de relatórios para trabalhos futuros.