Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers

Título: Escalonamento de Pré-treinamento Auto-supervisionado e Cross-Modal para Transformers de CT Volumétricos

1. O Problema

A criação de modelos de base (foundation models) para tomografia computadorizada (CT) volumétrica (3D) enfrenta desafios únicos que tornam as receitas padrão de Vision Transformers (ViT) e aprendizado contrastivo ineficazes "out-of-the-box":

• Escalabilidade de Tokens: A divisão ingênua de volumes 3D em patches gera um número de tokens que escala cubicamente com a resolução. Como a atenção dos transformers escala quadraticamente com o número de tokens, o custo computacional torna-se proibitivo para volumes completos.
• Anisotropia Geométrica: Os dados de CT frequentemente apresentam espaçamento de voxels anisotrópico (espaçamento entre fatias diferente do plano axial) e campos de visão (FOV) variáveis. Modelos que assumem isotropia ou invariância translacional simples falham em generalizar entre diferentes protocolos de aquisição.
• Supervisão Clínica Fraca e Ruidosa: Os rótulos clínicos são frequentemente hierárquicos, esparsos ou baseados em relatórios de texto livre. Isso cria uma tensão entre objetivos densos (que exigem precisão espacial) e objetivos de alinhamento global (que exigem consistência semântica).
• Limitações de Dados e Memória: Diferente de imagens 2D naturais, o 3D limita o tamanho dos batches e o uso de conjuntos negativos grandes, essenciais para o aprendizado contrastivo tradicional (como CLIP), especialmente quando relatórios médicos listam múltiplas condições co-ocorrentes.

2. Metodologia: O Modelo SPECTRE

O SPECTRE (Self-Supervised & Cross-Modal Pretraining for CT Representation Extraction) é um modelo de base totalmente baseado em Transformers para CT volumétrico. Sua arquitetura e estratégia de treinamento são projetadas para superar os desafios acima:

Arquitetura Híbrida Local-Global

Para lidar com a complexidade computacional, o SPECTRE utiliza uma arquitetura de dois estágios:

1. ViT Local ($ViT_\ell$): Opera em janelas locais (cortes 3D) do volume. Utiliza atenção restrita a janelas para extrair características de alta resolução e detalhes geométricos finos.
2. ViT Global ($ViT_g$): Agrega os tokens de nível de janela (incluindo tokens [cls] de cada janela) para modelar o contexto de todo o exame (scan-level).

• Tokenização 3D Anisotrópica: Os patches são definidos como $16 \times 16 \times 8$ voxels, adaptando-se ao espaçamento típico dos voxels (onde a profundidade é geralmente o dobro do plano axial).
• Posicionamento 3D RoPE: Utiliza Rotary Positional Embeddings (RoPE) 3D para codificar a geometria volumétrica de forma contínua, garantindo robustez a mudanças de resolução e escala. Inclui "jittering" (ruído) nas coordenadas durante o pré-treinamento para aumentar a robustez a variações de FOV.

Estratégia de Pré-treinamento em Dois Estágios

O modelo é treinado exclusivamente em conjuntos de dados abertos, combinando duas abordagens complementares:

1. Estágio 1: Aprendizado Auto-supervisionado (SSL) - Estilo DINOv3:
   • Utiliza uma arquitetura estudante-professor com Distillation.
   • O aluno é um ViT mascarado (Masked ViT) que tenta prever patches ocultos.
   • Objetivos combinados: DINO (consistência global), iBOT (auto-distilação de patches mascarados) e KoLeo (regularização para evitar colapso de representação).
   • Foca em aprender representações geométricas robustas e invariantes a transformações de intensidade e corte.
2. Estágio 2: Alinhamento Visão-Linguagem (VLA) - SigLIP:
   • Alinha as representações do CT com relatórios de radiologia textuais.
   • Utiliza o objetivo SigLIP (Sigmoid Loss for Language Image Pre-training) em vez do InfoNCE tradicional. O SigLIP é mais robusto a ruídos e ao caráter "muitos-para-muitos" dos dados médicos (um exame pode ter múltiplas descrições válidas).
   • O texto é processado pelo modelo Qwen3-0.6B com adaptadores LoRA.
   • Este estágio injeta semântica clínica e compreensão de alto nível nas representações visuais.

3. Contribuições Principais

• Primeiro Modelo de Base 3D Puro em Transformer: SPECTRE é um modelo totalmente baseado em Transformers (sem convoluções no backbone) projetado especificamente para CT volumétrico, superando as limitações de modelos híbridos anteriores.
• Arquitetura Escalável: A separação entre atenção local (alta resolução) e global (contexto de escaneamento) torna o cálculo de atenção 3D em grande escala computacionalmente viável.
• Treinamento Aberto e Generalizável: O modelo é treinado apenas em dados abertos (NLST, CT-RATE, Merlin, AbdomenAtlas, etc.), demonstrando que representações de alto desempenho não dependem de dados privados.
• Codificação Geométrica Explícita: A integração de patchs anisotrópicos e RoPE 3D permite que o modelo generalize entre diferentes protocolos de aquisição e espaçamentos de voxels.

4. Resultados Experimentais

O SPECTRE foi avaliado em múltiplas tarefas de downstream (transferência), superando consistentemente modelos anteriores (como CT-CLIP, Merlin, VISTA3D, CT-FM):

• Classificação de Biomarcadores (Zero-shot e Fine-tuning):
  • Em 6 benchmarks de predição de biomarcadores tumorais (incluindo LUNA16, DLCS, NSCLC-Radiomics), o SPECTRE obteve o melhor desempenho em 4 dos 6 benchmarks, superando todos os modelos concorrentes em tarefas de classificação de malignidade e predição de sobrevivência.
• Segmentação Semântica:
  • Utilizando uma abordagem Encoder-only (SEoMT) integrada ao nnU-Net, o SPECTRE superou todos os outros modelos baseados em Transformers 3D e foi competitivo com o estado da arte baseado em CNNs (nnU-Net ResEnc), mesmo sem um decodificador pesado.
  • Alcançou Dice scores superiores em conjuntos de dados como KiTS23 (rim/tumor), LiTS (fígado) e WORD (órgãos abdominais).
• Recuperação Texto-Imagem (Zero-shot):
  • No benchmark CT-RATE, o SPECTRE superou drasticamente o CT-CLIP (Recall@5 de 17,5% vs 2,9%).
  • No benchmark Merlin, demonstrou forte alinhamento, especialmente na recuperação baseada em seções de "Impressões" de relatórios, onde outros modelos falharam, indicando uma melhor integração de nuances clínicas.

5. Significado e Impacto

• Padrão para Imagem Médica 3D: O SPECTRE estabelece um novo padrão para modelos de base em imagem médica volumétrica, provando que a arquitetura Transformer pura pode ser escalada para dados 3D complexos com anisotropia.
• Acessibilidade e Reprodutibilidade: Ao liberar o código, os pesos do modelo e as receitas de pré-treinamento como open-source, o trabalho democratiza o acesso a modelos de ponta, permitindo que instituições sem recursos computacionais massivos para pré-treinamento utilizem representações robustas.
• Validação de Dados Abertos: Demonstra que é possível construir modelos generalizáveis e de alto desempenho sem depender de dados proprietários, um avanço crucial para a equidade na saúde global.
• Futuro da Pesquisa: O trabalho abre caminho para o desenvolvimento de decodificadores mais expressivos para tarefas específicas (como segmentação de lesões muito pequenas) e para a integração de modalidades multimodais mais complexas.

Em resumo, o SPECTRE resolve o dilema entre a necessidade de contexto global e a precisão local em CT 3D, combinando eficiência computacional com alinhamento semântico profundo, resultando no modelo de base mais capaz e generalizável para imagem médica volumétrica disponível atualmente.