Adapting Frozen Mono-modal Backbones for Multi-modal Registration via Contrast-Agnostic Instance Optimization

Título: Adaptação de Backbones Mono-modais Congelados para Registro Multi-modal via Otimização de Instância Contraste-Agnóstica

1. O Problema

O registro de imagens médicas deformáveis é fundamental para aplicações como planejamento de tratamento e estudos longitudinais. No entanto, o registro multi-modal (ex: alinhar ressonâncias magnéticas com diferentes contrastes como T1, T2 e FLAIR) permanece um desafio central.

• Desafio Principal: As distribuições de intensidade variam drasticamente entre modalidades, quebrando a correspondência de intensidade simples que os modelos pré-treinados em um único domínio (mono-modal) utilizam.
• Limitação Atual: Embora métodos de deep learning ofereçam previsões eficientes, eles falham em generalizar sob mudanças de distribuição (domain shifts) no momento do teste.
• Custo Computacional: A solução direta de fine-tuning (ajuste fino) completo de redes modernas (como Transformers ou U-Nets profundos) para 3D é proibitivamente cara em termos de memória e tempo de execução. Além disso, o fine-tuning ingênuo pode levar à degradação de desempenho em cenários de mudanças drásticas de domínio.

2. Metodologia Proposta

Os autores propõem um framework de registro que integra um modelo pré-treinado congelado (mono-modal) com um pipeline de adaptação leve para o momento do teste (test-time adaptation). A abordagem é ortogonal à escolha do backbone, evitando o custo de re-treinamento completo.

O framework consiste nos seguintes componentes principais:

A. Otimização de Instância (Instance Optimization - IO)

Em vez de ajustar os parâmetros do backbone pesado, o método utiliza o backbone congelado ($f_\theta$) apenas para gerar uma deformação inicial ($\phi_0$). Em seguida, aplica-se uma etapa de refinamento leve:

• Refinamento Progressivo: Um módulo em cascata composto por três redes U-Net 3D leves (inicializadas aleatoriamente) que preveem campos de deformação residuais em escalas progressivamente mais finas.
• Composição: O campo final é obtido pela composição sucessiva da deformação inicial e dos resíduos refinados.
• Vantagem: Isso permite adaptar a saída para o par de imagens específico sem tocar nos pesos do backbone principal.

B. Representação Contraste-Agnóstica (Brain-ID)

Para lidar com grandes diferenças de contraste entre as modalidades de entrada e o domínio de treinamento:

• Pré-processamento Condicional: O sistema utiliza o modelo Brain-ID para gerar representações invariantes ao contraste e imagens transferidas para o estilo T1w.
• Gatilho Inteligente: O uso do Brain-ID não é obrigatório para todos os pares. Um verificador de similaridade rápido (LNCC de baixa resolução) detecta se há uma lacuna de modalidade. Se a similaridade for baixa, o par é processado pelo Brain-ID antes de entrar no backbone; caso contrário, as imagens originais são usadas.

C. Função de Perda e Treinamento

• Similaridade: Utiliza LNCC (Normalized Cross-Correlation Local) com kernel Gaussiano.
• Regularização: Um regularizador de difusão é aplicado ao campo de deformação final para garantir suavidade.
• Estratégia de IO: Otimização via Adam durante o teste (50 passos) para cada par de imagens, com um pré-treinamento leve (1.000 passos) dos módulos de refinamento para estabilização.

3. Contribuições Chave

1. Framework de Adaptação Leve: Demonstra que é possível adaptar modelos pré-treinados robustos e congelados para cenários multi-modais e out-of-domain sem o custo computacional de fine-tuning completo.
2. Ortogonalidade ao Backbone: A metodologia funciona independentemente do modelo base (U-Net, Transformer, etc.), tornando-a amplamente aplicável.
3. Eficiência de Memória: A etapa de refinamento consome menos de 10 GB de VRAM, tornando-a viável em GPUs comuns, ao contrário do fine-tuning de modelos 3D grandes que excede 24 GB.
4. Validação em Benchmark de Estado da Arte: O método foi validado no desafio Learn2Reg 2025 LUMIR, um benchmark rigoroso para registro cerebral multi-modal.

4. Resultados

Os experimentos foram conduzidos no conjunto de validação do LUMIR (36 sujeitos), avaliando desempenho em domínios in-domain, out-of-domain e multi-modal.

• Desempenho Geral: O método alcançou a 4ª colocação geral na pontuação Dice.
• Subconjuntos Específicos:
  • 2º lugar no subconjunto multi-modal.
  • 3º lugar no subconjunto out-of-domain.
• Comparação com Baselines:
  • Superou consistentemente o backbone VFA (Vector Field Attention) pré-treinado sem adaptação.
  • Superou métodos de fine-tuning completo (VFA-Brain-ID com full finetune), que mostraram desempenho inferior, confirmando que a adaptação leve é mais robusta contra overfitting em dados de teste limitados.
  • A variante com Brain-ID e refinamento em cascata com composição (em vez de aditiva) obteve os melhores resultados.
• Dinâmica de IO: A otimização de instância mostrou melhoria consistente na similaridade da imagem e no Dice Score, com apenas um leve aumento na taxa de dobras (foldings), mantendo-se dentro de limites aceitáveis.

5. Significado e Conclusão

Este trabalho estabelece um caminho prático e eficaz para o registro multi-modal robusto. A principal conclusão é que não é necessário re-treinar modelos massivos para adaptá-los a novos domínios ou modalidades. Ao combinar:

1. Um backbone forte e congelado;
2. Transferência de estilo contraste-agnóstica (Brain-ID) seletiva;
3. Otimização de instância leve e multi-escala;

É possível alcançar desempenho de ponta com eficiência computacional drasticamente reduzida. Isso torna a tecnologia viável para aplicações clínicas reais onde recursos de hardware são limitados e a diversidade de protocolos de imagem é alta. O método demonstra que a adaptação no momento do teste (test-time adaptation) é uma estratégia superior ao ajuste fino completo para cenários de registro médico com mudanças de domínio.