Deformation-Free Cross-Domain Image Registration via Position-Encoded Temporal Attention

Este artigo apresenta o GPEReg-Net, uma rede neural que resolve o registro de imagens entre domínios distintos através da fatoração da representação da cena e da aparência, eliminando a necessidade de estimar campos de deformação explícitos e alcançando desempenho superior e maior velocidade em benchmarks de retina e texturas sintéticas.

O essencial

Imagine que você tem duas fotos do mesmo lugar, mas tiradas em condições totalmente diferentes. Uma foi tirada de dia, com sol forte, e a outra à noite, com luz artificial. Além disso, a câmera tremeu um pouco na segunda foto, então as árvores e prédios não estão exatamente no mesmo lugar.

O problema que o GPEReg-Net resolve é: como juntar essas duas fotos perfeitamente, sem precisar "esticar" ou "distorcer" a imagem para fazer elas se encaixarem?

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: "O Que" vs. "Como Parece"

A maioria dos métodos antigos tenta adivinhar exatamente quanto cada pixel da foto precisa se mover (como se fosse um mapa de distorção). Mas quando a cor e a luz mudam muito (domínios diferentes), esses métodos ficam confusos.

Os autores do paper tiveram uma ideia genial: separar a "essência" da foto da "roupa" que ela veste.

• A Cena (O Esqueleto): É a estrutura da foto. Onde estão as árvores, os prédios, as pessoas. Isso não muda, não importa se é dia ou noite. É como o esqueleto de uma pessoa.
• A Aparência (A Roupa): É a cor, o brilho, o contraste. Isso muda dependendo de como a foto foi tirada. É como a roupa que a pessoa veste.

2. A Solução: O "Alfaiate Mágico" (GPEReg-Net)

Em vez de tentar dobrar a foto inteira para encaixar, o sistema faz o seguinte:

1. O Detetive de Estrutura: Ele olha para a foto que está "torta" (a foto móvel) e remove toda a cor e luz, deixando apenas o "esqueleto" (a estrutura geométrica). Ele diz: "Ok, sei onde está a árvore, mesmo que a cor esteja errada."
2. O Detetive de Estilo: Ele olha para a foto de referência (a foto fixa) e tira uma "foto mental" apenas do estilo de cor e luz dela. Ele diz: "Ok, sei como deve ser o brilho e a cor final."
3. O Alfaiate (AdaIN): Aqui entra a mágica. O sistema pega o "esqueleto" da primeira foto e veste com a "roupa" da segunda foto.
   • Resultado: Você tem a estrutura correta da primeira foto, mas com a cor e o estilo da segunda. Nada precisa ser distorcido ou esticado. A foto já nasce alinhada.

3. O Toque Extra: "Lembrar do Passado" (Atenção Temporal)

Como as fotos muitas vezes vêm em sequência (como um vídeo), o sistema usa uma técnica chamada Atenção Temporal Codificada por Posição.

Pense nisso como se você estivesse assistindo a um filme e, ao olhar para o quadro atual, você também olha rapidamente para os quadros anteriores e posteriores para entender o contexto.

• Se a câmera tremeu um pouco, o sistema olha para os quadros vizinhos e diz: "Ah, a árvore estava aqui no quadro anterior e ali no próximo, então ela deve estar bem aqui agora."
• Isso ajuda a manter a consistência, como se o sistema tivesse "memória" do movimento, sem precisar calcular cada movimento individualmente.

4. Por que isso é incrível? (Os Resultados)

O papel mostra que esse método é mais rápido e mais preciso do que os métodos tradicionais que tentam calcular distorções complexas.

• Velocidade: É quase duas vezes mais rápido que o segundo melhor método (SAS-Net). Imagine processar vídeos em tempo real sem travar.
• Precisão: Funciona tanto em fotos de olhos (retina médica) quanto em imagens sintéticas de texturas.
• Simplicidade: Em vez de um cálculo matemático gigante para "dobrar" a imagem, ele apenas "troca a roupa" da imagem mantendo a estrutura intacta.

Resumo em uma frase

O GPEReg-Net é como um sistema que, ao invés de tentar torcer uma foto torta para fazê-la bater com a outra, simplesmente pega a estrutura da foto torta e a pinta com as cores da foto certa, usando a memória dos quadros vizinhos para garantir que tudo fique perfeito e rápido.

Resumo técnico

1. O Problema: Registro de Imagem Interdomínio

O artigo aborda o desafio do registro de imagens em cenários de domínio cruzado (cross-domain). Neste cenário, as imagens de entrada ($I_m$, móvel) e de referência ($I_f$, fixa) apresentam:

• Desalinhamento geométrico acoplado: As imagens não estão perfeitamente sobrepostas.
• Mudança de aparência específica do domínio: As imagens possuem distribuições de intensidade diferentes devido a condições de aquisição variadas (ex: movimento do paciente em imagens de retina, mudanças de viewpoint em imagens naturais).

Limitação dos métodos existentes:

• Métodos Clássicos e de Aprendizado de Deformação: Assumem a constância de brilho ($I_m(x) \approx I_f(x+u)$), o que falha quando as distribuições de intensidade diferem. Métodos baseados em campos de deformação (como VoxelMorph, TransMorph) tentam estimar um campo de deslocamento $u(x)$, mas herdam essa suposição e degradam-se em cenários interdomínio.
• Abordagens de Separação: Métodos anteriores que tentam separar cena e aparência geralmente usam arquiteturas generativas complexas sem consciência temporal ou não fatorizam explicitamente o conteúdo da cena do estilo.

2. Metodologia: GPEReg-Net

Os autores propõem uma nova abordagem baseada em fatorização, onde o registro não é tratado como um problema de estimativa de deformação espacial, mas sim como um problema de recomposição de representações latentes.

2.1. Fatorização Cena-Aparência

A premissa central é decompor cada imagem em dois componentes latentes:

1. Representação da Cena ($s$): Invariante ao domínio, codifica a estrutura espacial e geométrica.
2. Estatística de Aparência Global ($a$): Específica do domínio, codifica o perfil de intensidade (brilho, contraste).

O registro é realizado recombinando a estrutura da imagem móvel ($s_m$) com a aparência da imagem fixa ($a_f$) usando Normalização de Instância Adaptativa (AdaIN), eliminando a necessidade de estimar um campo de deformação explícito.

2.2. Arquitetura da Rede (GPEReg-Net)

O framework consiste em quatro módulos principais:

1. SceneEncoder ($S$): Uma rede U-Net com conexões residuais e Instance Normalization (IN). A IN remove as estatísticas de intensidade de cada instância, preservando apenas a estrutura espacial. Produz um mapa de características de cena ($s \in \mathbb{R}^{64 \times H \times W}$).
2. AppearanceEncoder ($A$): Uma CNN com Global Average Pooling e camadas totalmente conectadas que extraem um código global de aparência ($a \in \mathbb{R}^{32}$) da imagem fixa, capturando apenas estatísticas de intensidade sem informação espacial.
3. Módulo de Codificação de Posição Global (GPE): Introduzido para explorar a coerência temporal em aquisições sequenciais.
   • Combina embeddings de posição aprendíveis, codificação sinusoidal e atenção cruzada entre quadros (cross-frame attention) em uma janela deslizante de $k$ vizinhos.
   • Enriquece as características da cena com contexto interquadro antes da decodificação.
4. ImageDecoder ($D$): Reconstrói a imagem registrada ($\hat{I}_r$) injetando o código de aparência alvo nas características da cena aprimoradas via AdaIN:
   $$\hat{I}_r = D(\text{AdaIN}(\tilde{s}_m, a_f))$$
   Onde $\tilde{s}_m$ são as características da cena enriquecidas temporalmente.

2.3. Função de Objetivo

O treinamento otimiza uma perda bi-objetivo:

• Fidelidade de Reconstrução ($L_{recon}$): Erro $L_1$ entre a saída registrada e a imagem fixa.
• Regularizador de Fatorização ($L_{scene}$): Força a consistência da representação da cena, garantindo que imagens de domínios diferentes, mas com a mesma estrutura, mapeiem para o mesmo código de cena ($S(I_m) \approx S(I_f)$).

3. Principais Contribuições

1. Fatorização Cena-Aparência: Formalização do registro interdomínio como um problema de fatorização latente, eliminando a estimativa de campos de deformação e permitindo a transferência de estilo via AdaIN.
2. Atenção Temporal Codificada por Posição: Introdução do módulo GPE, que funde embeddings de posição e atenção multi-cabeça para aproveitar a coerência temporal em sequências de imagens, melhorando a consistência entre quadros.
3. Avaliação Abrangente: Validação em dois benchmarks distintos (médico e sintético), demonstrando generalização superior e eficiência computacional.

4. Resultados Experimentais

O GPEReg-Net foi avaliado em dois benchmarks:

A. FIRE-Reg-256 (Imagens de Retina, Deformação Semi-Rígida)

• Desempenho: Alcançou o estado da arte (SOTA) em todas as métricas.
  • SSIM: 0.928 (vs. 0.916 do VoxelMorph).
  • PSNR: 33.47 dB (vs. 32.21 dB do SAS-Net).
  • NCC: 0.851.
• Eficiência: 69 FPS em GPU RTX 5090, sendo 1.87x mais rápido que o SAS-Net, mantendo qualidade superior.

B. HPatches-Reg-256 (Patches Sintéticos, Transformações Afins)

• Desempenho: Superior mesmo em cenários com grandes transformações afins (rotação, escala, cisalhamento) onde métodos baseados em deformação falham.
  • PSNR: 21.01 dB (vs. 20.15 dB do SAS-Net).
  • SSIM: 0.450.
• Generalização: O modelo transferiu-se diretamente entre domínios (retina para patches sintéticos) sem necessidade de ajuste de arquitetura, validando a hipótese de fatorização.

5. Significado e Conclusão

O trabalho demonstra que o registro de imagens interdomínio pode ser resolvido de forma mais eficiente e robusta através da separação explícita de estrutura e aparência, em vez da estimativa complexa de campos de deformação.

• Vantagens Chave:
  • Elimina a suposição de constância de brilho, crucial para domínios cruzados.
  • Oferece velocidade de inferência em tempo real, viabilizando aplicações clínicas.
  • Aproveita a coerência temporal em sequências de vídeo/imagem.
• Limitações Futuras: O modelo atual assume mudanças de aparência globais (capturadas por um vetor de 32 dimensões). Mudanças de iluminação local ou gradientes de intensidade espaciais podem exigir mapas de aparência condicionados espacialmente. Além disso, a tabela de embeddings fixa limita a generalização para sequências muito longas.

Em suma, o GPEReg-Net propõe uma mudança de paradigma no registro de imagens, substituindo a busca por deformações espaciais pela recomposição inteligente de características latentes, alcançando resultados de ponta com menor custo computacional.