EpiMask: Leveraging Epipolar Distance Based Masks in Cross-Attention for Satellite Image Matching

---

1. O Problema

A correspondência de imagens (image matching) é fundamental para reconstrução 3D, alinhamento de imagens e SLAM. Embora redes de aprendizado profundo baseadas em dados terrestres (como LoFTR, SuperGlue) tenham alcançado precisão subpixel e lidado bem com variações de viewpoint e iluminação, elas apresentam desempenho subótimo quando aplicadas a imagens de satélite.

As principais razões para essa falha são:

• Geometria de Câmera Diferente: As redes existentes são treinadas implicitamente com a geometria de câmeras pinhole (terrestres), onde as linhas epipolares são retas.
• Complexidade de Satélite: Imagens de satélite são capturadas por câmeras de varredura linear (pushbroom) enquanto o satélite se move. Isso resulta em linhas epipolares curvas e complexas.
• Limitação de Re-treinamento: Apenas re-treinar modelos existentes em conjuntos de dados de satélite não é suficiente, pois a arquitetura não incorpora as restrições geométricas não lineares inerentes aos dados de satélite.

2. Metodologia: EpiMask

O EpiMask é uma rede de correspondência semi-densa projetada especificamente para imagens de satélite. Ele estende a arquitetura LoFTR com três inovações principais:

A. Modelagem Geométrica e Aproximação Afim

• O modelo reconhece que a geometria de câmera RPC (Rational Polynomial Coefficients) de satélites é não linear.
• No entanto, para pequenos patches de imagem, essa geometria pode ser aproximada por uma câmera afim.
• Utilizando metadados RPC disponíveis nas imagens de satélite, o sistema calcula uma estimativa inicial da Matriz Fundamental Afim ($F_0$) e gera uma máscara de distância epipolar ($M_{epi}$). Essa máscara define uma "faixa" (banda) na imagem de destino onde o ponto correspondente é geometricamente plausível.

B. Mecanismo de Atenção Cruzada Mascarada (Masked Cross-Attention - MXA)

• O núcleo da proposta é a introdução de um mecanismo de atenção cruzada mascarada nas camadas do Transformer.
• Em vez de permitir que um pixel na imagem esquerda atenda a todos os pixels na imagem direita (como no LoFTR padrão), a atenção é restrita apenas aos pixels que caem dentro da faixa epipolar definida pela máscara $M_{epi}$.
• Estratégia de Resfriamento (Warm-up): Durante os primeiros epochs de treinamento, nenhuma máscara é aplicada. A largura da faixa epipolar diminui linearmente ao longo das camadas do Transformer e dos epochs, forçando o modelo a aprender a focar progressivamente nas regiões geometricamente corretas.

C. Extração de Recursos e Ajuste Fino (Fine-tuning)

• Codificador Base: O modelo utiliza o SatlasPretrain, um modelo fundacional pré-treinado em grandes volumes de imagens de satélite, como codificador de recursos. Isso garante robustez a variações de iluminação e estações.
• LoRA (Low-Rank Adaptation): Para adaptar o codificador pré-treinado à tarefa de correspondência sem re-treinar todo o modelo (o que seria custoso), o EpiMask utiliza camadas LoRA ajustáveis nos blocos do Transformer.
• Arquitetura: Segue um fluxo coarse-to-fine (de grosseiro a fino), com camadas de atenção mascarada no nível grosseiro e refinamento no nível fino.

3. Principais Contribuições

1. Framework de Atenção Consciente da Geometria: Primeira abordagem a integrar explicitamente a geometria epipolar não linear de satélites (via máscaras de distância) diretamente no mecanismo de atenção cruzada de redes Transformer.
2. Uso de Modelos Fundacionais: Incorporação do codificador SatlasPretrain com LoRA, melhorando a generalização e a extração de recursos para cenários de satélite.
3. Desempenho de Estado da Arte: Alcançou resultados superiores no conjunto de dados SatDepth, superando modelos re-treinados de base terrestre.
4. Análise Abrangente: Realização de extensos estudos de ablação validando a eficácia da largura da máscara, resolução, codificação posicional e estratégias de treinamento.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados SatDepth, comparando o EpiMask com baselines como SIFT, satDualRC-Net, satLoFTR e satMatchFormer.

• Melhoria de Precisão: O EpiMask demonstrou uma melhoria de até 30% na precisão de correspondência em comparação com os melhores modelos re-treinados (como o LoFTR adaptado).
• Métricas Chave:
  • Precisão @ 1px: O modelo EpiMask-HR (alta resolução) alcançou cerca de 95-97% de precisão em áreas de teste como Jacksonville e San Fernando, superando significativamente o satLoFTR (~87-92%).
  • Número de Correspondências: O modelo extraiu um número muito maior de correspondências verdadeiras (True Positives), gerando nuvens de pontos mais densas e detalhadas (como ilustrado na Figura 1 do artigo).
  • Estimativa de Pose: A precisão na estimativa de pose (AUC) atingiu cerca de 90%, tornando-o ideal para tarefas de alinhamento de imagens.
• Robustez: O modelo manteve alto desempenho mesmo sob grandes diferenças de ângulo de visão e ângulo de trilha, e em cenários com grandes diferenças temporais.

5. Significado e Impacto

O EpiMask representa um avanço significativo na visão computacional para sensoriamento remoto.

• Ponte entre Dados e Arquitetura: Demonstra que simplesmente aplicar modelos terrestres a dados de satélite não é suficiente; a arquitetura deve refletir a física de captura da imagem (geometria de varredura linear).
• Aplicabilidade Prática: Oferece uma solução robusta para alinhamento de imagens, reconstrução 3D esparso e geração de modelos digitais de elevação a partir de imagens de satélite.
• Generalização: Embora focado em satélites, o mecanismo de atenção mascarada baseada em metadados de câmera é aplicável a outros domínios com geometria de câmera conhecida, como drones (UAVs) e sistemas de raio-X multi-visão.

Em resumo, o EpiMask resolve o gargalo da correspondência de imagens de satélite ao alinhar a arquitetura de aprendizado profundo com a realidade geométrica das câmeras de satélite, resultando em precisão e densidade de correspondências sem precedentes.