Scalable and Generalizable Correspondence Pruning via Geometry-Consistent Pre-training

1. O Problema

A estimativa de pose de câmera e muitas tarefas de visão 3D dependem fundamentalmente da identificação de correspondências geométricas confiáveis (inliers) entre duas imagens, removendo as falsas correspondências (outliers).

• Desafio Atual: Os métodos existentes, tanto tradicionais (como RANSAC) quanto baseados em aprendizado profundo, sofrem significativamente com a presença massiva de outliers.
• Limitação de Generalização: No paradigma de aprendizado supervisionado atual, os outliers interferem negativamente no aprendizado das representações dos inliers. Isso resulta em modelos que não são robustos e têm dificuldade em generalizar para cenas ou domínios não vistos durante o treinamento (zero-shot).
• Custo de Dados: O treinamento supervisionado tradicional exige rótulos geométricos precisos (gerados via Structure-from-Motion ou Multi-View Stereo), o que é complexo, caro e limita a escalabilidade dos dados de treinamento.

2. Metodologia Proposta

Os autores propõem o GeneralPruner, uma nova abordagem que introduz um paradigma de pré-treinamento consistente com geometria. A solução é composta por dois pilares principais:

A. CorrMAE: Autoencoder de Correspondência Mascarada

Para superar a interferência dos outliers e a dependência de rótulos caros, os autores adaptam o conceito de Masked Autoencoders (MAE) para o domínio de correspondências.

• Tarefa de Pré-texto (Reconstrução de Inliers Mascarados): O modelo é treinado para reconstruir correspondências mascaradas usando apenas a consistência geométrica dos inliers visíveis. Como não há outliers na tarefa de reconstrução (que usa apenas inliers "puros" ou gerados sinteticamente), o modelo aprende representações robustas e livres de ruído.
• Desafio da Estrutura: Correspondências são desordenadas e irregulares, carecendo de uma posição central definida (diferente de nuvens de pontos).
• Solução Dual-Branch: O CorrMAE utiliza uma estrutura de duas ramificações que reconstrói separadamente os pontos-chave das duas imagens (fonte e alvo).
  • Para reconstruir os pontos mascarados da Imagem A, o modelo usa os pontos da Imagem B como prompts posicionais.
  • Isso permite a reconstrução indireta de correspondências 4D, contornando a falta de informação posicional explícita.
• Escalabilidade: A tarefa não depende de rótulos geométricos complexos. Os dados podem ser gerados usando métodos de correspondência geométrica simples e vídeos da internet, permitindo um pré-treinamento escalável e de baixo custo.

B. CorrFormer: Codificador de Correspondência Unificado

Para servir como a espinha dorsal tanto do pré-treinamento quanto do ajuste fino (fine-tuning), os autores propõem o CorrFormer.

• Arquitetura Dual-Stream: O codificador possui dois fluxos paralelos: um para capturar consenso local (usando grafos k-NN e atenção em grafos) e outro para consenso global (usando transformadores lineares).
• Interação Implícita: Diferente de métodos anteriores que fundem fluxos sem interação ou usam atenção cruzada excessiva, o CorrFormer permite uma interação implícita e eficiente entre os fluxos local e global através de transformadores lineares compartilhados. Isso facilita o aprendizado de dependências multi-escala sem complicar excessivamente a arquitetura.

3. Principais Contribuições

1. Paradigma de Pré-treinamento Consistente com Geometria: Primeira trabalho a introduzir um framework de pré-treinamento específico para poda de correspondências, eliminando a interferência de outliers durante o aprendizado de representações e permitindo treinamento escalável sem supervisão geométrica densa.
2. CorrMAE: Um framework de pré-treinamento baseado em MAE com uma estrutura dual-branch inovadora que reconstrói pontos-chave de imagens emparelhadas, tratando a natureza desordenada das correspondências.
3. CorrFormer: Um codificador unificado e extensível com interação de consenso integrada, projetado para capturar tanto dependências locais quanto globais de forma eficiente.
4. Generalização Zero-Shot: Demonstração de que as representações aprendidas via pré-treinamento transferem-se eficazmente para tarefas downstream e domínios não vistos, superando significativamente os métodos supervisionados tradicionais.

4. Resultados Experimentais

O método foi avaliado em cinco tarefas downstream, demonstrando ganhos consistentes sobre o estado da arte (SoTA):

• Estimativa de Pose de Câmera: Ganho de 10,76% em AUC@5° no benchmark externo (YFCC100M).
• Localização Visual: Ganho de 11,84% em precisão de localização em benchmarks Aachen Day-Night (v1.0 e v1.1), mostrando robustez extrema a mudanças de iluminação (dia/noite).
• Rastreamento de Câmera (SLAM): Redução de 50% no erro de trajetória (ATE RMSE) em comparação com o melhor pruner anterior, utilizando o dataset DL3DV.
• Reconstrução 3D: Produz mapas 3D mais densos e completos em cenas de grande escala (BlendedMVS) em comparação com pipelines clássicos e redes end-to-end.
• Registro 3D: Ganho de 8,65% em F1-score e melhoria significativa na taxa de registro (RR) no benchmark 3DMatch, provando a transferibilidade da representação 2D para o espaço 3D.
• Generalização Cross-Domain: No benchmark de zero-shot (12 datasets diversos), o método obteve um ganho relativo de 20,43% em AUC médio quando pré-treinado com dados adicionais, superando todos os concorrentes.

5. Significado e Impacto

Este trabalho representa um avanço significativo na visão computacional 3D ao:

• Mudar o Paradigma de Treinamento: Demonstra que o pré-treinamento auto-supervisionado focado na consistência geométrica (e não apenas na classificação supervisionada) é crucial para a generalização.
• Resolver o Problema de Outliers: Ao isolar o aprendizado de inliers durante o pré-treinamento, o modelo desenvolve uma compreensão geométrica mais profunda e robusta.
• Escalabilidade e Custo: Oferece uma solução viável para treinar modelos robustos sem a necessidade de anotações geométricas caras, utilizando dados abundantes da internet.
• Aplicabilidade Prática: O método atua como um componente "plug-and-play" que pode melhorar tanto detectores tradicionais quanto redes end-to-end modernas, sendo eficiente computacionalmente e robusto em cenários desafiadores (mudança de domínio, baixa textura, grandes mudanças de viewpoint).

Em resumo, o GeneralPruner estabelece um novo estado da arte ao combinar um pré-treinamento inovador baseado em reconstrução de inliers mascarados com uma arquitetura de codificador eficiente, resolvendo o problema crônico de generalização em tarefas de correspondência geométrica.