A Scene is Worth a Thousand Features: Feed-Forward Camera Localization from a Collection of Image Features

1. O Problema

A localização visual (estimar a pose da câmera de uma imagem de consulta em um ambiente conhecido) é fundamental para aplicações como Realidade Aumentada (AR) e navegação robótica. Os métodos existentes enfrentam um dilema entre precisão, tempo de preparação do mapa e generalização:

• Métodos Baseados em Estrutura (SfM): Requerem a construção de um modelo 3D denso (nuvem de pontos) antes da localização. Isso pode levar de horas a dias, dependendo do número de imagens.
• Regressão de Coordenadas de Cena (SCR): Treinam redes neurais para mapear pixels 2D para coordenadas 3D. Embora o tempo de treinamento tenha sido reduzido (minutos), ainda exigem treinamento específico por cena e generalizam mal para áreas não vistas.
• Regressão de Pose Relativa (RPR): Não exigem treinamento por cena, apenas recuperação de imagens semelhantes. No entanto, geralmente sofrem com baixa precisão e dificuldade em recuperar a escala métrica correta sem etapas de pós-processamento complexas.

O objetivo deste trabalho é criar um sistema que ofereça alta precisão com preparação de mapa mínima (quase instantânea) e generalização robusta para domínios não vistos, utilizando uma única passagem feed-forward.

2. Metodologia: FastForward

O FastForward é uma abordagem que representa o mapa não como uma nuvem de pontos densa ou uma rede treinada especificamente, mas como uma coleção esparsa de características de imagem ancoradas em 3D.

Arquitetura e Fluxo de Trabalho

1. Representação do Mapa:

   • O mapa é composto por uma coleção de características extraídas de múltiplas imagens de mapeamento com poses conhecidas.
   • Em vez de usar todas as características, o sistema amostra aleatoriamente um conjunto fixo de $N$ características (ex: 3.000) de várias imagens de mapeamento. Isso garante que o custo computacional e de memória permaneça constante, independentemente do tamanho do banco de dados de imagens.
   • Cada característica é enriquecida com um codificador de raio (Ray Encoding), que inclui a posição 3D da câmera e a direção de visão, permitindo que a rede entenda a geometria da cena.

2. Normalização de Cena e Escala:

   • Para lidar com variações de escala entre diferentes ambientes (um grande desafio para redes neurais), o sistema normaliza a cena.
   • Uma imagem de referência é definida como a origem. Todas as outras poses são transformadas em relação a ela.
   • A escala da cena é normalizada dividindo as transações pelo maior deslocamento em qualquer eixo ($s$). A rede prevê coordenadas nesse espaço normalizado, e a escala métrica real é recuperada multiplicando o resultado por $s$ no final. Isso permite generalização para escalas nunca vistas durante o treinamento.

3. Arquitetura da Rede (Baseada em Transformers):

   • Inspirado no DUSt3R, utiliza um codificador ViT (Vision Transformer) pré-treinado (congelado) para extrair características.
   • Um decodificador ViT (ajustado) realiza atenção cruzada (cross-attention) entre as características da imagem de consulta e a representação do mapa (as características amostradas).
   • Heads (Cabeças de Saída):
     • Head de Consulta: Prevê as coordenadas 3D dos pixels da imagem de consulta no espaço do mapa normalizado.
     • Head de Mapeamento: Prevê coordenadas 3D para as características do mapa (usado apenas como sinal de supervisão durante o treinamento para melhorar a precisão da consulta).

4. Inferência:

   • O sistema recupera as $K$ imagens de mapeamento mais semelhantes à consulta (usando descritores globais).
   • Amostra características dessas imagens, executa a passagem feed-forward única para obter correspondências 2D-3D.
   • Calcula a pose final usando PnP-RANSAC.

3. Contribuições Principais

1. Representação de Mapa Eficiente: Demonstra que uma coleção de apenas algumas centenas (ou milhares) de características de imagem é suficiente para uma localização visual precisa e rápida, eliminando a necessidade de modelos 3D densos ou treinamento por cena.
2. Localização Feed-Forward Única: Apresenta o FastForward, capaz de mapear e localizar uma imagem em uma única passagem de rede neural, sem iterações de otimização geométrica complexas durante a inferência (apenas PnP-RANSAC no final).
3. Generalização de Escala e Domínio: A técnica de normalização de cena e escala permite que o modelo generalize para ambientes com escalas métricas muito diferentes das vistas no treinamento, superando limitações de métodos anteriores.
4. Desempenho Estado-da-Art: Alcança precisão comparável ou superior a métodos baseados em estrutura e SCR, mas com tempo de preparação de mapa reduzido de horas/minutos para segundos.

4. Resultados Experimentais

O FastForward foi avaliado em diversos conjuntos de dados públicos (Wayspots, Indoor6, RIO10, Cambridge Landmarks, 7-Scenes) e comparado com métodos Seen (que exigem preparação de mapa) e Unseen (que não exigem).

• Precisão:

  • No conjunto Wayspots, o FastForward alcançou um erro de translação mediano de 0.17m e rotação de 1.75°, superando todos os métodos Unseen (como Reloc3r e E5+1) e competindo com métodos Seen (ACE, GLACE).
  • No conjunto Indoor6, obteve a maior taxa de aceitação (91.5% sob o limiar 10cm/10°), superando até mesmo o MASt3R + Kapture (que requer horas de preparação SfM).
  • No Cambridge Landmarks (cenários externos de grande escala), demonstrou robustez superior devido à normalização de escala, enquanto outros métodos falharam em generalizar para as grandes distâncias.

• Tempo de Preparação e Latência:

  • Preparação de Mapa: O FastForward reduz o tempo de preparação para ~3 segundos (apenas extração de descritores e índice de recuperação), comparado a 5-25 minutos para SCR e horas para SfM.
  • Latência de Consulta: A localização ocorre em ~0.3s a 0.5s, sendo competitiva com os métodos mais rápidos.

• Armazenamento:

  • Requer apenas o armazenamento das imagens e descritores globais, sem a necessidade de pesos de rede específicos por cena (como no SCR) ou nuvens de pontos densas.

5. Significado e Impacto

O trabalho FastForward representa um avanço significativo na localização visual ao demonstrar que é possível eliminar o gargalo do tempo de preparação de mapas sem sacrificar a precisão.

• Aplicabilidade em Tempo Real: A capacidade de localizar instantaneamente em mapas personalizados (criados "on-the-fly") abre portas para aplicações de AR em ambientes dinâmicos ou não mapeados previamente, onde o tempo de espera para processamento de nuvem de pontos é inviável.
• Eficiência Computacional: Ao fixar o tamanho da representação do mapa independentemente do número de imagens de entrada, o sistema escala bem para grandes bancos de dados de imagens.
• Robustez: A abordagem demonstra que a combinação de modelos fundacionais (como DUSt3R) com estratégias de normalização de escala e amostragem inteligente de características pode superar métodos tradicionais baseados em geometria estrita em cenários desafiadores (iluminação variável, simetria, grandes escalas).

Em resumo, o FastForward propõe um novo paradigma onde o mapa é uma coleção de características esparsas acessíveis via recuperação de imagem, permitindo localização precisa, rápida e generalizável em uma única passagem de rede neural.