GSVisLoc: Generalizable Visual Localization for Gaussian Splatting Scene Representations

Resumo Técnico: GSVisLoc

Definição do Problema
A localização visual envolve estimar a posição e a orientação (pose) da câmera dentro de um ambiente 3D dada uma única imagem de consulta. Embora os métodos clássicos baseados em estrutura alcancem alta precisão, eles frequentemente exigem um armazenamento substancial de descritores 3D e uma etapa inicial de recuperação de imagens. Por outro lado, abordagens aprendidas de ponta a ponta (ex: Regressão de Pose Absoluta) carecem da generalização e da precisão dos métodos baseados em estrutura. Recentemente, o 3D Gaussian Splatting (3DGS) surgiu como uma representação de cena de alta qualidade e treinamento rápido para síntese de novas visões. No entanto, os métodos existentes para localização visual usando 3DGS são limitados: alguns apenas refinam uma pose inicial, outros exibem menor precisão em comparação com outras representações, e alguns exigem a otimização de um modelo 3DGS específico com características adicionais, impedindo o uso de modelos 3DGS "vanilla".

Metodologia
Os autores propõem o GSVisLoc, um método baseado em aprendizagem profunda projetado para realizar a localização visual diretamente em representações de cena 3DGS padrão, sem exigir o retreinamento, modificações ao modelo 3DGS ou imagens de referência adicionais. A abordagem estabelece correspondências 3D-2D entre os pontos Gaussianos 3D e patches de imagem 2D através de um pipeline de três estágios:

1. Codificação de Características (Feature Encoding):

   • Codificação 3D: Os Gaussianos 3D são primeiro filtrados (removendo Gaussianos de baixa opacidade) e subamostrados. Um codificador baseado em KPConv (KPFCNN) processa os Gaussianos restantes, incorporando informações de pontos vizinhos para criar características de região 3D robustas.
   • Codificação 2D: Um codificador de imagem 2D extrai características da imagem de consulta em duas escalas: características grosseiras (subamostradas por 8x) e características finas (subamostradas por 2x).
   • Alinhamento: A rede utiliza camadas intercaladas de autoatenção e cross-attention para refinar as representações dentro de cada domínio e alinhar os espaços de características 3D e 2D.

2. Estratégia de Correspondência (Matching Strategy):

   • Correspondência Grosseira (Coarse Matching): O sistema computa similaridades de cosseno pareadas entre características 3D e 2D grosseiras. As correspondências são selecionadas com base em um limiar de pontuação e um critério de vizinho mais próximo mútuo (MNN) para filtrar outliers.
   • Correspondência Fina (Fine Matching): Para cada correspondência grosseira, o sistema refina a correspondência ao nível de pixel. Ele gera um mapa de calor representando a distribuição de probabilidade de alinhamento para uma janela local ao redor da localização da correspondência grosseira. A correspondência fina final é determinada pela esperança matemática sobre esta distribuição.

3. Estimativa e Refinamento de Pose:

   • As correspondências 3D-2D estabelecidas são alimentadas em um solver Perspective-n-Point (PnP) com RANSAC para estimar uma pose inicial da câmera.
   • Um módulo de Refinamento de Pose (adaptado do GS-CPR) melhora ainda mais a precisão. Ele renderiza uma imagem e um mapa de profundidade a partir da pose estimada usando o modelo 3DGS, estabelece correspondências 2D-2D densas entre a consulta e as imagens renderizadas usando MASt3R, eleva estas para 3D e resolve para uma pose refinada usando PnP+RANSAC.

Regimes de Treinamento
O modelo é treinado usando correspondências de verdade fundamental (ground-truth) derivadas da projeção de pontos 3DGS em imagens de consulta usando poses conhecidas. O treinamento é avaliado sob três cenários:

• Cena única (Single-scene): Treinamento e teste na mesma cena.
• Multi-cena (Multi-scene): Treinamento em uma coleção de cenas e teste no mesmo conjunto.
• Generalização entre cenas (Cross-scene Generalization): Treinamento em uma coleção de cenas e teste em cenas inéditas.

Principais Contribuições

1. Rede GSVisLoc: Uma rede neural profunda especificamente projetada para localização visual em representações de 3D Gaussian Splatting.
2. Implantação Sem Modificação (Zero-Modification Deployment): O método opera em modelos 3DGS vanilla sem exigir o retreinamento da representação da cena ou a adição de características aprendidas aos Gaussianos.
3. Inferência Sem Recuperação (Retrieval-Free Inference): Diferente de muitos métodos baseados em estrutura ou NeRF, o GSVisLoc não exige uma etapa de recuperação de imagem durante a inferência, permitindo que as imagens de referência sejam descartadas após o treinamento.
4. Generalização: O modelo demonstra a capacidade de se generalizar para novas cenas através de correspondência 3D-2D aprendida, mantendo uma precisão comparável aos modelos treinados em cena única.
5. Desempenho: Alcança o estado da arte entre os métodos baseados em 3DGS e resultados competitivos contra baselines de estado da arte em benchmarks padrão.

Resultados Experimentais
Os autores avaliaram o GSVisLoc nos conjuntos de dados 7-Scenes (indoor) e Cambridge Landmarks (outdoor), bem como no conjunto de dados ScanNet++ V2 para generalização entre cenas.

• 7-Scenes: O GSVisLoc superou outros métodos baseados em 3DGS (6DGS, GSplatLoc) e superou métodos baseados em APR e NeRF tanto em precisão de translação quanto de rotação. Alcançou desempenho comparável aos métodos de Regressão de Coordenadas de Cena (SCR), embora tenha permanecido ligeiramente atrás do principal método baseado em estrutura (DVLAD+R2D2).
• Cambridge Landmarks: O método superou o GSplatLoc em precisão de rotação e alcançou precisão de translação comparável. Superou significativamente os métodos APR, mas ficou atrás do método hierárquico de estado da arte HLoc, particularmente em precisão de translação. Os autores atribuem essa lacuna, em parte, à menor qualidade de renderização do 3DGS neste conjunto de dados externo específico.
• Generalização: Em experimentos de cross-scene no ScanNet++ V2, o modelo generalizou-se efetivamente para cenas inéditas sem retreinamento, mantendo alta precisão.

Significância e Alegações
O artigo afirma que o GSVisLoc aproveita com sucesso a representação explícita de cena 3DGS para localização visual, preenchendo a lacuna entre a renderização de alta qualidade do 3DGS e a necessidade de estimativa de pose precisa. Ao eliminar a necessidade de recuperação de imagem e evitar a otimização de modelos 3DGS específicos para localização, o método simplifica a implantação. Os autores enfatizam que sua abordagem se generaliza para novas cenas, tornando-a uma solução prática para aplicações que exigem localização robusta em ambientes dinâmicos ou previamente não vistos usando reconstruções 3DGS padrão.