GSVisLoc: Generalizable Visual Localization for Gaussian Splatting Scene Representations

Resumen Técnico: GSVisLoc

Planteamiento del Problema
La localización visual consiste en estimar la posición y la orientación (pose) de la cámara dentro de un entorno 3D dada una única imagen de consulta. Mientras que los métodos clásicos basados en estructuras logran una alta precisión, a menudo requieren un almacenamiento sustancial de descriptores 3D y un paso inicial de recuperación de imágenes. Por el contrario, los enfoques aprendidos de extremo a extremo (por ejemplo, la Regresión de Pose Absoluta) carecen de la generalización y la precisión de los métodos basados en estructuras. Recientemente, el Splatting de Gaussianas 3D (3DGS) ha emergido como una representación de escena de alta calidad y entrenamiento rápido para la síntesis de vistas noveles. Sin embargo, los métodos existentes para la localización visual utilizando 3DGS son limitados: algunos solo refinan una pose inicial, otros exhiben una menor precisión en comparación con otras representaciones, y algunos requieren optimizar un modelo 3DGS específico con características adicionales, lo que impide el uso de modelos 3DGS "vanilla".

Metodología
Los autores proponen GSVisLoc, un método basado en aprendizaje profundo diseñado para realizar localización visual directamente sobre representaciones de escena 3DGS estándar sin requerir el reentrenamiento, modificaciones al modelo 3DGS o imágenes de referencia adicionales. El enfoque establece correspondencias 3D-2D entre los puntos de las Gaussianas 3D y los parches de la imagen 2D a través de un flujo de trabajo de tres etapas:

1. Codificación de Características:

   • Codificación 3D: Las Gaussianas 3D se filtran primero (eliminando las Gaussianas de baja opacidad) y se submuestrean. Un codificador basado en KPConv (KPFCNN) procesa las Gaussianas restantes, incorporando información de los puntos vecinos para crear características de región 3D robustas.
   • Codificación 2D: Un codificador de imágenes 2D extrae características de la imagen de consulta en dos escalas: características gruesas (submuestreadas por 8x) y características finas (submuestreadas por 2x).
   • Alineación: La red emplea capas intercaladas de auto-atención y de atención cruzada para refinar las representaciones dentro de cada dominio y alinear los espacios de características 3D y 2D.

2. Estrategia de Emparejamiento:

   • Emparejamiento Grueso: El sistema computa similitudes de coseno por pares entre las características 3D y 2D gruesas. Los emparejamientos se seleccionan basándose en un umbral de puntuación y un criterio de vecino más cercano mutuo (MNN) para filtrar valores atípicos.
   • Emparejamiento Fino: Para cada emparejamiento grueso, el sistema refina la correspondencia al nivel de píxel. Genera un mapa de calor que representa la distribución de probabilidad del alineamiento para una ventana local alrededor de la ubicación del emparejamiento grueso. El emparejamiento fino final se determina tomando la esperanza sobre esta distribución.

3. Estimación y Refinamiento de la Pose:

   • Las correspondencias 3D-2D establecidas se introducen en un resolvedor de Perspectiva-n-Puntos (PnP) con RANSAC para estimar una pose de cámara inicial.
   • Un módulo de Refinamiento de Pose (adaptado de GS-CPR) mejora aún más la precisión. Este renderiza una imagen y un mapa de profundidad desde la pose estimada utilizando el modelo 3DGS, establece correspondencias 2D-2D densas entre la consulta y las imágenes renderizadas usando MASt3R, las eleva a 3D y resuelve para una pose refinada mediante PnP+RANSAC.

Regímenes de Entrenamiento
El modelo se entrena utilizando emparejamientos de verdad fundamental derivados de la proyección de los puntos 3DGS sobre las imágenes de consulta utilizando poses conocidas. El entrenamiento se evalúa bajo tres escenarios:

• Escena única: Entrenamiento y prueba en la misma escena.
• Multi-escena: Entrenamiento en una colección de escenas y prueba en el mismo conjunto.
• Generalización entre escenas: Entrenamiento en una colección de escenas y prueba en escenas novedosas y no vistas.

Contribuciones Clave

1. Red GSVisLoc: Una red neuronal profunda diseñada específicamente para la localización visual sobre representaciones de Splatting de Gaussianas 3D.
2. Despliegue sin Modificaciones: El método opera sobre modelos 3DGS vanilla sin requerir el reentrenamiento de la representación de la escena ni la adición de características aprendidas a las Gaussianas.
3. Inferencia sin Recuperación: A diferencia de muchos métodos basados en estructuras o NeRF, GSVisLoc no requiere un paso de recuperación de imágenes durante la inferencia, permitiendo que las imágenes de referencia se descarten después del entrenamiento.
4. Generalización: El modelo demuestra la capacidad de generalizarse a escenas novedosas y no vistas mediante el emparejamiento 3D-2D aprendido, manteniendo una precisión comparable a los modelos entrenados en una sola escena.
5. Rendimiento: Logra un rendimiento de vanguardia entre los métodos basados en 3DGS y resultados competitivos contra bases de referencia de vanguardia en los estandares de la industria.

Resultados Experimentales
Los autores evaluaron GSVisLoc en los conjuntos de datos 7-Scenes (interior) y Cambridge Landmarks (exterior), así como en el conjunto de datos ScanNet++ V2 para la generalización entre escenas.

• 7-Scenes: GSVisLoc superó a otros métodos basados en 3DGS (6DGS, GSplatLoc) y sobrepasó a los métodos basados en APR y NeRF tanto en precisión de traslación como de rotación. Logró un rendimiento comparable a los métodos de Regresión de Coordenadas de Escena (SCR), aunque se mantuvo ligeramente por detrás del mejor método basado en estructuras (DVLAD+R2D2).
• Cambridge Landmarks: El método superó a GSplatLoc en precisión de rotación y logró una precisión de traslación comparable. Superó significativamente a los métodos APR, pero quedó por detrás del método jerárquico de vanguardia HLoc, particularmente en precisión de traslación. Los autores atribuyen esta brecha en parte a la menor calidad de renderizado de 3DGS en este conjunto de datos exterior específico.
• Generalización: En experimentos de generalización entre escenas en ScanNet++ V2, el modelo se generalizó efectivamente a escenas no vistas sin reentrenamiento, manteniendo una alta precisión.

Significancia y Reivindicaciones
El artículo afirma que GSVisLoc aprovecha con éxito la representación explícita de la escena 3DGS para la localización visual, cerrando la brecha entre el renderizado de alta calidad de 3DGS y la necesidad de una estimación de pose precisa. Al eliminar la necesidad de recuperación de imágenes y evitar la optimización de modelos 3DGS específicos para la localización, el método simplifica el despliegue. Los autores enfatizan que su enfoque se generaliza a escenas novedosas, lo que lo convierte en una solución práctica para aplicaciones que requieren una localización robusta en entornos dinámicos o previamente no vistos utilizando reconstrucciones 3DGS estándar.