A Scene is Worth a Thousand Features: Feed-Forward Camera Localization from a Collection of Image Features

1. El Problema

La localización visual (estimar la pose de la cámara de una imagen de consulta en un entorno 3D) es fundamental para aplicaciones como la realidad aumentada (AR) y la navegación. Sin embargo, los enfoques existentes presentan limitaciones significativas en términos de tiempo de preparación del mapa y generalización:

• Métodos basados en estructura (SfM): Requieren horas para construir modelos 3D densos mediante triangulación de características, lo que es impráctico para entornos dinámicos o de rápida creación.
• Regressión de Coordenadas de Escena (SCR): Aunque más rápidos (minutos de entrenamiento), requieren entrenamiento específico por escena y generalizan mal a áreas no vistas durante el entrenamiento.
• Regressión de Pose Relativa (RPR): No requieren entrenamiento por escena, pero suelen tener menor precisión y a menudo carecen de la escala métrica correcta sin pasos de post-procesamiento costosos.

El objetivo principal es lograr una localización precisa y competitiva con un tiempo de preparación del mapa mínimo (casi instantáneo) y una capacidad de generalización robusta a dominios no vistos.

2. Metodología: FastForward

El autores proponen FastForward, un método que realiza la creación del mapa y la localización en un solo paso de inferencia feed-forward (hacia adelante).

Representación del Mapa

En lugar de construir un modelo 3D denso o entrenar una red neuronal específica para cada escena, FastForward representa la escena como una colección de características de imagen ancladas en el espacio 3D.

• Muestreo Aleatorio: Se extraen características de múltiples imágenes de mapeo (con poses conocidas) y se muestrean aleatoriamente un número fijo de ellas ($N$). Esto permite que el tamaño de la representación del mapa sea constante, independientemente de cuántas imágenes de mapeo se utilicen.
• Codificación de Rayos (Ray Encoding): Cada característica mapeada se enriquece con una codificación de rayo que incluye la posición 3D de la cámara y la dirección de visión, tokenizada mediante codificación de Fourier.

Arquitectura de la Red

La arquitectura se inspira en modelos fundacionales como DUSt3R y utiliza transformadores (ViT):

1. Codificador (Encoder): Utiliza un ViT pre-entrenado (congelado) para extraer características de la imagen de consulta y de las imágenes de mapeo.
2. Normalización de Escena y Escala: Para manejar la ambigüedad de escala en visión por computadora, el sistema normaliza las poses de mapeo (fijando una cámara en el origen y escalando la traslación máxima a 1). La red predice coordenadas en este espacio normalizado, y la escala métrica real se recupera al final multiplicando por un factor de escala calculado ($s$).
3. Decodificador (Decoder): Utiliza bloques de atención cruzada (cross-attention) para relacionar las características de la consulta con la representación del mapa (las características muestreadas). Esto permite inferir la estructura de la escena y la relación con la consulta en una sola pasada.
4. Cabezas de Salida (Heads):
   • Cabeza de Consulta: Predice las coordenadas 3D de los píxeles de la imagen de consulta en el sistema de coordenadas de la escena.
   • Cabeza de Mapeo: Predice coordenadas 3D para las características de mapeo (usado principalmente como señal de supervisión durante el entrenamiento).

Inferencia

En tiempo de ejecución:

1. Se recupera un conjunto de imágenes de mapeo relevantes para la consulta (usando un sistema de recuperación de imágenes).
2. Se muestrean $N$ características de estas imágenes.
3. La red predice las coordenadas 3D de la consulta.
4. Se establecen correspondencias 2D-3D y se calcula la pose final utilizando PnP-RANSAC.

3. Contribuciones Clave

1. Representación Eficiente: Demuestran que una colección de solo cientos de características de mapeo es suficiente para una localización visual precisa y rápida.
2. Arquitectura Feed-Forward: Presentan una arquitectura simple pero efectiva que localiza una imagen relativa a una colección de características en un solo paso, eliminando la necesidad de bucles de optimización iterativos o entrenamiento por escena.
3. Normalización de Escala y Escena: Introducen una técnica de normalización que permite al modelo generalizar a escalas y dominios no vistos durante el entrenamiento, superando una limitación común de los métodos de regresión de pose.
4. Generalización Robusta: El método funciona bien en entornos interiores y exteriores a gran escala, incluyendo condiciones desafiantes como cambios de iluminación y vistas opuestas.

4. Resultados Experimentales

FastForward fue evaluado en múltiples conjuntos de datos (Wayspots, Indoor6, RIO10, Cambridge Landmarks, 7-Scenes) y comparado con métodos Seen (requieren preparación de mapa) y Unseen (no requieren entrenamiento por escena).

• Precisión: En el conjunto de datos Wayspots, FastForward logró un error de traslación mediano de 0.17m, superando significativamente a los competidores Unseen (como Reloc3r con 1.31m) y compitiendo con métodos Seen como ACE y GLACE.
• Tiempo de Preparación del Mapa: Reduce el tiempo de preparación de horas (SfM) o minutos (entrenamiento SCR) a segundos (solo requiere extraer descriptores globales para la recuperación de imágenes).
• Latencia: Ofrece una latencia de localización muy baja (~0.5s), siendo el más rápido en el grupo Unseen.
• Robustez: En el dataset RIO10 (escenarios dinámicos y cambios a largo plazo), FastForward superó a los métodos basados en estructura (que fallaron debido a la falta de correspondencias suficientes) y a otros métodos RPR.
• Generalización de Escala: En Cambridge Landmarks (escenas a gran escala), la normalización de escala permitió a FastForward lograr un 26.7% de precisión (10cm, 10°), mientras que otros modelos como MASt3R cayeron al 0.5% al no manejar bien las escalas no vistas.

5. Significado e Impacto

FastForward representa un cambio de paradigma en la localización visual al demostrar que no es necesario construir modelos 3D densos ni entrenar redes específicas por escena para lograr alta precisión.

• Aplicabilidad en Tiempo Real: Al reducir la preparación del mapa a un simple paso de recuperación de imágenes, habilita la localización "bajo demanda" para aplicaciones móviles y AR en entornos nuevos o cambiantes.
• Eficiencia Computacional: Al mantener un tamaño de representación de mapa fijo y utilizar un solo paso feed-forward, el consumo de memoria y tiempo de inferencia es predecible y escalable.
• Futuro de la Localización: El trabajo sugiere que los modelos fundacionales de visión 3D, combinados con representaciones de características dispersas y técnicas de normalización, pueden superar a los pipelines tradicionales de localización en términos de equilibrio entre velocidad, precisión y facilidad de despliegue.

En resumen, FastForward ofrece una solución robusta, rápida y precisa que cierra la brecha de rendimiento entre los métodos rápidos pero poco precisos (RPR) y los métodos precisos pero lentos (SfM/SCR), permitiendo una localización visual escalable y adaptable.