SeeSE3: Emergence of 3D Space in Vision Features

Resumen Técnico: SeeSE3 – Emergencia del Espacio 3D en las Características de Visión

Planteamiento del Problema
Este artículo investiga si los modelos fundacionales de visión, entrenados sin supervisión 3D directa o agencia activa, construyen inherentemente representaciones que reflejan las propiedades intrínsecas del espacio euclidiano 3D. Específicamente, aborda la "Tarea de Poincaré": ¿Puede un observador inmóvil, ante la presencia de una entrada visual pasiva, "descubrir" la estructura del espacio 3D? Los autores plantean la hipótesis de que, si bien las características visuales son de alta dimensión y están ligadas al contenido visual, pueden contener un subespacio latente isomórfico al grupo euclidiano especial $SE(3)$, el cual gobierna las transformaciones de cuerpos rígidos (posición y orientación). A diferencia de trabajos previos que sondean la conciencia 3D mediante la regresión de cantidades específicas (p. ej., profundidad, normales) o el uso de decodificadores de alta capacidad para extraer la pose, este trabajo examina si la estructura del propio espacio de características se alinea con la geometría euclidiana.

Metodología
Los autores proponen un protocolo para evaluar la alineación entre los espacios de características visuales y el grupo de transformaciones euclidianas $SE(3)$ utilizando escenas estáticas de diversos conjuntos de datos (ScanNet, ARKitScenes, TUM RGB-D, etc.). La evaluación emplea cuatro métricas de complejidad creciente:

1. Alineación Topológica (M1): Utiliza una métrica de $k$-vecinos más cercanos mutuos ($k$-nn) para comparar la estructura de vecindad de las características visuales frente a las trayectorias de la pose de la cámara. Esto evalúa si los vecindarios locales de las características reflejan los vecindarios espaciales locales.
2. Dimensionalidad Intrínseca (M2): Estima la dimensión intrínseca (ID) local del manifold de características. Una representación que capture los 6 grados de libertad de $SE(3)$ debería exhibir una ID cercana a 6.
3. Equivarianza Lineal (M3): Evalúa si el espacio de características es globalmente euclidiano mediante el entrenamiento de un regresor lineal para predecir cambios de pose relativos ($\Delta P$) directamente a partir de diferencias de características puras ($z_{t+s} - z_t$).
4. El Adaptador de Poincaré (M4): Reconociendo que las características puras suelen formar un manifold curvo donde la aritmética lineal falla, los autores introducen un adaptador MLP (Perceptrón Multicapa) siames de tipo ligero y entrenable, $\phi_\theta$. Este adaptador "desenrolla" el espacio de características no lineal para construir un sistema de coordenadas homogéneo donde los cambios de pose se vuelan lineales: $\Delta P \approx W(\phi_\theta(z_{t+s}) - \phi_\theta(z_t))$.

Contribuciones Clave

1. Formulación de la Tarea de Poincaré: El artículo define un marco para inferir la estructura 3D a partir de características visuales comparándolas con $SE(3)$, introduciendo sondas específicas para evaluar el rendimiento del codificador en esta tarea.
2. Descubrimiento de la Estructura Geométrica Latente: Los autores demuestran que, aunque ninguna característica es directamente isomórfica a $SE(3)$, un "adaptador de Poincaré" ligero puede extraer un sistema de coordenadas homogéneo a partir de modelos puramente auto-supervisados (p. ej., DINOv2, DINOv3). Esto revela que estos modelos poseen subespacios latentes fuertemente correlacionados con el espacio 3D a pesar de carecer de entrenamiento 3D explícito.
3. Análisis Teórico: El artículo proporciona un análisis teórico de las condiciones para la recuperación geométrica, mostrando que la rotación es generalmente más fácil de codificar que la magnitud de la traslación debido a la dependencia del flujo de traslación respecto a la profundidad de la escena ($1/Z$). También establece que la autodestilación y las grandes escalas de datos son críticas para la emergencia de esta estructura.
4. Navegación en el Espacio Latente: Basándose en el espacio latente linealizado, los autores proponen una técnica novedosa de "Navegación en el Espacio Latente". Este enfoque realiza odometría visual y localización puramente en el espacio latente utilizando aritmética de vectores (invirtiendo el adaptador de Poincaré), evitando la necesidad de reconstrucción 3D explícita o síntesis de píxeles.

Resultados

• Alineación Topológica: Los modelos auto-supervisados como DINOv2 y DINOv3 exhiben una fuerte alineación topológica con las poses de la cámara (puntuaciones de $k$-nn mutuo $\approx 0.38$), superando a los píxeles brutos y a muchos modelos basados en video. Esta estructura emerge sin supervisión explícita de profundidad o pose.
• Linealización: Las características puras fallan en las pruebas de equivariancia lineal (puntuaciones $R^2$ negativas), confirmando que el manifold de características es nativamente curvo. Sin embargo, el adaptador de Poincaré linealiza con éxito este manifold, logrando puntuaciones $R^2$ elevadas (p. ej., $\approx 0.65$ para DINOv2 en ScanNet) al mapear las diferencias de características hacia desplazamientos de $SE(3)$.
• Escalabilidad y Generalización: La conciencia geométrica escala monótonamente con el número de habitaciones de entrenamiento. Los adaptadores zero-shot entrenados en un subconjunto de habitaciones se generalizan eficazmente a entornos no vistos, con tasas de éxito que aumentan a medida que crecen los datos de entrenamiento.
• Rendimiento de Navegación: El método "Poincaré Inverso" (libre de entrenamiento, utilizando pesos de la pseudo-inversa) logra un rendimiento de recuperación competitivo en la navegación del espacio latente, superando significativamente a las líneas base estáticas. Si bien los correctores de atención aprendidos mejoran las métricas de regresión ($R^2$), el enfoque simple de aritmética lineal es suficiente para la recuperación topológica (encontrar el vecindario espacial correcto).
• Dificultad de los Componentes: El análisis revela que la rotación es decodificable de manera fiable en diversas configuraciones, mientras que la magnitud de la traslación es más sensible a los hiperparámetros y requiere datos de entrenamiento diversos para resolver las ambigüedades de escala.

Significado y Pretensiones
El artículo sostiene que los modelos fundacionales de visión, incluso cuando son entrenados como observadores pasivos en imágenes estáticas, organizan naturalmente sus espacios latentes para reflejar la geometría de $SE(3)$. Esto desafía la visión predominante de que el descubrimiento de la estructura espacial requiere agencia activa o supervisión 3D explícita. El trabajo sugiere que el "Código de la Rejilla Visual" (una representación isomórfica a los generadores de movimiento físico) emerge de las estadísticas de los datos visuales por sí solo.

La importancia radica en demostrar que el razonamiento espacial 3D puede accederse mediante el sondeo ligero de modelos fundacionales existentes, en lugar de requerir arquitecturas masivas y especializadas de reconstrucción 3D. Esto permite una "Navegación en el Espacio Latente" eficiente, donde un agente puede predecir las consecuencias visuales del movimiento físico mediante operaciones vectoriales simples en el espacio latente. Los autores posicionan esto como un paso fundamental hacia la comprensión de los fundamentos geométricos del razonamiento espacial en los modelos de visión, cerrando la breancia entre la observación pasiva y el descubrimiento de las leyes físicas.

Limitaciones
El estudio se limita a escenas estáticas donde los cambios en las características se atribuyen únicamente al movimiento de la cámara. En consecuencia, no aborda la distinción entre "cambios de posición" y "cambios de estado" (p. ej., objetos dinámicos) como postuló originalmente Poincaré. Los autores señalan que extender este formalismo a escenas dinámicas sigue siendo una dirección abierta para trabajos futuros.