TokenSplat: Token-aligned 3D Gaussian Splatting for Feed-forward Pose-free Reconstruction

TokenSplat es un marco de reconstrucción feed-forward que logra una estimación de pose y una reconstrucción 3D de alta fidelidad a partir de imágenes multivista sin pose, mediante un módulo de predicción de Gaussians alineado con tokens y un decodificador asimétrico que separa eficazmente las señales de cámara de la semántica de la escena.

Lo esencial

¡Imagina que quieres crear una réplica digital perfecta de una habitación, un paisaje o un objeto, pero solo tienes un montón de fotos tomadas desde diferentes ángulos, y nadie te ha dicho dónde estaba la cámara ni en qué dirección apuntaba cuando se tomó cada foto.

Antes, hacer esto era como intentar armar un rompecabezas gigante sin ver la imagen de la caja y sin saber qué pieza va dónde. Tenías que adivinar la posición de cada pieza (la cámara) y luego pintar el cuadro (la escena 3D), pero si te equivocabas en una sola pieza, todo el cuadro se deformaba.

Aquí es donde entra TokenSplat, una nueva tecnología que actúa como un arquitecto genio y un detective al mismo tiempo.

1. El Problema: El Caos de las Fotos

La mayoría de los métodos anteriores intentaban reconstruir la escena "píxel a píxel". Imagina que tienes 100 fotos de una taza. Si intentas crear un punto de luz (un "Gaussiano", que es como un pixel 3D brillante) para cada píxel de cada foto, terminas con millones de puntos 3D que se superponen, se mezclan y crean una imagen borrosa y confusa. Es como intentar pintar un cuadro usando millones de gotas de pintura que se derraman unas sobre otras.

Además, como no sabían dónde estaba la cámara, el sistema se confundía: ¿Es esa sombra parte de la mesa o es que la cámara se movió? Se mezclaban las ideas de "dónde estoy" (la cámara) con "qué veo" (la escena).

2. La Solución: TokenSplat y sus "Etiquetas Mágicas" (Tokens)

TokenSplat cambia las reglas del juego. En lugar de mirar píxel por píxel, mira la foto como si fuera un texto escrito.

• La Analogía de las "Etiquetas" (Tokens): Imagina que en lugar de ver una foto de una taza, el sistema la divide en "etiquetas" o "tarjetas" que dicen: "aquí hay un asa", "aquí hay un brillo", "aquí hay una sombra".
• El Gran Encuentro (Token-aligned): Cuando el sistema tiene fotos de la misma taza desde 10 ángulos diferentes, no las mezcla al azar. Busca las etiquetas que significan lo mismo. Si la etiqueta "asa" aparece en la foto 1 y en la foto 5, las une directamente en su "mente" (espacio de características).
  • Resultado: En lugar de tener 100 puntos 3D confusos para el asa, tiene una idea clara y unificada de cómo es el asa, sin importar desde dónde la miraste. Esto elimina el "ruido" y la redundancia.

3. El Detective y el Pintor: Dos Flujos Separados

El mayor desafío era que el sistema tenía que adivinar dos cosas a la vez:

1. Dónde estaba la cámara (Pose).
2. Cómo era la escena (Reconstrucción).

Antes, estos dos procesos se mezclaban y se estorbaban. TokenSplat introduce un Decodificador de Flujo Dual Asimétrico. Suena complicado, pero es muy simple:

• Imagina un Pintor (que construye la escena) y un Detective (que adivina dónde estaba la cámara).
• En otros sistemas, el Pintor y el Detective hablaban todo el tiempo, mezclando sus ideas. El Detective decía: "¡Creo que la cámara estaba aquí!", y el Pintor decía: "¡Pero si pinto así, se ve raro!", y terminaban confundidos.
• En TokenSplat:
  • El Detective mira al Pintor y le pide pistas: "¿Qué formas geométricas ves que me digan dónde estoy?". El Detective toma esas pistas geométricas para adivinar la posición de la cámara.
  • Pero el Pintor NO deja que el Detective le diga cómo pintar. El Pintor solo recibe una señal muy suave y estable del Detective: "Oye, parece que la cámara estaba un poco a la izquierda".
  • La clave: Esta separación evita que el Detective se confunda con los detalles de la pintura y viceversa. El Detective se enfoca en la geometría, y el Pintor se enfoca en la belleza de la escena.

4. El Resultado: Una Escena Perfecta sin Adivinar

Gracias a esta inteligencia:

• Sin cámaras conocidas: Funciona incluso si no sabes nada sobre cómo se tomaron las fotos.
• Sin borrosidad: Como une la información de forma inteligente (por etiquetas y no por píxeles), la escena 3D es nítida, incluso si tienes muchas fotos.
• Generalización: Si entrenas al sistema con fotos de casas, luego puede reconstruir una habitación de un museo que nunca ha visto, porque aprendió el "idioma" de las formas y las luces, no solo a memorizar casas.

En resumen

TokenSplat es como tener un equipo de construcción que, en lugar de intentar adivinar dónde está cada ladrillo mirando el suelo, primero lee los planos (las etiquetas semánticas) para entender qué es cada cosa, y luego separa al arquitecto (que dibuja la casa) del topógrafo (que mide el terreno) para que no se estorben.

El resultado es una reconstrucción 3D rápida, precisa y hermosa, capaz de crear mundos virtuales a partir de un simple álbum de fotos desordenado.

Resumen técnico

Resumen Técnico: TokenSplat

1. El Problema

La reconstrucción 3D a partir de imágenes multivista no poseadas (sin información de cámara previa) es un desafío crítico en visión por computadora. Aunque el 3D Gaussian Splatting (3DGS) ha demostrado ser eficiente para la síntesis de nuevas vistas, los métodos existentes presentan limitaciones significativas:

• Dependencia de Poses: La mayoría de los enfoques de 3DGS requieren poses de cámara precisas (obtenidas mediante SfM, costoso y propenso a fallos) o optimización por escena, lo que limita la escalabilidad y la generalización.
• Enredo de Representaciones: Los métodos pose-free recientes tienden a codificar la información de la escena y las pistas de la vista (pose) en las mismas características, lo que provoca un "enredo" (entanglement). Esto hace que los errores en la estimación de la pose se propaguen a la reconstrucción 3D.
• Redundancia y Fragmentación: Los métodos actuales suelen utilizar cabezales alineados a píxeles que generan Gaussianos a nivel de píxel. A medida que aumenta el número de vistas, esto induce una redundancia masiva y superposición de Gaussianos, causando borrosidad geométrica, inconsistencia de color y estructuras fragmentadas.

2. Metodología

TokenSplat es un marco de trabajo feed-forward (de un solo paso) que realiza simultáneamente la reconstrucción de escenas 3D mediante Gaussianos y la estimación de poses de cámara a partir de imágenes no poseadas. Su arquitectura se basa en tres componentes principales:

A. Módulo de Predicción de Gaussianos Alineados a Tokens (Token-aligned Gaussian Prediction)

• En lugar de predecir Gaussianos directamente por píxel, TokenSplat opera en el espacio de características a nivel de tokens.
• Este módulo alinea semánticamente la información correspondiente entre diferentes vistas directamente en el espacio de características.
• Utiliza posiciones de tokens gruesos y confianza de fusión para agrupar y fusionar características contextuales multiescala. Esto permite un razonamiento de largo alcance entre vistas y reduce drásticamente la redundancia de los Gaussianos superpuestos.
• La predicción es de "uno a muchos": cada token fusionado se mapea a múltiples Gaussianos, desacoplando la densidad de los Gaussianos de la resolución del píxel, lo que resulta en una representación más densa y expresiva.

B. Decodificador de Flujo Dual Asimétrico (ADF-Decoder)

• Diseñado para optimizar conjuntamente la reconstrucción y la pose sin bucles iterativos.
• Introduce tokens de cámara aprendibles que interactúan con los tokens de imagen.
• Asimetría: A diferencia de los mecanismos de atención simétrica que mezclan bidireccionalmente la información (riesgo de enredo), el ADF-Decoder impone un flujo de información direccionalmente restringido:
  • Los tokens de cámara extraen pistas geométricas robustas de los tokens de imagen para predecir la pose.
  • Solo señales de alineación de pose de baja frecuencia y estabilizadas se propagan de vuelta a los tokens de imagen.
• Esto asegura una factorización limpia entre los parámetros de la cámara y las características de la escena, evitando que la estimación de pose contamine la semántica de la reconstrucción.

C. Arquitectura General

• Utiliza un codificador ViT (Vision Transformer) compartido para extraer tokens de imagen.
• Un Canonical Scene Decoder establece una representación de escena canónica usando la vista de referencia.
• El ADF-Decoder refina las representaciones de imagen y cámara.
• Dos cabezales paralelos: uno para la estimación de la pose de la cámara y otro para la predicción de los Gaussianos 3D.

3. Contribuciones Clave

1. Marco Unificado Feed-Forward: TokenSplat es el primer enfoque que logra una reconstrucción 3D de alta fidelidad y estimación de poses robusta sin necesidad de optimización por escena ni poses de entrada, generalizando bien a escenas no vistas.
2. Predicción Alineada a Tokens: Introduce un mecanismo que fusiona características a nivel de token en lugar de píxel. Esto mitiga la redundancia y la fragmentación geométrica en configuraciones de muchas vistas, logrando estructuras coherentes.
3. Decodificador ADF: Diseña un mecanismo de flujo dual asimétrico que desentrelaza efectivamente el razonamiento de la pose de la codificación de la escena, mejorando la estabilidad de la estimación de poses y la calidad de la reconstrucción en un solo paso.

4. Resultados Experimentales

El método fue evaluado en conjuntos de datos reales como ScanNet y RealEstate10K (RE10K), comparándose con métodos que requieren pose (MVSplat, FreeSplat) y métodos pose-free (NoPoSplat, VicaSplat, SPFSplat, AnySplat).

• Síntesis de Nuevas Vistas (NVS): TokenSplat supera consistentemente a los métodos pose-free más avanzados. En escenarios densos (8 vistas en RE10K), supera incluso a métodos que requieren pose como FreeSplat, logrando un 0.95 dB más en PSNR.
• Escalabilidad: Mantiene una calidad de reconstrucción estable al aumentar el número de vistas (hasta 28 vistas en ScanNet), mientras que otros métodos degradan su rendimiento debido a la acumulación de redundancias.
• Estimación de Pose: Reduce significativamente el error de rotación relativa (RPE-r) y el error de traslación absoluta (ATE) en comparación con los baselines pose-free. Por ejemplo, en RE10K con 8 vistas, reduce el RPE-r en 0.335 grados frente a VicaSplat.
• Generalización Zero-Shot: Entrenado solo en RE10K, TokenSplat logra un rendimiento superior en ScanNet (datos no vistos) tanto en calidad de imagen como en precisión de pose, demostrando una fuerte capacidad de generalización.
• Eficiencia: A diferencia de los métodos que fusionan Gaussianos en el espacio 3D (que crecen linealmente con las vistas), la fusión a nivel de token de TokenSplat mantiene un número de primitivas Gaussianas más estable y un tiempo de inferencia constante al aumentar las vistas.

5. Significado e Impacto

TokenSplat representa un avance significativo en la reconstrucción 3D generalizable. Al eliminar la dependencia de herramientas de SfM costosas y la optimización por escena, hace que la reconstrucción 3D de alta calidad sea más accesible y escalable.

• Robustez: Su capacidad para manejar un número variable de vistas y entornos no vistos sin degradación es crucial para aplicaciones en realidad aumentada, robótica y exploración de entornos desconocidos.
• Paradigma de Diseño: La propuesta de desacoplar la pose y la geometría mediante un flujo de información asimétrico en arquitecturas Transformer ofrece una nueva dirección para el diseño de modelos de reconstrucción 3D, resolviendo el problema histórico del enredo de características en enfoques end-to-end.

En resumen, TokenSplat establece un nuevo estado del arte (SOTA) para la reconstrucción 3D sin poses, ofreciendo una solución eficiente, robusta y de alta fidelidad que supera las limitaciones de fragmentación y enredo de las metodologías anteriores.