FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation

Resumen Técnico: FLAT (Feedforward Latent Triangle Splatting)

Planteamiento del Problema
Generar escenas 3D explorables a partir de una sola imagen requiere equilibrar fuertes prioris generativos con representaciones geométricamente precisas que sean adecuadas para aplicaciones posteriores, como la simulación y los pipelines de gráficos estándar. Aunque los modelos de difusión de video actuales ofrecen una generación de alta calidad y una estructura geométrica multi-vista implícita, los decodificadores feedforward existentes suelen producir Gaussianas 3D volumétricas. Estas primitivas Gaussianas carecen de superficies bien definidas, lo que las hace inadecuadas para la mayoría de los motores gráficos que dependen de representaciones de superficies opacas (por ejemplo, triángulos o mallas). Además, optimizar directamente representaciones basadas en triángulos u objetos opacos mediante predicción feedforward es un desafío debido a la no diferenciabilidad del renderizado estándar y a la sensibilidad de las primitivas planas ante errores de orientación, lo que a menudo conduce a un flujo de gradiente deficiente e inestabilidad en el entrenamiento.

Metodología
FLAT introduce un pipeline feedforward que decodifica splats de triángulos explícitos y no volumétricos directamente desde el espacio latente de un modelo de difusión de video congelado en una sola pasada hacia adelante (forward pass). El sistema opera de la siguiente manera:

1. Arquitectura del Pipeline: El método aumenta un modelo de difusión de video latente, congelado y condicionado por la cámara (específicamente Uni3C basado en Wan-2.1), con un decodificador de escena ligero. Dada una única imagen RGB y una trayectoria de cámara objetivo, el modelo de video genera un latente de eliminación de ruido (denoised latent). El decodificador luego mapea este latente directamente a parámetros de escena explícitos (triangle splats) sin optimización por escena.
2. Parametrización de Triángulos Centrados en el Rayo: Para abordar la inestabilidad de la regresión de primitivas planas, FLAT emplea una nueva parametrización. En lugar de predecir vértices 3D sin restricciones o rotaciones completas en el espacio del mundo, cada token del decodificador predice un triángulo relativo a un marco local centrado en el rayo:
   • Posición: Definida por un valor de profundidad a lo largo de un rayo ancla.
   • Forma: Derivada de un triángulo equilátero 2D transformado por una matriz triangular inferior restringida (estilo Cholesky), lo que garantiza un área estrictamente positiva y evita soluciones degeneradas.
   • Orientación: Parametrizada por ángulos de inclinación (tilt) y rotación (spin) residuales alrededor del marco alineado con el rayo, en lugar de una rotación 3D completa (por ejemplo, cuaternión), lo que mejora la estabilidad numérica.
3. Renderizado Diferenciable y Función de Ventana: Para permitir el flujo de gradientes durante el entrenamiento, FLAT utiliza una función de ventana modificada para el renderizado de triángulos diferenciable. A diferencia de formulaciones anteriores que utilizan una reducción max o límites rígidos, FLAT introduce una "función de ventana de producto". Esta función extiende la influencia del triángulo más allá de su límite exacto y dirige los gradientes a los tres vértices simultáneamente, mejorando significativamente el flujo de gradientes y la estabilidad del entrenamiento.
4. Condicionamiento de la Cámara: La información de la cámara se codifica como incrustaciones (embeddings) de rayos densos por píxel (usando una parametrización de Componente Perpendicular al Punto y al Rayo o RPPC) y se inyecta en el decodificador mediante bloques convolucionales de inicialización cero, asegurando la alineación con los latentes visuales.
5. Post-procesamiento: Para la compatibilidad con motores de videojuegos, un paso de refinamiento ligero en tiempo de prueba convierte la "sopa de triángulos" semi-opaca predicha en una malla coherente y totalmente opaca. Esto implica refinar la profundidad y la geometría, empujando la opacidad hacia valores binarios y uniendo los límites.

Contribuciones Clave

• Primer Decodificado Directo de Primitivas de Superficie: El artículo demuestra, por primera vez, que las primitivas de superficie explícitas y no volumétricas (triángulos) pueden ser decodificadas directamente desde latentes de difusión de video comprimidos en una sola pasada hacia adelante.
• Parametrización y Renderizado Estables: Los autores introducen los ingredientes técnicos específicos necesarios para hacer esto factible: una parametrización de triángulo local centrada en el rayo con forma restringida y orientación residual, y una nueva función de ventana de producto que estabiliza el entrenamiento al mejorar el flujo de gradientes.
• Análisis Sistemático de Representación: Los autores proporcionan la primera comparación sistemática de Gaussian Splatting 3D (3DGS), Gaussian Splatting 2D (2DGS) y triangle splatting bajo idénticas condiciones de entrenamiento. Este análisis caracteriza los compromisos entre la calidad de renderizado, la precisión geométrica y la compatibilidad con mallas de uso posterior.

Resultados
Evaluado en los conjuntos de datos RealEstate10K y DL3DV, FLAT logra lo siguiente:

• Precisión Geométrica: El modelo basado en triángulos produce una geometría significativamente más precisa en comparación con las variantes de Gaussianas. Logra una similitud de coseno de 0.853 con las normales de la verdad de terreno (Metric3D), superando a 2DGS (0.587) y a 3DGS (que produce normales casi aleatorias debido a su naturaleza volumétrica).
• Calidad Visual: Aunque 3DGS sigue siendo la base más fuerte para la fidelidad visual pura (PSNR), las variantes de triángulo y 2D de FLAT mantienen una calidad visual competitiva, con puntuaciones de PSNR comparables a métodos de vanguardia como Lyra y Wonderland.
• Conversión de Malla: El paso de post-procesamiento propuesto convierte la predicción feedforward en una malla opaca que logra una mejora de PSNR de más de 7 dB en comparación con las mallas extraídas de las representaciones 3DGS/2DGS, demostrando una compatibilidad superior con los pipelines de gráficos estándar.

Significado
El artículo afirma que FLAT establece un nuevo paradigma para la generación de escenas feedforward al demostrar que los modelos de generación de video latente pueden servir como potentes priors no solo para la síntesis de imágenes, sino para la predicción directa de escenas 3D con estructura geométrica explícita. Al decodificar con éxito primitivas no volumétricas, el método cierra la brecha entre la IA generativa y los pipelines de gráficos estándar, permitiendo la creación de activos listos para motores de juego sin la sobrecarga computacional de la optimización por escena. El trabajo destaca que, con una parametrización y formulación de renderizado cuidadosas, los problemas de estabilidad asociados previamente con el decodificado de primitivas planas feedforward pueden superarse.