Extend3D: Town-Scale 3D Generation

1. El Problema

La generación de escenas 3D a gran escala (como ciudades o paisajes extensos) a partir de una sola imagen 2D sigue siendo un desafío significativo. Los modelos generativos 3D actuales, especialmente los basados en objetos (object-centric), enfrentan varias limitaciones críticas:

• Espacios latentes fijos: La mayoría de los modelos utilizan un tamaño de espacio latente predefinido. Al intentar generar escenas grandes, la resolución se diluye, resultando en salidas borrosas o con pérdida de detalles, similares a imágenes de baja resolución.
• Falta de coherencia en escenas complejas: Los conjuntos de datos existentes se centran en objetos individuales, careciendo de arreglos complejos de múltiples objetos y fondos.
• Inconsistencias en métodos de "outpainting": Los enfoques previos que generan escenas bloque a bloque (outpainting) sufren de inconsistencias entre bloques, costuras visibles y falta de alineación espacial con la imagen de entrada.
• Desviación de la dinámica de la escena: Los modelos centrados en objetos tienden a generar estructuras que se asemejan más a objetos individuales que a escenas coherentes (ej. pisos que desaparecen, objetos rotados aleatoriamente).

2. Metodología: Extend3D

El artículo propone Extend3D, una tubería (pipeline) sin entrenamiento (training-free) que genera escenas 3D a gran escala a partir de una sola imagen, basándose en un modelo generativo 3D pre-entrenado centrado en objetos (como Trellis). La metodología se compone de tres pilares fundamentales:

A. Extensión del Espacio Latente y Flujo de Parches Superpuestos

• Extensión del Latente: Se expande el espacio latente del modelo pre-entrenado en las direcciones X e Y para representar escenas más grandes.
• Flujo de Parches Superpuestos (Overlapping Patch-wise Flow): En lugar de generar bloques secuenciales, el espacio latente extendido se divide en parches superpuestos.
• Acoplamiento: Cada parche se genera simultáneamente utilizando su propia porción de la imagen de entrada como condición. Los vectores de flujo (vector fields) de los parches se fusionan promediando las regiones superpuestas. Esto permite que los parches vecinos se influyan mutuamente, corrigiendo errores locales y capturando detalles finos sin costuras visibles.

B. Inicialización con Priors y "Under-noising"

Para abordar la falta de alineación espacial y los huecos en la estructura:

• Inicialización: Se utiliza una nube de puntos extraída de un estimador de profundidad monoculares (MoGe-2) para inicializar la estructura de la escena. Esto proporciona una guía geométrica inicial.
• Iterative SDEdit con Under-noising: Se aplica un proceso de edición de difusión (SDEdit) iterativo. La innovación clave es el "under-noising": en lugar de añadir ruido estándar, el método añade menos ruido del que se eliminaría en un proceso normal ($t_{noise} < t_{start}$).
• Concepto: Esto permite que el modelo trate las áreas ocultas o incompletas de la nube de puntos inicial como "ruido adicional" que debe ser limpiado, completando así las regiones ocluidas de manera natural y preservando la estructura existente.

C. Optimización 3D-Consciente

Para evitar que la generación se desvíe hacia la dinámica de objetos individuales y asegurar la fidelidad:

• Se optimiza el vector de flujo en cada paso de tiempo utilizando dos funciones de pérdida:
  1. Pérdida de Estructura Escasa (Sparse Structure Loss): Asegura que los vóxeles iniciados por la nube de puntos no desaparezcan durante el proceso de denoising, actuando como una restricción de consistencia geométrica.
  2. Pérdida de Latente Estructurado (Structured Latent Loss): Utiliza un renderizado diferenciable (Gaussian Splatting) para comparar la vista renderizada con la imagen de entrada original. Esto refina las texturas, elimina costuras entre parches y mantiene la coherencia global de la escena.

3. Contribuciones Clave

1. Pipeline sin entrenamiento: Logra la generación de escenas 3D a gran escala sin necesidad de reentrenar modelos costosos, adaptando modelos existentes de objetos a escenas completas.
2. Flujo de parches superpuestos: Introduce un mecanismo de generación simultánea que mitiga los errores de los modelos centrados en objetos y asegura una transición suave entre regiones de la escena.
3. Técnicas de completado y optimización:
   • Propone el "under-noising" para la finalización de áreas ocluidas en nubes de puntos.
   • Introduce objetivos de optimización 3D-conscientes que alinean la trayectoria de denoising con la dinámica de la escena y la imagen de entrada, corrigiendo problemas como pisos desaparecidos o distorsiones.

4. Resultados

Los autores validaron su método mediante experimentos cualitativos y cuantitativos, comparándolo con modelos de última generación (Trellis, Hunyuan3D, EvoScene) y pipelines de generación de escenas (SynCity).

• Preferencia Humana: En una evaluación con 10 participantes, Extend3D superó a todos los métodos competidores en cuatro categorías: geometría, fidelidad a la imagen, apariencia y completitud.
• Métricas Cuantitativas:
  • Logró los mejores puntajes en LPIPS (0.240), SSIM (0.611) y PSNR (20.4), indicando una mayor fidelidad estructural y de textura.
  • Superó a los métodos anteriores en métricas geométricas como la Distancia de Chamfer (CD) y el F-score.
• Calidad Visual: Los resultados muestran una capacidad escalable para generar detalles a nivel de ciudad (ej. Ciudad del Vaticano) con una resolución latente 36 veces mayor que el espacio original, manteniendo coherencia en edificios, monumentos y texturas, sin las costuras visibles típicas de métodos anteriores.

5. Significado e Impacto

Extend3D representa un avance significativo en la generación de contenido 3D al resolver el problema de la escalabilidad en modelos generativos pre-entrenados.

• Eficiencia: Al ser un método sin entrenamiento, reduce drásticamente los costos computacionales y de datos necesarios para crear activos 3D a gran escala.
• Aplicabilidad Industrial: Facilita la creación rápida de entornos para videojuegos, cine, animación y simulación a partir de una sola imagen, democratizando la producción de contenido 3D.
• Innovación Técnica: La combinación de flujo de parches, inicialización con priores de profundidad y optimización guiada por la imagen establece un nuevo paradigma para la generación de escenas coherentes, superando las limitaciones de los enfoques puramente centrados en objetos o de outpainting secuencial.

Limitaciones mencionadas: El método aún puede tener dificultades en la completitud total de ciertas regiones ocluidas, requiere mucha memoria para la optimización de latentes estructurados en escenas muy grandes, y tiene un rendimiento limitado en imágenes de nivel de calle debido a la distorsión de perspectiva (puntos de fuga).