Points-to-3D: Structure-Aware 3D Generation with Point Cloud Priors

1. Problema

A pesar de los avances recientes en la generación 3D basada en imágenes o texto, los métodos actuales tienen una limitación crítica en el control geométrico. Aunque pueden producir activos 3D visualmente plausibles, carecen de mecanismos para respetar mediciones 3D reales.

En muchos escenarios del mundo real, es fácil obtener nubes de puntos parciales de las regiones visibles (mediante sensores activos como LiDAR o predictores de flujo directo como VGGT). Sin embargo, las pipelines de generación 3D existentes no aprovechan esta información estructural readily disponible. Los modelos actuales suelen inicializar el proceso generativo con ruido puro, lo que impide anclar la generación a observaciones geométricas concretas, resultando en inconsistencias estructurales o falta de alineación con la geometría observada.

2. Metodología: Points-to-3D

El trabajo propone Points-to-3D, un marco basado en difusión que integra explícitamente priors de nubes de puntos para lograr una generación de activos y escenas 3D controlable geométricamente.

Arquitectura Base y Fundamentos

El método se construye sobre TRELLIS, un modelo de difusión latente 3D que factoriza la generación en dos etapas:

1. Generación de Estructura: Opera en un espacio latente de estructura dispersa (Sparse Structure Latent - SS Latent) para definir el andamio geométrico.
2. Generación de Latente Estructurado: Refina la apariencia y la semántica.

Innovaciones Clave del Método

• Inicialización con Priors de Nubes de Puntos: A diferencia de TRELLIS, que inicializa con ruido gaussiano, Points-to-3D:
  1. Voxeliza la nube de puntos visible (ya sea capturada o predicha).
  2. Utiliza el codificador VAE de TRELLIS para obtener un latente SS parcial ($q_{vis}$) que refleja directamente la geometría medida.
  3. Crea una entrada de "pintura" (inpainting) combinando el latente visible con ruido en las regiones no observadas, utilizando una máscara de visibilidad.
• Red de Inpainting Estructural: Se entrena una red de flujo (Flow Transformer) especializada, $G_{inp}$, dentro del marco TRELLIS. Esta red aprende a completar la estructura global basándose en las regiones visibles, tratando el problema como una inpainting latente en lugar de una generación desde cero.
• Estrategia de Muestreo en Dos Etapas: Durante la inferencia, el proceso se divide para equilibrar la coherencia global y la calidad de los bordes:
  1. Inpainting Estructural (Etapa 1): Se realizan pasos de muestreo para completar la geometría global respetando estrictamente las restricciones de visibilidad.
  2. Refinamiento de Bordes (Etapa 2): Se utilizan los pasos restantes para refinar los límites entre las regiones generadas y las observadas, eliminando inconsistencias y "huecos" sin alterar la geometría anclada.

Construcción de Datos

Para entrenar el modelo, se crea un pipeline de datos que genera pares de "estructura parcial-completa". Se toman activos 3D de ground truth, se renderizan vistas, se extraen nubes de puntos visibles (simulando sensores o predicciones) y se convierten en latentes parciales para entrenar al modelo a completar la geometría oculta manteniendo la consistencia con lo visible.

3. Contribuciones Clave

1. Paradigma de Control Geométrico: Introducen la primera metodología que integra explícitamente priors de nubes de puntos en la inicialización del espacio latente de un modelo de difusión 3D, permitiendo un control geométrico directo y fiable.
2. Marco de Inpainting Latente: Reformulan la generación 3D condicionada a nubes de puntos como un problema de inpainting en el espacio latente estructurado, lo que permite una coherencia global superior sin módulos externos de completado.
3. Flexibilidad de Entrada: El sistema es robusto y puede aceptar tanto nubes de puntos precisas de sensores (LiDAR) como nubes de puntos estimadas a partir de una sola imagen mediante modelos de flujo directo (como VGGT).
4. Estrategia de Muestreo Híbrida: La propuesta de dividir el muestreo en etapas de inpainting y refinamiento resuelve el problema de las discontinuidades en los bordes de las regiones generadas.

4. Resultados Experimentales

Los autores evaluaron el método en benchmarks de objetos (Toys4K) y escenas (3D-FRONT), comparándolo con el estado del arte (SOTA) como TRELLIS, GaussianAnything, LGM y VoxHammer.

• Calidad de Renderizado y Fidelidad Geométrica: Points-to-3D supera consistentemente a todos los baselines en todas las métricas (PSNR, SSIM, LPIPS, Chamfer Distance, F-Score).
• Alineación con Priors: En las regiones cubiertas por la nube de puntos de entrada, el método logra una alineación casi perfecta con el ground truth (F-Score de 0.964 con priors exactos y 0.881 con estimaciones de VGGT), demostrando que respeta estrictamente las observaciones.
• Robustez: Funciona eficazmente incluso cuando los priors son estimaciones ruidosas de una sola imagen (VGGT), superando significativamente a los métodos que solo usan la imagen como condición.
• Generación de Escenas: En escenarios complejos (3D-FRONT), el método muestra mejoras sustanciales en la reconstrucción de la geometría global en comparación con métodos de generación de escenas existentes.
• Text-to-3D Controlado: También se demuestra la capacidad de combinar estos priores geométricos con condicionamiento de texto para una generación semánticamente consistente pero geométricamente controlada.

5. Significado e Impacto

El trabajo Points-to-3D representa un cambio de paradigma en la generación 3D al cerrar la brecha entre la generación generativa (que suele ser "alucinatoria" en geometría) y la reconstrucción 3D (que es precisa pero limitada a lo visible).

• Aplicabilidad Práctica: Permite utilizar datos de sensores existentes (comunes en robótica, realidad aumentada y escaneo móvil) para guiar la creación de activos 3D completos y de alta calidad.
• Eficiencia: Al integrar el prior directamente en el espacio latente, evita la necesidad de pipelines complejos de post-procesamiento o módulos de completado separados.
• Futuro: Establece una base sólida para futuras investigaciones que busquen combinar la riqueza semántica de los modelos de difusión con la precisión métrica de los datos de sensores 3D, facilitando aplicaciones en creación de contenido, simulación y realidad virtual donde la fidelidad geométrica es crítica.