Resumen Técnico: Gaussianas Generativas 3D con Control de Densidad Aprendido

Enunciado del Problema

Los modelos generativos 3D actuales enfrentan un compromiso fundamental entre expresividad y eficiencia. Aunque la Splatting de Gaussiana 3D (3DGS) ha surgido como una representación convincente para el renderizado de alta fidelidad en tiempo real debido a su flexibilidad, los enfoques generativos existentes luchan por aprovechar todo su potencial.

• Limitaciones de Estructura Fija: La mayoría de los métodos generativos restringen las Gaussianas 3D a rejillas de voxels fijas, arrays o parches alineados con píxeles. Estos enfoques asignan un número fijo de Gaussianas independientemente de la complejidad geométrica local, lo que conduce a un desperdicio de capacidad en regiones simples y a detalles insuficientes en áreas complejas.
• Control de Densidad No Diferenciable: La calidad superior de la 3DGS estándar proviene de heurísticas de densificación y poda iterativas, no diferenciables, que concentran adaptativamente los primitivos. Estas heurísticas son difíciles de vectorizar y no pueden integrarse fácilmente en pipelines de entrenamiento generativo de extremo a extremo.
• Ambigüedad de Permutación en Difusión: La aplicación de modelos de difusión latente a conjuntos desordenados de tokens 3D (un paradigma común para la generación 3D) sufre de ambigüedad de permutación. La falta de un orden canónico conduce a señales de gradiente conflictivas, ralentizando la convergencia y degradando la calidad de la generación.

Metodología

Los autores proponen Gaussianas Muestreadas por Densidad (DeG), un marco novedoso que une primitivos de renderizado adaptativos con modelado generativo escalable. El pipeline consta de dos componentes principales: un DeG-VAE para el aprendizaje de representaciones y un Transformador de Difusión VecSeq para la síntesis generativa.

1. VAE de Gaussiana Muestreada por Densidad (DeG-VAE)

La innovación central es desacoplar la distribución espacial de los primitivos de sus atributos.

• Decodificación Estocástica de Densidad: En lugar de regredir coordenadas fijas, el decodificador predice una función de densidad de probabilidad condicional aprendible, $q_\theta(x|Z)$, sobre el espacio 3D (parametrizada como un octree). Los centros de las Gaussianas se muestrean dinámicamente desde esta densidad. Esto permite que el modelo asigne más primitivos a regiones complejas y menos a las simples.
• Muestreo Eficiente de Octree: Para evitar el costo computacional de rejillas densas, la densidad se factoriza sobre un octree de $L$ niveles. El muestreo se realiza mediante muestreo ancestral eficiente, donde las celdas activas se subdividen recursivamente en función de logit aprendidos, podando naturalmente las ramas vacías.
• Expansión Local: Para capturar detalles finos, cada punto de anclaje muestreado genera $K$ Gaussianas individuales con desplazamientos locales aprendidos, creando una representación jerárquica ($N = P \times K$ splats totales).
• Optimización Diferenciable de Densidad: El desafío principal es optimizar la densidad estocástica $q_\theta$ utilizando retroalimentación de renderizado. Dado que el muestreo no es diferenciable, los autores derivan un gradiente de contribución a la pérdida de renderizado.
  • Este gradiente actúa como un análogo totalmente diferenciable a las heurísticas discretas de densificación/poda.
  • Utiliza un mecanismo de "recompensa de diferencia": estima la contribución marginal de cada anclaje muestreado a la pérdida de renderizado comparando la pérdida con y sin ese anclaje.
  • Esta señal se retropropaga para reforzar la densidad de probabilidad en regiones donde los primitivos reducen significativamente el error de reconstrucción, permitiendo la optimización de extremo a extremo de la función de densidad utilizando únicamente la pérdida de reconstrucción de imagen.

2. Transformador de Difusión VecSeq

Para habilitar la síntesis generativa, los autores entrenan un modelo de difusión latente sobre la representación DeG.

• VecSeq (Secuencia Vectorial): Para resolver la ambigüedad de permutación de los tokens latentes desordenados, los autores proponen un mecanismo de reindexación canónica.
  • Los tokens latentes se mapean a una secuencia de Sobol 3D determinista y de baja discrepancia utilizando Transporte Óptimo (OT).
  • Esto ancla cada token a una región espacial específica, transformando el problema ambiguo de generación de conjuntos en una tarea robusta de generación de secuencias.
  • Los embebidos posicionales derivados de los anclajes de Sobol se inyectan en el transformador de difusión, estabilizando el entrenamiento y acelerando la convergencia.

Contribuciones Clave

1. Representación DeG: Una representación 3D que soporta salidas de tamaño variable y asignación adaptativa de Gaussianas mediante el muestreo de centros desde una función de densidad aprendible, eliminando la necesidad de restricciones de estructura fija.
2. Gradiente de Contribución a la Pérdida de Renderizado: Una señal eficiente y diferenciable que permite la optimización de extremo a extremo de la función de densidad estocástica, aprendiendo efectivamente la colocación óptima de primitivos sin heurísticas no diferenciables.
3. Mecanismo VecSeq: Una estrategia de reindexación latente que estabiliza el entrenamiento de difusión en conjuntos de puntos anclando tokens a una estructura espacial determinista, logrando una convergencia más rápida y una calidad de generación state-of-the-art.

Resultados

Extensos experimentos en los conjuntos de datos Toys4K y Objaverse demuestran la eficacia del método propuesto:

• Calidad de Reconstrucción: Bajo un presupuesto de Gaussiana comparable (por ejemplo, ~262K Gaussianas), DeG-VAE supera sustancialmente a líneas base como TRELLIS y UniLat3D en PSNR, SSIM y LPIPS. La asignación adaptativa permite que DeG logre la misma fidelidad visual que las líneas base utilizando significativamente menos Gaussianas (menos de la mitad en algunos casos).
• Resolución Variable: El modelo soporta la decodificación de un número arbitrario de Gaussianas desde un único código latente. La calidad visual escala suavemente con el número de anclajes muestreados, permitiendo compensaciones entre velocidad de renderizado y fidelidad.
• Rendimiento Generativo: En la generación de 3D a partir de una sola imagen, el método logra puntuaciones state-of-the-art en alineación con condiciones de imagen (CLIP-I) y métricas distribucionales (FD, KD) en imágenes de múltiples vistas renderizadas, superando tanto a modelos de generación basados en mallas como a otros modelos basados en Gaussiana.
• Estudios de Ablación:
  • Eliminar el gradiente de contribución a la pérdida de renderizado ($\hat{L}_{render}$) resulta en una reconstrucción degradada, particularmente en regímenes de bajo presupuesto donde la asignación adaptativa es crítica.
  • Eliminar la reordenación VecSeq (usando VecSet desordenado) degrada significativamente la calidad de generación y ralentiza la convergencia, confirmando la necesidad de un orden canónico.

Significado y Afirmaciones

El artículo afirma establecer una base práctica y escalable para la generación de Gaussiana 3D de alta fidelidad. Al reemplazar las heurísticas no diferenciables con una densidad aprendible y optimizada para renderizado, el trabajo combina con éxito la adaptabilidad estructural de primitivos no estructurados con la estabilidad de entrenamiento de los métodos basados en rejilla.

Los autores posicionan a DeG como una solución que habilita la síntesis de contenido 3D controlable y consciente de los recursos, permitiendo que un único modelo entrenado genere activos ligeros para aplicaciones móviles o activos ultra densos para renderizado de alta fidelidad simplemente ajustando el presupuesto de muestreo. Si bien el método actualmente se dirige a 3DGS, los autores señalan que el espacio latente reconstruye fielmente la forma y la textura, sugiriendo potencial para la futura generación de mallas texturizadas. Reconocen limitaciones con respecto a las regiones orientadas hacia atrás en la inferencia de una sola imagen, pero enfatizan la robustez del control de densidad aprendido y la eficiencia de la formulación VecSeq.