Resumen Técnico: Difusión de Vóxeles Discretos (DVD) para Generación y Edición 3D

1. Declaración del Problema

Los avances recientes en el modelado generativo 3D han adoptado cada vez más pipelines SLAT (Structured LATent), que operan en dos etapas: primero generando un andamio de vóxeles dispersos para definir la forma general, y segundo prediciendo características latentes continuas unidas a los vóxeles activos para una decodificación de alta fidelidad en mallas, 3DGS o NeRFs.

Sin embargo, la primera etapa de estos pipelines depende típicamente de modelos de difusión continua que operan sobre latentes de VAE. Este enfoque fuerza una conversión de continuo a discreto donde la ocupación de vóxeles se genera de forma continua y luego se discretiza mediante umbralización. Los autores identifican varios problemas críticos con este paradigma:

• Artefactos: Pequeños errores cerca del umbral de binarización pueden invertir vóxeles de ocupados a vacíos (o viceversa), creando agujeros locales o fragmentos desconectados que persisten durante el mallado.
• Desalineación: La estructura nativa de la ocupación de vóxeles es dispersa y binaria, sin embargo se modela como una distribución continua, reduciendo la interpretabilidad y complicando la edición posterior.
• Incertidumbre: Los modelos continuos aproximan posteriors gaussianas, lo que dificulta cuantificar explícitamente la incertidumbre o identificar regiones geométricas ambiguas.

El artículo postula que modelar la ocupación de vóxeles dispersos directamente como datos discretos es un enfoque más natural y efectivo para esta sub-tarea específica.

2. Metodología

2.1 Difusión de Vóxeles Discretos (DVD)

La contribución central es un marco de Difusión Discreta aplicado a la primera etapa de los pipelines SLAT. En lugar de generar latentes continuos, DVD trata la cuadrícula de vóxeles $X \in \{0, 1\}^{N \times N \times N}$ como una secuencia de tokens discretos.

• Difusión Discreta de Estado Uniforme (USDM): Los autores adoptan USDMs, donde la distribución previa es uniforme sobre todos los estados posibles (ocupado o vacío). El proceso forward reasigna aleatoriamente cada vóxel a 0 o 1 basándose en una probabilidad dependiente del tiempo.
• Proceso Inverso: El modelo predice la distribución categórica $q(x_0 | x_t)$ sobre los estados limpios dado una muestra ruidosa. A diferencia de la difusión continua que estima una media, el modelo discreto exporta explícitamente una distribución de probabilidad para el estado de cada vóxel.
• Muestreo: La generación procede mediante muestreo ancestral, extrayendo muestras de la posterior predictiva en cada paso de tiempo.

2.2 Estimación de Incertidumbre

Una característica única de la formulación discreta es el acceso explícito a la distribución categórica predictiva. Los autores aprovechan la entropía predictiva como una métrica de incertidumbre robusta:

• Nivel de vóxel: Una alta entropía indica regiones ambiguas donde el modelo no está seguro si un vóxel debería estar ocupado.
• Nivel de forma: Agregando las entropías de los vóxeles (específicamente en un paso de tiempo cercano a cero $t=\epsilon$), derivan una puntuación de incertidumbre ($\gamma_{\epsilon, \rho}$) ligera. Esta puntuación se correlaciona con la complejidad geométrica y puede utilizarse para filtrado de datos, evaluación de calidad e identificación de muestras "difíciles".

2.3 Perturbación Estructurada por Bloques (BSP) para Edición

Los modelos discretos estándar se entrenan con ruido espacialmente homogéneo, lo que los hace inadecuados para inpainting o edición donde regiones específicas están enmascaradas (conocidas) y otras están corruptas. Para cerrar esta brecha entre entrenamiento e inferencia, los autores proponen Perturbación Estructurada por Bloques (BSP):

• Estrategia: Durante el ajuste fino, en lugar de perturbar vóxeles individuales de forma independiente, el modelo se entrena sobre hipercubos alineados con los ejes (bloques) de diversas escalas.
• Mecanismo: Se seleccionan y corrompen bloques aleatorios, mientras que el resto del volumen permanece mayormente intacto. Esto simula escenarios de edición local, forzando al modelo a aprender a generar estructuras consistentes con un contexto limpio.
• Eficiencia: Esto permite edición en una sola ronda e inpainting sin necesidad de estrategias de remuestreo iterativo (como RePaint) o evaluaciones adicionales de la red.

3. Contribuciones Clave

1. Difusión Discreta para Generación de Vóxeles Dispersos: El artículo introduce una formulación de difusión discreta para la primera etapa de los pipelines SLAT. Evita los artefactos de umbralización de conversión continua a discreta, logrando un rendimiento mejorado en la mayoría de las métricas con un tamaño de modelo menor y menos datos de entrenamiento en comparación con las líneas base continuas.
2. Modelado Explícito de Incertidumbre: Los autores demuestran que la difusión discreta proporciona probabilidades predictivas nativas, permitiendo la derivación de una puntuación de incertidumbre ligera basada en entropía. Esta puntuación localiza efectivamente regiones geométricas ambiguas y sirve como proxy para la complejidad de la forma.
3. Edición Eficiente de Vóxeles mediante BSP: Se propone una estrategia novedosa de ajuste fino utilizando perturbaciones estructuradas por bloques. Esto permite inpainting y edición de vóxeles fluidos dentro de una sola trayectoria de muestreo, preservando la integridad estructural sin computación auxiliar.

4. Resultados Experimentales

Los autores evaluaron DVD en tareas de imagen-a-3D y texto-a-3D utilizando los conjuntos de datos TripoSR y Toys4K, comparando contra la línea base continua TRELLIS y otros métodos como Direct3D-S2 y TripoSR.

• Rendimiento Cuantitativo: DVD superó a la línea base continua (TRELLIS) en la mayoría de las métricas de evaluación, incluyendo:
  • FID (tanto renderizado de imagen $FID_D$ como nube de puntos $FID_{PC}$).
  • Distancia de Chamfer (CD y $CD_V$ para alineación vóxel-malla).
  • Puntuación CLIP (alineación con el prompt).
  • Cabe destacar que estas mejoras se lograron con un modelo de ~400M de parámetros (vs. ~550M para TRELLIS) y un conjunto de entrenamiento ligeramente más pequeño.
• Mejoras Cualitativas: Las visualizaciones mostraron que DVD redujo significativamente los "agujeros" y fragmentos desconectados comunes en los métodos continuos, particularmente en estructuras de capas delgadas.
• Utilidad de la Incertidumbre: La puntuación de incertidumbre identificó con éxito regiones complejas (por ejemplo, asas de extintores, detalles de techos de casas de setas). Utilizar esta puntuación para aumento de datos (sobremuestreo de formas de alta incertidumbre) mejoró aún más la calidad de generación.
• Rendimiento de Edición: En tareas de inpainting, el modelo ajustado con BSP reconstruyó con éxito la geometría faltante con alta consistencia espacial, mientras que el modelo no ajustado y las líneas base continuas (incluso con RePaint) produjeron estructuras fragmentadas o desalineadas.

5. Significado y Afirmaciones

El artículo afirma que la Difusión de Vóxeles Discretos es un prior práctico y efectivo para la primera etapa en la generación 3D basada en SLAT. Su significado radica en:

• Modelado Nativo: Alinear el proceso generativo con la naturaleza discreta y binaria de la ocupación de vóxeles, eliminando así los artefactos de umbralización.
• Interpretabilidad: Proporcionar un modelado categórico explícito que permite la inspección de la dinámica de generación y la derivación de métricas de incertidumbre, las cuales son difíciles de obtener en difusión continua.
• Eficiencia: Habilitar edición e inpainting eficientes mediante un ajuste fino simple (BSP) en lugar de muestreo iterativo complejo.

Los autores concluyen que, aunque la difusión discreta requiere cientos de pasos de muestreo (una limitación para aplicaciones en tiempo real), ofrece un sesgo inductivo superior para andamios de vóxeles dispersos, allanando el camino para una creación de activos 3D más robusta y controlable. Se sugiere que el trabajo futuro se centre en la aceleración del muestreo y en extender estos principios al modelado conjunto discreto-continuo de características y vóxeles.