Resumen Técnico: MeshReGen: Un Marco Unificado de Regeneración de Geometría 3D

Enunciado del Problema

Los modelos generativos 3D actuales operan predominantemente de manera "de un solo disparo", convirtiendo texto o imágenes individuales en objetos 3D. Aunque son efectivos para la creación inicial, estos modelos a menudo carecen de controlabilidad y luchan por integrarse con flujos de trabajo complejos y multietapa de artistas 3D. La creación 3D en el mundo real frecuentemente implica refinar geometría gruesa, reconstruir objetos a partir de escaneos incompletos (por ejemplo, fotogrametría) o editar regiones específicas de una malla existente. Estas tareas requieren mapear una forma 3D de "baja información" ($y_L$)—que puede ser gruesa, ruidosa, distorsionada o parcial—hacia una forma 3D de "alta información" ($x_H$).

Los enfoques existentes abordan estas instancias específicas (mejora, reconstrucción, edición) utilizando arquitecturas adaptadas y específicas para cada tarea. Además, la escasez de conjuntos de datos de entrenamiento emparejados (pares de formas 3D de baja y alta calidad) limita la capacidad de entrenar regeneradores de propósito general. El artículo identifica una brecha en la existencia de una arquitectura unificada y una formulación de aprendizaje que pueda manejar diversas tareas de regeneración 3D sin requerir diseños específicos para la tarea o anotaciones manuales costosas.

Metodología

Concepto Central: Regeneración de Forma 3D

Los autores definen la regeneración 3D como el muestreo de una forma de alta fidelidad $x_H$ desde la distribución $p(x_H | y_L, I)$, donde $y_L$ es una forma 3D auxiliar de baja información (por ejemplo, una malla gruesa, una nube de puntos o una región enmascarada) e $I$ es una guía de imagen 2D opcional.

Arquitectura del Modelo

MeshReGen se basa en un modelo de difusión latente preentrenado que opera en un espacio latente 3D compacto utilizando VecSet [78].

1. Representación Latente: Tanto la forma objetivo de alta calidad ($x_H$) como la forma de baja calidad condicionante ($y_L$) se codifican en vectores latentes ($z_H$ y $z_L$) utilizando el mismo codificador VecSet. VecSet representa las formas 3D como un conjunto de $K$ vectores latentes derivados de una nube de puntos muestreada.
2. Mecanismo de Condicionamiento Unificado: A diferencia de trabajos anteriores que utilizan vías de atención cruzada separadas para el condicionamiento (lo cual puede ser ineficiente para entradas densas), MeshReGen concatena los tokens condicionantes $z_L$ directamente con los tokens objetivo ruidosos $z_H^t$.
   • Preprocesamiento de Tokens: Para evitar que el modelo sea "sacudido" por la introducción de nuevos tokens de control, los tokens condicionantes $z_L$ se pasan a través de un Perceptrón Multicapa (MLP) con pesos inicializados en cero (similar a ControlNet). También se añaden incrustaciones posicionales a $z_L$ para ayudar al modelo a distinguir sus ubicaciones espaciales.
   • Proceso de Difusión: Un Transformador de Difusión (DiT) elimina el ruido de la entrada concatenada $z_H^t \oplus \text{MLP}(z_L + \text{PE})$ condicionada a la imagen $I$ y al paso de tiempo $t$.
3. Eficiencia: Una ventaja clave de VecSet es que el número de tokens $K$ puede ajustarse según la complejidad de la forma. Las entradas gruesas ($y_L$) pueden codificarse con significativamente menos tokens ($C \ll K$) que el objetivo, mejorando la eficiencia computacional debido a la complejidad cuadrática de la autoatención.

Construcción de Datos (Tareas Pretexto Auto-supervisadas)

Para superar la escasez de datos 3D emparejados, los autores proponen pipelines de ingeniería de datos automáticos que convierten conjuntos de datos 3D genéricos (por ejemplo, colecciones tipo Objaverse) en triplets de entrenamiento $(z_H, z_L, I)$ sin anotación manual. Las estrategias de aumento específicas dependen de la tarea objetivo:

• Mejora Composicional: Los objetos de alta calidad se disponen en cuadrículas y se codifican en un único espacio latente. Se añade ruido a los tokens de la escena en un nivel específico $t^*$ y luego se desruidan de nuevo hasta $t=0$. La escena "degradada" resultante se decodifica, y los objetos individuales se extraen como pares de baja calidad ($y_L$) correspondientes a los objetos originales de alta calidad ($x_H$). Esto simula la pérdida de detalle común en la generación composicional.
• Imagen a 3D Guiada (Reconstrucción): Los objetos de verdad fundamental se renderizan en 1–4 vistas. Estas vistas se alimentan a una red de reconstrucción de avance (VGGT) para producir nubes de puntos dispersas e incompletas ($y_L$). Estas se alinean con la verdad fundamental para formar pares de entrenamiento.
• Edición de Forma 3D: Se aplica una máscara 3D a un objeto de verdad fundamental para eliminar una región. La geometría restante se codifica, y la región faltante se representa mediante "tokens de máscara" aprendibles inicializados en el espacio latente. La imagen guía $I$ se genera rellenando la región enmascarada de una vista renderizada utilizando un modelo de texto a 2D.

Contribuciones Clave

1. Marco Unificado: MeshReGen introduce una única arquitectura capaz de realizar mejora 3D, reconstrucción desde vistas dispersas y edición 3D, unificando tareas que anteriormente eran manejadas por modelos dispares.
2. Mecanismo de Condicionamiento Novel: El artículo propone una estrategia de concatenación simple pero efectiva para el condicionamiento 3D dentro del espacio latente VecSet, superando a las alternativas de atención cruzada para entradas densas o ruidosas.
3. Protocolos de Datos Escalables: Los autores demuestran protocolos para generar automáticamente datos de entrenamiento emparejados específicos para la tarea a partir de conjuntos de datos 3D genéricos mediante aumentos auto-supervisados, eliminando la necesidad de emparejamiento manual costoso.
4. Rendimiento de Vanguardia: El marco logra resultados superiores en consistencia geométrica y recuperación de detalles finos en comparación con las líneas base específicas para la tarea.

Resultados y Evaluación

Los autores evalúan MeshReGen en tres tareas principales:

• Mejora 3D Composicional: En objetos de escena descompuestos, MeshReGen supera significativamente a las líneas base (incluyendo DetailGen3D) en fidelidad geométrica (ULIP-3D) y calidad perceptual (MV-ImageReward). Recupera con éxito los detalles perdidos al generar grandes escenas en un solo paso.
• Imagen a 3D Guiada (Reconstrucción): Utilizando el conjunto de datos GSO, MeshReGen combinado con VGGT (VGGT+MeshReGen) logra métricas de reconstrucción de vanguardia (CD, puntuación F, IoU, PSNR). Supera notablemente a los generadores de vista única y iguala o supera a los modelos especializados de múltiples vistas (como TRELLIS y MeshLRM) incluso utilizando menos vistas de entrada. Rellena eficazmente las regiones ocluidas mientras preserva la geometría visible.
• Edición de Forma 3D: Evaluado en el conjunto de datos Edit3D-Bench, MeshReGen demuestra la capacidad de editar regiones 3D específicas manteniendo la identidad y la estructura global del objeto original. Evita los artefactos y las inconsistencias de vista comunes en los métodos de elevación de 2D a 3D.

Estudios de Ablación:

• Mecanismo de Condicionamiento: La concatenación de tokens propuesta con MLPs inicializados en cero supera a los diseños que utilizan bloques de atención cruzada separados (inspirados en CLAY) o atención cruzada extendida (inspirada en Hunyuan3D-Omni).
• Parametrización de Difusión: La formulación de difusión estándar supera a las líneas base de flujo rectificado en tareas de reconstrucción.
• Generalización: Los marcos de generación existentes (TRELLIS, Hunyuan3D-Omni) no logran generalizar a tareas de regeneración con entradas degradadas sin ajuste fino, destacando la necesidad de la formulación y los datos dedicados de regeneración.

Significado y Afirmaciones

El artículo afirma que MeshReGen representa un paso significativo hacia priors de regeneración 3D unificados, generalizables y versátiles. Al demostrar que una única arquitectura puede manejar diversas tareas aguas abajo (mejora, reconstrucción, edición) a través de un mecanismo de condicionamiento unificado y una construcción de datos auto-supervisada, el trabajo desafía la tendencia predominante de modelos 3D específicos para la tarea.

Los autores enfatizan que su enfoque permite un control explícito sobre la geometría global (postura, forma gruesa) mientras mejora los detalles finos, cerrando la brecha entre la flexibilidad de la IA generativa y la precisión requerida por los flujos de trabajo profesionales 3D. Sitúan a MeshReGen no solo como un generador, sino como una herramienta de "regeneración" que puede actualizar, reparar y modificar activos 3D existentes, haciendo la creación de contenido 3D más accesible y eficiente.