Resumen Técnico: Arbor: Condicionamiento Geométrico Explícito para la Generación Controlable de Activos 3D

Planteamiento del Problema

Los métodos actuales de generación 3D condicionados por texto e imagen producen activos convincentes, pero carecen de un control directo sobre las regiones espaciales específicas que un objeto debe ocupar, evitar o contactar. En los flujos de trabajo profesionales (por ejemplo, la producción de videojuegos), los artistas suelen conocer los requisitos espaciales —como que una silla encaje en un envolvente de asiento específico, que un accesorio deje espacio libre para el movimiento o que una pieza exponga una superficie de contacto— antes de comenzar la generación. Sin embargo, los prompts y las vistas de imagen son transportadores deficientes para estas restricciones, lo que conduce a un flujo de trabajo de "máquina tragamonedas" donde los artistas iteran a través de muchos prompts y realizan una limpieza manual. Los métodos de control 3D existentes suelen centrarse en editar activos existentes, completar geometría parcial o dirigir la inferencia durante el muestreo, pero no ofrecen una interfaz nativa para especificar requisitos geométicos locales densos y tipados (envolvente, evitación, contacto) durante la generación de un objeto completo a partir de un prompt de texto.

Metodología

Arbor introduce un adjunto entrenable para la generación 3D latente condicionada por texto que convierte mallas de restricciones explícitas en una señal de control nativa. El sistema opera sobre un núcleo (backbone) congelado condicionado por texto (específicamente la familia TRELLIS, utilizando TRELLIS 1 para la generación y TRELLIS 2 para la codificación) e inyecta restricciones geométricas sin modificar los pesos del núcleo.

1. Representación de Restricciones

Arbor define tres tipos de restricciones espaciales, especificadas por el usuario como mallas 3D:

• Regiones de Envolvente (Hull): Volúmenes donde debe existir la geometría generada (por ejemplo, un asiento).
• Regiones de Evitación (Avoidance): Volúmenes que deben permanecer vacíos (por ejemplo, espacio de despeje).
• Regiones de Contacto (Touch): Superficies con las que el objeto debe contactar sin extenderse significativamente más allá de ellas (por ejemplo, las patas encontrándose con el suelo).

2. Pipeline de Codificación

Para integrar estas mallas densas en el espacio latente comprimido del generador:

• Reutilización del Codificador: Arbor utiliza la pila de codificadores congelada de TRELLIS 2 (T2). Aunque T2 está diseñado para la generación condicionada por imagen, su codificador se reutiliza para procesar las mallas de restricción.
• Inyección de Señal: Las mallas de restricción se convierten en campos de forma y material alineados en una rejilla de vóxeles. Crucialmente, los canales de atributos auxiliares (originalmente para parámetros de material) se reutilizan para codificar banderas binarias de los tipos de restricción (envolvente, evitación, contacto) junto con las normales de la superficie.
• Generación de Tokens: Los codificadores congelados de T2 mapean estos campos en tokens compactos y dispersos de 32 dimensiones. Estos tokens se proyectan para coincidir con la anchura del generador T1 y se aumentan con embeddings posicionales 3D aprendidos.

3. Router de Geometría y Adaptador

Un desafío central es inyectar tokens de restricción densos en la estructura latente dispersa del generador de manera eficiente. Arbor resuelve esto mediante un Router de Geometría y un Adaptador Residual:

• Enrutamiento (Routing): La red de consulta latente del generador (rejilla de 16³) se particiona en grupos. Para cada grupo, el router selecciona los tokens de restricción local más relevantes basados en la proximidad espacial (selección Top-K usando puntos de anclaje) y añade un conjunto de tokens de resumen global aprendidos. Esto asegura que cada región latente reciba solo la evidencia de restricción relevante para su ubicación espacial.
• Inyección del Adaptador: Se inserta una rama residual ligera en cada bloque de transformador del generador congelado (después de la atención cruzada de texto pero antes de la Red Feed-Forward). El adaptador realiza una atención cruzada entre los estados ocultos condicionados por texto y el contexto geométrico enrutado, inyectando la señal de restricción como una actualización residual.
• Entrenamiento: Solo se entrenan el adaptador, el router, las capas de proyección y los módulos de resumen. El núcleo (T1) y los codificadores (T2) permanecen congelados. El modelo se optimiza utilizando el objetivo estándar de flow-matching del backbone, sin utilizar pérdidas explícitas de cumplimiento de restricciones en la configuración principal de entrenamiento.

Contribuciones Clave

1. Interfaz de Control Geométrico Explícito: Un sistema unificado para especificar regiones tipadas (envolvente, contacto, evitación) directamente como mallas 3D, permitiendo a los artistas co-autorizar el proceso de generación.
2. Geometría Codificada como Condición: Demostración de que los codificadores geométricos congelados pueden ser reutilizados para transformar mallas de restricción y señales tipadas en tokens latentes compactos que preservan la estructura local y sirven como entrada al modelo.
3. Router de Geometría y Adaptador: Una arquitectura novedosa que asigna evidencia de restricción local a regiones latentes específicas e inyecta esta evidencia en un generador 3D congelado a través de una rama residual enrutada, permitiendo un control geométrico denso sin comprometer la variabilidad del generador.

Evaluación y Resultados

Los autores evaluaron Arbor en el conjunto de datos Toys4K utilizando tanto benchmarks procedimentales (automáticos) como manuales (creados por humanos) de restricciones.

• Adherencia a las Restricciones: Arbor supera significativamente a las líneas base (incluyendo el modelo TRELLIS base, métodos de dirección en el tiempo de muestreo como Gradient y SpaceControl, y métodos de completado como Spice-E) en la adherencia a las restricciones de envolvente, evitación y contacto.
• Preferencia del Usuario: En un estudio de preferencia de usuarios por pares (27 participantes, 404 ensayos), las variantes de Arbor fueron preferidas sobre el modelo TRELLIS base y otras líneas base. El modelo Arbor estándar ganó el 45.9% de las comparaciones, subiendo al 59.2% al fusionar todas las variantes de Arbor.
• Calidad y Variación: A diferencia de los métodos de dirección en el tiempo de muestreo que a menudo degradan la calidad de la geometría o colapsan las formas, Arbor mantiene estructuras de objetos legibles y preserva la variación generativa del prior subyacente.
• Métricas: Arbor logró puntuaciones altas en el "Control Score" (una media armónica de adherencia a la restricción, coincidencia de volumen y similitud visual), demostrando que puede satisfacer las restricciones sin sobrellenar o perder la intención semántica del prompt.
• Ablaciones: Los experimentos confirmaron que el enrutamiento local es el mecanismo principal para la adherencia a las restricciones (reteniendo el 84.3% de la IoU sin resúmenes globales), aunque los resúmenes globales proporcionan el contexto necesario a nivel de objeto. Se encontró que el flujo de señal (banderas tipadas) era crítico; eliminarlo causó una caída significativa en el rendimiento.

Significado y Reivindicaciones

El artículo afirma que Arbor proporciona una interfaz faltante para la generación de activos 3D, permitiendo un control volumétrico explícito sin interferir con la variabilidad de la creación de formas del generador. Al tratar las restricciones como requisitos locales y tipados en lugar de evidencia objetivo o priors globales, Arbor permite a los artistas definir comportamientos espaciales específicos (por ejemplo, "dejar espacio para el movimiento" o "exponer una superficie de contacto") directamente.

Los autores posicionan a Arbor como un paso hacia la realización de la generación de activos 3D confiable para el uso en producción, donde las animaciones e interacciones requieren superficies de interacción precisas. Observan que, si bien el sistema actual guía con éxito la etapa de estructura dispersa, aún no controla las etapas posteriores de refinamiento (detalles de superficie y materiales) ni resuelve completamente los conflictos semánticos entre las restricciones y los prompts (por ejemplo, asegurar que un volumen sea funcionalmente un "asiento"). El trabajo sugiere direcciones futuras que involucren etiquetas de partes más ricas y la extensión del adjunto enrutado a las etapas posteriores de la generación.