Resumen Técnico: Rigel3D

Enunciado del Problema

Los avances recientes en modelos generativos 3D han permitido la síntesis de activos estáticos de alta calidad a partir de imágenes, texto y distribuciones latentes. Sin embargo, persiste una limitación crítica: estos resultados carecen de los rigs esqueléticos, las jerarquías de articulaciones y los pesos de deformación (skinning) necesarios para las cadenas de producción de animación estándar. En consecuencia, las mallas generadas a menudo requieren un posprocesamiento sustancial para estar "listas para animar" y ser utilizadas en videojuegos, cine, simulación e IA encarnada.

Los métodos existentes de rigging automático (por ejemplo, Pinocchio, RigNet, TARig y enfoques recientes sin plantillas) intentan cerrar esta brecha prediciendo esqueletos y pesos de deformación para formas estáticas completadas. El artículo argumenta que este enfoque a posteriori es fundamentalmente limitante. Dado que la geometría, la topología y la estructura de partes de los resultados generativos a menudo difieren significativamente de la distribución de entrenamiento de los riggers posteriores, tratar el rigging como un paso separado después de la generación de la forma conduce a inconsistencias. El desafío central es generar geometría y estructura de rig conjuntamente, a pesar de su naturaleza heterogénea: la geometría superficial es densa y local, mientras que los esqueletos son dispersos, jerárquicos e internos. Además, los flujos de trabajo de animación prácticos requieren etiquetas semánticas de articulaciones para la reasignación de movimiento (motion retargeting), algo que los generadores sin plantillas suelen no proporcionar.

Metodología

Los autores presentan Rigel3D, un marco generativo que produce activos 3D listos para animar (mallas, esqueletos, pesos de deformación y etiquetas de articulaciones) de manera de extremo a extremo. El método extiende la representación LATente Estructurado (SLAT) de TRELLIS aprendiendo dos conjuntos latentes acoplados:

1. SLats Superficiales: Capturan la geometría y la apariencia.
2. SLats Esqueléticos: Capturan la estructura interna de articulación.

1. Autoencoder Consciente del Rig

El núcleo del sistema es un autoencoder consciente del rig que mapea mallas rigueadas a estas representaciones latentes acopladas y las decodifica de nuevo en un activo completo.

• Codificadores:
  • Codificador Superficial: Adapta el codificador superficial de TRELLIS, voxelizando la malla de entrada y agregando características DINOv2 de múltiples vistas para producir SLats superficiales.
  • Codificador de Rig: Construye características óseas mediante un promedio ponderado por los pesos de deformación de las características DINOv2 de los vértices influenciados por cada hueso. Estas características se rasterizan en la cuadrícula de voxels y se procesan mediante un codificador disperso separado para producir SLats esqueléticos.
• Decodificadores:
  • Decodificador de Malla: Extiende el decodificador de TRELLIS para predecir parámetros de FlexiCubes. Crucialmente, incorpora atención cruzada desde tokens superficiales hacia tokens esqueléticos, condicionando la reconstrucción superficial a la estructura interna del rig.
  • Decodificador de Esqueleto: Utiliza un transformador autoregresivo para decodificar la topología del esqueleto. Representa los esqueletos como secuencias de tokens discretos (coordenadas de articulaciones e índices de padres) en orden de búsqueda en anchura (breadth-first-search). La generación se condiciona tanto en SLats superficiales como esqueléticos mediante atención cruzada.
  • Decodificador de Pesos de Deformación: Un módulo basado en atención que predice los pesos de deformación calculando la similitud punto-hueso. Incrusta puntos de la malla y coordenadas óseas en un espacio compartido, refinándolos mediante atención propia y atención cruzada hacia las representaciones latentes. Esto permite que el modelo maneje esqueletos con números variables de huesos.

2. Generación de Activos Listos para Animar

Para generar activos a partir de imágenes, Rigel3D emplea un modelo generativo latente de dos etapas (inspirado en TRELLIS) aplicado tanto a SLats superficiales como esqueléticos:

• Etapa I (Ocupación): Un transformador de flujo rectificado genera la cuadrícula dispersa de ocupación de voxels (qué voxels están activos) condicionado a las características de la imagen de entrada.
• Etapa II (Códigos Latentes): Un segundo transformador de flujo genera los códigos latentes locales adjuntos a los voxels activos.
  Las representaciones latentes resultantes ($Z_{surf}$ y $Z_{skel}$) se pasan a los respectivos decodificadores para sintetizar simultáneamente la malla, el esqueleto y los pesos de deformación.

3. Etiquetado de Articulaciones de Vocabulario Abierto

Para soportar la reasignación de movimiento, el artículo introduce un módulo que asigna etiquetas semánticas a las articulaciones generadas.

• En lugar de un clasificador de conjunto cerrado, el modelo incrusta las articulaciones generadas en un espacio visión-idioma compartido (utilizando un codificador de texto OpenCLIP congelado).
• Utiliza un transformador autoregresivo que se condiciona en las coordenadas de las articulaciones, la jerarquía y las incrustaciones de etiquetas anteriores para predecir incrustaciones de articulaciones.
• Esto permite que los rigs generados se emparejen con conjuntos de etiquetas candidatas arbitrarias (por ejemplo, plantillas específicas de reasignación) mediante recuperación de vecinos más cercanos, desacoplando la generación del rig de un vocabulario fijo.

Contribuciones Clave

1. Marco Rigel3D: Un método generativo de extremo a extremo para crear activos 3D listos para animar, produciendo mallas, apariencia opcional, esqueletos y pesos de deformación conjuntamente en lugar de secuencialmente.
2. Representaciones Latentes Acopladas: Un autoencoder consciente del rig que utiliza SLats superficiales y esqueléticos acoplados, con un decodificador de malla condicionado al esqueleto, un decodificador de esqueleto autoregresivo y un decodificador de deformación basado en atención.
3. Etiquetado de Vocabulario Abierto: Un módulo novedoso que habilita la reasignación de movimiento al emparejar articulaciones generadas con etiquetas de texto en un espacio visión-idioma compartido, soportando plantillas arbitrarias sin reentrenamiento.
4. Rendimiento de Vanguardia: Demostró un rendimiento superior sobre las líneas base de rigging automático existentes (Anymate, Puppeteer) y métodos de generación concurrentes (AniGen) en múltiples métricas sobre conjuntos de datos de activos rigueados a gran escala.

Resultados y Evaluación

El método fue evaluado en los conjuntos de datos Anymate y ModelsResource.

• Rendimiento Cuantitativo: Rigel3D superó a las líneas base (Anymate, Puppeteer) en métricas de esqueleto (J2J, J2B, B2B) y métricas de deformación ($\ell_1$, $\ell_2$, divergencia KL). Notablemente, mostró ganancias significativas en la estructura a nivel óseo (B2B) y en la alineación de la distribución de deformación (KL).
• Comparación con AniGen: Al compararse con el método concurrente AniGen, Rigel3D logró mejoras sustanciales en la precisión del esqueleto (por ejemplo, una reducción relativa del 32.8% en J2J en ArticulationXL) mientras se mantenía competitivo en la predicción de deformación.
• Resultados Cualitativos: Las comparaciones visuales demostraron que Rigel3D produce una colocación de articulaciones más precisa, conectividad coherente y transiciones de deformación más suaves en comparación con los métodos de rigging a posteriori.
• Precisión de Etiquetado: El módulo de etiquetado de vocabulario abierto logró una alta precisión Top-1 y Top-3 al asignar etiquetas semánticas a las articulaciones, superando a las variantes no autoregresivas.

Significancia

El artículo afirma que Rigel3D reduce la brecha entre la generación estática 3D y los flujos de trabajo de animación basados en rig. Al modelar conjuntamente la geometría interdependiente y la estructura del rig, el método evita las discrepancias distribucionales inherentes al rigging a posteriori. La introducción del etiquetado de articulaciones de vocabulario abierto mejora aún más la utilidad práctica al permitir la compatibilidad directa con diversas cadenas de producción de reasignación de movimiento aguas abajo. Los autores posicionan este trabajo como un paso hacia la creación de activos 3D totalmente automatizados y listos para producción, donde el resultado no es solo una forma estática, sino una entidad completamente rigueada y animable.

Limitaciones

Los autores reconocen varias limitaciones:

• Los rigs generados pueden aún contener articulaciones faltantes, ramas espurias o conectividad imperfecta.
• Las deformaciones de los pesos de deformación pueden ser menos naturales bajo poses extremas, ya que el modelo no está supervisado por secuencias de movimiento largas.
• Las etiquetas de vocabulario abierto pueden ser ambiguas para estructuras repetidas (por ejemplo, dedos, colas).
• El método hereda las limitaciones de la generación 3D condicionada por imágenes, como la sensibilidad a vistas de entrada ambiguas u ocluidas.