SK-Adapter: Skeleton-Based Structural Control for Native 3D Generation

1. El Problema

El campo de la generación de contenido 3D nativo ha avanzado significativamente gracias a modelos basados en transformadores de flujo (flow transformers) que pueden crear activos 3D de alta fidelidad a partir de texto o imágenes en segundos. Sin embargo, estos modelos adolecen de una limitación crítica: la incapacidad de prescribir articulaciones estructurales precisas.

• Ambigüedad de los prompts: Las instrucciones de texto o las imágenes de referencia a menudo son insuficientes para definir estructuras 3D específicas (ej. "doblar la rodilla 60 grados" o topologías anatómicas atípicas).
• Limitaciones de los enfoques actuales: Métodos previos que intentan usar esqueletos 3D como guía (como SKDream) suelen emplear una estrategia de "levantamiento 2D" (proyectar el esqueleto 3D a 2D, condicionar un modelo de difusión multivista y reconstruir en 3D). Esto introduce:
  • Ambigüedad espacial: La información de profundidad se pierde al proyectar en 2D.
  • Oclusiones: Las vistas proyectadas pueden malinterpretar topologías complejas.
  • Degradación de calidad: Los pipelines de reconstrucción multi-etapa suelen generar artefactos geométricos y pérdida de textura.

El objetivo es lograr un control estructural preciso dentro del dominio 3D nativo, sin sacrificar la calidad de generación ni la diversidad del modelo base.

2. Metodología: SK-Adapter

Los autores proponen SK-Adapter, un marco de trabajo ligero y eficiente que integra el control de esqueletos 3D directamente en la generación nativa 3D.

A. Enfoque General

En lugar de proyectar el esqueleto a 2D, SK-Adapter trata el esqueleto 3D como una señal de control de "primera clase" dentro del espacio 3D. Utiliza un modelo base preentrenado (Trellis) y lo adapta mediante Fine-Tuning Eficiente de Parámetros (PEFT).

B. Arquitectura Clave

1. Codificador de Esqueleto (Topology-Aware Encoding):

   • El esqueleto se representa como un grafo $G = \{J, G\}$, donde $J$ son las coordenadas de las articulaciones y $G$ es la topología (conectividad).
   • Se utiliza un Codificador de Posición Relativa de Grafos (GRPE) para incrustar tanto las coordenadas espaciales como las restricciones topológicas.
   • Se aprenden embebidos para la distancia topológica (número de saltos entre articulaciones) y las relaciones (padre, hijo, hermano, extremo). Esto permite al modelo entender la jerarquía y la cinemática del objeto.

2. Mecanismo de Atención Cruzada Esquelética (Skeletal Cross-Attention):

   • Los tokens del esqueleto codificados se inyectan en los bloques del transformador de flujo preentrenado (que permanece congelado) mediante capas de atención cruzada entrenables.
   • En cada bloque, las características de los vóxeles 3D (Query) consultan la información del esqueleto (Key y Value). Esto permite que cada vóxel "preste atención" a las articulaciones esqueléticas más relevantes, mapeando las restricciones topológicas directamente a la cuadrícula de coordenadas 3D.

3. Estrategia de Inyección No Invasiva:

   • La salida de la atención cruzada se pasa a través de una capa lineal inicializada en cero (Zero-initialized Linear Layer) antes de sumarse residualmente al estado oculto del modelo base.
   • Esto asegura que al inicio del entrenamiento, la señal sea nula, preservando los priores generativos del modelo original y evitando el "olvido catastrófico".

4. Entrenamiento:

   • Se utiliza Flow Matching Latente (LFM) en el espacio latente de un autoencoder de vóxeles 3D.
   • Solo se entrenan el codificador GRPE, las capas de atención cruzada y las capas de proyección; el backbone de Trellis permanece congelado.

C. Edición 3D Flexible

El método permite la edición local de activos existentes. Al combinar un esqueleto modificado (cambio de pose o topología) con una máscara de región, el modelo puede regenerar contenido específico en esa área manteniendo la coherencia con el fondo y la nueva guía esquelética, sin necesidad de reentrenamiento (tuning-free).

3. Contribuciones Clave

1. SK-Adapter: El primer marco que logra control esquelético durante la generación 3D nativa, superando las limitaciones de las proyecciones 2D.
2. Objaverse-TMS: Los autores crearon y publicaron un nuevo conjunto de datos a gran escala con 24,000 triplets de texto-malla-esqueleto. Este dataset aborda la escasez de datos con rigging experto y anotaciones precisas, superando a datasets anteriores que usaban algoritmos automáticos (que a menudo producían rigging anatómicamente incorrecto).
3. Capacidad de Edición: Demostración de edición local flexible (adición de partes, reposicionamiento) guiada por esqueletos, algo no alcanzable con métodos anteriores.

4. Resultados Experimentales

El método se evaluó en el conjunto de datos TMS-eval (140 instancias) comparado con baselines como SKDream y SpaceControl.

• Alineación Estructural (ReRigging Score): SK-Adapter obtuvo un puntaje de 0.2228, significativamente mejor que SKDream (0.2818) y SpaceControl (0.2740). Un puntaje más bajo indica una mayor fidelidad a la estructura esquelética de entrada.
• Alineación Textual: Logró el puntaje CLIP más alto (26.16), demostrando que mantiene la coherencia semántica con el prompt de texto.
• Fidelidad Visual:
  • PickScore: 21.01 (el más alto), indicando preferencia humana por la calidad generada.
  • KD-DINO: 0.7778 (el más bajo), indicando menor discrepancia en la distribución visual respecto a las referencias.
• Eficiencia: Genera activos en menos de 15 segundos, frente a los ~40 segundos de SKDream.
• Ablación: Se demostró que tanto la atención cruzada dedicada como el codificador topológico son esenciales; sin ellos, la alineación estructural colapsa o la comprensión de la topología es deficiente.

5. Significado e Impacto

SK-Adapter representa un avance fundamental en la generación 3D al cerrar la brecha entre la síntesis semántica abstracta y la articulación topológica explícita.

• Control Preciso: Permite a los usuarios definir la estructura interna de los objetos 3D (esqueletos) con la misma facilidad que se define el estilo o el contenido, algo crucial para pipelines de animación y videojuegos.
• Calidad Nativa: Al operar en el dominio 3D nativo y preservar los priores del modelo base, evita los artefactos y la pérdida de textura comunes en los métodos de reconstrucción multi-vista.
• Escalabilidad: La estrategia de PEFT (congelar el backbone) hace que el método sea eficiente y adaptable a futuros modelos base más grandes sin necesidad de reentrenamiento completo.

En resumen, SK-Adapter establece un nuevo estándar para el control estructural en la generación 3D, facilitando la creación de activos 3D listos para producción que son tanto visualmente ricos como estructuralmente rigurosos.