Resumen Técnico: INSTRUCT-PARTICULATE

Planteamiento del Problema

La reconstrucción de la estructura articulada de objetos 3D —descomponiéndolos en partes cinemáticas con parámetros de unión asociados— es fundamental para la animación, los videojuegos y la simulación robótica. Sin embargo, el progreso en este dominio se ha visto obstaculizado por la escasez de datos 3D articulados de alta calidad y anotados. Los métodos existentes dependen de conjuntos de datos pequeños y curados manualmente (por ejemplo, PartNet-Mobility), lo que limita su capacidad para generalizarse a nuevas categorías de objetos o geometrías diversas. Además, la ambigüedad inherente al definir la granularidad y la semántica de las partes para un objeto 3D dado suele provocar que los modelos entrenados con datos heterogéneos produzcan resultados subóptimos o "promediados".

Metodología

Los autores proponen INSTRUCT-PARTICULATE, un modelo de alimentación directa (feed-forward) diseñado para inferir estructuras articuladas a partir de activos 3D estáticos (mallas) guiados por instrucciones cinemáticas explícitas.

1. Construcción y Escalamiento de Datos

Para superar la escasez de datos, los autores construyeron un conjunto de datos heterogéneo de más de 150,000 objetos 3D articulados utilizando tres estrategias complementarias:

• Etiquetado Pseudo-etiquetado basado en VLM: Un flujo de trabajo que utiliza Modelos de Lenguaje Visual (VLM) para extraer estructuras cinemáticas (nombres de partes, conectividad, tipos de unión) a partir de renderizados multivista de 27,000 activos 3D sintéticos. El VLM genera máscaras de segmentación que se proyectan inversamente al 3D.
• Aumento de Modelos Segmentados por Partes: Para 120,000 activos con descomposiciones de partes existentes (pero que carecen de etiquetas cinemáticas), el flujo de trabajo genera subtítulos textuales para las partes. Crucialmente, para manejar la ambigüedad (por ejemplo, patas de mesa idénticas), el sistema utiliza pistas espaciales solo cuando existe una orientación canónica; de lo contrario, asigna subtítulos idénticos a partes semánticamente idénticas, confiando en prompts geométricos de puntos para la distinción.
• Generación de Agentes de Codificación: Se generaron 10,000 objetos articulados totalmente supervisados utilizando Artifraft, un agente de codificación 3D especializado, que proporciona parámetros de unión precisos.

2. Arquitectura del Modelo

El modelo emplea una arquitectura codificador-decodificador escalable que procesa una malla 3D (representada como una nube de puntos) y una condición cinemática $C$. La condición $C$ incluye:

• Una estructura de árbol cinemático $K$ (partes y conectividad).
• Prompts de texto ($t_p$) que describen cada parte.
• Prompts de puntos 3D opcionales ($x_p$) que indican ubicaciones específicas en las partes.

Codificación:

• Tokens de Forma: Los puntos muestreados de la malla se codifican con normales de superficie y características (vía PartField) y se comprimen en tokens de forma latentes mediante atención cruzada.
• Tokens de Consulta (Query Tokens): Se muestrean puntos adicionales en la superficie para predecir las asociaciones de las partes.
• Tokens de Parte: Los prompts de texto se codifican mediante CLIP y se combinan con las incrustaciones (embeddings) de los prompts de puntos.

Los tokens se procesan a través de $B$ bloques de transformadores. Los tokens de parte se actualizan mediante autoatención y atención cruzada con los tokens de forma para inferir los parámetros de articulación. Los tokens de consulta realizan atención cruzada tanto con la forma como con los tokens de parte actualizados para determinar la pertenencia a la parte. Notablemente, se omite la autoatención entre los tokens de consulta para garantizar la velocidad e independencia del número de puntos de consulta.

Decodificación:

• Segmentación de Partes: Un MLP puntúa los pares consulta-parte para asignar puntos de la superficie a partes específicas.
• Parámetros de Movimiento de la Unión: Para cada unión móvil, el modelo predice parámetros de movimiento (dirección del eje, punto de pivote y límites de movimiento) de manera sobreparametrizada. Predice, para cada punto de consulta, el punto más cercano en el eje de la unión y la ubicación del punto en sus límites inferior y superior. Estas predicciones por consulta se agregan geométricamente para recuperar un único eje de movimiento y rango compartido para cada unión.

Contribuciones Clave

1. Modelo INSTRUCT-PARTICULATE: Un modelo de alimentación directa de vanguardia que acepta un objeto 3D estático e instrucciones cinemáticas para producir un objeto 3D totalmente articulado, incluyendo segmentación de partes y parámetros de movimiento de unión.
2. Motor de Datos Escalable: Un flujo de trabajo que aprovecha los VLM y los agentes de codificación para realizar el etiquetado pseudo y generar un conjunto de datos diverso y a gran escala de más de 150k objetos 3D articulados, expandiéndose significativamente más allá de las colecciones existentes anotadas manualmente.
3. Condicionamiento Cinemático: Una formulación novedosa donde las instrucciones cinemáticas explícitas (estructura, texto y puntos) desambiguan la estructura articulada objetivo, permitiendo que el modelo aprenda de anotaciones heterogéneas sin promediarlas en salidas subóptimas.
4. Articulación de Imagen a 3D: Demostración de un flujo de trabajo práctico donde el modelo, combinado con generadores 3D comerciales, puede generar diversos y realistas activos 3D articulados directamente a partir de imágenes del mundo real.

Resultados Experimentales

El modelo fue evaluado en el conjunto de datos Lightwheel, que contiene 243 objetos articulados de alta calidad en 14 categorías, incluyendo aquellas ausentes de conjuntos de datos previos.

• Rendimiento Cuantitativo: INSTRUCT-PARTICULATE superó consistentemente a ocho líneas base existentes (incluyendo SINGAPO, PAct, PhysX-Anything y URDF-Anything+) en todos los modos de entrada (Solo Imagen, Malla, y Malla + Cinemática).
  • En la configuración "Malla + Cinemática", alcanzó una precisión de coincidencia de partes del 97.3% y una recuperación (recall) del 95.9%, con un 0.821 de gIoU para la segmentación de la pose de reposo y un 0.757 de gIoU para la geometría articulada.
  • Redujo significativamente los errores del eje de la unión (Error de Ángulo: 9.5°, Error de Localización: 0.015) en comparación con las líneas base.
• Estudios de Ablación:
  • Datos: Los modelos entrenados solo con conjuntos de datos existentes (PartNet-Mobility, GRScenes) sufrieron un sobreajuste severo y fallaron en la generalización. La inclusión de los datos de etiquetado pseudo y los generados por agentes de codificación proporcionó ganancias complementarias tanto en segmentación como en estimación de uniones.
  • Condicionamiento: Eliminar el condicionamiento cinemático provocó una caída drástica en el rendimiento, confirmando que las instrucciones explícitas son necesarias para resolver la ambigüedad en la granularidad y la semántica de las partes. Los prompts de puntos proporcionaron la mayor ganancia de rendimiento entre los tipos de prompts.
• Resultados Cualitativos: El modelo recuperó con éxito partes articuladas pequeñas (botones, perillas) y estructuras complejas (batidoras de pie, máquinas de café) donde las líneas base fallaron. También demostró la capacidad de seguir prompts cinemáticos específicos, como distinguir entre cajones izquierdo y derecho mediante texto o manejar 24 uniones de botones distintas.

Significado y Reivindicaciones

El artículo afirma que INSTRUCT-PARTICULATE representa un paso significativo hacia adelante en la comprensión de objetos articulados al abordar el cuello de botella de la escasez de datos mediante la ingeniería de datos escalable impulsada por VLM. Al introducir el control cinemático, el modelo puede apuntar a granularidades de anotación específicas, permitiendo el uso de datos de entrenamiento heterogéneos que antes eran inutilizables.

Los autores aseguran que este enfoque permite la generación de activos 3D articulados diversos y listos para la física directamente desde imágenes del mundo real, cerrando la brecha entre la generación 3D estática y la simulación dinámica. El trabajo se presenta como una solución práctica para la creación de activos de simulación para la IA incorporada (embodied AI), yendo más allá de las limitaciones de los pequeños conjuntos de datos anotados manualmente hacia un régimen de aprendizaje a gran escala y agnóstico a la categoría.