UniCAD: A Unified Benchmark and Universal Model for Multi-Modal Multi-Task CAD

Resumen Técnico: UniCAD

Planteamiento del Problema

El Diseño Asistido por Computadora (CAD) es fundamental para la ingeniería moderna, sin embargo, la investigación actual está fragmentada. Los enfoques existentes suelen estudiar las tareas de forma aislada (por ejemplo, reconstrucción a partir de nubes de puntos, generación a partir de texto o respuesta a preguntas) y dependen de modalidades de entrada únicas. Este enfoque de silos impide la transferencia de conocimiento entre tareas y no refleja los escenarios de diseño del mundo real, donde los usuarios proporcionan entradas mixtas (bocetos, descripciones, escaneos). Además, el campo carece de un benchmark unificado y a gran escala que estandarice la evaluación a través de diversas modalidades y tareas, lo que dificulta la comparación justa y el desarrollo de modelos robustos y generalizables.

Metodología

1. El Benchmark UniCAD

Para abordar la falta de un estándar de evaluación unificado, los autores introducen UniCAD, un conjunto de datos y benchmark exhaustivo.

• Composición de los Datos: El conjunto de datos contiene 1,448,150 modelos CAD, integrando cuatro modalidades de entrada: descripciones de texto, imágenes multivista, bocetos dibujados a mano y nubes de puntos.
• Representación: A diferencia de trabajos previos que utilizan B-rep o secuencias de comandos, UniCAD convierte todos los diseños en scripts de Python de CadQuery ejecutables. Esta elección garantiza que los resultados sean interpretables, editables y programáticamente verificables.
• Pipeline de Generación de Datos:
  • Fuente: Construido sobre DeepCAD, Text2CAD y CAD-Recode.
  • Conversión: Un script de Python determinista y basado en reglas convierte las operaciones de modelado JSON en código CadQuery, logrando un éxito de ejecución del 100% (a diferencia de la conversión basada en LLM que sufre de alucinaciones).
  • Alineación Multimodal:
    • Nubes de Puntos: Generadas mediante muestreo uniforme de las superficies de la malla CAD con vectores normales.
    • Imágenes: Renderizados sintéticos multivista desde ocho perspectivas fijas.
    • Bocetos: Generados utilizando el modelo Qwen-Image-Edit para crear arte de línea con estilo de dibujo a mano realista a partir de los renderizados.
    • QA (Preguntas y Respuestas): Un pipeline semiautomático utilizando GPT-4o genera preguntas de opción múltiple de 4 vías fundamentadas en la geometría visual y la lógica del programa, verificadas por anotadores humanos (>92% de acuerdo).
• Tareas Soportadas: El benchmark evalúa cuatro tareas distintas: Point-to-CAD (Punto a CAD), Text-to-CAD (Texto a CAD), Image/Sketch-to-CAD (Imagen/Boceto a CAD) y CAD Question Answering (QA - Preguntas y Respuestas de CAD).

2. El Modelo UniCAD-MLLM

Los autores proponen UniCAD-MLLM, un modelo de lenguaje de gran tamaño multimodal universal diseñado para manejar estas tareas heterogéneas dentro de un único marco de trabajo.

• Arquitectura: Basado en Qwen2-VL-2B, extendido con un módulo de proyección de nubes de puntos ligero y entrenable.
• Procesamiento de Entrada:
  • Texto: Procesado mediante tokenizadores nativos.
  • Imágenes: Codificadas mediante el codificador visual preentrenado.
  • Nubes de Puntos: Procesadas mediante un codificador dedicado que involucra Muestreo de Punto Más Lejano (FPS), codificación posicional de Fourier y una capa de proyección lineal para mapear las coordenadas 3D en la dimensión oculta del modelo.
• Prompting Unificado: El modelo trata las modalidades como módulos de tokens opcionales. Las entradas faltantes se reemplazan por instrucciones genéricas, lo que permite un razonamiento flexible incluso con datos incompletos.
• Generación de Salida:
  • Generación/Reconstrucción: El modelo genera de forma autorregresiva scripts de Python de CadQuery ejecutables.
  • QA: El modelo razona sobre el prompt y el programa CAD existente para generar respuestas textuales.
• Entrenamiento: El modelo se entrena conjuntamente en todas las tareas utilizando pérdida de entropía cruzada, realizando el ajuste fino (fine-tuning) del modelo de lenguaje y entrenando el módulo de proyección de puntos desde cero.

Contribuciones Clave

1. Benchmark UniCAD: El primer benchmark unificado y a gran escala para el aprendizaje de CAD multimodal y multitarea, proporcionando divisiones de datos estandarizadas y protocolos de evaluación para entradas de texto, imagen, boceto y nube de puntos a través de tareas de generación y comprensión.
2. UniCAD-MLLM: Un único modelo de extremo a extremo que unifica la generación y comprensión de CAD en un espacio latente semántico-geométrico compartido, capaz de procesar modalidades mixtas y producir código ejecutable.
3. Validación Empírica: Demostración de que el aprendizaje conjunto multimodal y multitarea supera consistentemente a las líneas base especializadas de una sola tarea, validando la escalabilidad del modelado de CAD unificado.

Resultados Experimentales

El modelo fue evaluado en el conjunto de prueba de UniCAD y en el benchmark externo de Fusion360 utilizando Distancia de Chamfer (CD) e Intersección sobre Unión Volumétrica (IoU).

• Rendimiento de UniCAD: UniCAD-MLLM logró un rendimiento de vanguardia (state-of-the-art) en todas las modalidades.
  • Point-to-CAD: CD 0.17, IoU 89.7%.
  • Text-to-CAD: CD 0.20, IoU 86.3%.
  • Image/Sketch-to-CAD: CD 0.17–0.22, IoU hasta 89.8%.
  • CAD QA: Alcanzó una precisión del 90.0%, superando significativamente a los VLMs de propósito general como GPT-4o (77%) y Doubao-Seed-1.6 (85%).
• Reconstrucción de Vista Única: Incluso cuando se probó en imágenes de vista única (una tarea más difícil), el modelo superó a las líneas base especializadas de solo imagen (CD 0.17 vs. 0.21 para Cadrille), demostrando una robusta completitud de forma.
• Generalización Zero-Shot: En el conjunto de datos Fusion360, UniCAD-MLLM superó a los métodos existentes tanto en reconstrucción de nubes de puntos (IoU 84.3% vs. 79.1%) como en reconstrucción de imágenes multivista (IoU 83.9% vs. 62.5% para un pipeline híbrido LRM+CAD-Recode).
• Fusión Multimodal: Condicionar el modelo con tanto texto como bocetos produjo los mejores resultados (CD 0.18, IoU 88.6%), probando que las señales multimodales se complementan para reducir los errores de reconstrucción.

Significado y Reivindicaciones

El artículo afirma que UniCAD establece una base sólida para la inteligencia de CAD de propósito general. Al unir la percepción multimodal con la generación de diseños ejecutables, este trabajo demuestra que un marco unificado puede aprender representaciones geométricas y semánticas compartidas de manera más efectiva que los modelos aislados y específicos de cada tarea.

Los autores enfatizan que el uso de scripts de Python ejecutables (CadQuery) como representación de salida es crítico, ya que permite la interpretación directa por parte del humano, la validación programática y la integración en cadenas de herramientas industriales. Aunque el conjunto de datos actual está limitado principalmente a operaciones de boceto y extrusión, los autores argumentan que este enfoque unificado allana el camino para investigaciones futuras en operaciones geométricas más complejas y escenarios de diseño interactivos. El lanzamiento del conjunto de datos, el código y los modelos preentrenados tiene como objetivo acelerar el desarrollo de sistemas robustos de asistencia en CAD.