Resumen Técnico: Modelos de Fundación para la Generación Automática de CAD

Planteamiento del Problema

La automatización del diseño mecánico sigue siendo un desafío significativo en la informática de ingeniería. Los flujos de trabajo tradicionales de Diseño Asistido por Computadora (CAD) requieren conocimientos especializados en el modelado paramétrico basado en restricciones y en el uso de scripts, lo que crea una barrera para los no especialistas y dificulta la integración en cadenas de procesamiento automatizadas. Si bien los Modelos de Lenguaje Extensos (LLM) han demostrado capacidad para generar código estructurado a partir de lenguaje natural, existe una brecha crítica entre la generación de código sintácticamente válido y la producción de geometrías 3D semánticamente correctas y fabricables. Un script puede ejecutarse sin errores pero producir una pieza con dimensiones incorrectas, características faltantes o defectos topológicos que impiden el mallado o la simulación posteriores. Este artículo aborda la necesidad de un marco de evaluación robusto para evaluar la capacidad de los modelos de fundación para traducir especificaciones de lenguaje natural en diseños CAD paramétricos válidos, específicamente para piezas mecánicas.

Metodología

Los autores presentan LLMForge, un marco de texto-a-CAD multimodelo diseñado para evaluar y refinar el resultado de los modelos de fundación a través de un flujo de trabajo unificado y un benchmark curado.

Conjunto de Datos de Referencia (Benchmark)

El estudio utiliza un benchmark de 97 problemas de diseño de ingeniería extraídos de cuatro familias de geometrías canónicas:

1. Placas rectangulares con agujeros y círculos de pernos.
2. Cajas con múltiples características (huecas y sólidas).
3. Cilindros con brida.
4. Escuadras en L.

Cada problema está emparejado con una especificación de características de verdad absoluta (conteo de agujeros, dimensiones, tratamientos superficiales) utilizada para calcular puntuaciones de adherencia analítica. Se solicita a los modelos que generen un objeto JSON estrictamente estructurado que represente los parámetros de CAD, en lugar de código de formato libre.

Flujos de Trabajo de Evaluación

El marco evalúa siete modelos de fundación de vanguardia (DeepSeek-V3.2, Qwen3-235B-A22B, Llama-3.3-70B, Gemma-3-27B, GLM-4.5, MiniMax-M2.1 e INTELLECT) bajo dos regímenes de crítica distintos, ambos empleando un bucle de refinamiento iterativo (hasta 4 rondas):

1. IterTracer (Régimen Analítico):

   • Mecanismo: Utiliza un análisis geométrico determinista y diferenciable de los mapas de bits renderizados.
   • Proceso: Un renderizador de trazado de rayos con sombreado Phong genera vistas ortográficas. Un evaluador analítico calcula cinco subseñales: IoU de la silueta, visibilidad de agujeros, despeje de bordes, conformidad de la relación de aspecto y consistencia de la sección transversal.
   • Retroalimentación: Estas métricas se convierten en una crítica escalar y se reintroducen en el modelo para su refinamiento. Este régimen es ligero, rápido y no introduce varianza estocástica.

2. IterVision (Régimen Semántico):

   • Mecanismo: Aumenta el evaluador analítico con un crítico semántico basado en un Modelo de Lenguaje y Visión (VLM) (Qwen2.5-VL-72B).
   • Proceso: El VLM evalúa las vistas renderizadas de las geometrías candidatas utilizando razonamiento de cadena de pensamiento (chain-of-thought) para evaluar la coherencia espacial y la intención de diseño.
   • Retroalimentación: El VLM proporciona una puntuación de coincidencia semántica ($s_{vlm}$) y retroalimentación textual estructurada (características faltantes, problemas geométricos), la cual se incorpora a la instrucción de refinamiento junto con las métricas analíticas.

Ejes de Puntuación

Las piezas generadas se evalúan a lo largo de ejes independientes:

• Validación ($s_{val}$): Conformidad con el esquema JSON.
• Malla ($s_{mesh}$): Indicador binario de la generación exitosa de una malla estanca (watertight).
• Característica ($s_{feat}$): Comparación analítica contra las especificaciones de verdad absoluta.
• Visual ($s_{vis}$): Compuesto de las cinco subseñales visuales analíticas.
• Semántica VLM ($s_{vlm}$): (Solo para IterVision) Puntuación de coincidencia semántica del crítico VLM.

Contribuciones Clave

1. Pipeline IterTracer: Un sistema de generación de texto-a-CAD iterativo que utiliza métricas visuales analíticas para una retroalimentación consciente de la geometría y ligera, sin necesidad de modelos neuronales secundarios.
2. Pipeline IterVision: Una extensión que integra un crítico semántico basado en VLM para evaluar la coherencia espacial y la intención de diseño, introduciendo una nueva dimensión al registro de evaluación.
3. Benchmark Exhaustivo: Un conjunto de datos de 97 problemas de ingeniería a través de cuatro familias de geometrías, emparejados con especificaciones de verdad absoluta para la puntuación analítica.
4. Evaluación Empírica: Un estudio comparativo de siete modelos de fundación a través de ambos pipelines, proporcionando trayectorias de convergencia por ronda y estadísticas completas de calidad de malla.

Resultados Experimentales

• Rendimiento de Alto Nivel (IterTracer): Cuatro modelos (DeepSeek-V3.2, Qwen3-235B-A22B, Llama-3.3-70B, Gemma-3-27B) formaron un grupo de rendimiento estrecho con puntuaciones generales en el rango $[0.885, 0.890]$ y una tasa de éxito de malla del 98.97%. Esto sugiere que la tarea ha alcanzado un punto de saturación para los modelos de vanguardia ajustados por instrucciones bajo crítica analítica.
• Impacto de la Crítica VLM (IterVision): La adición del eje VLM redujo uniformemente las puntuaciones generales en aproximadamente 0.04 puntos para el grupo superior, indicando una evaluación semántica más exigente. Sin embargo, Gemma-3-27B logró una tasa de éxito de malla del 100% (97/97), con todas las mallas siendo estancas y topológicamente válidas.
• Diferenciación de Modelos: El eje VLM reveló diferencias de rendimiento no visibles en las métricas analíticas. Por ejemplo, DeepSeek-V3.2 lideró en coincidencia semántica ($s_{vlm}$), mientras que Gemma-3-27B obtuvo la puntuación más baja entre los cuatro mejores en este eje específico a pesar de su generación de malla perfecta.
• Modos de Fallo: Los modelos de nivel inferior exhibieron patrones de fallo distintos. GLM-4.5 mostró una alta varianza con errores de esquema intermitentes, mientras que MiniMax-M2.1 e INTELLECT sufrieron fallos geométricos fundamentales (por ejemplo, parámetros malformados que causan excepciones en la generación de malla). Notablemente, INTELLECT mostró un "desacoplamiento visual-geométrico", donde sus salidas renderizadas recibieron altas puntuaciones de VLM a pesar de fallar en la validación de malla.
• Dificultad de la Geometría: Las geometrías cilíndricas puntuaron consistentemente entre 0.04 y 0.07 puntos menos que las placas y las escuadras en L, debido a la falta de características de agujeros planos (que reduce los discriminadores visuales) y a la posible subrepresentación de piezas con simetría rotacional en los datos de entrenamiento de los VLM.
• Dinámica de Refinamiento: Bajo IterTracer, los modelos superiores alcanzaron su pico en la ronda 1 y luego declinaron, lo que sugiere que la retroalimentación analítica corrige errores discretos en una sola pasada. Bajo IterVision, los modelos continuaron mejorando a través de las rondas 2 y 3, lo que indica que la retroalimentación semántica proporciona un gradiente de calidad continuo que soporta una búsqueda más profunda.

Significado y Reivindicaciones

El artículo sostiene que los modelos compactos ajustados por instrucciones pueden alcanzar una fiabilidad competitiva con sistemas sustancialmente más grandes para la generación de CAD paramétrico de geometrías canónicas. El estudio demuestra que:

• Retroalimentación Analítica vs. Semántica: La retroalimentación analítica es altamente efectiva para la satisfacción rápida de restricciones (esquema y validez de malla) pero se satura rápidamente. La retroalimentación visual semántica (VLM) es necesaria para descubrir variaciones residuales en la intención de diseño y la coherencia espacial que las métricas analíticas pasan por alto.
• Integración en Flujos de Trabajo Industriales: La representación estructurada en JSON y el protocolo de crítica de múltiples rondas son susceptibles de integrarse en los flujos de trabajo de Gestión de Datos de Producto (PDM) de ingeniería. Los autores sugieren una estrategia de dos etapas: utilizar la crítica analítica para la generación rápida y la invocación selectiva de VLM para piezas de alto valor o ambiguas para equilibrar el gasto de tokens y la calidad.
• Saturación del Benchmark: El rendimiento casi idéntico de los modelos superiores bajo la crítica analítica sugiere que los benchmarks actuales pueden ser insuficientes para diferenciar los modelos de vanguardia, lo que hace necesaria la inclusión de ejes de evaluación semántica.

Los autores concluyen que, si bien el alcance actual se limita a geometrías canónicas, el marco proporciona una base para futuras investigaciones en el diseño mecánico automatizado y escalable, incluyendo superficies de forma libre y restricciones específicas de fabricación.