Resumen Técnico: Evaluación de Texto-a-CAD con CADTESTS

Enunciado del Problema

El campo de la generación de Texto-a-CAD ha ganado una tracción significativa, impulsado por las capacidades de los Modelos de Lenguaje Visuales (VLM) para traducir prompts de lenguaje natural en diseños paramétricos 3D. Sin embargo, la evaluación de estos modelos generativos sigue siendo un cuello de botella crítico. Los paradigmas de evaluación actuales dependen predominantemente de métricas de similitud geométrica, como la Distancia de Chamfer (CD) o la Intersección sobre Unión (IoU), calculadas contra un único modelo de referencia de verdad fundamental.

Este enfoque es fundamentalmente defectuoso para las tareas de Texto-a-CAD porque los prompts de lenguaje natural son inherentemente ambiguos. Un solo prompt a menudo permite un espacio de variaciones de diseño válidas (por ejemplo, diferentes escalas, rotaciones o detalles geométricos específicos no restringidos explícitamente). En consecuencia, un modelo generado que sea geométricamente distinto de la referencia pero totalmente conforme con las restricciones del prompt puede ser penalizado por las métricas de similitud. Por el contrario, un modelo que esté geométricamente cerca de la referencia pero que no cumpla con requisitos estructurales o topológicos específicos del prompt puede aprobar. Además, las métricas existentes a menudo no tienen en cuenta las generaciones inválidas (por ejemplo, código que falla al ejecutarse) o carecen de interpretabilidad sobre por qué falló una generación.

Metodología

Los autores proponen un cambio de paradigma desde la comparación geométrica hacia la prueba de software automatizada, tratando el Texto-a-CAD como un problema de síntesis de código donde las descripciones de lenguaje natural se traducen en programas paramétricos ejecutables.

1. CADTESTS

La innovación central es CADTESTS, un conjunto de pruebas de software ejecutables diseñadas para verificar si un modelo CAD generado satisface los requisitos geométricos y topológicos del prompt de entrada.

• Implementación: Cada prueba es un fragmento de código Python que utiliza CadQuery, una biblioteca para el diseño paramétrico de CAD. Estos scripts consultan la Representación de Frontera (B-Rep) del modelo generado para inspeccionar propiedades como conteos topológicos (caras, aristas, vértices), dimensiones de la caja delimitadora, volúmenes, centro de masa y relaciones espaciales.
• Pruebas Basadas en Propiedades: En lugar de coincidir con una geometría de referencia específica, CADTESTS verifica propiedades invariantes definidas por el prompt (por ejemplo, "el modelo debe tener exactamente 16 vértices" o "el agujero debe extenderse a través de toda la altura").
• Interpretabilidad: A diferencia de las puntuaciones de similitud de caja negra, las pruebas fallidas devuelven mensajes de registro explícitos que describen la violación específica de la restricción.

2. CADTESTBENCH

Para facilitar la evaluación, los autores introducen CADTESTBENCH, el primer benchmark basado en pruebas para Texto-a-CAD. Se construye utilizando una tubería automatizada que sintetiza suites de pruebas para 200 muestras (derivadas del conjunto de datos CADPrompt), que comprenden tanto prompts abstractos como detallados.

• Tubería de Síntesis: La tubería emplea un planificador de Modelo de Lenguaje Grande (LLM) para generar suites de pruebas.
• Análisis de Mutación: Para asegurar el poder discriminativo de las pruebas, la tubería genera mutantes de CAD—versiones modificadas del programa CAD de referencia que violan deliberadamente requisitos específicos del prompt (por ejemplo, alterar dimensiones, eliminar características o cambiar la topología).
• Refinamiento Iterativo: La suite de pruebas se refina mediante un bucle iterativo. El planificador ejecuta pruebas en un "conjunto de aprobación" (modelos de referencia válidos y sus variantes aumentadas) y un "conjunto de mutación" (mutantes). El planificador analiza los rastros de ejecución para reparar pruebas existentes o generar nuevas hasta que todas las pruebas aprueben en modelos válidos y detecten con éxito (maten) a los mutantes. Este proceso continúa durante múltiples rondas (R=4 en los experimentos) para lograr puntuaciones de mutación altas (>90%).

3. Protocolo de Evaluación

El benchmark evalúa los métodos utilizando cuatro métricas complementarias:

• Tasa de Aprobación (PR): El porcentaje de muestras donde todas las CADTESTS aprueban.
• Puntuación de Requisito (RS): La fracción de grupos de requisitos del prompt satisfechos por muestra.
• Tasa de Invalidad (IR): La proporción de generaciones que fallan al ejecutarse (errores de tiempo de ejecución).
• Precisión por Categoría: El rendimiento desglosado por categorías de prueba (por ejemplo, Validez de Sólido/Cáscara, Topología, Dimensiones, Disposición Espacial).

Contribuciones Clave

1. Marco CADTESTS: La introducción de pruebas ejecutables basadas en propiedades que verifican el cumplimiento del prompt directamente sobre la geometría generada, superando la similitud geométrica dependiente de referencias.
2. CADTESTBENCH: El primer benchmark impulsado por pruebas para Texto-a-CAD, que cuenta con una tubería automatizada para la síntesis y refinamiento de pruebas utilizando análisis de mutación. Incluye 5,937 pruebas en 200 muestras.
3. Evaluación Exhaustiva: Una evaluación exhaustiva de métodos recientes de Texto-a-CAD (tanto ajustados finamente como sin entrenamiento) en CADTESTBENCH, revelando limitaciones en los enfoques actuales con respecto al razonamiento topológico y espacial.
4. Líneas Base de Generación Impulsadas por Pruebas: La demostración de que CADTESTS puede servir como un mecanismo de retroalimentación efectivo durante la generación. Al integrar la ejecución de pruebas y la retroalimentación de registros en un bucle ReAct, se demostró que las líneas base simples superan a los métodos existentes de última generación.

Resultados

• Rendimiento del Benchmark: Los métodos actuales sin entrenamiento (por ejemplo, GPT-5.2, Claude-4.6-Sonnet) generalmente superan a los modelos ajustados finamente (por ejemplo, Text2CAD) en CADTESTBENCH. Los modelos ajustados finamente, a menudo entrenados con datos sintéticos restringidos a paradigmas específicos (boceto y extrusión), no logran generalizar a las diversas restricciones en CADTESTBENCH.
• Impacto del Planificador: La elección del planificador LLM subyacente impacta significativamente el rendimiento, con Claude-4.6-Sonnet superando consistentemente a las variantes basadas en GPT en todas las métricas.
• Mecanismos de Retroalimentación: Las líneas base que incorporan bucles ReAct (ejecución iterativa de código y corrección de errores) logran tasas de invalidad más bajas y tasas de aprobación más altas.
• Líneas Base Basadas en Pruebas: Las propuestas CADTests y CADTests + Log lograron el rendimiento más alto. Específicamente, el enfoque "CADTests + Log" utilizando Claude-4.6-Sonnet logró una Tasa de Aprobación de 0.810 en prompts abstractos y 0.625 en prompts detallados, superando a todos los demás métodos.
• Alineación Humana: Un estudio humano que involucró a anotadores expertos demostró que la evaluación basada en CADTESTS se alinea significativamente más cerca del juicio humano (acuerdo de Cohen $\kappa$ = 0.938 en la tasa de aprobación) en comparación con las métricas geométricas (Distancia de Chamfer) o las puntuaciones basadas en VLM (AUC ~0.66 vs. 0.928 para CADTests).

Significado y Afirmaciones

El artículo afirma que CADTESTS ofrece un paradigma de evaluación más riguroso, interpretable y libre de referencias para el Texto-a-CAD. Al tratar la generación de CAD como síntesis de código, los autores argumentan que la evaluación basada en pruebas maneja correctamente la ambigüedad de los prompts de lenguaje natural validando restricciones específicas en lugar de imponer similitud geométrica a una única referencia.

Los autores enfatizan que, si bien las pruebas automatizadas son estándar en la ingeniería de software, su aplicación al CAD ha sido pasada por alto. Demuestran que:

1. El Análisis de Mutación es efectivo para sintetizar suites de pruebas de alta calidad que capturan las especificaciones del prompt mientras permanecen robustas ante variaciones geométricas válidas.
2. La Generación Impulsada por Pruebas es una estrategia viable, donde la retroalimentación de la ejecución de pruebas permite a los modelos refinar iterativamente sus salidas, superando a menudo a los métodos que dependen únicamente de retroalimentación visual o prompts estáticos.
3. Limitaciones Actuales: A pesar de las mejoras, los planificadores LLM actuales aún luchan con el razonamiento topológico preciso, las restricciones dimensionales y las disposiciones espaciales, como lo demuestra una menor precisión en estas categorías de prueba específicas.

El trabajo concluye que CADTESTBENCH proporciona una base necesaria para avanzar en la investigación de Texto-a-CAD, ofreciendo un camino hacia sistemas de diseño generativo más confiables y verificables. Los autores reconocen que, como cualquier suite de pruebas, CADTESTS puede no cubrir cada caso límite posible (la limitación de "cobertura de pruebas"), pero el proceso de refinamiento iterativo mitiga significativamente este riesgo.