Resumen Técnico: ProCAD – Agentes Proactivos para la Generación Robusta de Texto a CAD

1. Declaración del Problema

Los sistemas actuales de texto a CAD, que traducen prompts de lenguaje natural en programas de CAD paramétricos (específicamente CadQuery), enfrentan un problema crítico de robustez. Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han permitido avances iniciales, normalmente operan bajo el supuesto de que los prompts del usuario son precisos y consistentes. En la práctica, las descripciones geométricas en lenguaje natural son frecuentemente subespecificadas (faltan dimensiones críticas) o internamente inconsistentes (contienen restricciones conflictivas).

Los enfoques existentes, ya sea mediante la generación de un solo paso (one-shot) vía LLMs ajustados o mediante el refinamiento basado en retroalimentación, tienden a tratar el prompt del usuario como una especificación confiable. Ante la ambigüedad, estos modelos suelen "alucinar" dimensiones para satisfacer la solicitud, lo que conduce a código inválido o modelos geométricamente incorrectos. Esto limita la utilidad práctica del texto a CAD para tareas de ingeniería del mundo real donde la precisión es primordial.

2. Metodología

Los autores proponen ProCAD, un marco de agentes proactivos diseñado para resolver problemas de especificación antes de la síntesis de código. El sistema descompone la tarea en un flujo de trabajo de dos agentes:

A. La Arquitectura de Dos Agentes

1. Agente de Clarificación Proactiva ($\pi_\phi$):

   • Rol: Audita el prompt del usuario para detectar restricciones faltantes o conflictivas.
   • Mecanismo: Modelado como un Proceso de Decisión de Markov (MDP) de horizonte finito donde el entorno es el usuario. El agente decide en cada paso si ACEPTAR la especificación actual o PREGUNTAR una pregunta de aclaración dirigida.
   • Objetivo: Maximizar una función de recompensa que equilibra la fidelidad geométrica (minimizando la Distancia de Chamfer) y la sobrecarga de comunicación (minimizando las rondas de interacción y la longitud de los tokens).
   • Estrategia: El agente está entrenado para hacer preguntas mínimas y esenciales para producir una especificación autoconsistente, evitando interrupciones innecesarias.

2. Agente de Codificación CAD ($\pi_\theta$):

   • Rol: Traduce la especificación finalizada y aclarada en un programa CadQuery ejecutable.
   • Mecanismo: Un modelo de generación de texto a código estándar ajustado (fine-tuned) con datos de alta calidad y sin ambigüedades.

B. Creación de Datos y Flujo de Entrenamiento

Para entrenar estos agentes, los autores construyeron un nuevo conjunto de datos de alta calidad y una estrategia de entrenamiento:

• Conjunto de Datos de Alta Calidad de Texto a CadQuery (10K muestras):

  • Fuente: Derivado del conjunto de datos DeepCAD (Wu et al., 2021) mediante programas CadQuery.
  • Proceso: En lugar de generar código a partir de texto, el flujo de trabajo renderiza formas desde múltiples puntos de vista y utiliza un modelo de Lenguaje-Visión de frontera (GPT-5-mini) para generar descripciones en lenguaje natural condicionadas tanto a las imágenes como al código CadQuery fuente.
  • Verificación: Un bucle de "generar-luego-verificar" asegura la calidad. Las descripciones generadas se comprueban para detectar:
    1. Fuga de Código (Code Leakage): Asegurar que no se copien fragmentos de código bruto en el texto.
    2. Completitud: La descripción se devuelve al VLM para sintetizar el código; si la geometría resultante coincide con la verdad fundamental (Distancia de Chamfer $< 2 \times 10^{-4}$), la muestra es aceptada.
  • Refinamiento: Las muestras que fallan las comprobaciones se reintentan hasta tres veces; los fallos persistentes se derivan a expertos humanos.

• Entrenamiento del Agente de Codificación (ProCAD-coder):

  • Ajustado mediante Aprendizaje Supervisado (Supervised Fine-Tuning - SFT) en 1.6K muestras cuidadosamente curadas y sin ambigüedades del conjunto de datos de 10K.
  • Modelo base: Qwen2.5-7B-Instruct.

• Entrenamiento del Agente de Clarificación (ProCAD-clarifier):

  • Entrenado mediante SFT Agéntico en un conjunto de datos sintético de 6,063 muestras.
  • Síntesis: Se crean prompts ambiguos perturbando las especificaciones verificadas (omitiendo dimensiones o introduciendo conflictos).
  • Trayectorias: Los datos de entrenamiento incluyen trayectorias completas del agente donde el agente hace preguntas y recibe respuestas de un usuario simulado (usando GPT-5-mini como simulador de usuario) para alcanzar una especificación corregida.
  • Meta: Aprender a identificar la ambigüedad y hacer el conjunto mínimo de preguntas necesarias para resolverla.

3. Contribuciones Clave

1. Marco Agéntico Proactivo: Un cambio de la generación estática de un solo paso a un sistema de dos agentes dinámico que detecta y resuelve proactivamente las ambigüedades de especificación antes de la generación de código.
2. Conjunto de Datos Curado de Alta Calidad: La creación de un conjunto de datos de texto a CadQuery de 10K con rigurosas comprobaciones de fuga y completitud, demostrando que las descripciones más limpias y precisas mejoran significativamente la síntesis de código posterior.
3. Entrenamiento Eficiente con Datos Mínimos:
   • El agente de codificación logra un rendimiento superior utilizando solo 1.6K muestras ajustadas, superando a modelos de frontera de código cerrado.
   • El agente de clarificación es entrenado en un conjunto de datos sintéticos de 6,063 trayectorias para manejar la ambigüedad de manera efectiva.
4. Robustez ante la Ambigüedad: El sistema reduce significativamente la generación de código inválido y los errores geométricos cuando se enfrenta a prompts subespecificados o conflictivos.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de prueba ambiguos y no ambiguos, comparando ProCAD contra modelos de frontera (ej. Claude Sonnet 4.5, GPT-4o-mini) y métodos previos de código abierto.

• Rendimiento de Codificación (Prompts No Ambiguos):

  • ProCAD-coder redujo la Ratio de Invalidación (IR) de ~86.9% (Qwen2.5 zero-shot) a 0.9%.
  • Logró una Distancia de Chamfer mediana (CD) de 0.066 (escalada $\times 10^{-3}$), superando a Claude Sonnet 4.5 (0.077) y métodos previos como Text-CAD (0.097).

• Rendimiento de Clarificación (Prompts Ambiguos):

  • En un entorno de dos agentes con respuestas de usuario simuladas, ProCAD (Clarifier + Coder) logró la Media de CD (0.63) y la Mediana de CD (0.08) más bajas.
  • Redujo la Ratio de Invalidación al 0.9%, en comparación con el 14.6% de la línea base de Claude Sonnet 4.5 de un solo modelo.
  • Calidad de Interacción: ProCAD alcanzó los puntajes de Eficiencia (0.9654) y Resolución (0.9341) más altos, lo que indica que hace menos preguntas redundantes y resuelve con éxito las ambigüedades.

• Generalización:

  • El sistema mantuvo un alto rendimiento cuando el simulador de usuario se cambió de GPT-5-mini a Claude 4.5 Haiku, demostando robustez ante comportamientos de usuario fuera de la distribución.
  • Evaluación Centrada en el Humano: En pruebas con anotadores humanos reales (100 muestras), ProCAD-clarifier continuó superando a las líneas base en Eficiencia, Resolución y fidelidad geométrica final (Media de CD 1.28 frente a 9.72 para la siguiente mejor línea base).

5. Significado y Reivindicaciones

El artículo afirma que ProCAD representa un paso significativo hacia la robustez del texto a CAD para aplicaciones de ingeniería práctica. Su principal significancia radica en:

• Cambio de Paradigma: Pasar de la generación "reactiva" (donde los modelos adivinan la información faltante) a la clarificación "proactiva" (donde los modelos piden la información faltante). Esto se alinea mejor con los estándares rigurosos del diseño de ingeniería.
• Impacto de la Calidad de los Datos: Los resultados sugieren que la calidad de la descripción textual es un cuello de botella crítico. Los autores demuestran que incluso con un modelo base fuerte, las descripciones pobres o ambiguas conducen al fallo, mientras que las descripciones de alta calidad y verificadas permiten que incluso modelos más pequeños superen a modelos masivos de frontera.
• Eficiencia: El marco logra un estado del arte en robustez con conjuntos de datos de ajuste fino relativamente pequeños (1.6K para codificación, 6K para clarificación), desafiando la noción de que siempre se requiere una escala masiva para una generación de CAD fiable.

Los autores concluyen que el trabajo futuro debería centrarse en la recopilación de conjuntos de datos de ambigüedad a gran escala a partir de interacciones humanas reales y en el desarrollo de modelos dedicados de simuladores de usuario para refinar aún más el proceso de clarificación proactiva.