Resumen Técnico: CAX-Agent para la Automatización Confiable de APDL

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) desplegados para el análisis mecánico y el diseño (MAPDL) en simulaciones de elementos finitos enfrentan desafíos significativos de fiabilidad. Aunque los LLM pueden generar código, a menudo carecen del control de ejecución estructurado, el encapsulamiento de herramientas y los mecanismos de recuperación de fallos necesarios para los flujos de trabajo de ingeniería. En las tuberías de simulación, los errores de tiempo de ejecución, como fallos en el mallado, problemas de convergencia o resultados faltantes, son comunes incluso para tareas estructuralmente simples. Sin mecanismos de recuperación explícitos, un solo fallo termina toda la tubería. Los marcos de agentes existentes a menudo esperan que el LLM gestione su propia ejecución, lo que no proporciona el esqueleto de ingeniería necesario para una automatización robusta y repetible. Existe una falta de evidencia controlada y empírica que compare diferentes políticas de recuperación (por ejemplo, basadas en reglas frente a impulsadas por modelos) bajo condiciones repetidas con resultados validados por humanos.

Metodología

Arquitectura del Sistema: CAX-Agent

El artículo introduce CAX-Agent, un arnés de agente ligero y nativo del dominio diseñado específicamente para la automatización de APDL en lugar de adaptar un marco genérico. La arquitectura se organiza en tres capas:

1. Capa de Servicio LLM: Incluye un modelo ligero local (Qwen-27B) para una generación rápida en el primer paso y una API externa de alta capacidad (Claude Sonnet 4.6) para el razonamiento complejo y la reparación.
2. Arnés de Agente (Orquestador): Este middleware gestiona los ciclos de vida de las herramientas, el estado del flujo de trabajo y el diagnóstico de fallos. Crucialmente, el orquestador, y no el LLM, posee los presupuestos de reintento, la distribución de herramientas y las condiciones de parada. Implementa una Escalera de Recuperación que escala desde la corrección de reglas deterministas hasta la regeneración impulsada por modelos, el enriquecimiento de contexto y, finalmente, la intervención humana.
3. Backend del Solucionador: Una interfaz unificada que conecta con los motores MAPDL (PyMAPDL, CLI o modos de respaldo).

Diseño Experimental

El estudio evalúa tres estrategias de recuperación distintas en una referencia de 50 tareas estructurales estándar (vigas, placas, cilindros bajo cargas estáticas, modales y térmicas). Las tareas son deliberadamente simples para aislar el efecto de la política de recuperación en lugar de la dificultad de la tarea.

• Sin Recuperación: Ejecución de un solo intento sin intentos de reparación.
• Solo Reglas: Corrección determinista de registro a parche utilizando cuatro reglas de transformación de cadenas (por ejemplo, duplicar el tamaño del elemento para fallos de mallado, insertar pasos de tiempo para problemas de convergencia) sin razonamiento adicional del modelo.
• Solo Modelo: Regeneración del modelo condicionada al registro de errores con reintentos acotados (hasta 3 rondas de reintento forzadas) donde el LLM lee el registro de errores, diagnostica el fallo y regenera el script.

Métricas de Evaluación

Cada una de las 450 ejecuciones totales de casos (50 tareas × 3 estrategias × 3 repeticiones) se evaluó utilizando:

• Puntuación de Tarea ($t_i$): Una puntuación evaluada por humanos (0–4) para la corrección y completitud de la imagen de salida.
• Puntuación de Autonomía ($a_i$): Una puntuación derivada del sistema (0–3) basada en si se requirió intervención manual.
• Puntuación de Eficiencia de Recuperación ($e_i$): Basada en los conteos de reintento y los resultados del solucionador.
• Puntuación Total ($q_i$): La suma de las anteriores ($t_i + a_i + e_i$), que varía de 0 a 10.
• Tasa de Finalización: Métrica binaria que indica si se produjo al menos una imagen de postprocesamiento.
• Análisis Estadístico: Comparaciones pareadas utilizando el $\delta$ de Cliff (tamaño del efecto) y pruebas U de Mann–Whitney, con el acuerdo inter-evaluador medido por el $\kappa$ ponderado cuadrático de Cohen (0.84).

Contribuciones Clave

1. Arquitectura CAX-Agent: Un arnés de agente nativo de MAPDL de tres capas que presenta una escalera de recuperación y un modelo de control centrado en el orquestador que separa la reparación semántica (LLM) del control de ejecución (Arnés).
2. Evaluación Empírica Controlada: Una comparación rigurosa y repetida de tres estrategias de recuperación en 50 tareas APDL estandarizadas, utilizando puntuación humana ciega y validación inter-evaluador.
3. Evidencia Empírica: Demostración de que la recuperación impulsada por modelos supera sustancialmente tanto a la reparación basada en reglas como a las líneas base sin recuperación en tasas de finalización, calidad de salida y autonomía.

Resultados

La estrategia Solo Modelo logró un rendimiento superior en todas las métricas en comparación con Solo Reglas y Sin Recuperación:

• Tasa de Finalización: Solo Modelo (0.9267) superó significativamente a Solo Reglas (0.7733) y Sin Recuperación (0.6933). Los intervalos de confianza del 95% para Solo Modelo no se superpusieron con las líneas base.
• Calidad de la Tarea: Solo Modelo logró una puntuación media de tarea de 3.59/4, en comparación con 3.17/4 para Solo Reglas y 2.74/4 para Sin Recuperación.
• Puntuación Total: Solo Modelo obtuvo 9.16/10, significativamente más alto que Solo Reglas (7.03/10) y Sin Recuperación (5.60/10).
• Tasa de Cero Intervención: Solo Modelo logró 0.84, mientras que Solo Reglas logró 0.00. El artículo señala que la puntuación cero de Solo Reglas refleja su propiedad de diseño que requiere un paso de confirmación humana antes de la reejecución, lo que impide una operación totalmente autónoma.
• Tamaños del Efecto: Se observaron tamaños de efecto grandes ($\delta$ de Cliff = 0.81–0.87) entre Solo Modelo y las otras estrategias, lo que indica una alta probabilidad de que una ejecución de Solo Modelo seleccionada al azar supere a una ejecución de Solo Reglas.

Análisis de Fallos: Los fallos residuales se concentraron en configuraciones estructurales estáticas, particularmente aquellas que involucran características geométricas de paredes delgadas o sensibles al mallado. Se encontró que las reglas deterministas eran insuficientes para fallos de cola larga del solucionador y de la ruta del script, mientras que la reparación impulsada por modelos se adaptó a firmas de fallo más amplias.

Significado y Afirmaciones

El artículo afirma que CAX-Agent demuestra que un arnés ligero y nativo del dominio puede transformar la simulación MAPDL de llamadas dispersas e poco fiables a LLM en un flujo de trabajo de ingeniería estandarizado, trazable y repetible.

Los hallazgos clave incluyen:

• Necesidad de Recuperación: Los mecanismos de recuperación explícitos son centrales para la fiabilidad del sistema; sin ellos, los fallos individuales terminan las tuberías.
• Superioridad de la Reparación Impulsada por Modelos: Aunque las reglas deterministas ofrecen cierta mejora sobre la falta de recuperación, no elevan de manera fiable la calidad de salida ni logran la autonomía total. La recuperación impulsada por modelos es la estrategia predeterminada más práctica para el despliegue actual de CAX.
• Control Centrado en el Orquestador: Separar el razonamiento del LLM del control de ejecución del arnés (presupuestos de reintento, condiciones de parada) proporciona garantías de comportamiento que la sola indicación no puede igualar.
• Contribución Metodológica: El estudio proporciona una plantilla reproducible para la evaluación empírica de arneses (ablación controlada, ejecuciones repetidas, puntuación multieje) que puede aplicarse a otros componentes de arnés y backends de simulación.

Los autores mantienen modestia respecto al alcance, señalando que la referencia utiliza geometrías simples y elasticidad lineal. Indican que se requiere validación en referencias más grandes y diversas y a través de múltiples backends de solucionadores antes del despliegue práctico en entornos industriales complejos. Sin embargo, el hallazgo central, de que la recuperación impulsada por modelos supera a los enfoques basados en reglas y sin recuperación bajo condiciones controladas, se presenta como robusto y estadísticamente significativo.