DUCTILE: Agentic LLM Orchestration of Engineering Analysis in Product Development Practice

El artículo presenta DUCTILE, un enfoque de orquestación agencial basado en LLM que separa la adaptación dinámica de la ejecución determinista para automatizar tareas de análisis de ingeniería en entornos industriales, logrando resultados correctos y cumpliendo criterios metodológicos mientras supervisa la tensión entre la eliminación de tareas rutinarias y la creación de roles de supervisión exigentes.

Lo esencial

Imagina que la ingeniería de productos (como diseñar un avión o un motor de cohete) es como dirigir una orquesta gigante. Tienes muchos instrumentos (herramientas de software), muchos músicos (ingenieros) y muchas partituras (documentos de diseño).

El problema es que, en el mundo real, las cosas cambian constantemente:

• Un día te envían la partitura en un papel nuevo (un formato de archivo diferente).
• Otro día, el músico de la trompeta cambia su instrumento por uno de otra marca (una herramienta actualizada).
• A veces, el director de orquesta cambia el tempo (una nueva metodología).

En el pasado, la "automatización" funcionaba como un robot rígido. Si la partitura llegaba en el formato incorrecto, el robot se quedaba congelado, se rompía y todo el trabajo se detenía. Los ingenieros tenían que pasar horas arreglando estos pequeños errores en lugar de diseñar cosas geniales.

Aquí es donde entra el DUCTILE (el tema de este paper).

¿Qué es DUCTILE?

Piensa en DUCTILE no como un robot rígido, sino como un director de orquesta inteligente y flexible (un "agente" impulsado por Inteligencia Artificial).

Este director tiene dos superpoderes:

1. Escucha y entiende: Puede leer las nuevas instrucciones, incluso si están escritas de forma extraña o en un idioma diferente (formatos nuevos, unidades de medida distintas).
2. Coordina, no hace el trabajo sucio: El director no toca los instrumentos él mismo (no hace los cálculos matemáticos complejos). En su lugar, le dice a los músicos expertos (las herramientas de ingeniería certificadas) qué hacer.

La analogía del Chef y el Ayudante

Imagina que eres un chef experto (el ingeniero humano). Quieres cocinar un plato complejo (analizar la seguridad de una pieza de avión).

• El problema antiguo: Tenías un robot ayudante que seguía una receta escrita a mano. Si alguien te enviaba los ingredientes en un bote de vidrio en lugar de plástico, o si te decían "usa gramos" en lugar de "libras", el robot se volvía loco y tiraba todo a la basura. Tú tenías que detenerte, limpiar el desastre y reescribir la receta para el robot.
• La solución DUCTILE: Ahora tienes un ayudante inteligente (el agente LLM).
  • Tú le dices: "Chef, necesito este plato".
  • El ayudante mira los ingredientes que te enviaron. Ve que están en un bote de vidrio y pesan en libras.
  • El ayudante piensa: "Ah, el robot solo sabe usar plásticos y gramos. No me preocupo, voy a cambiar los ingredientes al formato que el robot entiende antes de dárselos".
  • Luego, el ayudante le pasa los ingredientes listos al robot para que haga el trabajo pesado (los cálculos).
  • Finalmente, el ayudante te entrega el plato y tú, como chef experto, lo pruebas para asegurarte de que sabe bien.

¿Qué hicieron en el estudio?

Los autores probaron esto en una fábrica de motores de avión (GKN Aerospace). Le dieron al "director inteligente" un trabajo real donde los datos de entrada tenían cuatro errores que habrían roto cualquier sistema antiguo:

1. El archivo venía en un formato nuevo (YAML en vez de JSON).
2. Las medidas estaban en el sistema imperial (libras) en vez del métrico (SI).
3. Los nombres de las piezas habían cambiado.
4. Había una nueva regla de corrección matemática que nadie había programado antes.

El resultado:
El agente inteligente detectó todos los errores, se adaptó, reescribió el código necesario para que las herramientas funcionaran y entregó el resultado correcto. Lo hizo 10 veces seguidas sin fallar. Además, lo probaron con dos ingenieros diferentes:

• Uno que le dijo: "Haz todo el trabajo, yo solo reviso al final".
• Otro que dijo: "Hazlo paso a paso, yo te voy guiando".
  Ambos obtuvieron el mismo resultado perfecto.

¿Por qué es importante esto?

1. No es magia negra: El agente no hace los cálculos de ingeniería (eso lo hacen las herramientas certificadas para garantizar la seguridad). El agente solo organiza y traduce.
2. El humano sigue siendo el jefe: El ingeniero humano es quien supervisa, aprueba y toma las decisiones finales. El agente es el asistente que evita que el humano pierda tiempo arreglando errores tontos de formato.
3. Resistencia: Si mañana cambia el formato de los datos, el sistema no se rompe. El agente simplemente se adapta, como un material "dúctil" (de ahí el nombre DUCTILE) que se dobla sin romperse.

En resumen

El paper nos dice que la automatización rígida del pasado es frágil y se rompe con los cambios. La nueva forma de usar la Inteligencia Artificial en ingeniería es tener un asistente flexible que entiende el contexto, adapta los datos y coordina las herramientas, dejando a los ingenieros humanos libres para hacer lo que mejor saben hacer: pensar, juzgar y crear, en lugar de perder tiempo arreglando archivos rotos.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: DUCTILE: Orquestación Agente de LLM para el Análisis de Ingeniería en la Práctica de Desarrollo de Productos

1. El Problema: La Fragilidad de la Automatización de Ingeniería

El desarrollo de productos, especialmente en sectores críticos como la aeroespacial, depende de un ecosistema de ingeniería complejo que integra ingenieros, datos, métodos y herramientas especializadas.

• Fragilidad de los flujos actuales: La automatización existente (scripts, pipelines deterministas, sistemas KBE) es inherentemente frágil ("brittle"). Estos sistemas dependen de interfaces rígidas entre formatos de datos, unidades y procesos documentados.
• El costo del cambio: Cuando el producto evoluciona o surgen cambios menores (actualización de herramientas, cambio de formatos de carga, nuevas convenciones de nomenclatura), la automatización se rompe. Esto obliga a los ingenieros a dedicar tiempo valioso a la "limpieza de datos" (data wrangling) y a la adaptación manual de scripts en lugar de enfocarse en decisiones de ingeniería.
• Limitaciones de las estrategias actuales:
  • Extender reglas deterministas: Aumenta la complejidad y crea nuevos modos de fallo.
  • Dependencia de expertos: La adaptación manual por caso concentra el conocimiento en individuos, creando vulnerabilidades organizacionales y escalabilidad limitada.
  • Modelos de IA generativa (DGMs): Suelen centrarse en la síntesis de diseño o predicción, pero no en la orquestación de flujos de trabajo existentes que requieren trazabilidad y cumplimiento de normas de certificación.

2. Metodología: Enfoque DUCTILE

El artículo propone DUCTILE (Delegated, User-supervised Coordination of Tool- and document-Integrated LLM-Enabled), un enfoque de orquestación agente basado en Grandes Modelos de Lenguaje (LLM).

Principio Central: Separar la orquestación adaptativa (realizada por el agente LLM) de la ejecución determinista (realizada por herramientas de ingeniería verificadas).

Componentes Técnicos:

• Arquitectura de Dos Capas:
  1. Capa de Orquestación (LLM): Interpreta prácticas de diseño documentadas, inspecciona datos de entrada, adapta la ruta de procesamiento y genera código. Utiliza modos de "pensamiento" (thinking mode) para razonar sobre ambigüedades antes de actuar.
  2. Capa de Ejecución (Herramientas): El agente llama a herramientas externas (solvers, scripts Python, APIs) que ejecutan los cálculos de manera determinista y verificada. El LLM no realiza los cálculos físicos, solo coordina.
• Mecanismos Clave:
  • Llamada a Herramientas (Tool Calling): El agente selecciona y ejecuta herramientas basándose en la documentación y el contexto, en lugar de confiar en su conocimiento entrenado estático.
  • Contexto y Trazabilidad: Todo el proceso (prompts, llamadas a herramientas, logs, scripts generados) se registra para garantizar la inspección y auditoría humana.
• Requisitos de Implementación (R1-R12): El sistema está diseñado para cumplir con normativas de certificación (aeroespacial/automotriz), asegurando:
  • Inspección humana total (sin estados ocultos).
  • Reproducibilidad (fijación de versiones de modelos y herramientas).
  • Supervisión humana (el ingeniero aprueba los planes y resultados).
  • Robustez ante variabilidad rutinaria (formatos, unidades, nombres).

Estrategia de Evaluación (Pass-k):
Dado que los LLM son estocásticos, la fiabilidad se mide mediante la métrica pass-k: ¿cuántas veces consecutivas el agente realiza correctamente la misma tarea en ejecuciones independientes? Se recomienda $k \ge 10$ para despliegue, análogo a los niveles de confianza estadística (A-Basis, B-Basis) en la industria aeroespacial.

3. Contribuciones Clave

1. Propuesta DUCTILE: Un marco metodológico para desarrollar, ejecutar y evaluar la automatización basada en agentes LLM, fundamentado en la separación entre la adaptación (agente) y la ejecución rigurosa (herramientas).
2. Caso de Estudio Industrial: Validación en un fabricante aeroespacial (GKN Aerospace) en una tarea de procesamiento de cargas para un análisis estructural de un componente de motor (Estructura Trasera de Turbina - TRS).
3. Demostración de Adaptabilidad: El agente manejó exitosamente cuatro desviaciones de entrada que habrían roto un pipeline tradicional:
   • Cambio de formato de archivo (YAML en lugar de JSON).
   • Cambio de sistema de unidades (Imperial en lugar de SI).
   • Cambio en la convención de nomenclatura de nodos (derecha/izquierda en lugar de estribor/babor).
   • Aplicación de un factor de corrección metodológico externo (factor 1.04 en fuerzas Fx).
4. Recursos Abiertos: El código, los casos de prueba y los resultados de la evaluación se han liberado para que otros investigadores puedan replicar y mejorar el enfoque.

4. Resultados

• Ejecución Exitosa: El agente procesó las desviaciones de entrada y generó scripts de procesamiento correctos en 10 ejecuciones independientes, logrando una tasa de éxito del 100% (pass-10).
• Validación Humana: Dos ingenieros con estilos de supervisión diferentes (uno delegando la tarea completa y otro supervisando paso a paso) obtuvieron resultados idénticos y correctos.
• Comparación con la Realidad: El agente identificó y corrigió errores que habrían causado fallos silenciosos o roturas en el flujo de trabajo downstream (como el fallo en la ejecución del FEM debido a nombres de nodos incorrectos).
• Trazabilidad: Todos los pasos, desde la lectura del documento de práctica hasta la generación de archivos .inp y tablas de resumen, fueron totalmente trazables y auditables.

5. Significado e Implicaciones

• Resolución de la Fragilidad Sistémica: DUCTILE aborda la raíz del problema de la automatización rígida al permitir que la capa de orquestación se adapte a la variabilidad natural de los datos y procesos sin modificar las herramientas de cálculo certificadas.
• Cambio en el Rol del Ingeniero: El enfoque no busca reemplazar al ingeniero, sino liberarlo de tareas repetitivas de "tubería" (data wrangling). Sin embargo, el papel de supervisión se vuelve crítico; el ingeniero debe mantener el juicio de ingeniería y la responsabilidad final.
• Riesgos y Consideraciones:
  • Ilusión de competencia: Los agentes pueden parecer competentes pero cometer errores probabilísticos. Se requieren múltiples capas de verificación (métricas pass-k, revisión humana, verificación de dos métodos).
  • Pérdida de habilidades: Existe el riesgo de que los ingenieros pierdan habilidades tácitas si no se diseñan sistemas que fomenten el aprendizaje y la supervisión activa.
  • Dependencia de documentación: El enfoque requiere que el conocimiento de la empresa esté documentado explícitamente; no funciona si el conocimiento es puramente tácito.
• Futuro: El trabajo sugiere la necesidad de conjuntos de datos abiertos para la evaluación de agentes en ingeniería y estudios controlados para medir el impacto real en la productividad y la satisfacción laboral de los ingenieros.

En conclusión, el artículo demuestra que la orquestación agente basada en LLM, cuando se combina con herramientas deterministas y supervisión humana rigurosa, ofrece una vía viable para hacer que la automatización de ingeniería sea robusta, adaptable y certificable en entornos industriales complejos.