Beyond Executable Models: The Pufibara Agent Harness and the Modelica Agent Workflow Benchmark for Physical System Modeling

En el mundo de la ingeniería, construir un puente, una red eléctrica o un sistema de calefacción requiere más que simplemente escribir código que la computadora pueda leer. Exige que el modelo digital se comporte exactamente como la cosa física real que representa. Durante décadas, los ingenieros han utilizado un lenguaje especializado llamado Modelica para describir estos sistemas complejos. A diferencia de la programación estándar, donde una computadora sigue una lista estricta de instrucciones de arriba hacia abajo, Modelica trabaja estableciendo relaciones entre cantidades, como cómo la presión se relaciona con el flujo o cómo el voltaje se relaciona con la corriente. La computadora luego determina el orden de las operaciones para resolver estas relaciones. Esta flexibilidad es poderosa, pero crea un problema único para la inteligencia artificial. Una IA puede escribir fácilmente código en Modelica que parezca correcto e incluso que se ejecute sin errores, pero que aun así describa un sistema físico que viole las leyes de la física o no cumpla con las necesidades específicas del proyecto. La máquina ha seguido las reglas de la sintaxis, pero ha perdido de vista el sentido de la ingeniería.

Esta brecha entre un modelo que simplemente funciona y un modelo que es verdaderamente correcto es el desafío central abordado por un nuevo estudio de investigadores de la TU Dresden. El equipo, liderado por Wang Zizhe, se propuso investigar si los agentes de IA —programas que pueden pensar, actuar y usar herramientas— podrían ser confiables para reparar, construir y ajustar estos modelos de sistemas físicos por sí mismos. Descubrieron que, si bien las herramientas de IA actuales son capaces de generar código, a menudo pierden el rastro de los objetivos de ingeniería originales al realizar cambios, o dependen de resultados de pruebas de versiones antiguas del modelo que ya no se aplican. Para resolver esto, los investigadores construyeron un nuevo sistema llamado Pufibara. Este sistema actúa como un supervisor estricto que mantiene un registro permanente de lo que el proyecto requiere, asegurando que cada vez que la IA cambie el modelo, vuelva a verificar la nueva versión contra los objetivos originales. Probaron este sistema contra una herramienta de codificación de IA comercial líder utilizando una vasta colección de 232 tareas de ingeniería diferentes. Los resultados mostraron que el nuevo sistema no solo resolvió más problemas, sino que lo hizo utilizando significativamente menos recursos computacionales, demostrando que cómo se guía a una IA es tan importante como la inteligencia que utiliza.

Los investigadores abordaron este problema reconociendo que la ingeniería física es diferente a la escritura de un programa informático estándar. En un proyecto de software típico, si un programa se ejecuta sin errores, a menudo se considera un éxito. En el modelado físico, un modelo puede ejecutarse perfectamente y aun así estar equivocado. Por ejemplo, una IA podría generar un modelo de una bomba de agua que compile y simule sin problemas, pero si el modelo predice que el agua fluye hacia arriba sin una bomba, ha fallado la prueba de ingeniería. La dificultad central reside en la naturaleza iterativa del trabajo. A medida que un agente de IA intenta reparar un modelo, puede cambiar un parámetro, ejecutar una simulación, ver un resultado y luego cambiar otro parámetro. Sin un sistema de memoria cuidadoso, el agente podría olvidar que el primer cambio era necesario, o podría creer erróneamente que un resultado de simulación de la versión anterior del modelo aún se aplica al nuevo. Esta confusión puede llevar al agente a presentar un modelo final que se ve bien en la superficie pero que no cumple con los requisitos físicos específicos de la tarea.

Para prevenir esto, el equipo diseñó Pufibara con una arquitectura específica que trata los requisitos de ingeniería como obligaciones persistentes. Imagine a un gerente de proyecto que mantiene una lista de verificación de cada regla que el edificio debe cumplir, desde la resistencia del acero hasta el flujo del aire. Cada vez que el arquitecto realiza un cambio, el gerente verifica el nuevo diseño contra esa misma lista, ignorando cualquier resultado de prueba antiguo que ya no coincida con el diseño actual. Pufibara hace exactamente esto para los agentes de IA. Mantiene un "libro de contabilidad" de los requisitos de ingeniería que permanece activo durante todo el proceso. Vincula cada resultado de simulación directamente a la versión específica del modelo que lo produjo. Si el modelo cambia, el sistema sabe que los resultados antiguos ya no son válidos y obliga al agente a reevaluar la nueva versión. Crucialmente, el sistema requiere que el agente tome una decisión explícita para enviar una respuesta final. La IA no puede simplemente detenerse porque se quedó sin tiempo o porque el código compiló; debe declarar activamente que ha reunido suficiente evidencia para demostrar que el modelo cumple con todas las reglas de ingeniería.

Para probar si este enfoque realmente funciona, los investigadores necesitaban una forma justa y realista de medir el desempeño. No podían utilizar simplemente modelos públicos existentes, porque una IA podría haberlos visto ya durante su entrenamiento y simplemente memorizar las respuestas. En su lugar, crearon un nuevo punto de referencia llamado Modelica Agent Workflow Benchmark. Comenzaron con modelos de ingeniería reales y funcionales y luego introdujeron fallos específicos, nuevos requisitos de diseño o objetivos de ajuste para crear 232 desafíos únicos. Estas tareas variaban desde reparar modelos dañados hasta construir nuevos desde cero y ajustar parámetros para alcanzar metas de rendimiento específicas. El benchmark incluía un "evaluador" oculto que actuaba como un juez independiente. Este juez no veía el proceso de pensamiento interno de la IA ni sus pasos intermedios; solo miraba el modelo final enviado por el agente y verificaba si pasaba un conjunto estricto de pruebas físicas y de comportamiento. Esto aseguró que la IA fuera probada en su capacidad para resolver el problema, no en su capacidad para adivinar cómo era la prueba.

El estudio comparó el nuevo sistema Pufibara contra Claude Code, un asistente de codificación de IA comercial muy conocido, utilizando dos modelos de lenguaje extensos diferentes como el "cerebro" detrás del agente. Los resultados fueron claros y consistentes. A través de las 232 tareas, Pufibara completó con éxito más problemas que la herramienta comercial. Al usar un cerebro de IA específico, Pufibara resolvió 202 tareas mientras que la otra herramienta resolvió 185. Con un cerebro de IA diferente, Pufibara volvió a resolver 202 tareas frente a las 187 de la competencia. La diferencia fue más pronunciada en las tareas que requerían construir un modelo desde cero, donde Pufibara resolvió significativamente más problemas que el otro sistema. Más allá de resolver más problemas, Pufibara también fue mucho más eficiente. Utilizó aproximadamente entre un 76% y un 82% menos de tokens de computación —las unidades básicas de información que la IA procesa— y completó las tareas en significativamente menos tiempo, con algunas ejecuciones tardando hasta un 58% menos de tiempo que la competencia.

Quizás el hallazgo más importante no fue solo que Pufibara resolviera más problemas, sino que resolviera los problemas correctos. Los investigadores descubrieron que la herramienta competidora a menudo producía modelos que eran ejecutables y pasaban verificaciones básicas, pero fallaban en los requisitos físicos profundos. En un conjunto de tareas difíciles, la herramienta comercial presentó modelos que se ejecutaban sin errores pero no se comportaban correctamente según las reglas de ingeniería en 21 de 38 casos. Pufibara cometió este error solo cuatro veces. Esto sugiere que la herramienta comercial a menudo se conformaba con un modelo que simplemente funcionaba, mientras que el requisito estricto de Pufibara de vincular la evidencia a la versión actual del modelo y de verificar explícitamente todas las obligaciones de ingeniería evitó que presentara soluciones defectuosas. El estudio muestra que la estructura del flujo de trabajo de la IA —cómo recuerda, verifica y decide— es tan crítica como la inteligencia del modelo de lenguaje en sí misma.

Las implicaciones de este trabajo se extienden más allá de un solo tipo de lenguaje de ingeniería. La investigación demuestra que, para que la IA sea verdaderamente útil en campos complejos y del mundo real como la física y la ingeniería, no puede ser solo un generador de código. Debe ser un agente que comprenda la diferencia entre un programa que se ejecuta y un sistema que es físamente correcto. Al mantener un registro persistente de los requisitos y obligar a la IA a volver a verificar su trabajo contra esos requisitos cada vez que realiza un cambio, el sistema asegura que el resultado final sea confiable. Los investigadores señalan que, aunque sus resultados son sólidos, son específicos para las tareas y condiciones que probaron. No pretenden haber resuelto el problema de la IA en la ingeniería para siempre, pero han proporcionado un plano claro de cómo construir sistemas de IA que sean menos propensos a cometer errores peligrosos. A medida que el campo avance, el enfoque probablemente se desplazará hacia la prueba de estos métodos en problemas industriales aún más complejos y la exploración de cómo funcionan con diferentes tipos de modelos de IA, asegurando que las herramientas del futuro sean tan confiables como los sistemas que están diseñadas para construir.