A Preliminary Assessment of Coding Agents for CFD Workflows

Este estudio evalúa el uso de agentes de codificación para automatizar flujos de trabajo en OpenFOAM, demostrando que la orientación mediante prompts y el uso de modelos avanzados mejoran significativamente la ejecución de simulaciones de dinámica de fluidos computacional, desde la configuración de casos derivados de tutoriales hasta la generación de mallas para obstáculos.

Lo esencial

Imagina que la dinámica de fluidos computacional (CFD) es como intentar cocinar un plato gourmet extremadamente complejo, pero usando una receta escrita en un idioma que solo entienden los chefs más expertos, y donde un solo error de ortografía hace que la comida se queme o explote.

Este artículo es como un informe de prueba sobre un nuevo asistente de cocina robótico (llamado "agente de codificación") diseñado para ayudar a los ingenieros a cocinar estas recetas digitales (simulaciones de fluidos) usando un software de código abierto llamado OpenFOAM.

Aquí tienes la explicación sencilla, con analogías:

1. El Problema: Cocinar a mano es agotador

Hasta ahora, configurar estas simulaciones era como intentar armar un mueble de IKEA sin las instrucciones, pero con piezas que cambian de forma si las miras mal. Los ingenieros tenían que editar muchos archivos de texto, escribir comandos y, si algo fallaba (que pasaba a menudo), tenían que revisar los "registros de errores" (como un recibo de compra con una lista de cosas mal hechas) para encontrar el fallo. Era lento, tedioso y propenso a errores humanos.

2. La Solución: El Robot Chef con un "Truco"

Los autores probaron usar una Inteligencia Artificial (IA) avanzada que puede escribir código y ejecutar comandos, como un robot que puede abrir la nevera, leer la receta y cocinar.

Pero, ¿cómo se les enseña a estos robots a no quemar la comida? Aquí está el truco genial que descubrieron:

• El método "No reinventar la rueda": En lugar de pedirle al robot que invente una receta desde cero, le dijeron: "Primero, busca una receta que ya funcione en el libro de instrucciones (los tutoriales de OpenFOAM), cópiala y hazle solo los pequeños cambios necesarios".
• El método "Arregla mientras ves": Si la comida se quema (la simulación falla), el robot no se rinde. Lee el recibo de error, entiende qué salió mal (ej. "falta sal" o "fuego muy alto"), lo arregla y vuelve a intentarlo hasta que la comida esté lista.

3. Los Resultados: ¿Funcionó?

Los investigadores probaron esto en dos tipos de "platos":

A. Los Platos Similares (Casos derivados de tutoriales)

Imagina que te piden hacer una tarta de manzana, pero con peras en lugar de manzanas.

• Sin el truco: El robot intentaba escribir una receta nueva desde cero, se confundía, cometía errores y fallaba la mitad de las veces.
• Con el truco: El robot buscó la receta de la tarta de manzana, cambió "manzana" por "pera" y listo. Funcionó el 100% de las veces, fue más rápido y gastó menos energía (menos "tokens" de la IA).

B. Los Platos Difíciles (Flujos alrededor de obstáculos complejos)

Imagina que te piden cocinar algo que requiere moldear la masa en formas geométricas muy extrañas (como un cilindro o un rombo) antes de cocinarlo. Esto es como crear el molde de la comida.

• Con un robot "promedio" (Modelo MiniMax): El robot intentó hacer el molde, pero se le cayó la masa. No entendió cómo crear la geometría correcta. Falló.
• Con un robot "superinteligente" (Modelo GPT-5.2): Este robot sí pudo entender cómo moldear la masa. Creó el molde perfecto y cocinó el plato exitosamente.
  • Lección: Para tareas simples, el truco de "buscar la receta" es suficiente. Pero para tareas que requieren creatividad geométrica (diseñar el molde), necesitas un cerebro de IA mucho más potente.

4. ¿Qué significa esto para el futuro?

• La IA es un gran ayudante, no un reemplazo total: Para tareas rutinarias o similares a lo que ya se ha hecho, estos agentes pueden automatizar el trabajo aburrido y evitar errores tontos.
• La física es difícil: Si la simulación es muy compleja (como el fuego o flujos muy rápidos), la IA a veces no entiende por qué algo falla si no hay un mensaje de error claro. Ahí, el ingeniero humano sigue siendo necesario para vigilar.
• El futuro: Con modelos de IA más inteligentes, pronto podremos decirle a una computadora: "Simula cómo fluye el agua alrededor de este nuevo diseño de ala de avión" y ella buscará la mejor base, hará los ajustes, creará el molde y ejecutará la prueba, ahorrando días de trabajo manual.

En resumen: El papel demuestra que si le damos a la IA una buena estrategia (buscar ejemplos existentes y corregir errores basándose en los registros), puede convertirse en un asistente increíblemente útil para los ingenieros, aunque todavía necesita un poco de supervisión humana cuando las cosas se ponen realmente complicadas.

Resumen técnico

Título: Una Evaluación Preliminar de Agentes de Codificación para Flujos de Trabajo de Dinámica de Fluidos Computacional (CFD)

1. Planteamiento del Problema

Los flujos de trabajo de Dinámica de Fluidos Computacional (CFD), especialmente aquellos que utilizan el paquete de código abierto OpenFOAM, siguen siendo intensivos en mano de obra y propensos a fallos. La configuración de un caso requiere:

• Ediciones coordinadas en múltiples diccionarios interdependientes.
• Una secuencia ordenada de utilidades de mallado y resolución ejecutadas desde la línea de comandos.
• Una alta sensibilidad a errores de configuración (archivos faltantes, palabras clave inválidas, definiciones de frontera inconsistentes), que a menudo provocan fallos en la ejecución y ciclos repetidos de depuración.

Aunque existen sistemas basados en Agentes Multi-Agente (pipeline basado en roles) y modelos de lenguaje (LLM) especializados, estos suelen imponer una sobrecarga de ingeniería significativa para su despliegue y mantenimiento, o no se alinean con la forma iterativa en que los ingenieros revisan artefactos intermedios (como la malla) antes de ejecutar una simulación completa.

2. Metodología

Los autores proponen un enfoque ligero que utiliza agentes de codificación que emplean herramientas (tool-using coding agents) para automatizar flujos de trabajo de OpenFOAM de extremo a extremo. La metodología se basa en los siguientes pilares:

• Agente Base: Utilizan OpenCode, un agente de codificación generalista que opera mediante llamadas a funciones para leer/editar archivos y ejecutar comandos de shell.
• Estrategia de Prompting (Guía del Sistema): En lugar de entrenar modelos nuevos, diseñan un system prompt específico para CFD que instruye al agente a seguir un flujo de trabajo estricto:
  1. Búsqueda y Reutilización de Tutoriales: El agente debe buscar primero en el directorio local de tutoriales de OpenFOAM un caso similar, copiarlo como base y realizar solo las ediciones mínimas necesarias.
  2. Reparación Guiada por Logs: Ante un fallo, el agente debe analizar los registros de error (logs) de OpenFOAM para identificar la causa raíz y aplicar correcciones específicas, reejecutando el flujo desde la etapa adecuada.
  3. Ejecución Iterativa: El agente debe ejecutar la tubería de mallado y resolución hasta alcanzar el tiempo final (endTime) especificado.
• Evaluación: Se utiliza el benchmark FoamBench-Advanced (parte de CFDLLMBench), que incluye 16 casos expertos. Estos se dividen en:
  • 9 tareas derivadas de tutoriales (variaciones de casos existentes).
  • 7 tareas de flujo alrededor de obstáculos 2D (requieren generación de geometría y mallado complejo).
• Modelos Probados: Se compararon modelos como MiniMax-M2.1 y GPT-5.2 bajo dos configuraciones de prompt: el prompt predeterminado de OpenCode y el prompt específico para OpenFOAM (CFD Prompt).

3. Contribuciones Clave

• Enfoque "Lightweight": Demuestran que no es necesario entrenar modelos específicos de dominio ni construir pipelines de agentes complejos. Se puede lograr automatización efectiva utilizando agentes de codificación generales con una configuración de prompt adecuada.
• Patrón de "Reutilización Primero": Validan que instruir al agente para que busque y reutilice tutoriales existentes reduce drásticamente la tasa de errores y el número de llamadas a herramientas innecesarias, actuando como una forma de Agentic RAG (Recuperación Aumentada por Generación) basada en archivos y comandos (grep, ls) en lugar de vectores.
• Análisis de Capacidad del Modelo: Identifican que la capacidad del modelo subyacente es el factor determinante para tareas que requieren generación de geometría y mallado complejo, más allá de la simple configuración de diccionarios.

4. Resultados

• Tareas Derivadas de Tutoriales (9 casos):

  • Con el prompt predeterminado, solo el 44% de las ejecuciones completaron el tiempo final debido a errores de configuración no resueltos.
  • Con el CFD Prompt, la tasa de completitud fue del 100%.
  • Se observó una reducción significativa en el uso de tokens y llamadas a herramientas (especialmente escrituras de archivos), ya que el agente edita un caso existente en lugar de crear uno desde cero.
  • La similitud estructural y de contenido con los casos de referencia fue muy alta (Mstruct ≈ 0.986).

• Tareas de Flujo alrededor de Obstáculos (7 casos):

  • MiniMax-M2.1: Falló consistentemente en la generación de mallas para geometrías complejas (ej. cilindros desplazados, obstáculos rectangulares), a menudo ignorando la geometría del obstáculo o reutilizando mallas de tutoriales sin ajustarlas.
  • GPT-5.2: Mostró capacidades superiores, logrando generar mallas hexaédricas multi-bloque precisas y completar las simulaciones exitosamente.
  • Impacto del Prompt: Con GPT-5.2, el CFD Prompt redujo el uso de tokens pero aumentó las llamadas a herramientas (lectura y búsqueda) para encontrar tutoriales de referencia, lo que resultó en una malla inicial más razonable en el primer intento.
  • Mallas Híbridas: GPT-5.2 también demostró capacidad para generar mallas híbridas (usando la API de Python de Gmsh) que combinan bloques estructurados externos con un núcleo no estructurado refinado.

• Validación Física: Los campos de velocidad finales generados por GPT-5.2 mostraron patrones de flujo físicamente plausibles alrededor de los obstáculos, confirmando que el agente no solo completó la ejecución, sino que generó soluciones válidas.

5. Significado y Conclusiones

• Viabilidad de Automatización: Los agentes de codificación tienen utilidad práctica para automatizar partes de los flujos de trabajo de CFD, especialmente para tareas 2D y casos similares a tutoriales, con una configuración mínima.
• Importancia de la Capacidad del Modelo: La automatización de la generación de geometría y mallas sigue siendo un cuello de botella para modelos más débiles. Modelos avanzados (como GPT-5.2) son esenciales para estas tareas complejas.
• Rol de la Supervisión Humana: Aunque los agentes pueden resolver errores de configuración y archivos mediante logs, los errores sutiles relacionados con la física (ej. mala representación de la geometría en la malla) aún requieren supervisión humana.
• Futuro: El trabajo sugiere que, a medida que mejoren las capacidades de los LLM, estos agentes podrían integrarse en flujos de trabajo de ingeniería para simplificar la simulación, aunque se necesita más investigación para escalar a simulaciones 3D complejas y escenarios físicos rígidos.

En resumen, el estudio demuestra que una guía de prompt inteligente que aprovecha la reutilización de tutoriales y la depuración basada en registros puede transformar a los agentes de codificación generales en herramientas efectivas para la automatización de CFD, reduciendo la barrera de entrada y el tiempo de configuración.