A Preliminary Assessment of Coding Agents for CFD Workflows

Dit onderzoek toont aan dat tool-gebruikende coderingsagenten, ondersteund door specifieke prompt-gidsen en krachtige taalmodellen, effectief kunnen worden ingezet om end-to-end workflows in de open-source CFD-software OpenFOAM te automatiseren.

De kern

Titel: De Slimme CFD-Meester: Hoe een AI-assistent OpenFOAM voor je regelt

Stel je voor dat Computational Fluid Dynamics (CFD) een gigantische, ingewikkelde keuken is. In deze keuken bereiden ingenieurs maaltijden voor, maar dan in plaats van eten, berekenen ze hoe lucht of water stroomt (bijvoorbeeld rond een vliegtuigvleugel of een auto). De software die ze gebruiken heet OpenFOAM.

Het probleem? OpenFOAM is als een keuken vol met duizenden losse potten, pannen en recepten die je zelf moet vinden en samenvoegen. Als je één klein foutje maakt in een recept (bijvoorbeeld een verkeerde temperatuur of een ontbrekend ingrediënt), loopt de hele maaltijd mis en moet je alles opnieuw beginnen. Dit is saai, tijdrovend en frustrerend.

De Oplossing: Een AI-Kok met een Magisch Receptenboek

De auteurs van dit artikel hebben gekeken of een AI-assistent (een "coding agent") deze keuken kan besturen. Ze hebben geen nieuwe, zware robot gebouwd, maar hebben een slimme, bestaande AI (zoals een super-slimme chatbot) een paar simpele regels gegeven.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Kopieer-en-Paste" Strategie (Het Receptenboek)

Stel je voor dat je een taart wilt bakken, maar je hebt geen eigen recept. Een normale AI zou proberen het recept uit het niets te verzinnen, wat vaak leidt tot een platte, onsmakelijke taart.

De auteurs hebben de AI echter een nieuwe regel gegeven: "Zoek eerst een bestaand, goed werkend recept in het boek en pas alleen de kleine dingen aan."

• In de wereld van OpenFOAM betekent dit: de AI zoekt een bestaand voorbeeld (een "tutorial") dat lijkt op wat je wilt doen.
• In plaats van alles van nul af te bouwen, kopieert de AI dat voorbeeld en past hij alleen de naam van de taart of de hoeveelheid suiker aan.
• Resultaat: De taart (de simulatie) lukt bijna altijd, omdat het basisrecept al bewezen is.

2. De "Foutmelding-Detective"

Soms gaat het toch mis. De oven springt eruit of de taart zakt in.

• Zonder de nieuwe regels: De AI zou in paniek raken en alles opnieuw proberen, vaak met dezelfde fouten.
• Met de nieuwe regels: De AI leest de "foutmelding" (het logboek) als een detective. De software zegt precies: "Je hebt de verkeerde suiker gebruikt in potje X." De AI maakt dan alleen die ene potje aan en probeert het opnieuw.
• Dit noemen ze log-driven repair: repareren op basis van wat de computer zegt wat er mis is.

3. De Test: Simpel vs. Complex

De auteurs hebben dit getest op twee soorten taken:

• De Simpele Taken (Tutorial-varianten):
  Dit is als het bakken van een standaardchocoladetaart, maar dan met een andere smaak.

  • Resultaat: De AI was fantastisch. Met de "kopieer-en-paste" regel lukte het in 100% van de gevallen. Zonder deze regel faalde het vaak omdat de AI te veel probeerde uit te vinden.

• De Complexe Taken (Obstakels in de stroom):
  Dit is als het bakken van een taart met een ingewikkelde, driedimensionale vorm (bijvoorbeeld een diamant of een cilinder) waar de lucht omheen moet stromen. Hier moet de AI eerst een heel nieuw "vormpje" (een mesh) maken.

  • Resultaat: Hier kwam de kracht van de hersenen van de AI naar voren.
    • Een "slimmere" AI (GPT-5.2) kon deze complexe vormen perfect maken.
    • Een iets minder sterke AI (MiniMax) faalde vaak bij het maken van de vorm; het zag de cilinder niet of maakte een lelijke vorm.
  • Conclusie: De AI kan de keuken besturen, maar voor de moeilijkste taarten heb je een chef-kok met een heel sterk brein nodig.

Waarom is dit belangrijk?

Voorheen moesten mensen urenlang zitten om deze simpele foutjes te vinden en de recepten op te stellen. Nu kan een AI-assistent dit in een handomdraai doen, mits je hem de juiste instructies geeft (zoals: "Kijk eerst naar het receptenboek!").

De Grootte Beperking:
De AI is nog niet perfect. Als de taart zo complex is dat het een nieuwe vorm van bakken vereist (bijvoorbeeld extreme fysica of 3D-geometrie), kan de AI soms nog vastlopen. In die gevallen is een menselijke chef-kok nog steeds nodig om de AI te controleren.

Samenvattend:
Dit artikel laat zien dat je geen nieuwe, dure robot hoeft te bouwen om OpenFOAM te automatiseren. Je kunt bestaande slimme AI's gebruiken door ze simpelweg te leren: "Gebruik bestaande voorbeelden als startpunt en lees de foutmeldingen om problemen op te lossen." Dit maakt het werk voor ingenieurs veel sneller en minder stressvol, net alsof je een persoonlijke assistent hebt die de keuken voor je opruimt.

Technische samenvatting

Titel: Een voorlopige beoordeling van coderingsagenten voor CFD-werkstromen

Auteurs: Ke Xia, Haoze Zhang, Yangchen Xu, Runze Mao, Han Li, Zhi X. Chen (Peking University & AI for Science Institute)

---

1. Het Probleem

Werkstromen voor computationele fluïdynamica (CFD), met name binnen de open-source software OpenFOAM, zijn traditioneel arbeidsintensief en vatbaar voor fouten. Het opzetten en uitvoeren van een simulatie vereist gecoördineerde bewerkingen over meerdere onderling afhankelijke woordenboeken (dictionaries), gevolgd door een strikt geordende reeks van meshing- en solver-hulpprogramma's die via de commandoregel worden uitgevoerd.

• Kleine fouten (zoals ontbrekende bestanden, ongeldige trefwoorden of inconsistente randvoorwaarden) leiden vaak tot mislukte runs en herhaaldelijk debuggen.
• Bestaande oplossingen met Large Language Models (LLM) gebruiken vaak complexe, rolgebaseerde multi-agent-pijplijnen. Deze vereisen aanzienlijke engineering-overschotten voor implementatie en onderhoud, en volgen zelden de iteratieve werkwijze van menselijke ingenieurs (die tussentijdse resultaten inspecteren en aanpassingen doen).

2. Methodologie

De auteurs introduceren een lichtgewicht configuratie die gebruikmaakt van bestaande, algemene coderingsagenten (gebaseerd op OpenCode) om OpenFOAM-werkstromen te automatiseren. In plaats van een nieuw model te trainen of een zware multi-agent-stack te bouwen, gebruiken ze een specifieke systeemprompt die het gedrag van de agent stuurt.

De kern van de methode ("De Recept"):

1. Tutorial-eerst hergebruik: De agent wordt geïnstrueerd om eerst te zoeken naar een vergelijkbare OpenFOAM-tutorial in de lokale installatie. Deze tutorial dient als basis (baseline).
2. Minimale bewerkingen: De agent past alleen de noodzakelijke kleine wijzigingen toe op de basis (bijv. randvoorwaarden, turbulentiemodel, geometrische schaal) in plaats van bestanden van nul te bouwen.
3. Log-gedreven reparatie: Bij fouten gebruikt de agent de OpenFOAM-logbestanden om de eerste fout te identificeren en een minimale correctie toe te passen, waarna de workflow wordt hervat.
4. Iteratieve cyclus: Dit proces herhaalt zich tot de simulatie het vereiste eindtijd (endTime) bereikt.

Experimentele Opstelling:

• Benchmark: Gebruik van FoamBench-Advanced (uit CFDLLMBench), bestaande uit 16 expert-gemaakte taken.
  • 9 Taken: Afgeleid van tutorials (vereisen configuratie-aanpassingen).
  • 7 Taken: Planaire 2D-obstakelstromen (vereisen complexe geometrie en meshing).
• Modellen: Vergelijking tussen MiniMax-M2.1 (een krachtig model) en GPT-5.2 (een nog krachtiger model).
• Protocol: Elke run wordt één keer uitgevoerd zonder menselijke tussenkomst, behalve bij specifieke meshing-tests met GPT-5.2 waar menselijke prompt-iteraties werden gebruikt om de mesh te verfijnen.

3. Belangrijkste Bijdragen

• Lichtgewicht Agent-architectuur: Demonstreert dat complexe CFD-werkstromen kunnen worden geautomatiseerd met bestaande tool-using agenten door simpelweg de prompt-strategie te optimaliseren, zonder extra training of complexe infrastructuur.
• Tutorial-gebaseerde strategie: Introduceert een effectieve aanpak waarbij de agent bestaande, gevalideerde tutorials als anker gebruikt, wat de stabiliteit en consistentie van de setup drastisch verbetert.
• Gedetailleerde Evaluatie: Biedt een empirische analyse van de prestaties van coderingsagenten op zowel simpele configuratietaken als complexe geometrische/meshing-taken, inclusief een vergelijking van verschillende LLM-modellen.

4. Resultaten

A. Tutorial-afgeleide taken (9 gevallen)

• Prestatie: Met de standaard-prompt slaagden slechts 4 van de 9 runs. Met de OpenFOAM-gerichte prompt (tutorial-eerst) bereikte de agent een 100% succesrate (Mexec = 100%).
• Efficiëntie: De gespecialiseerde prompt leidde tot minder tokens en minder tool-aanroepen. De agent hoefde minder bestanden te schrijven omdat deze een bestaande tutorial kopieerde en bewerkte, in plaats van alles van scratch te genereren.
• Kwaliteit: De resultaten (structuur, bestandsinhoud en oplossingsvelden) kwamen zeer nauw overeen met de referentiecases.

B. Planaire 2D-obstakelstromen (7 gevallen)

• Modelafhankelijkheid:
  • MiniMax-M2.1: Faalde consequent bij het genereren van mesh rondom complexe obstakels. De agent kon geen correcte multi-block hex-meshes maken met blockMesh en hergebruikte soms onjuiste tutorial-meshes zonder de geometrie aan te passen.
  • GPT-5.2: Toonde aanzienlijk betere vaardigheden in geometrie en meshing. Met GPT-5.2 slaagde de agent erin om accurate meshen te genereren en alle simulaties succesvol uit te voeren.
• Prompt-invloed: Bij GPT-5.2 leidde de gespecialiseerde prompt tot meer tool-aanroepen (voornamelijk voor het doorzoeken van tutorials), maar resulteerde dit in een redelijker initiële mesh en lagere token-gebruikskosten overall.
• Mesh-opties: GPT-5.2 kon ook succesvol meshen via de Gmsh Python API (hybride meshen), hoewel de beste resultaten soms menselijke prompt-iteraties vereisten voor verfijning.

5. Betekenis en Conclusie

• Praktische Toepasbaarheid: Coderingsagenten hebben bewezen nut voor het automatiseren van aanzienlijke delen van CFD-werkstromen, vooral voor 2D-simulaties en taken die lijken op bestaande tutorials.
• Rol van het Model: De prestaties zijn sterk afhankelijk van de capaciteit van het onderliggende taalmodel. Voor taken die geometrie en meshing vereisen, zijn geavanceerde modellen (zoals GPT-5.2) essentieel.
• Beperkingen:
  • Fysica en Meshing: Fouten die niet direct leiden tot een crash (zoals een slechte mesh die de obstakel niet correct weergeeft) of complexe fysica (bijv. hoge snelheid verbranding) zijn moeilijk voor agenten om autonoom op te lossen.
  • Menselijk Toezicht: Menselijke supervisie blijft noodzakelijk voor het detecteren van subtielere fysica-problemen en voor het verfijnen van complexe 3D-meshes.
• Toekomstperspectief: Hoewel er uitdagingen blijven voor complexe 3D-simulaties en industriële toepassingen, tonen deze resultaten aan dat LLM-agenten een krachtig hulpmiddel kunnen worden om CFD-werkstromen te stroomlijnen, mits ze worden begeleid door duidelijke prompts en menselijk toezicht.

Samenvattend: De studie bewijst dat een simpele strategie van "tutorial-hergebruik en log-gedreven reparatie" de betrouwbaarheid van coderingsagenten voor OpenFOAM drastisch verbetert, maar dat de complexiteit van de geometrie en de fysica de grenzen bepaalt van wat huidige modellen autonoom kunnen bereiken.