AI CFD Scientist: Toward Open-Ended Computational Fluid Dynamics Discovery with Physics-Aware AI Agents

Het artikel introduceert AI CFD Scientist, een open-source framework dat visueel-taalmodellen gebruikt om computationele stromingsdynamica-simulaties op OpenFOAM autonoom uit te voeren, te valideren en te verfijnen, waarbij met succes een Spalart-Allmaras-correctie wordt ontdekt die de fout met 7,89% verlaagt terwijl het stilzwijgende fouten detecteert die door traditionele solvercontroles worden gemist.

De kern

Stel je een team voor van uiterst intelligente, onuitputtelijke onderzoeksassistenten die samenwerken om complexe natuurkundige puzzels op te lossen. Dit artikel introduceert AI CFD Scientist, een nieuw open-source systeem dat is ontworpen om te fungeren als een autonome wetenschapper, specifiek voor Computational Fluid Dynamics (CFD) – het vakgebied waarin supercomputers worden gebruikt om te simuleren hoe lucht en water stromen rond objecten zoals vliegtuigvleugels, auto-lichamen of zelfs bloedvaten.

Hier is hoe het systeem werkt, uitgelegd via eenvoudige analogieën:

Het Probleem: De Valstrik van de "Stille Falen"

In veel wetenschappelijke disciplines ga je ervan uit dat als een computerprogramma zonder crashen is voltooid, het resultaat goed is. Maar in de stromingsleer is dit gevaarlijk.

• De Analogie: Stel je een kok voor die een recept perfect volgt, maar per ongeluk zout in plaats van suiker gebruikt. De cake bakt, rijst en ziet er perfect uit. Het "logboek" (de receptstappen) zegt dat alles in orde is. Maar als je het proeft, is het oneetbaar.
• De Realiteit: Een CFD-simulatie kan zonder fouten worden voltooid, maar toch een fysisch onmogelijk resultaat produceren (zoals lucht die door een solide muur terugstroomt) vanwege een subtiele fout in de instellingen of de wiskunde. Traditionele AI-tools missen deze "stille falen" vaak omdat ze alleen de computerlogs controleren, en niet de daadwerkelijke afbeelding van de stroming.

De Oplossing: Een Team van Gespecialiseerde Agenten

De auteurs bouwden een systeem dat niet alleen code uitvoert; het fungeert als een volledig onderzoekslaboratorium. Het gebruikt een "hersenen" (een groot taalmodel) om verschillende gespecialiseerde "agenten" (softwaretools) te coördineren die verschillende onderdelen van de taak afhandelen:

1. De Idee-generator: In plaats van alleen maar te gokken, leest deze agent wetenschappelijke papers om kennislacunes te vinden en stelt nieuwe experimenten voor.
2. De Code-bouwer: Als de standaardtools een specifiek probleem niet kunnen oplossen, schrijft en compileert deze agent nieuwe C++-code (de "motor" van de simulatie) om aangepaste fysische modellen te creëren.
3. De Mesh-inspecteur: Voordat een simulatie wordt uitgevoerd, controleert deze of het digitale rooster (de "mesh") gedetailleerd genoeg is om kleine details te vangen, zodat de resultaten niet slechts een wazige gok zijn.
4. De "Visie"-poortwachter (De Sterke Eigenschap): Dit is de belangrijkste innovatie. Nadat een simulatie is uitgevoerd, kijkt het systeem niet alleen naar cijfers. Het maakt een foto van de stroming en toont deze aan een Visie-Taalmodel (een AI die afbeeldingen kan "zien").
   • De Analogie: Denk hieraan als een menselijke kunstkritiek die naar een schilderij kijkt. Zelfs als de kunstenaar zegt: "Ik heb de regels gevolgd", kan de criticus opmerken dat het perspectief verkeerd is of dat de kleuren niet overeenkomen met de realiteit.
   • Het Resultaat: Als de AI "ziet" dat de stroming vreemd eruit ziet (zoals een wervel op de verkeerde plek), verwerpt het het resultaat en vertelt het het systeem om het opnieuw te proberen, zelfs als het computerlogboek "Succes" aangaf.

Wat Ze Eigenlijk Bereikten

Het team testte dit systeem op vijf verschillende taken. Hier zijn de hoogtepunten:

• Routinecontroles: Het voerde succesvol standaardtests uit, zoals het controleren van hoe verschillende turbulentiemodellen zich gedragen rond een achterwaarts gerichte stap (een veelvoorkomend testgeval in de aerodynamica).
• Aangepaste Techniek: Het schreef zijn eigen code om niet-Newtonse vloeistoffen te simuleren (vloeistoffen die dikker worden als je ze roert, zoals ketchup of bloed) en bewees dat het werkte.
• De Grote Ontdekking (Open-ended Ontdekking): Dit is het indrukwekkendste deel. Het systeem kreeg een doel: "Vind een manier om het standaard turbulentiemodel beter te laten overeenkomen met real-world data."
  • Zonder menselijke hulp voerde de AI 44 iteraties van experimenten uit.
  • Het probeerde verschillende wiskundige aanpassingen, schreef nieuwe code, voerde simulaties uit en controleerde de resultaten.
  • Het Resultaat: Het ontdekte een nieuwe wiskundige correctie (een "runtime-aanpassing") die de fout in het voorspellen van wrijvingsweerstand (hoeveel lucht over een oppervlak wrijft) met 7,89% verminderde ten opzichte van de beste beschikbare referentiedata.

Het Veiligheidsnet: Fouten Opvangen

Om te bewijzen dat het systeem werkt, verstoorden de onderzoekers de simulaties op 16 verschillende manieren (bijvoorbeeld door het uitvoerbestand te verwijderen, de getallen verkeerd te maken, of de simulatie te vroeg te stoppen).

• De "Visie-poort" van het systeem ving 14 van de 16 van deze stille falen op.
  • Standaard AI-tools (zonder de visiecontrole) zouden deze gebroken resultaten als geldig hebben aanvaard.

Vergelijking met Andere AI-Wetenschappers

De auteurs vergeleken hun systeem met twee andere algemene AI-wetenschappers (ARIS en DeepScientist).

• Het Verschil: De andere tools konden de simulaties uitvoeren en een rapport schrijven, maar ze misten vaak de fysische controles. Ze zouden kunnen beweren dat een resultaat geldig was, terwijl dat niet zo was.
• Het Voordeel: AI CFD Scientist is "conservatief". Als het bewijs niet perfect is (bijvoorbeeld als het rooster niet fijn genoeg is of de afbeelding vreemd eruit ziet), geeft het toe dat het het antwoord nog niet weet, in plaats van een valse claim te maken.

Samenvatting

AI CFD Scientist is een nieuw, open-source hulpmiddel dat het volledige proces van stromingsleeronderzoek automatiseert. Het draait niet alleen cijfers; het leest papers, schrijft code, controleert of de fysica er goed uitziet door de stroming te "zien", en publiceert alleen resultaten die een strenge visuele en wiskundige inspectie doorstaan. Het slaagde erin om op eigen kracht een nieuwe manier te vinden om een standaard fysisch model te verbeteren, wat bewijst dat AI nu de complexe, hoog-risico wereld van fysische simulatie aankan, en niet alleen softwarecodering.

Technische samenvatting

Technische Samenvatting: AI CFD-wetenschapper

Probleemstelling

Het uitbreiden van Large Language Model (LLM)-agenten naar de natuurwetenschappen, specifiek Computational Fluid Dynamics (CFD), brengt unieke uitdagingen met zich mee die niet voorkomen in puur softwarematige machine learning of biologisch onderzoek. De primaire moeilijkheid ligt in het feit dat het voltooien van een solver niet impliceert dat de resultaten fysisch geldig zijn. Een CFD-simulatie kan zonder fouten in de solver-logboeken netjes convergeren, maar toch fysisch gedegenereerde resultaten opleveren door een onjuiste geometrie, ontbrekende stromingseigenschappen of gebrekkige sluitingsmodellen. Deze faalmodi zijn vaak onzichtbaar voor tekstgebaseerde loganalyse. Bovendien is in CFD het sluitingsmodel een onderzoeksvariabele die broncode-aanpassingen vereist (op C++-niveau) in plaats van simpele configuratiewijzigingen, en zijn geldigheidscontroles (zoals mesh-onafhankelijkheid en afstemming op referentiedata) wetenschappelijke objecten die expliciet moeten worden bevestigd in plaats van verondersteld. Bestaande AI-wetenschapper-frameworks missen deze domeinspecifieke geldigheidscontroles, terwijl bestaande CFD-agenten vaak stilstaan voor de volledige ontdekkingscyclus, waardoor ze geïntegreerde ideatie op basis van literatuur, broncode-aanpassingen en visuele verificatie niet combineren.

Methodologie

De auteurs presenteren AI CFD-wetenschapper, een open-source framework ontworpen om de wetenschappelijke ontdekkingscyclus voor CFD te voltooien. Het systeem werkt via de Foam-Agent-interface op OpenFOAM en wordt gecoördineerd door een gedeelde LLM-ruggengraat (GPT-5.5 in de experimenten). De architectuur is gebaseerd op vijf operationele ontwerpprincipes die zijn afgeleid uit CFD-praktijk:

1. Fysische geldigheid is niet log-leesbaar: Inspectie op beeldniveau is verplicht.
2. Broncode-aanpassing: Het bewerken van C++-broncode is een onderzoeksobject, geen configuratieoptie.
3. Mesh-onafhankelijkheid: Een vereiste convergentiecontrole.
4. Geen hallucinaties van experimenten: Agenten kunnen variabelen niet verwisselen of criteria versoepelen om falende gevallen aan de praat te krijgen.
5. Traceerbaarheid: Elke bewering in een manuscript moet terug te leiden zijn naar specifieke, gevalideerde figuren en numerieke waarden.

Het framework voert drie gekoppelde paden uit:

• Reguliere experimentatie: Literatuurbewuste ideatie, filtering op nieuwheid, validatie van vereisten, mesh-onafhankelijkheidscontrole en uitvoering via Foam-Agent.
• Code-aanpassing: Generatie van case-lokale C++-bronbestanden en dictionaries voor nieuwe fysische modellen, compilatie en rooktesten.
• Open-ended ontdekking: Een externe hypothese-lus die autonoom kandidaat-modelaanpassingen genereert, compileert en test tegen een referentiecomparator zonder verdere menselijke input.

Kerninnovatie: De VLM-fysische verificatiepoort
Centraal in het framework staat een Vision-Language Model (VLM) fysische verificatiepoort. Voordat enig resultaat wordt geaccepteerd, opnieuw wordt uitgevoerd of in een manuscript wordt opgenomen, maakt het systeem stromingsvelden (bijvoorbeeld snelheidscontouren, skin-frictiegrafieken) en stuurt deze naar een VLM. De VLM voert twee controles uit:

1. Kwaliteitsfilter: Zorgt ervoor dat figuren leesbaar zijn en niet gedegenereerd.
2. Fysische check: Inspecteert de gevisualiseerde stroming op verwachte eigenschappen (bijvoorbeeld recirculatiezones, afscheidingspunten) en beoordeelt de consistentie met de experimentvereiste.
   Deze poort is ontworpen om "stille fouten" op te vangen die de solver-logboeken passeren maar in strijd zijn met fysische intuïtie.

De workflow omvat ook een Mesh-onafhankelijkheidscontrole (vergelijking van basis- en verfijnde meshes) en een Opnieuw uitvoeren/Schrijver-lus die vereisten herzien bij falen en LaTeX-manuscripten opstelt die zijn gebaseerd op de gevalideerde artefacten.

Belangrijkste bijdragen

1. Eerste end-to-end open-source CFD-wetenschapper: Voor zover de auteurs weten, is dit het eerste systeem dat literatuurgebaseerde ideatie, gevalideerde uitvoering, visuele fysische verificatie, broncode-aanpassing en figuren-gebaseerd schrijven omvat in één inspecteerbare workflow.
2. VLM-gebaseerde fysische poort: De introductie van een visueel-taal subsystem dat fysische inconsistenties detecteert die onzichtbaar zijn voor solver-logboeken, waarmee een kritieke lacune in huidige AI-wetenschapper-frameworks wordt gedicht.
3. Ontdekking op broncodeniveau: Het vermogen om autonoom C++-broncode te bewerken om turbulentiemodellen (bijvoorbeeld Spalart–Allmaras) aan te passen en deze te compileren als case-lokale bibliotheken, waarbij code-aanpassing wordt behandeld als onderdeel van de hypothese-ruimte.
4. Rigoureuze evaluatie: Een gecontroleerde ablatiestudie die de effectiviteit van de VLM-poort aantoont en een rechtstreekse vergelijking met sterke algemene AI-wetenschapper-baselines (ARIS, DeepScientist).

Resultaten

Het systeem werd geëvalueerd op vijf taken met een GPT-5.5-ruggengraat:

• T1 (BFS-turbulentiegevoeligheid): Succesvol uitgevoerd vier RANS-sluitingsmodellen. De VLM-poort signaleerde een tekenconventiefout in een extractor voor heraansluitingslengte en classificeerde een $k$-$\varepsilon$-output als inconsistent met gescheiden-stromingsfysica, waardoor het systeem werd voorkomen een gebrekkige rangschikking uit te geven.
• T2 (Jet/Plume-nieuwe sweep): Uitgevoerd een Reynolds-getalsweep van 7 gevallen, waarbij de verwachte snelheidsschaling werd hersteld. Het systeem signaleerde een abnormaal geval waarbij het gemiddelde op de middenlijn instortte.
• T3 (Aangepaste viscositeit): Autonoom geschreven, gecompileerd en gevalideerd een aangepaste power-law-viscositeitsbibliotheek, waarbij de Newtonse limiet ($n=1$) binnen een foutmarge van 0,5% werd gereproduceerd.
• T4 (Aangepaste SA-modifier): Gecompileerd een variant van Spalart–Allmaras met een correctie voor tegengestelde drukgradiënt (APG). De aangepaste codepad werd gevalideerd tegen een controlegeval ($APG=0$) en er werden DNS-gealigneerde $C_f$-overlay's gegenereerd.
• T5 (Open-ended ontdekking): In een autonome lus van 44 iteraties ontdekte het systeem een quadrupolaire runtime-correctie voor het Spalart–Allmaras-model op de periodieke heuvel ($Re_h=5600$). Deze aanpassing verlaagde de RMSE van de skin-frictie ($C_f$) aan de onderwand ten opzichte van DNS met 7,89% (van 0,004297 naar 0,003958).

Ablatiestudie:
In een geïntroduceerde-fout ablatie met 16 ingevoegde fouten over vier stromingstypen, detecteerde de VLM-poort 14 van de 16 fouten (87,5% recall). Het behaalde 100% recall voor ontbrekende leverables, verkeerde groottes en gebroken post-processing, maar slechts 50% recall voor afgekapte convergentielopen (waarbij de simulatietijd was bewerkt om te matchen met de afgekapte staat, waardoor het visueel compleet leek).

Vergelijking:
Vergeleken met ARIS en DeepScientist onder gelijke LLM-kosten voerden de baselines gedeeltelijke workflows uit, maar misten ze domeinspecifieke geldigheidscontroles. Ze gaven vaak sluitingsrangschikkingen of correlaties uit zonder mesh-onafhankelijkheid of DNS-validatie. AI CFD-wetenschapper was voorzichtiger, door claims achter te houden wanneer het bewijs onvolledig was, en zorgde ervoor dat alle claims werden ondersteund door gevalideerde figuren.

Betekenis en claims

Het artikel stelt dat AI CFD-wetenschapper een belangrijke stap voorwaarts is richting open-ended ontdekking in computational fluid dynamics. De betekenis ligt in:

• De cyclus sluiten: Verder gaan dan eenvoudige case-opstelling naar een volledige cyclus van ideatie, uitvoering, verificatie en schrijven.
• Fysische onderbouwing: Aantonen dat het integreren van een visueel-taal poort noodzakelijk is om uitvoerbare simulaties om te zetten in verdedigbare wetenschappelijke claims, aangezien solver-logboeken alleen onvoldoende zijn voor fysische geldigheid.
• Autonome ontdekking: Aantonen dat een AI-agent autonoom broncode kan aanpassen om nieuwe correcties voor turbulentiemodellen te ontdekken die de overeenstemming met hoogwaardige DNS-data verbeteren.
• Community-baseline: Leveren van een open-source, inspecteerbaar framework voor CFD-specifieke wetenschappelijke automatisering, in contrast met gesloten bron of alternatieven met gedeeltelijke dekking.

De auteurs blijven bescheiden, met de opmerking dat het systeem momenteel een hulpmiddel voor "toezicht op wetenschappelijke assistentie" is in plaats van een ongecontroleerde publicatiemachine, en dat de evaluatie afhankelijk is van handmatig lezen van expertartefacten vanwege het ontbreken van geautomatiseerde rubrieken voor CFD-papers. De resultaten zijn begrensd door de gebruikte enkele ruggengraat (GPT-5.5) en de specifieke geteste taken.