MOOSEnger -- a Domain-Specific AI Agent for the MOOSE Ecosystem

MOOSEnger is een domeinspecifiek AI-agent die conversational workflows combineert met deterministische MOOSE-aware hulpmiddelen om natuurlijke taalintenties om te zetten in uitvoerbare simulatie-inputs, wat resulteert in een aanzienlijk hogere succesratio dan een LLM-only baseline.

De kern

MOOSEnger: De Slimme Vertaalbode voor Complexe Simulaties

Stel je voor dat je een gigantische, superkrachtige keuken hebt (dat is MOOSE, een software voor het simuleren van complexe natuurkundige processen, zoals hoe warmte zich verspreidt in een kernreactor of hoe water stroomt door rots). Deze keuken is fantastisch, maar de receptenboeken zijn geschreven in een taal die alleen top-chefs begrijpen: een heel strikte, ingewikkelde code genaamd HIT.

Als je als gewone kok (een ingenieur of wetenschapper) wilt koken, moet je elk recept handmatig in deze code typen. Een klein foutje, zoals een verkeerd puntje of een verkeerd woordje, en de oven ontploft (de simulatie crasht) of het eten wordt onverteerbaar (de resultaten zijn fout).

MOOSEnger is de nieuwe, slimme assistent die je helpt om deze keuken te gebruiken zonder dat je eerst een diploma in computercode nodig hebt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Vertaler (Van "Ik wil..." naar "Recept")

Stel, je zegt tegen MOOSEnger: "Ik wil zien hoe warmte zich verspreidt door een stalen staaf als ik één kant verhit."
In het verleden moest je zelf de hele code uitzoeken. Nu schrijft MOOSEnger het recept voor je. Maar omdat computers soms "hallucineren" (verzonnen woorden gebruiken), is er een probleem: het recept kan net iets verkeerd zijn.

2. De Kwaliteitscontroleur (De "Pre-check")

Dit is het magische deel van MOOSEnger. In plaats van het recept direct naar de oven te sturen, gaat het eerst door een drie-stappen controle:

• Stap 1: De Schoonmaakrobot. Soms zit er onzichtbaar "vuil" in de tekst (zoals vreemde spaties of verkeerde aanhalingstekens die je niet ziet maar die de computer wel ziet). MOOSEnger veegt dit netjes weg.
• Stap 2: De Grammatica-Checker. Als je per ongeluk "StalenStaaf" schrijft in plaats van "StaalStaaf", corrigeert MOOSEnger dit automatisch. Het kijkt in een grote database met alle mogelijke ingrediënten en zegt: "Ah, je bedoelde waarschijnlijk dit."
• Stap 3: De Proefkook. Voordat het echte eten wordt gemaakt, doet MOOSEnger een korte "proefrun". Het kijkt of de oven wel echt start. Als er een fout is (bijvoorbeeld: "Je hebt geen pan gebruikt"), zegt het niet alleen "Fout!", maar probeert het het recept direct te verbeteren en het opnieuw te proberen.

3. De Resultaten: Van "Bijna" naar "Perfect"

De onderzoekers hebben dit getest met 125 verschillende "recepten" (simulaties).

• Zonder MOOSEnger: Als je alleen een slimme AI (een LLM) vraagt om het recept te schrijven, lukt het slechts 8% van de keren dat het echt werkt. De rest is onbruikbaar.
• Met MOOSEnger: Dankzij de extra controlestappen en het zelf-corrigeren, werkt 93% van de recepten perfect.

Waarom is dit belangrijk?

Vroeger moesten ingenuren urenlang zoeken naar waarom hun simulatie niet werkte. Het was als proberen een auto te starten met een gereedschapskist die halfvol is en een handleiding in een vreemde taal.

Met MOOSEnger kun je gewoon zeggen wat je wilt bereiken. De assistent:

1. Zoekt de juiste informatie op (uit een grote bibliotheek van eerdere recepten).
2. Schrijft het recept.
3. Controleert het op fouten.
4. Probeer het te draaien en repareert het als het mislukt.
5. Geeft je het werkende resultaat.

Het is alsof je een virtuele chef-kok hebt die niet alleen kan koken, maar ook de keuken op orde houdt, de ingrediënten controleert en ervoor zorgt dat je maaltijd eruit komt zoals je had bedacht. Hierdoor kunnen wetenschappers zich focussen op de vraag (wat willen we ontdekken?) in plaats van de techniek (hoe typ ik de code?).

Kortom: MOOSEnger maakt complexe wetenschappelijke simulaties toegankelijk voor iedereen, door de drempel van de moeilijke computercode weg te nemen met slimme, automatische hulp.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MOOSEnger — a Domain-Specific AI Agent for MOOSE Ecosystem", geschreven in het Nederlands.

Titel: MOOSEnger — een domeinspecifiek AI-agent voor het MOOSE-ecosysteem

Auteurs: Mengnan Li, Jason Miller, Zachary Prince, Alexander Lindsay, Cody Permann (Idaho National Laboratory)
Publicatiedatum: 5 maart 2026 (arXiv:2603.04756v1)

---

1. Probleemstelling

Het Multiphysics Object-Oriented Simulation Environment (MOOSE) is een krachtig, hoogpresterend computerraamwerk voor multifysica-simulaties, veel gebruikt in nucleaire engineering en andere wetenschappelijke domeinen. Hoewel MOOSE flexibel is dankzij een plug-in architectuur, vereist het het schrijven van ingewikkelde invoerbestanden (.i-bestanden) in een specifieke domein-taal (HIT: Hierarchical Input Text).

De belangrijkste uitdagingen voor gebruikers zijn:

• Hoge leercurve: De breedte aan beschikbare objecten en de strikte syntaxisregels maken het moeilijk om correcte simulaties op te zetten.
• Foutgevoeligheid: Kleine formatteerfouten, typfouten in objectnamen of semantische inconsistenties leiden vaak tot mislukte uitvoeringen.
• Iteratief proces: Het oplossen van fouten vereist diepgaande domeinkennis om console-logs te interpreteren en de invoer handmatig te corrigeren.
• Beperkte AI-ondersteuning: Bestaande AI-tools (zoals LLM-only baselines) zijn vaak niet betrouwbaar genoeg omdat ze de complexe structuur van MOOSE niet begrijpen en geen directe feedback van de solver kunnen gebruiken om fouten te corrigeren.

2. Methodologie

MOOSEnger is een tool-enabled AI-agent die natuurlijke taalverzoeken omzet in uitvoerbare MOOSE-configuraties. Het systeem combineert Retrieval Augmented Generation (RAG) met deterministische, domeinspecifieke validatie- en uitvoeringstools.

Architectuur: Core-plus-Domain

Het systeem volgt een modulaire architectuur:

• Core: Bevat de herbruikbare agent-infrastructuur (configuratie, tool-dispatch, RAG, persistentie).
• Domain Plugin (MOOSE): Voegt specifieke functionaliteit toe, zoals een parser voor .i-bestanden, syntax-georiënteerde validatie en tools voor het uitvoeren van simulaties.

Kerncomponenten en Werkstroom

1. Domeinbewuste Data-Ingestie:

   • In plaats van tekst te splitsen op zinnen, gebruikt MOOSEnger de pyhit-parser om .i-bestanden te ontleden in hun hiërarchische blokken (bijv. [Mesh], [Kernels]).
   • Dit zorgt ervoor dat de syntaxisstructuur behouden blijft tijdens het indexeren voor RAG, wat de precisie van de terugvinding verbetert.
   • Er wordt automatisch metadata gegenereerd (bijv. objecttypen, bloknamen) en samenvattingen gegenereerd met behulp van een LLM, gebaseerd op de geanalyseerde structuur.

2. Deterministische Invoervoorcontrole (Precheck Pipeline):
   Om de "brittle one-shot generation" van LLM's te vermijden, voert MOOSEnger een strikt voorcontroleproces uit voordat een simulatie wordt gestart:

   • Sanitatie: Verwijdert verborgen opmaakfouten (zoals niet-breekbare spaties of slimme aanhalingstekens) die de parser kunnen breken.
   • Grammatica-gedwongen reparatie: Gebruikt een beperkte lus om syntaxisfouten in de HIT-structuur te herstellen zonder de blokgrenzen te veranderen.
   • Type-corrigering: Voert een context-geconditioneerde vergelijkingszoekopdracht uit tegen een register van geldige objectnamen om typfouten in objecttypen (bijv. type=HeatConduction in plaats van type=HeatConduction) te corrigeren.

3. MOOSE "In the Loop" (Uitvoering):

   • De agent plaatst de MOOSE-runtime direct in de feedbacklus via een Model Context Protocol (MCP) backend (met een lokale fallback).
   • Het proces is iteratief: Genereer -> Precheck -> Uitvoeren (Smoke test) -> Analyseer logs -> Corrigeer.
   • De agent gebruikt foutmeldingen van de solver (bijv. divergentie, ontbrekende bestanden) om gerichte correcties toe te passen totdat de invoer succesvol wordt uitgevoerd.

4. Evaluatie:
   Het systeem bevat ingebouwde evaluatiemodules die zowel de kwaliteit van de RAG (faithfulness, relevantie) als het eindresultaat (succesvolle uitvoering van de simulatie) meten.

3. Belangrijkste Bijdragen

• MOOSE-bewuste Agent: Een conversatie-agent die natuurlijke taal omzet in geldige MOOSE-invoerbestanden, ondersteund door RAG over gedocumenteerde voorbeelden.
• Deterministische Toolchain: Een geautomatiseerde pijplijn voor het opschonen, repareren en valideren van HIT-syntax, inclusief context-gebaseerde correctie van objectnamen.
• Iteratieve "Verify-and-Correct" Cyclus: Het plaatsen van de MOOSE-solver in de feedbacklus, wat het mogelijk maakt om fouten op te lossen op basis van echte runtime-diagnoses in plaats van alleen op tekstuele voorspellingen.
• Uitbreidbare Architectuur: Een "core-plus-domain" ontwerp dat het eenvoudig maakt om nieuwe domeinen of applicaties binnen het MOOSE-ecosysteem toe te voegen zonder de kerncode aan te passen.
• Benchmarks: Een uitgebreide evaluatie over vijf verschillende fysica-families (diffusie, warmtegeleiding, solid mechanics, poreuze stroming, Navier-Stokes).

4. Resultaten

De prestaties van MOOSEnger werden getest op een benchmark van 125 prompts (25 per fysica-familie) en vergeleken met een LLM-only baseline (ChatGPT 5.2 API zonder tools).

Testprobleem	MOOSEnger (Slaagpercentage)	LLM-only Baseline (Slaagpercentage)
Diffusie	100% (25/25)	36% (9/25)
Transiënte warmtegeleiding	92% (23/25)	0% (0/25)
Solid mechanics	96% (24/25)	0% (0/25)
Poreuze stroming	92% (23/25)	4% (1/25)
Navier-Stokes	84% (21/25)	0% (0/25)
Totaal	93% (116/125)	8% (10/125)

• Kernbevinding: MOOSEnger bereikte een 93% uitvoeringssuccesrate, vergeleken met slechts 8% voor de LLM-only baseline.
• De verbetering is het grootst bij complexe, gestructureerde multifysica-problemen waar strikte syntaxis en geldige objecttypen cruciaal zijn.
• De baseline faalde volledig bij transiënte warmtegeleiding, solid mechanics en Navier-Stokes, terwijl MOOSEnger deze met hoge betrouwbaarheid oploste.

5. Betekenis en Toekomstperspectief

• Betrouwbaarheid: Het paper demonstreert dat AI-agenten in wetenschappelijk computing betrouwbaar kunnen zijn wanneer ze worden "geground" in domeinkennis en beperkt worden door programmatieke controles (tools) in plaats van alleen te vertrouwen op probabilistische tekstgeneratie.
• Toegang tot complexe software: MOOSEnger verlaagt de instapdrempel voor nieuwe gebruikers en versnelt het werk van experts door repetitieve opzet- en debugtaken te automatiseren ("vibe-authoring").
• Kennisbeheer: Het systeem fungeert als een dynamische kennisbron die relevante documentatie en voorbeelden koppelt aan specifieke modelleringstaken.
• Toekomstige ontwikkelingen: De auteurs plannen uitbreidingen naar multi-agent workflows, integratie met GUI's en IDE-plugins, en het toevoegen van "intent-aware" verificaties om niet alleen de uitvoerbaarheid, maar ook de wetenschappelijke juistheid van de resultaten te garanderen.

Kortom, MOOSEnger vertegenwoordigt een belangrijke stap in het overbruggen van de kloof tussen natuurlijke taalintenties en complexe, domeinspecifieke simulatie-uitvoering, waarbij het de betrouwbaarheid van AI-assistenten in de wetenschap aanzienlijk verbetert.