MOOSEnger -- a Domain-Specific AI Agent for the MOOSE Ecosystem

MOOSEnger ist ein spezialisierter KI-Agent, der durch die Kombination von retrieval-augmentierter Generierung und deterministischen, domänenspezifischen Validierungs- und Ausführungstools natürliche Sprache in fehlerfreie MOOSE-Simulationseingaben umwandelt und dabei eine deutlich höhere Erfolgsquote als rein auf LLM basierende Ansätze erzielt.

Das Wesentliche

🤖 MOOSEnger: Der digitale Baumeister für komplexe Physik-Simulationen

Stell dir vor, du möchtest ein riesiges, hochkomplexes Gebäude bauen – vielleicht ein Atomkraftwerk oder ein neues Material für eine Rakete. Du hast die Idee (die Physik), aber du musst es mit einer sehr strengen, alten und komplizierten Bauanleitung umsetzen. Diese Anleitung heißt MOOSE.

Das Problem: MOOSE ist wie eine Sprache, die nur sehr wenige Experten wirklich fließend sprechen. Man muss Tausende von Zeilen Code schreiben, und ein einziger kleiner Tippfehler (wie ein fehlendes Komma oder ein falsches Wort) lässt das ganze Gebäude einstürzen, bevor es überhaupt gebaut wird. Für Anfänger ist das wie ein Versuch, ein Schloss zu bauen, während man blind ist und die Anleitung in einer Fremdsprache geschrieben ist.

Hier kommt MOOSEnger ins Spiel.

1. Was ist MOOSEnger?

MOOSEnger ist kein gewöhnlicher Chatbot. Stell dir einen normalen KI-Assistenten wie einen sehr gut informierten Bibliothekar vor, der dir gerne Bücher gibt, aber nicht weiß, wie man ein Haus baut.

MOOSEnger ist hingegen ein spezialisiertes Baumeister-Team, das aus zwei Teilen besteht:

1. Der Architekt (Die KI): Er versteht deine Sprache. Du sagst ihm: "Ich brauche ein Haus, das Hitze aushält und im Norden steht." Er versteht deine Absicht.
2. Der Bauleiter (Die Werkzeuge): Das ist der entscheidende Unterschied. Der Architekt allein würde wahrscheinlich einen Plan zeichnen, der toll aussieht, aber physikalisch unmöglich ist. MOOSEnger hat aber einen Bauleiter an der Seite, der den Plan sofort prüft, Fehler findet und ihn repariert, bevor der erste Stein gelegt wird.

2. Wie funktioniert das? (Die "Verifizierungs-Schleife")

Stell dir den Prozess wie einen Kochkurs mit einem strengen Lehrer vor:

• Schritt 1: Die Bestellung (Dein Wunsch)
  Du sagst dem Koch (MOOSEnger): "Koch mir eine Suppe mit Kartoffeln und Karotten."
  Ein normaler Koch (eine reine KI) würde vielleicht sofort eine Suppe kochen, aber er vergisst vielleicht, dass man Kartoffeln schälen muss, oder er nimmt Salz statt Zucker. Das Ergebnis schmeckt schrecklich.

• Schritt 2: Der Entwurf (Die KI schreibt den Code)
  MOOSEnger schreibt den ersten Entwurf für die Suppe (den MOOSE-Code). Er nutzt eine riesige Bibliothek mit Rezepten (Dokumentation), um sicherzugehen, dass er die richtigen Zutaten kennt.

• Schritt 3: Der "Koch-Check" (Das ist der Clou!)
  Hier passiert das Magische. Bevor die Suppe serviert wird, wirft MOOSEnger sie nicht einfach auf den Teller. Er stellt sie auf den Herd und schaltet den Herd kurz an ("Smoke Test").

  • Oh, die Suppe kocht nicht? -> Der Herd meldet: "Fehler: Du hast vergessen, den Deckel aufzusetzen."
  • Der Koch (MOOSEnger) repariert es sofort: Er setzt den Deckel auf und probiert es erneut.
  • Ist die Temperatur zu hoch? -> Er dreht die Hitze runter.

Dieser Prozess wiederholt sich automatisch. MOOSEnger nutzt die Fehlermeldungen des Computers, um den Code in Echtzeit zu korrigieren. Er sagt nicht nur "Hier ist dein Code", sondern "Hier ist dein Code, und ich habe ihn so lange getestet und repariert, bis er funktioniert."

3. Warum ist das so wichtig?

In der Welt der Wissenschaft ist das Schreiben von Simulationen oft wie Türme aus Karten bauen. Ein winziger Fehler lässt den ganzen Turm umfallen.

• Ohne MOOSEnger: Ein Wissenschaftler schreibt den Code, schickt ihn an den Supercomputer und wartet. Nach 4 Stunden kommt die Nachricht: "Fehler: Zeile 42 ist falsch." Der Wissenschaftler muss den Code lesen, den Fehler finden, korrigieren und wieder 4 Stunden warten. Das ist frustrierend und langsam.
• Mit MOOSEnger: Der Assistent macht das in Sekunden. Er findet den Fehler, repariert ihn, prüft ihn und gibt dir am Ende einen Code, der sofort läuft.

4. Die Ergebnisse: Ein Sieg der Zuverlässigkeit

Das Paper zeigt ein beeindruckendes Ergebnis:

• Wenn man nur eine normale KI (wie einen Chatbot ohne Werkzeuge) fragt, schaffen es nur 8 von 100 Versuche, einen funktionierenden Code zu liefern. Das ist, als würde ein Koch versuchen, ein 3-Gänge-Menü zu kochen, und nur jedes zehnte Gericht wäre essbar.
• Mit MOOSEnger (KI + Werkzeuge + Selbstkorrektur) schaffen es 93 von 100 Versuche. Das ist, als würde ein Profi-Koch mit einem Assistenten fast jedes Gericht perfekt servieren.

Zusammenfassung in einem Satz

MOOSEnger ist wie ein digitaler Handwerker, der nicht nur deine Ideen versteht, sondern sie auch sofort baut, prüft, repariert und fertigstellt, damit du dich nicht mehr mit dem langweiligen und fehleranfälligen Kleinkram des Programmierens herumschlagen musst, sondern dich auf die eigentliche Wissenschaft konzentrieren kannst.

Es verwandelt das "Schreiben von Code" in ein einfaches "Gespräch über Physik".

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papiers „MOOSEnger — a Domain-Specific AI Agent for MOOSE Ecosystem" auf Deutsch:

1. Problemstellung

Das MOOSE-Framework (Multiphysics Object-Oriented Simulation Environment) ist eine leistungsstarke Plattform für Multiphysik-Simulationen, die in Bereichen wie Reaktorphysik und Strömungsmechanik eingesetzt wird. Simulationen werden durch Eingabedateien (Endung .i) in einer domänenspezifischen Sprache (DSL) namens HIT (Hierarchical Input Text) konfiguriert.

Trotz seiner Flexibilität stellt die Erstellung und Fehlersuche in diesen Eingabedateien erhebliche Hürden dar:

• Hohe Komplexität: Die breite Palette an verfügbaren Objekten und strenge Formatierungsregeln führen zu einer steilen Lernkurve.
• Fehleranfälligkeit: Kleine Formatierungsfehler, falsche Objekttyp-Namen oder semantische Inkonsistenzen verhindern oft die Ausführung oder führen zu physikalisch falschen Ergebnissen.
• Iterativer Aufwand: Der Prozess vom ersten Entwurf bis zu einem lauffähigen Modell ist oft mühsam und erfordert tiefes Domänenwissen, um Solver-Fehlermeldungen zu interpretieren und zu beheben.

Bestehende KI-Lösungen (wie reine LLMs) scheitern oft daran, dass sie die strikte Syntax von MOOSE nicht perfekt beherrschen und keine direkte Rückkopplung mit dem Solver haben, was zu „Halluzinationen" bei Objekttypen oder Syntaxbrüchen führt.

2. Methodik: MOOSEnger

MOOSEnger ist ein domänenspezifischer KI-Agent, der natürliche Sprachanfragen in ausführbare MOOSE-Eingabedateien übersetzt. Das System kombiniert Retrieval-Augmented Generation (RAG) mit deterministischen, domänenbewussten Validierungs- und Ausführungstools.

Architektur und Workflow

Das System folgt einer Core-plus-Domain-Architektur:

• Core: Bietet wiederverwendbare Infrastruktur (Konfiguration, Tool-Dispatch, RAG, Persistenz).
• Domain-Plugin: Enthält spezifische Parser, Tools und Prompts für MOOSE.

Der Workflow gliedert sich in zwei Hauptphasen:

1. Offline-Dateningestion: MOOSEnger importiert Dokumentationen, Diskussionsforen und Beispiel-.i-Dateien. Ein entscheidendes Merkmal ist die Syntax-erhaltende Chunking-Strategie mittels pyhit. Anstatt Text willkürlich zu teilen, werden Eingabedateien basierend auf den HIT-Blöcken (z. B. [Mesh], [Kernels]) zerlegt, um die semantische Struktur zu bewahren.
2. Interaktive Inferenz (Runtime): Der Benutzer gibt eine Anfrage ein. Der Agent durchläuft einen iterativen Zyklus:
   • RAG: Abruf relevanter Kontexte aus dem Vektorstore.
   • Generierung: Erstellen eines ersten Entwurfs der Eingabedatei.
   • Input-Precheck-Pipeline (Kerninnovation): Bevor der Solver läuft, wird eine deterministische Pipeline ausgeführt:
     • Sanitization: Bereinigung von Formatierungsartefakten (Unicode, Zeilenumbrüche).
     • Grammar-Constrained Repair: Reparatur von syntaktischen Fehlern unter Einhaltung der HIT-Grammatik.
     • Typ-Korrektur: Korrektur falscher Objekttyp-Namen durch kontextabhängige Ähnlichkeitssuche in einem Syntax-Register.
   • Execution-in-the-Loop: Der Agent führt den MOOSE-Solver aus (lokal oder via Model Context Protocol (MCP)), um „Smoke Tests" durchzuführen. Fehlermeldungen des Solvers werden als Ground Truth genutzt, um den Agenten zu einer iterativen Korrektur („Verify-and-Correct") zu veranlassen.

Bewertung

Das System verfügt über integrierte Evaluierungsmodule, die sowohl die Qualität der RAG (Faithfulness, Relevanz) als auch den End-to-End-Erfolg (tatsächliche Ausführungserfolge) messen.

3. Wichtige Beiträge

• MOOSE-bewusster Agent: Ein System, das natürliche Sprache nicht nur in Text, sondern in validierte, ausführbare Konfigurationsdateien übersetzt.
• Deterministischer Toolchain: Eine Pipeline, die LLM-Ausgaben durch Sanitization, grammatikbasierte Reparatur und typbasierte Korrektur führt, bevor sie den Solver erreichen.
• Execution-in-the-Loop: Die Integration des MOOSE-Laufzeitsystems direkt in den Agenten-Loop, um Fehler durch tatsächliche Ausführung zu erkennen und zu beheben, anstatt sich nur auf statische Syntaxprüfungen zu verlassen.
• Erweiterbare Architektur: Ein Core-Plugin-Design, das die schnelle Entwicklung von Agenten für andere MOOSE-Anwendungen oder komplexe Multiphysik-Workflows ermöglicht.

4. Ergebnisse

Die Leistung von MOOSEnger wurde an einem Benchmark mit 125 Prompts über fünf verschiedene Physik-Familien (Diffusion, transienter Wärmetransport, Festmechanik, poröse Strömung, Navier-Stokes) getestet.

• Erfolgsrate: MOOSEnger erreichte eine Durchführbarkeitsrate (Pass Rate) von 93 % (116/125 Fälle).
• Vergleich: Ein reines LLM-Baseline-Modell (ohne Tools und Iteration) erreichte nur 8 % (10/125 Fälle).
• Verbesserung: Dies entspricht einer 9,5-fachen Steigerung der Zuverlässigkeit. Besonders bei komplexeren Multiphysik-Problemen (z. B. Navier-Stokes, Festmechanik), bei denen das Baseline-Modell eine 0 %-Erfolgsrate hatte, zeigte MOOSEnger signifikante Fortschritte (84–96 %).

Die Ergebnisse belegen, dass die Kombination aus RAG, deterministischen Reparatur-Tools und Solver-Rückkopplung entscheidend ist, um die Lücke zwischen KI-Generierung und wissenschaftlicher Nutzbarkeit zu schließen.

5. Bedeutung und Ausblick

MOOSEnger demonstriert einen praktischen Weg, komplexe wissenschaftliche Software durch KI zugänglicher zu machen.

• Senkung der Einstiegshürde: Neue Benutzer können Simulationen durch natürliche Sprache starten, ohne jede Syntaxregel auswendig zu lernen.
• Effizienzsteigerung: Erfahrene Nutzer sparen Zeit bei repetitiven Setup- und Debugging-Aufgaben.
• Vertrauenswürdigkeit: Durch die Einbindung von deterministischen Tools und Solver-Feedback wird das Risiko von „Halluzinationen" minimiert und die Zuverlässigkeit erhöht.

Die Autoren sehen die Zukunft in einer „Vibe-Authoring"-Philosophie, bei der Nutzer ihre physikalischen Ziele beschreiben und der Agent die technische Umsetzung übernimmt. Zukünftige Arbeiten zielen auf die Integration in GUIs/IDEs, die Unterstützung von Multi-Agenten-Workflows und die Erweiterung der Validierung um physikalische Konsistenzprüfungen ab.

Das Paper unterstreicht, dass für wissenschaftliches Computing reine Sprachmodelle nicht ausreichen; eine enge Kopplung mit domänenspezifischen Tools und Validierungsmechanismen ist unerlässlich.