MOOSEnger -- a Domain-Specific AI Agent for the MOOSE Ecosystem

MOOSEnger は、RAG と決定論的検証ツールを組み合わせ、自然言語から MOOSE シミュレーション入力を生成・修正・実行するドメイン特化型 AI エージェントであり、LLM 単独のベースライン（0.08）と比較して実行成功率を 0.93 まで大幅に向上させることを示しています。

要約

この論文は、**「MOOSEnger（ムーセンジャー）」**という新しい AI アシスタントについて紹介しています。

一言で言うと、**「複雑な科学シミュレーションソフト『MOOSE』を、まるで日常会話のように簡単に操れるようにする『魔法の通訳兼エンジニア』」**です。

以下に、専門用語を排し、身近な例え話を使って分かりやすく解説します。

---

1. 背景：なぜ「MOOSE」は難しいのか？

まず、MOOSEというソフトについて考えてみましょう。
これは、原子力発電所や構造力学など、非常に複雑な「物理現象」をコンピュータ上で再現するための強力なツールです。

しかし、これを使うには**「HIT（ヒート）」**という特殊な言語で、手書きの「レシピ（入力ファイル）」を書く必要があります。

• 例え話： これは、**「高級なレストランで、シェフに料理を注文する際、メニューではなく、化学式と材料の配合率を厳密な文法で手書きのメモに書かなければならない」**ようなものです。
• 少しでも文字の配置が間違ったり、材料の名前を間違えたりすると、料理（シミュレーション）は作られず、エラーが出てしまいます。初心者にとって、この「レシピ書き」はあまりにも難しく、挫折しやすいのです。

2. MOOSEnger の登場：AI による「魔法の通訳」

そこで登場するのがMOOSEngerです。
これは、ユーザーが「こんなシミュレーションがしたい」と普通の日本語（または英語）で話しかけるだけで、AI が自動的に正しい「レシピ（入力ファイル）」を作成し、実際に料理（シミュレーション）を始めるまで手伝ってくれる存在です。

3 つの魔法のステップ

MOOSEnger は、ただ言葉を翻訳するだけでなく、3 つの重要な役割を果たします。

① 知識の検索（RAG：検索強化生成）

• 役割： 過去の成功したレシピや、マニュアルを瞬時に探して参照します。
• 例え話： 料理人が「今日はトマトとチーズの料理がしたい」と言うと、AI は「過去のレシピ帳」から「トマトとチーズの組み合わせ方」や「必要な道具」を瞬時に見つけ出し、正しい情報を元にレシピを書き始めます。これにより、AI が嘘の材料（存在しない機能）を捏造するのを防ぎます。

② 厳密なチェックと修理（入力前チェック・パイプライン）

• 役割： 生成されたレシピが、厳格な文法ルールに合っているか、AI 自身が厳しくチェックし、間違いを自動で直します。
• 例え話： 人間が書いたメモには、よく「句読点の位置がズレている」「材料の名前のスペルが少し違う」といったミスがあります。MOOSEnger は、**「完璧な編集者」**として、そのメモをスキャンし、
  • 見えない文字（コピー＆ペーストで混入した余計な記号）を消す。
  • 文法が崩れている部分を、ルールに従って自動修正する。
  • 「この材料は存在しないけど、似ているのはこれだよ」と提案して直す。
    という作業を、人間が気づく前に完璧に済ませてしまいます。

③ 実行とフィードバック（ループ型の実行）

• 役割： 作ったレシピを実際に厨房（スーパーコンピュータ）で試して、失敗したらその理由を聞いて、また直します。
• 例え話： 普通の AI は「レシピを書いたら終わり」ですが、MOOSEnger は**「実際に料理を試作する」**ところまでやります。
  • もし「火がつかない（エラー）」と言われたら、AI はそのエラーメッセージを読み解き、「あ、温度設定が低かったんだ」と気づいてレシピを修正し、再度試します。
  • この**「作って→試して→直す」**という作業を、人間が介入しなくても AI が自動で繰り返すため、最終的に「絶対に成功するレシピ」が完成します。

3. どれくらいすごいのか？（実験結果）

論文では、125 種類の異なる物理シミュレーション（熱、流体、構造など）のテストを行いました。

• 普通の AI（人間が手助けなし）： 100 回中、わずか8 回しか成功しませんでした。ほとんどが「レシピの書き間違い」で失敗していました。
• MOOSEnger： 100 回中、93 回も成功しました。

例え話：
「料理のレシピを書く競争」で、普通の AI は「材料の名前を間違えて 92 回失敗」しましたが、MOOSEnger は「93 回、完璧な料理を完成させた」のです。これは、「AI 単体」から「道具を使いこなすプロの助手」への進化を意味しています。

4. まとめ：何が変化するのか？

MOOSEnger の登場により、科学者やエンジニアは以下のような変化を体験できます。

• 専門用語を覚える必要がなくなる： 「どのブロックをどこに書くか」を暗記する必要はありません。「熱を伝えたい」「水の流れをシミュレーションしたい」という**「やりたいこと（意図）」**だけを伝えれば OK です。
• 失敗からの回復が早くなる： シミュレーションが失敗しても、AI が「どこがダメだったか」を診断し、自動で直してくれるため、無駄な時間が大幅に減ります。
• 誰でも専門家になれる： 複雑なシミュレーションソフトのハードルが下がり、より多くの人が科学の探求に挑戦できるようになります。

結論：
MOOSEnger は、単なる「チャットボット」ではなく、**「科学の複雑なルールを厳密に守りながら、人間のアイデアを形にする、頼れるエンジニアリング・パートナー」**です。これにより、科学の壁が低くなり、より多くの人がイノベーションを起こせる未来が近づいています。

技術概要

MOOSEnger: MOOSE 生態系向けのドメイン特化型 AI エージェント

技術的概要

1. 背景と課題 (Problem)

MOOSE (Multiphysics Object-Oriented Simulation Environment) は、アイダホ国立研究所が開発した高性能なマルチフィジックスシミュレーションフレームワークです。ユーザーは C++ ソースコードを直接編集せず、階層的な入力テキスト（HIT: Hierarchical Input Text）形式の「.i」ファイルを作成することでシミュレーションを定義します。

しかし、このアプローチには以下の重大な課題が存在します：

• 学習曲線の急峻さ: 利用可能な物理オブジェクトの幅広さと厳格な構文規則により、新規ユーザーが最初の有効なシミュレーションを構築するまでに多大な時間と労力を要する。
• デバッグの難易度: 小さなフォーマットエラーやパラメータの誤配置が実行失敗や物理的に誤った結果につながる。MOOSE が出力する詳細な診断ログを解釈し、具体的な修正アクションに結びつけるには専門知識が必要である。
• 反復作業の非効率性: 数値的収束や安定性を確保するための試行錯誤（メッシュ調整、ソルバ設定の微調整など）が手作業中心であり、時間がかかる。

既存の LLM ベースの AI アシスタントは、ドメイン固有の厳密な構文や実行時のフィードバックを適切に統合できず、単一の生成ステップで失敗する（ハルシネーションや構文エラー）傾向があった。

2. 提案手法とアーキテクチャ (Methodology)

MOOSEnger は、自然言語による意図を MOOSE の実行可能な入力ファイルに変換するための、ツール連携型のドメイン特化 AI エージェントです。その核心は、「生成（Generation）」と「検証・修正（Verification & Correction）」をループさせる**「Verify-and-Correct」アプローチ**にあります。

2.1 コア＋ドメイン・アーキテクチャ

システムは、再利用可能なエージェント基盤（コア）と MOOSE 固有の機能（ドメインプラグイン）に分離されています。

• コア: 設定、ツールディスパッチ、検索サービス、永続化、評価モジュールを担う。
• ドメインプラグイン: MOOSE 固有のプロンプト、パーサー、ツール、取り込みパイプラインを提供する。これにより、新しい物理分野への拡張が可能。

2.2 主要な技術的構成要素

1. MOOSE 意識のあるデータ取り込み (MOOSE-aware Ingestion)

   • 従来のテキスト分割ではなく、pyhit（MOOSE の HIT 構文を解析するパーサー）を使用して「.i」ファイルを構造化して取り込みます。
   • 入力ファイルのブロック構造（[Mesh], [Kernels] など）を維持したままチャンク化し、構文ツリーメタデータを付与します。これにより、検索精度が向上し、パラメータと親オブジェクトの関連性が保たれます。

2. 決定論的な入力前チェック・パイプライン (Deterministic Input-Precheck Pipeline)
   LLM が生成した生テキストを直接実行するのではなく、以下の段階的な処理を行います：

   • サニタイズ: 隠れたフォーマット文字（ゼロ幅文字、特殊な改行など）を除去し、正規化します。
   • 構文制約付き修復 (Grammar-constrained Repair): 構文解析エラーが発生した場合、MOOSE の文法規則に基づき、ブロックの整合性を保ちながら最小限の修正を施します。
   • 構文認識型類似度検索: 存在しないオブジェクト名（ハルシネーション）を検出し、ブロックの文脈に基づいて類似する正しい型名を提案・置換します。
   • セマンティック検証: 必須パラメータやブロック配置の制約をチェックします。

3. 実行ループ内での MOOSE ランタイム (MOOSE Runtime "In the Loop")

   • MCP (Model Context Protocol) ベースの実行バックエンド: ローカル実行またはリモート HPC 環境での実行を抽象化します。
   • スモークテストと反復修正: 生成された入力ファイルに対して、--check-input モードや軽量な実行（スモークテスト）を実行し、ソルバからのエラーログを取得します。
   • エラー情報をエージェントにフィードバックし、LLM が具体的な修正を提案して再度検証するプロセスを、入力ファイルが実行可能になるまで反復します。

4. 評価システム

   • RAG 評価: 検索されたコンテキストの忠実度（Faithfulness）、回答の関連性、精度/再現率を測定。
   • エージェント評価: 最終的な入力ファイルが実際に MOOSE 実行環境で exit_code=0 で成功するかを基準としたエンドツーエンドの成功率を測定します。

3. 主要な貢献 (Key Contributions)

1. ドメイン特化型 AI エージェントの構築: MOOSE 生態系に深く統合された、自然言語から実行可能ファイルへの変換を実現するエージェント。
2. 決定論的なツールチェーン: HIT 構文の解析、サニタイズ、文法制約付き修復、構文レジストリに基づく型補正を行う一連のツール。
3. 実行フィードバックループ: ソルバの診断情報を直接利用して「生成→検証→修正」を反復させることで、単一生成モデルの限界を克服。
4. 拡張可能なアーキテクチャ: コアとドメインプラグインを分離することで、他の物理分野や複雑なマルチエージェントワークフローへの迅速な展開を可能に。

4. 実験結果 (Results)

5 つの物理分野（拡散、過渡熱伝導、固体力学、多孔質流れ、Navier-Stokes）にまたがる 125 件のプロンプトでベンチマーク評価を行いました。

• 実行成功率:
  • MOOSEnger: 93% (116/125) のケースで実行成功。
  • LLM のみ（ベースライン）: 8% (10/125) のみ成功。
  • 改善率: 実行可能性において約 9.5 倍 の向上。
• 分野別性能:
  • 最も複雑な分野（過渡熱伝導、固体力学、Navier-Stokes）において、ベースラインは 0% の成功率でしたが、MOOSEnger は 84%〜96% の高い成功率を達成しました。
  • 単純な拡散問題でも、36% から 100% へ向上しました。
• 結論: ツール連携と反復的な検証プロセスが、厳密な構文と物理的制約を持つ科学計算タスクにおいて、LLM の信頼性を劇的に向上させることが実証されました。

5. 意義と将来展望 (Significance & Future Work)

• 科学計算への AI 統合の新たなパラダイム: 単なるコード生成ではなく、ドメイン固有の構文解析ツールと実行環境を「ループ内」に組み込むことで、実用的な信頼性を確保するアプローチを示しました。
• ユーザー体験の向上: 新規ユーザーの参入障壁を下げ、熟練ユーザーの反復作業を削減し、物理モデルの構築と分析に集中できる環境を提供します。
• 将来の展望:
  • 物理的意図に即した検証（境界条件の妥当性、保存則のチェックなど）の強化。
  • GUI や IDE プラグインとの統合による対話的デバッグ。
  • 複雑なマルチフィジックス問題に対する協調型マルチエージェントワークフローへの拡張。

本論文は、大規模言語モデルを科学計算ソフトウェアに統合する際、ドメイン知識の検索（RAG）だけでなく、構造化されたツールと実行フィードバックを厳密に制御されたワークフローに組み込むことの重要性を浮き彫りにしています。