技術概要：信頼性の高い APDL 自動化のための CAX-Agent

問題定義

機械解析および設計（MAPDL）の有限要素シミュレーションに展開される大規模言語モデル（LLM）は、重大な信頼性の課題に直面している。LLM はコードを生成できるが、エンジニアリングワークフローに必要な構造化された実行制御、ツールカプセル化、およびフォールト回復メカニズムを欠くことが多い。シミュレーションパイプラインにおいて、メッシュ生成の失敗、収束の問題、または結果の欠如などのランタイムエラーは、構造的に単純なタスクであっても一般的である。明示的な回復メカニズムがなければ、単一の失敗がパイプライン全体を終了させてしまう。既存のエージェントフレームワークは、LLM に自身の実行を管理させることを想定しているが、これは堅牢で再現性のある自動化に必要なエンジニアリングの骨格を提供できていない。人間が検証した結果のもとで、繰り返し条件下における異なる回復ポリシー（例：ルールベース対モデル駆動）を比較した、制御された実証的証拠は欠如している。

手法

システムアーキテクチャ：CAX-Agent

本論文は、汎用フレームワークを適応させるのではなく、APDL 自動化のために特別に設計された軽量かつドメインネイティブなエージェントハarness「CAX-Agent」を導入する。アーキテクチャは 3 つのレイヤーに整理されている：

1. LLM サービスレイヤー： 高速なファーストパス生成用のローカル軽量モデル（Qwen-27B）と、複雑な推論および修復用の外部高機能 API（Claude Sonnet 4.6）を含む。
2. エージェントハーネス（オーケストレーター）： このミドルウェアはツールのライフサイクル、ワークフロー状態、およびフォールト診断を管理する。重要なのは、オーケストレーター（LLM ではなく）がリトライ予算、ツールディスパッチ、停止条件を所有することである。これは、決定論的なルールパッチからモデル駆動の再生成、コンテキストの充実、そして最終的には人間の介入へとエスカレートする「回復ラダー」を実装する。
3. ソルバーバックエンド： MAPDL エンジン（PyMAPDL、CLI、またはフォールバックモード）に接続する統一インターフェース。

実験設計

本研究は、静的、モーダル、および熱負荷下における梁、プレート、円筒を含む50 の標準構造タスクのベンチマーク上で、3 つの異なる回復戦略を評価する。タスクは意図的に単純化されており、回復ポリシーの影響をタスクの難易度から分離している。

• 回復なし： 修復試行なしのワンショット実行。
• ルールのみ： 追加のモデル推論なしに、4 つの文字列変換ルール（例：メッシュ失敗に対する要素サイズの倍増、収束問題に対する時間ステップの挿入）を使用した、ログからパッチへの決定論的修正。
• モデルのみ： エラーログ条件付きのモデル再生成。LLM がエラーログを読み、失敗を診断し、スクリプトを再生成するもので、最大 3 回の強制リトライラウンドまで制限されたリトライを行う。

評価指標

合計 450 のケース実行（50 タスク × 3 戦略 × 3 反復）は、以下の指標を用いて評価された：

• タスクスコア（$t_i$）： 出力画像の正確性と完全性に対する人間による評価スコア（0–4）。
• 自律性スコア（$a_i$）： 手動介入が必要かどうかに基づいたシステム派生スコア（0–3）。
• 回復効率スコア（$e_i$）： リトライ回数とソルバーの結果に基づく。
• 総合スコア（$q_i$）： 上記の合計（$t_i + a_i + e_i$）、0 から 10 の範囲。
• 完了率： 少なくとも 1 つのポストプロセッシング画像が生成されたかどうかを示すバイナリ指標。
• 統計分析： 効果量（Cliff's $\delta$）とマン・ホイットニー U 検定を用いたペアワイズ比較。評価者間的一致性は二次加重コヘンの $\kappa$（0.84）で測定された。

主要な貢献

1. CAX-Agent アーキテクチャ： 回復ラダーと、意味的修復（LLM）と実行制御（ハーネス）を分離するオーケストレーター中心の制御モデルを備えた、3 レイヤーの MAPDL ネイティブエージェントハーネス。
2. 制御された実証的評価： ブラインド人間による評価と評価者間検証を活用し、50 の標準化された APDL タスクにおける 3 つの回復戦略の厳密な反復実行比較。
3. 実証的証拠： 完了率、出力品質、および自律性において、モデル駆動型回復がルールベース修復および回復なしのベースラインを大幅に上回ることを示す実証。

結果

モデルのみ戦略は、ルールのみおよび回復なしと比較して、すべての指標で優れた性能を達成した：

• 完了率： モデルのみ（0.9267）は、ルールのみ（0.7733）および回復なし（0.6933）を有意に上回った。モデルのみの 95% 信頼区間はベースラインと重なっていなかった。
• タスク品質： モデルのみは平均タスクスコア3.59/4を達成し、ルールのみ（3.17/4）および回復なし（2.74/4）を上回った。
• 総合スコア： モデルのみは9.16/10を獲得し、ルールのみ（7.03/10）および回復なし（5.60/10）を有意に上回った。
• ゼロ介入率： モデルのみは0.84を達成したのに対し、ルールのみは0.00であった。論文は、ルールのみのゼロスコアは、再実行前に人間の確認ステップを必要とする設計特性を反映しており、完全な自律動作を妨げていると指摘している。
• 効果量： モデルのみと他の戦略の間で大きな効果量が観察された（Cliff's $\delta$ = 0.81–0.87）。これは、無作為に選択されたモデルのみの実行が、ルールのみの実行を上回る確率が高いことを示している。

失敗分析： 残存する失敗は、静的構造設定、特に薄肉またはメッシュに敏感な幾何学的特徴を伴うものに集中していた。決定論的ルールは、長尾のソルバーおよびスクリプトパスの失敗には不十分であることが判明したが、モデル駆動型修復はより広範な失敗シグネチャに適応した。

意義と主張

本論文は、CAX-Agentが、散発的で信頼性の低い LLM 呼び出しを、標準化され、追跡可能で、再現性のあるエンジニアリングワークフローへと変換しうる軽量かつドメインネイティブなハーネスであることを実証していると主張する。

主要な知見には以下が含まれる：

• 回復の必要性： 明示的な回復メカニズムはシステムの信頼性の中心である。それらがなければ、単一の失敗がパイプラインを終了させてしまう。
• モデル駆動型修復の優位性： 決定論的ルールは回復なしよりも何らかの改善をもたらすが、出力品質を確実に向上させたり、完全な自律性を達成したりするものではない。モデル駆動型回復は、現在の CAX 展開にとって最も実用的なデフォルト戦略である。
• オーケストレーター中心の制御： LLM の推論とハーネスの実行制御（リトライ予算、停止条件）を分離することは、プロンプティング単独では達成できない動作保証を提供する。
• 方法論的貢献： この研究は、他のハーネスコンポーネントおよびシミュレーションバックエンドに適用可能な、再現可能な実証的ハーネス評価のテンプレート（制御されたアブレーション、反復実行、多次元スコアリング）を提供する。

著者は、ベンチマークが単純な幾何学形状と線形弾性を使用していることを指摘し、範囲に関して謙虚さを保っている。彼らは、複雑な産業環境での実用的な展開の前に、より大規模で多様なベンチマークおよび複数のソルバーバックエンドにおける検証が必要であると述べている。しかし、制御された条件下においてモデル駆動型回復がルールベースおよび回復なしのアプローチを上回るという核心的な発見は、堅牢で統計的に有意であると提示されている。