技術的概要：KISS – 科学シミュレーションのための知識インフラ

問題提起

プロセスベースのシミュレーションモデルは、水文、農業、気候などの地球システム分野にわたる数十年にわたる検証済みの科学的理解を符号化しています。しかし、これらのモデルは、気候リスクや資源不足に最もさらされているコミュニティにはアクセスできず、リソースが豊富なグループでさえ、それらを実行するために必要な散在的で暗黙的な運用知識のボトルネックに直面しています。大規模言語モデル（LLM）エージェントは科学ワークフローの自動化において有望な成果を示していますが、プロセスベースのシミュレーションにおいては困難に直面しています。この課題は構造的なものです。有効なシミュレーションには、有効性基準がしばしば暗黙的な高次元空間にわたる意思決定の連鎖を必要とします。明示的なガイダンスがなければ、エージェントは科学的に無効な「滑らかで説得力のある」出力を生成し、コードの実行と科学的な正しさを区別できなくなります。核心的な問題は、エージェントが科学について推論できるかどうかではなく、数十年にわたる分野固有の運用専門知識を、エージェントが行動可能な形式に外部化できるかどうかです。

手法

著者は、運用専門知識を 3 つの異なる機械可読コンポーネントに外部化するために設計された、エージェントが実行可能な足場である**知識インフラ（KI）**を導入します。

1. 検証済みモデリング演算子: 単位変換、ファイル生成、依存関係の解決など、エージェントがゼロから再生成するのではなく呼び出す、特定かつ事前に検証された関数として符号化された手続き的知識。
2. 段階的ドメインプロトコル: ワークフローが進行する前に満たされなければならないチェックポイントを定義する評価的知識（例：パラメータ範囲、質量保存、中間結果の物理的妥当性の確認）。
3. 診断的回復メカニズム: 失敗の症状を可能性のある原因と具体的な対策にマッピングする診断的知識により、エージェントがサイレントまたは間接的な失敗から回復することを可能にする。

これを運用化するために、著者はモデルのソースコード、ドキュメント、および専門家の実践からこれら 3 つの知識形式を自律的に抽出し、KI パッケージを構築する**知識解体ツールキット（KDT）**を開発しました。

本研究では、「深さから規模へ」という評価戦略を採用しています。

• 深さテスト: 結合された VIC–Lohmann 水文ワークフローのために手動で構築された KI を、Huai 川流域の 3 つにおいて、5 つの独立したプラットフォーム（Anthropic、OpenAI、Google、Moonshot、Alibaba）からの 10 の CLI コーディングエージェントを含む 3,000 回の試行でテストしました。成功には、14 のパイプラインマイルストーンを完了し、Nash–Sutcliffe 効率（NSE）≥ 0.2 を達成することが必要でした。
• 規模テスト: KDT を 14 の地球科学分野にわたる 117 の追加のプロセスベースモデルに適用しました。これには、専門家監督付き転移セット（25 モデル）と完全自律的スケーリングセット（92 モデル）が含まれます。
• アブレーション研究: 特定の層（演算子、プロトコル、または診断）を保持せずに KI の寄与を分離し、失敗モードを観察する実験が行われました。

主要な結果

• パフォーマンスの向上: KI を装備したエージェントは、結合水文ベンチマークで最大84% の完了率を達成しましたが、KI を持たないエージェントは40% 未満で頭打ちになりました。3 つのエージェント（Claude Sonnet 4.5、Claude Opus 4.5、Kimi K2.5 Coding）は、Tier 1 のパフォーマンス（≥80% の成功率）に達しました。
• 失敗モード分析: KI がなければ、エージェントは主に「捏造」（演算子なしで合成データを生成する）、「物理的盲目」（プロトコルなしで制約を無視する）、「エラーループ」（診断なしで回復できない）のために失敗しました。KI はこれらの特定の失敗シグネチャを排除しました。
• スケーラビリティと一般化: KDT は合計 119 のモデルに対して KI パッケージを正常に生成しました。自律的スケーリングセットでは、59 のモデルが観測データに対して検証され、33 のモデルが合成入力上で実行可能であることが確認されました。
• 構造的収束: 119 の KI パッケージの分析により、運用専門知識は場当たり的なものではなく、高度に構造化されていることが明らかになりました。2,406 の診断メカニズムと 3,478 の意思決定ポイントにわたって、失敗モード（例：単位の誤り、I/O の不一致）と意思決定カテゴリ（例：パラメータ選択、物理オプション）は、すべての 14 のドメインで収束しており、共有された足場が多様な地球科学モデルにとって十分であるという仮説を支持しています。
• 再現性: KI は出力のばらつきを大幅に減少させました。手動構築ワークフローでは、30 のエージェント–流域の組み合わせのうち 15 が、100 回の実行で NSE のばらつきゼロを示しました。再現性は、KI がほとんどの運用選択を閉じたドメイン（例：生物地球化学）で最も高く、意味のある科学的選択が未解決のまま残っているドメインでは低くなりました。

意義と主張

本論文は、知識インフラが科学シミュレーションとの AI の相互作用においてパラダイムシフトを表すと主張しています。物理方程式を代理モデルに置き換えることや、制約をニューラルネットワークに埋め込むことではなく、KI は「暗黙的」な運用層を外部化することで、エージェントが既存のプロセスベースモデルをエンドツーエンドで運用することを可能にします。

著者は 3 つの主要な貢献を主張しています。

1. アクセス障壁の低下: KI は、非専門家のユーザーが自然言語を通じて機械的モデルに実用的な質問を投げかけることを可能にし、シミュレーション出力を必要とする者とそれらを実行できる者の間のギャップを埋めます。
2. 統合障壁の低下: KI は、モデル間およびドメイン間ワークフローの運用オーバーヘッドを削減し、エージェントが単一のセッションでモデルを構成、比較、結合（例：流出、浸水、作物影響モデルをリンク）することを可能にし、何年もの手動調整を不要にします。
3. 生きた科学的コモンズ: 運用専門知識を明示的、監査可能、再利用可能にすることで、KI はプロセスベースの科学を「生きた科学的コモンズ」へと変容させます。これにより、コミュニティはモデルの運用ロジックを共同で所有、拡張、バージョン管理することが可能になり、どの互換性のあるエージェントによっても再実行可能になります。

本論文は、KI が基礎となる物理モデル自体の構造的な不確実性を解決するものではありませんが、歴史的にプロセスベースのシミュレーションを専門家集団に限定してきた運用の曖昧さを解決すると結論付けています。このアプローチの価値は、多様なモデルの KI パッケージを構築、監査、維持するための集団的なコミュニティの参加にかかっています。