技術的概要：エンタープライズシステムは学習された世界モデルを必要とするか？

問題定義

エンタープライズシステムは、ロボティクスやビデオゲームなどの従来の環境とは根本的に異なり、その遷移ダイナミクスは固定されたものではなく、展開ごとに異なり、時間とともに進化していくテナント固有の設定アーティファクト（ビジネスルール、ワークフロー、承認ポリシー）によって定義されます。このような環境では、状態 $s_t$ に適用された同じ行動 $a_t$ が、アクティブなインスタンス設定 $c$ に応じて、異なる結果 $s_{t+1}$ を生み出す可能性があります。

本論文は、世界モデル研究における重要な問いに答えます：環境を支配するルールが推論時に読み取り可能かつアクセス可能である場合、エージェントは依然としてそれらを内部的に学習する必要があるのでしょうか？

既存のアプローチは、過去の遷移データからダイナミクスを内部化させた学習された世界モデルに依存しています。しかし、著者らは、過去の遷移のみに基づいて訓練されたモデルは、デプロイメントのシフト（設定やテナントロジックの変化）に対して脆弱になると主張しています。ルールがシステムの設定に明示的に存在する場合、静的で内部化された表現に依存することは、不要な近似誤差を導入し、堅牢性を低下させる可能性があります。

手法

1. 定式化：文脈的遷移モデル

著者らは、エンタープライズのダイナミクスを文脈的遷移モデルとして定式化します：
$$s_{t+1} \sim P(s_{t+1} | s_t, a_t, c)$$
ここで、$c$ は特定のインスタンスの明示的かつ読み取り可能な設定です。$c$ が固定され未知である標準的な世界モデルとは異なり、エンタープライズにおける $c$ は変更可能で検査可能です。本論文は、遷移の複雑さを 3 つのレベルに区別します：

• ティア 1（スキーマ決定論的）： データディクショナリのデフォルト値と制約によって決定される効果。
• ティア 2（ルール合成可能）： ビジネスルールの連鎖（カスケード）によって決定される効果。
• ティア 3（実行推論的）： 静的アーティファクトに完全に露出していないエンジン内部の動作（実行順序、競合状態など）に依存する効果。

2. ベンチマーク：CascadeBench

制御された設定とデプロイメントのシフト下でエージェントを評価するために、著者らはCascadeBenchを導入します。

• 構築： 6 つの業界にわたる 1,596 のビジネスルールパターンのカタログから生成された合成スキーマに基づいて構築されており、実世界のテーブル構造の記憶化を防ぎます。
• グランドトゥルース： 実シミュレーションではなく、ライブの ServiceNow インスタンス上でアクションを実行してデータを収集し、状態の差分とカスケード経路を記録するために実際の監査ログ（$sys\_audit$）を捕捉します。
• 評価： モデルは、現在の状態（$s_t$）と行動（$a_t$）が与えられた場合、フィールドレベルの状態変化（$s_{t+1}$）を予測する必要があります。このベンチマークは、文脈（スキーマ、ルール）を提供するか否かによって、推論とパラメトリックな記憶化を分離します。

3. 提案手法：エンタープライズディスカバリーエージェント

本論文は、訓練中にダイナミクスを内部化しようとしないエンタープライズディスカバリーエージェントを提案します。代わりに、以下を行います：

1. 検索： 推論時に、ライブインスタンスの設定 $c$（ビジネスルール、現在のレコード状態、SLA 定義など）をクエリし、関連する遷移ロジックを復元します。
2. 推論： 凍結された言語モデルを使用して、取得した部分集合 $\tilde{c}$ に対して推論を行い、次の状態を予測します。
3. 反復： 多段階ロールアウトの場合、エージェントは各ステップでシステムを再クエリし、予測を現在の状態に基づいて接地させ、誤差の蓄積を軽減します。

4. 比較ベースライン

本研究は、3 つのアプローチを比較します：

• プロンプトベースライン： 静的な文脈（提供されたビジネスルールありまたはなし）から遷移を予測する凍結された LLM。
• 学習されたエンタープライズ世界モデル： 歴史的な $(s_t, a_t, s_{t+1})$ 組でファインチューニング（LoRA 経由）され、ダイナミクスを内部化するモデル。
• ディスカバリーエージェント： 上記で説明した検索ベースのアプローチ。

主要な結果

1. 内部化対検索

• 分布内パフォーマンス： ファインチューニングされた世界モデルは、訓練データと同じ分布から得られたデータに対して非常に優れたパフォーマンスを発揮します（例：Gemma-4-31B の分布内での IoU は 91.6%）。
• 分布外での劣化： デプロイメントのシフト（合成スキーマと未見の設定）下では、ファインチューニングされたモデルは著しく劣化し、プロンプトベースラインと同等のパフォーマンスレベル（約 40% IoU）まで低下します。
• ディスカバリーの堅牢性： 実行時にルールを検索するディスカバリーエージェントは、シフト across で堅牢なパフォーマンスを維持します。それらは一貫してプロンプトベースラインを上回り、ティア 1 およびティア 2 の遷移において「オラクル」モデル（すべてのルールをプロンプトに与えられたモデル）のパフォーマンスと同等の結果を達成します。

2. ビジネスルールの影響

• ルール依存性： プロンプトからビジネスルールを削除すると、すべてのモデルクラスでパフォーマンスが均一に崩壊します（約 40% IoU から約 10% IoU へ）。これは、エンタープライズのダイナミクスが事前学習された知識ではなく、ルールによって駆動されていることを確認します。
• 検索対記憶化： 最先端モデルにおいて、実行時の検索は、ターゲットインスタンスで訓練されていない場合でも、「オラクル」シグナルの大部分を回復します（IoU で中盤の 20 代から低 30 代に到達）。一方、内部化だけでは一般化に失敗します。

3. 多段階予測

• 誤差の蓄積： 多段階ロールアウト（ホライズン $k=1$ から $5$）において、すべての手法のパフォーマンスは深さが増すにつれて低下します。
• 接地の利点： ディスカバリーエージェントは、すべてのホライズンにおいてプロンプトベースラインを一貫して上回ります。各ステップでライブインスタンスを再クエリする能力は、モデルの設定に対する見方を更新し、以前に予測された状態のみに依存する場合と比較して誤差の蓄積を減少させます。

4. ティア別分析

• ティア 1 & 2： ディスカバリーエージェントは、ほぼオラクルレベルのパフォーマンスを達成し、隠れたルールとカスケードを実質的に回復します。
• ティア 3： 設定に完全に露出していないエンジン内部の動作に依存するティア 3（実行推論的ダイナミクス）では、依然としてパフォーマンスのギャップが存在します。これは、設定のみから回復できることには構造的な限界があることを示唆しています。

意義と主張

本論文は、エンタープライズ世界モデルは、固定された内部化されたダイナミクスにのみ依存すべきではないと主張します。代わりに、遷移ロジックが読み取り可能な設定可能な環境では、エージェントは実行時のディスカバリーのメカニズムを組み込むべきです。

• 相補性： ディスカバリーエージェントは学習された世界モデルの代替ではなく、必要な補完です。著者らは、学習された事前知識（効率性とパターン認識のため）と実行時の検索（設定シフトに対する堅牢性のため）を組み合わせるハイブリッドな未来を提案します。
• パラダイムの転換： この研究は、環境ダイナミクスが従来の意味で「学習」されなければならないという仮定に挑戦します。エンタープライズ環境では、「世界モデル」は部分的に外部化され、エージェントは静的なシミュレーターではなく、ライブシステム設定に対する動的な推論者として機能します。
• 限界： 著者らは、ディスカバリーがルールの検査可能性に依存しており（アクセス制御はパフォーマンスをプロンプトベースラインまで低下させる可能性がある）、基盤モデルのツール使用能力に依存していると指摘しています。さらに、ティア 3 のダイナミクスは依然として課題であり、エンタープライズ行動のいくつかの側面は静的な設定アーティファクトからは完全に回復できないことを示しています。

結論として、本論文は、エンタープライズシステムにおいて、実行時のディスカバリーを通じてアクティブなシステムインスタンスに基づいて予測を接地させることが、オフラインで訓練された内部化された世界モデルに依存するよりも、デプロイメントのシフトに対してより堅牢であることを実証しています。