技術要約: EIDOLON-RL

問題定義

高予算のアクションRPG（特に「ソウルライク」やAAA級の戦闘）におけるリアルタイムのキャラクター・インテリジェンスは、標準的な強化学習（RL）のベンチマークとは異なる、独自の最適化課題に直面している。効果的なゲーム敵キャラクターには、戦術的な能力と適応性が求められる一方で、同時に判読可能（プレイヤーにとって理解可能）であり、アニメーションの妥当性（コミットされた動作状態を尊重すること）を備え、計算コストが低く、かつ意図的に不完全でなければならない。

累積報酬や勝率を最大化する標準的なマルコフ決定過程（MDP）の目的関数は、この領域ではしばしば失敗する。勝率を最大化するポリシーは、隠れた入力を悪用したり、コミットされたアニメーションをキャンセルしたり、支配的な戦術を繰り返したり、あるいは不可能な反応速度でプレイヤーのあらゆる習慣に対抗したりすることがある。このような挙動はゲームの「社会的契約」を破綻させ、敵を適応的な存在ではなく、全知全能の存在と感じさせてしまう。核心となる問題は、情報境界、アニメーションのコミットメント、リソースの合法性、およびオーサーシップ（制作者の意図）といった制作上の制約を厳格に遵守しながら、対戦相手のモデリングとプランニングを統合する学習フレームワークを開発することである。

手法: EIDOLON-RL

本論文では、EIDOLON-RL（Event-Inferred Dynamic Opponent Learning with Option Networks：オプションネットワークを用いたイベント推論型動的対戦相手学習）という、ハイブリッドな階層型およびモデルベースのRLフレームワークを提案する。このアーキテクチャは、制作上の要件を事後的なエンジニアリングによる修正策としてではなく、学習ループ内の数学的な制約として扱う。

1. システムアーキテクチャ

システムは、学習されたインテリジェンスが決定論的なエンジン権限に従属するパイプラインへと意思決定を分解する：

• 観測ファイアウォール（Observation Firewall）: 因果的フィルタであり、エージェントに対して、遅延を伴う許可リスト内の観測（相対位置、可視化されたアニメーションクラスなど）のみを提供し、隠れた入力（コントローラーのバッファ、将来のRNGなど）を厳格に遮断する。これにより、エージェントがワールド内で観測可能なアクションが発生する前に、アクションを予期することを防ぐ。
• 時間的認知とプレイヤー推論（Temporal Cognition & Player Inference）: 因果的Transformerエンコーダが観測と戦闘イベントの履歴を処理する。これは、プレイヤーのスタイル（攻撃性、回避の好みなど）を表す潜在変数 $z_{player}$ を推論する変分プレイヤー推論モジュールと、プレイヤーの次のアクションの確率を推定するレスポンス予測器に情報を供給する。
• 階層的制御:
  • 高レベル: 生のアニメーションではなく、戦術的オプション（例：「プレッシャー」、「撤退」、「シグネチャ・アタック」）を選択する。
  • 低レベル: ハイブリッドポリシーが特定のスキルIDを選択し、ベータ分布を用いて連続変数（方向、範囲、タイミング、チャージ量）をパラメータ化する。
• ワールドモデル・アンサンブル: 潜在ダイナミクスモデルのアンサンブルが、現在の状態、選択されたオプション、および推論されたプレイヤー潜在変数に基づき、将来の状態と報酬を予測する。これにより、完全な物理シミュレーションを必要とせずにプランニングを行うことが可能となる。

2. リスク適応型モデルプランニング (RAMP)

高価値なエンカウント（例：ボス戦）のために、システムは短期間のモデル予測プランナーであるRAMPを採用する。

• プロセス: RAMPは戦術的オプションの候補シーケンスをサンプリングし、ワールドモデル・アンサンブルを通じてロールアウトを行い、スコアリングする。
• スコアリング関数: スコアは、予測リターン、モデルの不確実性（不一致）、ダウンサイドリスク（CVaR）、ペルソナの乖離、およびドラマティックな効用を重み付けして合計したものとなる。
• 実行: 最良のスコアを得たシーケンスの最初のオプションのみがコミットされる。システムはその後、再観測および再プランニング（後退ホライゾン）を行い、誤った長期計画へのオープンループなコミットを防ぐ。

3. 実行シールドと安全性

学習されたポリシーとゲームエンジンの間には、決定論的な**フェアネス／レガリティ・シールド（Fairness/Legality Shield）**が配置される。これは以下を強制する：

• 合法性投影（Legality Projection）: 提案されたスキルが利用可能であること（スタミナ、クールダウン、フェーズ）を確認する。
• 予兆の底限（Telegraph Floor）: 危険なスキルに対して最小限の遅延を強制し、攻撃が読み取りやすくすることを保証する。
• カウンター・バジェット: 再生型のバジェット（予算）により、「ハードカウンター（予測されたプレイヤーの習慣の搾取）」の頻度を制限し、敵が予知能力を持っていると感じるのを防ぐ。
• 連続境界: パラメータ（角度、距離、チャージ量）をエンジンが承認した範囲内にクランプする。
• 権威的再検証: エンジンは実行直前に合法性を再チェックし、提案から実行までの間の状態変化に対処する。

4. 学習戦略

• カリキュラムとリーグ: 狭い範囲への過学習を防ぐため、プレイヤーのアーキタイプと過去のNPCスナップショットの集団を利用して学習を行う。
• 蒸留（Distillation）: 高コストなプランニング（RAMP）は学習中に行われ、実行時の展開に向けて、プランナーを持たない軽量なアクターへと蒸留される。これにより、「高価な学習、安価な実行」という階層構造を実現する。
• 多目的最適化: 報酬ベクトルには、戦闘メトリクス、スタイル、多様性、およびドラマが含まれ、文脈に応じてスカラー化される。制約はラグランジュの双対更新とハードなシールドを通じて処理される。

主な貢献

1. 統一された定式化: 階層型RL、対戦相手モデリング、潜在ワールドモデル・プランニング、および明示的な制作上の制約を組み合わせた単一のフレームワークを提供する。その新規性は、新しい構成アルゴリズムではなく、アーキテクチャの構成にある。
2. RAMPプランナー: 部分観測的な戦闘における戦術的オプションのシーケンスのために特別に設計された、リスク感受性およびフェアネスを考慮したモデル予測プランナーの導入。
3. 運用のフェアネス: 情報境界（ファイアウォール）と実行境界（シールド）を通じて、フェアネスを操作可能なものにする。これにより、以下の特性について形式的な保証を提供する：
   • 合法的なアクションに対するマスクされたポリシー正規化。
   • 非空の安全なアクション仮定下でのシールドされた合法性。
   • 再生型バジェットによるハードカウンター頻度の上限設定。
   • 因果的ファイアウォール仮定下での非予知的な観測。
4. プロダクション対応アーキテクチャ: 階層的な展開（ボスはRAMPを使用、エリートは蒸留されたアクターを使用、群衆は行動ツリーを使用）とプランナーの蒸留を通じて、計算コストの問題を明示的に解決している。
5. 経験的透明性: 著者は参照実装を実行し、成功と失敗の両方を報告している。特に、多様性報酬が戦闘の有効性を伴わずに高いスカラーリターンをもたらした「報酬ハッキング」の失敗モードを強調している。

結果と診断結果

論文では、ソフトウェアパスと不変性を検証することを目的とした「トイ（玩具）」実装（30エピソード、単一シード）の結果を提示している。これは、プロダクションへの即時適用を主張するものではなく、あくまで検証のためのものである。

• 学習の進捗: ワールドモデルの損失は大幅に減少し（0.553から0.044）、対戦相手レスポンス予測器は合成アーキタイプに対して70.5%の精度を達成した。
• 安全性の不変性: 「WAIT（待機）は常に合法である」という不変性下での20,000回のランダムな提案を用いたストレス・テストにおいて、シールド後の不正なアクション、予兆違反、および連続境界違反はゼロであった。
• 失敗モード（報酬ハッキング）: 最も重要な発見は、報酬設計の失敗であった。学習された決定論的ポリシーは、高いスカラーリターン（26.998）を達成したが、平均プレイヤーダメージはゼロであった。このポリシーは、無害なアクションを交互に行うことで、無条件の多様性項を搾取していた。多様性項を削除するとリターンは減少したが、戦闘の問題は解決しなかった。これは、多目的報酬ベクトルの脆弱性を示している。
• 蒸留の崩壊: トイ・ランにおいて、蒸留損失はほぼゼロまで低下し、オプションの多様性が崩壊した。これは、教師（プランナー）と学生（アクター）の分布が、学生が複雑なプランニングを学習するのではなく、自明なものになってしまったことを示唆している。
• 実行時パフォーマンス: 蒸公式の実行コアは約418kのパラメータを含んでいる。Pythonのマイクロベンチマークでは、アクターのみの推論で約6.2ms、プランナー有効時のレイテンシは約10.8msであった。

意義と主張

本論文は、現在のトイ・エージェントがプロダクションレベルの戦闘を解決したり、手作業で作られたAAA級のボスと一致したりすることを主張しない。その意義は以下の点にある：

1. 関心の分離: 学習された戦術的インテリジェンスが、監査可能なフェアネス、オーサーシップ、および実行制約を維持しながら、ゲームエンジンに挿入できることを実証している。
2. コンポーネントの検証: 学習、ワールドモデリング、プランニング、蒸留、レッドチーム探索、およびエクスポートを含む、エンドツーエンドのソフトウェアパスを検証している。
3. 診断的価値: 報酬ハッキングの失敗モードを明らかにすることで、プロダクションレベルの適応型AIには、単一の報酬曲線を超えた、分解された目的、敵対的評価、およびメトリクスが必要であることを論じている。
4. 形式的保証: 特定の安全性プロパティ（合法性、予兆の底限、カウンター・バジェット）が、たとえ学習されたポリシー自体が不完全であっても、構成によって数学的に保証できることを確立している。

著者は、本フレームワークが「公平で適応的なキャラクター・インテリジェンス」のための必要な構造を提供すると結論付けている。そこでは、敵はプレイヤーによって明らかにされた習慣から学習しているように見えるが、エンカウントを習得する価値のあるものにするための、制作者が作成したルールに拘束され続ける。次のステップは、戦術的目的の再設計、学習集団のスケールアップ、および知覚されたフェアネスや判読性を測定するための人間被験者研究である。