技術要約：インタラクティブなゲームプレイのためのコーチング可能なエージェント

問題提起

強化学習（RL）は、ロボティクスからビデオゲームに至るまで、リアルタイム制御の領域において最先端の性能を達成してきました。しかし、標準的なRLエージェントは通常、タスクを解決するための単一の準最適な振る舞いを学習します。この柔軟性の欠如は、ユーザーが「タスクを遂行すること」だけでなく、「どのようにタスクを遂行するか」について制御権を行使したい場面において制限となります。生成AI（例：「印象派のスタイルで描いて」といったリクエスト）では、ユーザーが特定のスタイルを指定できますが、連続的な制御設定で動作するエージェントに対して、このようなリアルタイムのスタイル制御はこれまで利用可能ではありませんでした。

マルチタスク、マルチオブジェクティブ、またはゴール条件付き学習といった既存のアプローチは、複数の異なるタスクを遂行することを教えることに焦点を当てています。本論文は、「静かに掃除する」ことと「素早く掃除する」ことを別々のタスクとして扱うことは、ユーザーの好みのスペクトラムを不明瞭にすると主張しています。代わりに著者らは、**コーチング可能なエージェント（Coachable Agents）**を提案しています。これは、単一のコアタスクを多様な「スタイル」で実行するように訓練されたエージェントであり、ユーザーが実行時にこれらのスタイルを選択し、修正できるようにするものです。

手法

このフレームワークは、ユニバーサル・バリュー関数近似器（UVFA）に基づいて構築されており、コアとなる目的は固定されているものの、複数の有効な振る舞いが存在するシナリオへと拡張されています。著者らは、報酬関数を以下の2つのコンポーネントに分解したスタイル条件付きUVFAを導入しています。
$$r(s, a; \theta) = r_{task}(s, a) + r_{style}(s, a, \theta)$$

• $r_{task}$: 主要な目的（例：戦闘に勝つ、ラップを完走する）を捉える固定された報酬。
• $r_{style}$: 多次元のスタイルベクトル $\theta$ によって駆動される、スタイル依存の報酬。このベクトルには、報酬を線形結合するための重み、ゲーティングやランプアップのための閾値、および望ましい範囲からの逸脱を罰するセットポイントが含まれます。

主な技術的革新

1. アルゴリズムの適応 (Cat-RAC): AAAビデオゲーム（具体的には『Horizon Forbidden West』）の高次元制御ドメインを扱うために、著者らはSoft Actor-Critic (SAC) ファミリーの新しい一員である**Categorical Regularized Actor-Critic (Cat-RAC)**を開発しました。このアルゴリズムは、現代のゲームに見られるアクションスペースの複雑さと行動の分散に対処します。
2. トレーニング・インフラストラクチャ: フレームワークは以下を活用しています：
   • シナリオ・トレーニング: スキルとスタイルのバリエーションを教えるための特定の練習シナリオの作成。
   • データ拡張: 学習を加速させ、安定させるため。
   • 専用のリプレイバッファ: 多様なポリシーの学習を促進するために、特定のスタイルタグが付与された軌跡を保存。
3. スタイルの合成: このシステムは、実行時に複数のスタイル要求（例：特定の武器 ＋ 特定の属性効果）の組み合わせを可能にします。これは、エージェントが訓練中にその特定の組み合わせをほとんど経験していない場合でも可能です。

実験ドメイン

本フレームワークは、以下の3つの異なるドメインで検証されました。

1. グランツーリスモ7 (GT7): レーシング・シミュレーション。エージェント（GT Sophy）は、ラップタイムとリソース制約（燃料消費量およびタイヤの摩耗）のバランスを取り、ドリフトのようなドライビング挙動を示すように訓練されました。
2. Horizon Forbidden West (HFW): オープンワールド・アクションアドベンチャーゲーム。エージェントは主人公エイロイを操作し、複雑なロボットの敵と戦闘を行います。スタイルには、特定の武器の選択（6種類の武器）、近接攻撃、トラップ、7種類の属性効果、および3種類のパーツ除去戦略が含まれます。
3. DeepMind Control Suite (DMC): ヒューマノイドの歩行タスク。スタイルは離散的な腕のポーズと連続的な歩幅を制御し、アプローチの適用可能性を示しました。

結果

グランツーリスモ7

• リソース管理: UVFAの重みを調整することで、エージェントはペースと燃料残量またはタイヤの寿命をトレードオフすることができました。燃料やタイヤの使用に対するペナルティを増やすことで、ピットストップの間隔を最大60%延長できましたが、その代償として1ラップあたり2〜3秒のロスが生じました。
• 行動のバリエーション: エージェントはドリフトを学習することに成功し、閾値ベースのスタイルパラメータを介して、見かけ上の攻撃性を調節することができました。

Horizon Forbidden West

• スタイルへの忠実度: 19体の敵と3つのロケーションにわたる57,000回のバトルにおいて、エージェントは要求されたスタイルと実行された行動の間に強い相関（ダメージタイプの行列における対角成分の優位性）を示しました。
• 文脈への適応: エージェントはスタイル要求に盲目的に従うのではなく、それらを文脈化しました。例えば、特定の属性スタイルを使用するように求められた場合、その状態を誘発できる武器を選択し、その後、その状態が持続している間にダメージを最大化するために、より強力な武器に切り替えるといった動作を行います。
• 合成可能性: エージェントは、訓練シナリオ中にそのような特定の組み合わせを100万回に1回未満しか見ていない場合でも、組み合わせたスタイル（例：特定の武器 ＋ 特定の属性）を正常に実行できました。
• 汎化性能: エージェントは、訓練セットに存在しない未知の（OOD）敵やシナリオ（例：空飛ぶ敵）に対しても高いパフォーマンスを維持しました。
• トレードオフ制御: パレート曲線により、ユーザーは実行時にスタイル重みのパラメータを調整して、「スタイルスコア」と勝率のバランスを制御できることが示されました。これにより、エージェントのリスクを取る行動に対する柔軟な制御が可能になります。

ヒューマノイド (DMC)

• エージェントは、離散的な腕のポーズと連続的な歩幅の制御を正常に合成しました。スタイルパラメータ $\theta$ は、腕のポーズがロボットの重心やバランスに影響を与えるにもかかわらず、歩幅のセットポイントとして効果的に機能しました。

重要性と主張

本論文は、スタイル条件付きUVFAを適切な学習アルゴリズムおよびトレーニング戦略と組み合わせることで、複雑なリアルタイムタスクを成功させつつ、コマンドによって変更可能なエージェントを生み出せることを主張しています。

• ゲームへの影響: この技術は、品質保証（QA）プロセスの向上、NPCの高度化、およびプレイヤーの好みのプレイスタイルに従ってエージェントがゲームの難所を引き受けるといった、新しいアクセシビリティ機能など、ビデオゲーム業界への即時的な応用を提供します。
• ロボティクスへの影響: 汎用ロボットが現実世界の環境に導入されるにつれ、このアプローチは、目標修飾子を通じてユーザーがロボットの振る舞いを形成するメカニズムを提供します。これにより、ロボットが様々な「華やかさ」や特定の制約（例：静かに掃除する vs 素早く掃除する）を持ってタスクを実行できるようになります。
• 行動のエンコーディング: 単一の行動を学習する標準的なRLエージェントとは異なり、コーチング可能なエージェントは「一連の振る舞いのファミリー」をエンコードしており、人間の意図と機械の実行との間の柔軟なインターフェースを提供します。

著者らは、このフレームワークにおける努力の大部分は、単なるアルゴリズムのアーキテクチャではなく、インセンティブと練習シナリオ（すなわち「コーチング」）を作成することにあると強調しており、訓練環境のデザインが複雑なドメインへのスケールアップにおいて極めて重要であることを示唆しています。