技術的概要：階層的行動の解離による適応型人間-AI 協調

問題定義

マルチエージェント強化学習（MARL）において、人間のパートナーと効果的に協働できる知的エージェントを開発することは、依然として重大な課題です。敵対的な環境では成功が相手を上回ることで定義されるのに対し、協働においては、エージェントは多様で予測不可能な行動、異なるスキルレベル、そして個々の好みを持つパートナーに適応する必要があります。

既存のアプローチは以下の決定的な限界に直面しています：

• 行動クローニング（BC）： 特定のデモンストレーションに対しては効果的ですが、データ集約的であり、訓練データを超えて一般化することが困難です。
• 深層階層強化学習（DHRL）： DHRL はタスクを高レベルのスキルと低レベルの行動に分解することで時間的抽象化を提供しますが、現在のスキル発見手法はしばしばスキルの崩壊（複数のスキルが類似した行動に収束する現象）に悩まされたり、意味のあるパートナー関連のパターンではなくノイズを捉える冗長なスキルを学習したりします。
• パートナー意識の欠如： 多くの内在的報酬メカニズムは、エージェント自身の探索や状態分布に基づいて多様性を促進しますが、相互作用のダイナミクスやパートナー依存の行動を明示的にモデル化できていません。その結果、エージェントは訓練パートナーに過剰適合し、異なる協調スタイルを持つ新規パートナーへの一般化に失敗することが多いです。

手法：内在的行動解離（IAD）

著者は、高レベルの潜在スキルに条件付けられた、明確でパートナーを認識した低レベルの行動シーケンスを学習するために設計された、二層構造の深層階層強化学習フレームワークである**内在的行動解離（IAD）**を提案します。

フレームワークアーキテクチャ

このシステムは、階層的方策 $\pi_\theta = (\pi_{hi}, \pi_{lo}, \beta)$ に基づいて動作します：

1. 高レベルマネージャー（$\pi_{hi}$）： パートナーの行動の時間的拡張パターンを観察し、潜在スキル $z \in \mathcal{Z}$ を選択します。これは逐次的依存関係を捉えるために再帰型ネットワークとして実装されています。
2. 低レベルコントローラー（$\pi_{lo}$）： 選択されたスキル $z$ に条件付けられた、原子行動のシーケンスを実行します。
3. 終了関数（$\beta$）： 現在のスキルがいつ終了すべきかを決定する確率的関数であり、協調コンテキストに基づいて適応的な切り替えを可能にします。

中核的イノベーション：内在的行動解離

IAD の中心的な貢献は、異なるスキル間での行動分布の解離を明示的に促進するために低レベル方策に適用される、新規の内在的報酬です。

• 目的： 低レベル方策は、各潜在スキル $z$ がエージェント中心の変動ではなく、パートナーの協調パターンを反映する明確で予測可能な行動シーケンスを生成することを保証するように正則化されます。
• 内在的報酬の定式化： 内在的報酬 $r^{IAD}$ は、スキル条件付き行動分布と周辺行動分布との間のカルバック・ライブラー（KL）ダイバージェンスとして定義されます：
  $$r^{IAD}(s_t, a_t, z_k) = \text{KL}(\pi_{lo}(\cdot | s_t, z_k) \parallel \pi_{lo}(\cdot | s_t))$$
  ここで、$\pi_{lo}(a | s) = \sum_{z \in \mathcal{Z}} \pi_{hi}(z | s) \pi_{lo}(a | s, z)$ です。
• 学習ダイナミクス：
  • 低レベル目的： 外部チーム報酬と内在的解離報酬の組み合わせを最大化します。これにより、スキルは再利用可能でパートナー固有の協調パターンを学習します。
  • 高レベル目的： スキルセグメントにわたる累積的な外部チーム報酬を最大化し、構造化された低レベル行動を活用して、現在のパートナーのダイナミクスに対して最も効果的なスキルを選択します。
  • 最適化： 階層全体は、近接方策最適化（PPO）を用いてエンドツーエンドで訓練されます。終了関数 $\beta$ は、スキルがパフォーマンスを最大化するために適切に終了することを保証するため、同じ高レベルの優位性シグナルを用いて最適化されます。

主要な貢献

1. IAD フレームワーク： 多様な協調スタイルとスキルレベルを持つ、以前に遭遇したことのないパートナーに適応し、協調タスクにおいて堅牢な協調を達成する、新規な二層構造 DHRL フレームワーク。
2. 内在的解離報酬： 低レベル方策に対する特定の報酬メカニズムであり、スキル間での原子行動シーケンスの解離を明示的に促進します。これによりスキルの崩壊を防ぎ、各高レベルスキルを明確でパートナーに関連する行動パターンと整合させます。
3. 包括的評価： Overcooked-AI環境における 5 つのレイアウトでの広範な実験により、以下の一般化をテストしました：
   • 異なるスキルレベルを持つ大規模な自己対戦パートナー集団。
   • 実際の人間対人間の軌跡に基づいて訓練された行動クローニング型人間代理モデル。
   • 制御されたユーザー調査における実際の人間のパートナー。

実験結果

著者は、IAD を強力なベースラインであるフィクション的共プレイ（FCP）、DIAYN、および**階層集団訓練（HiPT）**と比較評価しました。

• 自己対戦パートナー： IAD はすべてのレイアウトで最も高い平均リターンを達成しました（例：Cramped Room では 172.96、FCP は 137.7、HiPT は 117.9）。これは DIAYN が無関係な状態変動への感度により苦労し、HiPT/FCP が構造化された低レベルスキルの欠如により一貫性のないパフォーマンスを示したのに対し、IAD はより速い収束と安定したパフォーマンスを示しました。
• 人間代理パートナー： BC 訓練された人間代理とペアになった場合、IAD は再びすべてのベースラインを上回りました（例：Cramped Room では 148.76、FCP は 118.75）。有限の人間データという限界にもかかわらず、人間のような行動への一般化能力を示しました。
• 実際の人間パートナー： 24 人の有効な参加者によるユーザー調査において、IAD はすべてのレイアウトで HiPT よりも有意に高い共同報酬を達成し、改善幅は**22% から 47%**でした。
• 定性的分析： シーケンス埋め込みの UMAP 投影は、IAD が異なるスキルに対してコンパクトで明確に分離されたクラスターを生成することを明らかにしました。これは、スキル内の高い一貫性と、スキル間の明確な解離を示しています。軌跡の可視化は、特定のスキルが一貫して異なる人間の部分軌跡（例：異なる皿取り戦略、または時計回り対反時計回りの協調）と整合することを確認しました。

意義と主張

本論文は、IAD がエージェント中心の多様性の促進だけでなく、相互作用のダイナミクスを明示的にモデル化することで、既存の階層手法における重要なギャップを埋めていると主張しています。パートナーの行動に基づいて行動分布を解離させることで、IAD はエージェントが以下を実現することを可能にします：

• 分布のシフトに対して堅牢な、再利用可能で構造化されたスキル条件付き行動を学習する。
• 特定の訓練インスタンスに過剰適合することなく、多様なパートナーに効果的に適応する。
• 模擬された人間代理と実際の人間参加者の両方での優れたパフォーマンスに示されるように、現実世界の人間-AI シナリオにおいて信頼性の高い協調を達成する。

著者は、彼らのアプローチが、高レベルの意思決定が明確でパートナーを認識した低レベルの実行パターンに基づいて行われることを保証する、人間-AI 協調の時間的複雑さを処理するための原理的な方法を提供すると結論付けています。