技術概要：影響力に基づくチーム・ステアリング（IBTS）

1. 問題提起

本論文は、ゼロショット協調（ZSC）環境における人間・機械チーム（HMT）のスケーラビリティの限界に焦点を当てています。データ駆動型の HMT 手法は高コストな人間との相互作用データに依存するのに対し、ZSC は多様なパートナー集団をシミュレートすることで、見知らぬパートナーと協力するエージェントの訓練を試みます。しかし、著者らは、チーム規模が拡大する（例えば、2 人組から 3 人組へ移行する）につれ、コミュニケーションが低下する中で、パートナーの多様性だけでは不十分であると主張しています。

標準的な集団ベースの手法（FCP、MEP、GAMMA など）は、しばしば堅牢だが静的な一般化ポリシーに収束します。これらのポリシーは、特に中間ステップが即座に報酬を与えられないスパースな報酬や長い相互作用チェーンを伴う環境において、効果的で高パフォーマンスな協調パターンを維持することに失敗します。核心的な課題は、網羅的な人間データの網羅なしに、生産的な協調構造を特定し、強化することです。

2. 手法：影響力に基づくチーム・ステアリング（IBTS）

著者らは、パートナーの多様性を学習された協調ガイダンスで補強する 3 段階のフレームワークであるIBTSを提案します。このフレームワークは、**分散部分観測マルコフ決定過程（Dec-POMDP）**の定式化内で動作します。

ステージ 1：多様なチームプールの構築

目的は、多様かつ高パフォーマンスなチームのプールを生成することです。これは、中央集権的トレーニングと分散実行（CTDE）の目的関数（具体的には PPO/MAPPO を使用）を 2 つの内発的報酬項で修正することで達成されます。

1. インフルエンス・シェイピング（影響力形成）： 支援的な行動を促すため、チームメイトが「顕著な」フォローアップ行動を行う確率を高める行動に報酬を与えます。
   • 顕著な行動 $a^*_t$ は、協調状態の特徴（位置、物体の所持など）に最大の変化をもたらす行動として定義されます。
   • 指向性インフルエンス報酬（$r^{inf}_{i,t}$）は、観察のみに基づいてチームメイトのフォローアップを予測するベースライン予測器と、エージェント $i$ の行動を条件としたインフルエンス条件付き予測器を比較することで計算されます。
   • 報酬は非負の差分であり、エージェント $i$ が、効果が遅延する場合でも（短期イベントラベル $K$ を通じて捕捉される）、チームメイトのフォローアップをより確実なものにする行動を取ることを促します。
2. 行動の多様性： 集団が単一の慣習に崩壊するのを防ぐため、多様性項（$r^{div}_{i,t}$）が追加されます。これは、現在の集団の平均行動分布の下で確率が低い行動に報酬を与え、チームプール全体で異なる協調スタイルを促します。

ステージ 2：軌道条件付きチーム予測器

構築されたチームプールからのロールアウト履歴に基づいて、トランスフォーマーベースの予測器が訓練されます。

• 入力： 軌道履歴 $h_t$（エージェントの位置、向き、保持している物体、行動）。
• 出力： 協調埋め込み $c_t$ と、プール内の $M$ 個のチームにわたる分布 $p_t$。
• 目的： 予測器は、最近の相互作用軌道を、それらを生成した特定の協調スタイル（チームのアイデンティティ）にマッピングすることを学習します。これにより、システムはリアルタイムで現在の相互作用の「モード」を認識できます。

ステージ 3：チーム・ステアリング

このステージでは、学習された協調構造を用いて展開可能な最適応答ポリシーを訓練します。

1. 軌道品質ステアリング： 歴史的なチームプールを評価して、各チームに品質スコア $S(m)$ を割り当てます。ステアリング報酬（$r^{steer}_t$）は、現在の軌道がより高品質な歴史的モードへ向かっているかどうかに基づいて定義されます。
   • $r^{steer}_t = \max(Q(h_{t+\Delta}) - Q(h_t), 0)$、ここで $Q$ は現在の軌道の品質重み付きスコアです。
   • この報酬は、ポリシーが進行中の相互作用を、以前に学習されたより強力な協調パターンへと誘導することをガイドします。
2. 共有学生蒸留： ステアリングプロセスは、特定のエージェントインデックスに対して凍結されたパートナーに対して訓練された専門的な「教師」ポリシーを生成するため、オフラインの蒸留ステップにより、これらを単一の共有学生ポリシーに統合します。学生は、教師の行動のプールデータセットに対する行動模倣を通じて訓練され、チーム内の任意の位置に対して一般的な最適応答エージェントとして機能できるようにします。

3. 主要な貢献

1. IBTS フレームワーク： パートナーの多様性と学習されたチームパフォーマンス構造を結合するフレームワークの導入。支援的なパターンを発見するためにインフルエンス・シェイピングを利用し、それらを強化するために予測器ガイド型のステアリングを利用します。
2. スケーリングされた HMT への拡張： 3 エージェントレイアウトへの Overcooked-AI 評価の拡張と、パートナースタイルの変動に対する堅牢性をテストするための、パーソナリティ条件付き合成 AI プロトコルの開発。
3. 人間研究とデータセット： 1 人間 -1 機械および2 人間 -1 機械の両方の設定で IBTS を評価する 30 名の参加者による人間研究。著者らは、これらの協力から得られた 90 の軌道のデータセットを公開しており、これは 2 人間 -1 AI の Overcooked-AI 研究において初の試みです。

4. 実験結果

評価は、Overcooked-AIの 3 つのレイアウト（強制協調（FC）、パイプライン（PL）、非対称優位（AA））で行われました。

• 分布内シミュレーション評価： IBTS は、特にスパースな報酬により協調が困難な**パイプライン（PL）**レイアウトにおいて、強力なベースライン（MAPPO-SP、FCP、MEP、GAMMA）を大幅に上回りました。
  • 2 エージェント PL において、IBTS は MEP よりも**+16.5%**改善しました。
  • 3 エージェント PL において、IBTS は MEP よりも**+17.1%**改善しました。
  • 報酬が密な設定（例：非対称優位）では、IBTS は最良のベースラインと競争力のある性能を維持しました。
• 合成 LLM パートナー評価： IBTS は、協調的、外向的、神経症的なパーソナリティを条件とした GPT-5-mini パートナーに対してテストされました。
  • IBTS は、18 のテスト設定すべてで FCP を上回り、18 のうち 13 で MEP を上回りました。
  • 平均スコアは186.9で、MEP（133.7）や FCP（110.6）よりも有意に高くなりました。
  • 最大の改善はパイプラインレイアウトで観察され、長い相互作用チェーンにおける有効性を示しています。
• 人間研究：
  • 1 人間 -1 機械条件において、IBTS はパイプラインレイアウトで MEP および GAMMA を有意に上回りました。
  • 2 人間 -1 機械条件において、IBTS は強制協調レイアウトで両方のベースラインを有意に上回りました。
  • 事後の質問紙調査では、人間チームメイトが最も高い信頼性を評価されましたが、IBTS は他の学習ベースラインと比較して全体的に好意的に認識されており、パフォーマンスの向上が主観的なチームメイトの質の犠牲を伴うものではなかったことを示唆しています。

5. 意義と主張

本論文は、スケーラブルな ZSC に対してパートナーのカバレッジだけでは不十分であると主張しています。代わりに、成功する協調には、多様性と、転用可能な協調構造を特定し強化するメカニズムを組み合わせることが必要です。

• 設計原則： 著者らは、機械は単に多様なパートナーを許容するように訓練されるのではなく、生産的な協調パターンが出現するにつれてそれを認識し強化することを学習すべきであると提案しています。
• スパース報酬への対応： IBTS は、標準的なタスク報酬が学習を導くのに不十分なスパース報酬環境において、有用な中間協調ステップを発見するためにインフルエンス・シェイピングが重要であることを実証しています。
• スケーラビリティ： このフレームワークは、2 エージェント（双対）からグループ（3 エージェント）の設定へ成功裡に転移しており、機械が個人の好みと出現する人間 - 人間ダイナミクスの両方に適応しなければならない、より現実的な人間 - グループ協調への道筋を示唆しています。

著者によって認められた限界：

• IBTS は学習されたチームパフォーマンス構造の品質に依存しており、埋め込み空間に人間が好む行動が含まれていない場合、ステアリングはそれらを回復できません。
• 対 pairwise インフルエンス定式化は、非常に大規模なチームに対してスケーラビリティコストを伴います。
• 人間研究の規模は限られており、パフォーマンスの向上にもかかわらず、人間と機械のチームメイト間の主観的な信頼の格差は残存しました。