$\texttt{Flip-Team}$: Cooperative Takeover Games with Stochastic Human Override

技術要約：Flip-Team：確率的な人間によるオーバーライドを伴う協調的テイクオーバー・ゲーム

問題提起
自動運転や支援ロボティクスなどの領域で極めて重要な共有自律システムには、人間と自律エージェント間の制御転送に関する原理的なメカニラズムが必要である。既存のアプローチの多くは、制御のブレンディング（混合）やヒューリスティックな切り替えルールに依存しており、これらは理論的な保証を欠き、権限移譲のダイナミクスを考慮できていない。さらに、現在のフレームワークの多くは対称的な役割を想定しているか、あるいは人間の効用に関する完全な知識を必要とするが、これは現実的ではない。特定のギャップとして、人間が非対称な「オーバーライド（介入）」能力（エージェントが制御中であっても介入できる能力）を保持し、かつ確率的な条件下にある場合の権限切り替えのモデリングが存在する。この際、両エージェントは共通のミッション目標を追求する。本論文は、アドホックなルールや継続的な人間の関与に頼ることなく、最適な切り替えポリシーを決定する協調的フレームワークの必要性に対処するものである。

手法
著者らは、同一目的動的ゲームとして定式化された協調的ゲーム理論フレームワークであるFlip-Teamを提案する。核心となる革新性は、切り替えの決定を外部の仲裁メカニズムとして扱うのではなく、システムダイナミクスの中に直接組み込んでいる点にある。

1. ゲームの定式化:

   • 状態空間: システム状態 $x_k$ は、人間による制御（$\alpha_k = H$）または自律制御（$\alpha_k = A$）の下で進化する。
   • FlipDyn状態: 離散状態 $\alpha_k$ は、誰が権限を保持しているかを追跡する。遷移は、エージェントのアクション（「アイドル（維持）」または「テイクオーバー／リクエスト」）によって制御される。
   • 確率的オーバーライド: 主要な特徴は、確率的な人間によるオーバーライドである。自律エージェントが制御中（$\alpha_k = A$）であり、かつ人間が介入を試みている（$\pi^H_k = 1$）が、エージェントがハンドオフを要求していない場合、テイクオーバーは確率 $p_k$ で成功する。これは、インターフェースのレイテンシや、人間の権限は優越しているものの保証はされない仲裁メカニズムを捉えている。
   • コスト関数: エージェントは、状態コスト（追従誤差、エネルギー）とテイクオーバーコスト（認知負荷、遷移リスク）からなる総コスト $J$ を共同で最小化する。コストは非対称（$g^H \neq g^A, h \neq a$）であり、これは制御の有効性や切り替えの負担が異なることを反映している。

2. 一般システムの解析:

   • 問題は動的計画法を用いて解かれる。著者らは、両方のFlipDyn状態（$H$ および $A$）に対する価値関数とコスト・トゥ・ゴー（将来コスト）行列を定義する。
   • 定理1は、純粋戦略におけるチーム最適の切り替えポリシーの存在を確立する。これは、テイクオーバーコストとオーバーライド確率 $p_k$ によってスケールされた、将来の価値関数の差（$\tilde{v}_{k+1} = v^A_{k+1} - v^H_{k+1}$）に基づく、権限移譲の明示的な閾値条件を導出する。

3. 線形二次（LQ）拡張:

   • 線形システムかつ二次コストの場合、著者らは系（Corollary）1を導出し、最適な切り替えポリシーと価値関数パラメータ（$P^H_k, P^A_k$）の閉形式の再帰式を提供する。
   • 極めて重要なことに、この定式化により、スカラー値の場合には切り替え閾値をオフラインで計算可能であり、連続的な状態 $x$ に依存しないようにできる（多次元の場合は、状態を通じて二次形式に依存する）。これにより、連続的な状態空間の濃度に依存しない計算効率が確保される。

主要な貢献

1. 協調的テイクオーバーの定式化: 本論文は、人間と自律性のテイクオーバー問題を、切り替えの決定がシステムダイナミクスに組み込まれた同一目的動的ゲームとして定式化している。この統一されたフレームワークは、非対称な権限、確率的な人間によるオーバーライド、および状態依存のコストを捉えている。
2. 最適切り替えの特性評価: 著者らは、チーム最適のポリシーの存在を確立し、それらを明示的な閾値条件によって特性化している。これらの条件は、将来のコスト差と、切り替えに伴う確率的なコストとのトレードオフに基づいて、権限がいつ移転するかを決定する。
3. LQシステムに対する解析解: LQシステムに対して、最適なポリシーと価値関数の閉形式の再帰式を導出している。これにより、連続的な状態空間における協調的テイクオーバー戦略の効率的な計算が可能となり、切り替え閾値は（スカラーの場合には）連続的な状態に依存せず、（多次元の場合には）行列不等式によって定義される。

結果
フレームワークは、スカラーおよび多次元線形システムを用いて検証された：

• スカラーLTIシステム: 有限ホライゾン（$L=40$）におけるシミュレーションにより、切り替え挙動がオーバーライド確率 $p$ に対して非常に敏感であることが示された。臨界閾値 $p^* = H/(H+A)$ が特定された。この値を下回ると、一方的な人間によるオーバーライドは決して最適にならない。$p$ が増加するにつれて、最適なオーバーライドの頻度が増加し、中間領域において非単調なポリシー進化を示す。
• 車両の横方向制御（2D）: 2Dの車両レーン追従タスクにおいて、Flip-Teamポリシーは「常に自律」というベースラインと比較して最悪コストを**18.65%**削減し、固定間隔の切り替え戦略を上回った。
• 状態の次元数: 結果は、スカラーシステムと多次元システムにおける根本的な構造的違いを浮き彫りにした。スカラーシステムでは、切り替えは状態に依存しない。高次元システムでは、切り替え条件は行列不等式（$\tilde{P}_{k+1} \succeq H/p$）を含み、これはオーバーライドが、価値差行列の特定の固有ベクトルに沿った状態に対しては最適であるが、他の状態に対してはそうではない可能性があることを意味する。

意義と主張
本論文は、共有自律を協調的ゲーム理論に根ざすことが、ヒューリスティックなブレンディングや仲裁に代わる原理的な選択肢を提供することを主張している。人間と自律性を、共通の目的を持ちつつも異なる役割を持つ統一された一つのチームとして扱うことで、Flip-Teamは、システムダイナミクス、コスト構造、および人間による介入の信頼性に適応する最適な切り替えポリシーを生み出す。このフレームワークは、人間の適応性と自律的な効率性の間のトレードオフを明示的に扱っている。

著者らは制限事項についても述べている。本フレームワークは、同一の利益（一致した目的）を仮定しており、オーバーライド確率が既知であることを前提としている（展開時には推定が必要となる）。また、閉形式の結果はLQシステムに限定されている。今後の課題として、プライベート情報を伴うベイジアンゲームへの拡張、オーバーライド確率のオンライン学習、およびヒューマン・イン・ザ・ループ実験による物理的な検証が提案されている。