Probabilistic Recurrent Intention Switching Model

技術的概要：確率的再帰的意図スイッチングモデル（PRISM）

問題定義
標準的な逆強化学習（IRL）は、エージェントの行動を単一の定常な報酬関数が駆動すると仮定している。しかし、現実世界のエージェント（例えば、迷路を移動するマウスなどの生物、または遠隔操作ロボットなどの人工エージェント）は、単一のエピソード内で明確な目標や戦略の間を頻繁に切り替える。既存の多意図 IRL 手法は、これらの切り替えを効果的にモデル化することに苦慮している：

• 動的 IRL（DIRL） は、滑らかで連続的な報酬変動を仮定しており、離散的な戦略の切り替えに関する証拠と矛盾し、計算コストの高い推論（$T$ 回のベルマン方程式の求解）を必要とする。
• 階層的逆 Q 学習（HIQL） は、意図の遷移をメモリーレスなマルコフ連鎖としてモデル化するが、疲労や満腹感などの要因に起因する履歴依存型の切り替えを捉えられない。また、バウム・ウェルチアルゴリズムに起因し、推論の計算量が $O(nK^2)$ と悪化する。
• SWIRL は状態拡張を通じて履歴を取り込むが、これにより状態空間が指数関数的に爆発（$|S|^L$）し、実用的な履歴長の制限を招く。

したがって、既存のどの手法も、解釈可能な離散的意図を回復しつつ、大規模な非マルコフ環境に自然に拡張することはできない。

手法：PRISM
著者らは、固定された遷移モデルと手動による状態拡張を軽量な再帰型ニューラルネットワーク（RNN）に置き換えるフレームワークである**確率的再帰的意図スイッチングモデル（PRISM）**を提案する。

1. モデルアーキテクチャ：

   • 潜在意図 MDP（HI-MDP）： 環境は、潜在意図空間 $Z = \{1, \dots, K\}$ を持つ MDP としてモデル化される。
   • 再帰的ゲーティング： 関数 $f_\theta$（RNN、LSTM、またはトランスフォーマー）が観測履歴 $\phi_{1:t}$ を各タイムステップにおける意図のソフト確率分布にマッピングする。これにより、明示的な状態拡張なしに、複雑で履歴依存型の切り替えメカニズムをモデル化できる。
   • 意図別報酬： 各意図 $k$ は特定の報酬関数 $r_k$ と関連付けられる。意図 $k$ における専門家の方針は、$r_k$ から導出されるボルツマン最適方針であると仮定される。

2. 推論と最適化：

   • EM 分解： 著者らは、PRISM に対する期待値最大化（EM）目的関数が、変分近似を必要とせず、完全に独立した部分問題に分解されることを証明する。
     • E ステップ： 各タイムステップに対する事後責任 $P(z_t=k | \xi, \psi, \Theta)$ を計算する。事後確率の因数分解により、このステップは軌道あたり $O(nK)$で線形にスケーリングし、マルコフ連鎖ベースの手法の$O(nK^2)$ というコストから大幅に改善される。
     • M ステップ：
       • 報酬更新： 各報酬関数 $r_k$ は、閉形式で重み付けされた逆行動価値反復（IAVI）問題を解くことにより、独立して更新される。
       • ネットワーク更新： ゲーティングネットワークのパラメータ $\theta$ は、割り当てられた意図の尤度を最大化するように勾配降下法で更新され、$\ell_1$ 正則化（スパースな切り替えを促進）および KL 発散（滑らかな遷移を促進）によって正則化される。

3. 学習目的関数：
   損失関数は、意図割り当ての負の対数尤度と、必要に応じて切り替え能力を維持しつつ不規則な切り替えを防ぐための時間的滑らかさのペナルティを組み合わせる。

主要な貢献

1. PRISM フレームワーク： 再帰型ネットワークを用いて意図ダイナミクスをモデル化する新しい多意図 IRL 手法であり、手動による状態拡張なしに履歴依存型の切り替えのエンドツーエンド学習を可能にする。
2. 理論的保証： EM 目的関数が独立した意図別報酬部分問題に完全に分解され、IAVI を通じて閉形式で解けることを証明した。
3. 計算効率： 事後確率の因数分解により達成された $O(nK)$ の E ステップは、マルコフベースのアプローチで用いられるフォワード・バックワードアルゴリズムの二次的な複雑さを回避する。
4. 初の大規模ロボット応用： 高次元の視覚観測を伴う人間による遠隔操作ロボット操作タスクの大規模データセット「BridgeData V2」への多意図 IRL の適用。これにより、神経科学を超えてこの手法が一般化できることを示した。
5. 解釈可能性： 3 つの異なるドメインにわたるラベルなしデモンストレーションから、命名可能で時間的に一貫した意図と報酬マップを回復した。

実験結果
PRISM は、複雑さが増す 3 つのデータセットで評価された：

1. フラストレーショングリッドワールド（非マルコフ性の検証）：

   • 設定： エージェントが隠れた「フラストレーションカウンター」（厳密な非マルコフ状態）に基づいて戦略を切り替える制御環境。
   • 結果： PRISM は、HIQL、IAVI、MaxEnt IRL と比較して、最高のテスト対数尤度と最低の期待値の差を達成した。重要なのは、PRISM が蓄積するフラストレーションを正常に追跡し、意図を鋭く切り替えたのに対し、メモリーレスな HIQL は切り替えの累積的な性質を捉えられなかったことである。

2. マウス迷路（生物データ）：

   • 設定： 127 ノードの迷路を移動する水制限マウスの実世界データ。
   • 結果： PRISM は、テスト対数尤度において SWIRL や他のベースラインを上回った。これは、水探索、帰巣、探索という 3 つの明確で解釈可能な意図を回復した。回復された報酬マップとセグメンテーション境界は、既知の生物的駆動力や行動イベント（例えば、給水ポートへの訪問）と一致していた。

3. BridgeData V2（ロボット操作）：

   • 設定： 高次元の視覚観測を伴う人間による遠隔操作ロボット操作タスクの大規模データセット。
   • 結果： 意図に関するいかなる監督や事前知識もなしに、PRISM は 4 つの時間的に一貫した操作フェーズを発見した：接近/離脱、把持、運搬、待機。この手法はベースラインよりも高い保持外対数尤度を達成し、離散的な意図の切り替えが、生物および人工エージェントの目的指向行動における一般的な性質であることを示した。

意義と主張
本論文は、PRISM が逐次行動における潜在目標を回復するための、スケーラブルかつ理論的根拠のある解決策を提供すると主張している。EM 目的関数が完全に分解されることを証明することで、著者らは、複雑な履歴依存型の切り替えを、閉形式での報酬回復の計算的実行可能性を犠牲にすることなくモデル化できることを示している。

その意義は、以下の点にある：

• 離散的な目標の切り替えは、生物および人工エージェントの両方に広く存在する。
• 履歴依存型の切り替え（非マルコフ的ダイナミクス）は、手動による特徴設計や状態拡張なしにエンドツーエンドで学習可能である。
• 回復された報酬マップは、複雑なデモンストレーションの背後にある潜在目標を理解するための構造化された解釈可能なレンズを提供し、単純な方針模倣を超えて、エージェントが特定の瞬間に行動する「理由」を理解することを可能にする。

著者らは、現在の依存関係（視覚データに対する離散化を必要とする離散 MDP への依存）とオフライン動作という限界を認めている。将来の研究としては、モデルフリー拡張（IAVI をモデルフリー逆 Q 学習に置き換える）や、リアルタイム意図監視のためのオンライン拡張の探求が提案されている。