Emotion in an active inference model of human driving

技術要約：能動的推論モデルにおける人間の運転中の感情

問題提起
能動的推論（Active Inference）は、目標指向の行動と不確実性の減少のバランスを取ることで、適応的な行動をモデル化するための原理的な枠組みとして台頭している。これは、車の追従、車線維持、衝突回避などの人間の運転シナリオに成功裏に適用されてきたが、既存のモデルの多くは、人間の意思決定の決定要因である情動状態（感情）を軽視している。感情を能動的推論に統合しようとするこれまでの試みは、複雑な交通シナリオで必要とされる現実的なプランニング能力を欠いた、簡略化された離散的な状態空間の「トイ・プロブレム（玩具的な問題）」に限定されていた。複雑な交通シナリオにおいて、マルチステップのポリシー・プランニングを考慮した連続的な状態空間モデルへと、これらの感情モデリング能力を拡張する必要がある。

手法
著者らは、ラッセルの円環モデル（バレンスと覚醒）に基づくドライバーの感情モデルを組み込むために、既存の人間による衝突回避の能動的推論モデル（Schumann et al.）を拡張した。コアとなるフレームワークは以下の通りである：

1. 生成モデル: エージェントは、外部の生成プロセスを近似するために、粒子フィルタを介して環境に関する確率的信念 $q(s)$ を保持する。遷移モデルは、運動学的尤度（自転車モデル）と規範的尤度（交通規則への遵守）を組み合わせる。
2. ポリシー選択: エージェントは、期待自由エネルギー（EFE）を最小化することにより、候補となるポリシー $\pi_t$ （ホライゾン $H$ にわたる行動のシーケンス）を評価する。EFEは、実用的価値（好ましい結果の達成）と認識的価値（不確実性の減少）のバランスを取る。
3. 感情の定式化:
   • バレンス（価：Valence, $V$）: 実際の実用的価値と期待される実用的価値の差として定義される。これを連続的な時間とマルチステップ・プランニングに適応させるため、著者らは以下を提案する：
     • 周波数依存性をなくすために、タイムステップ $\Delta t$ で除算する。
     • 確率的なポリシー選択に対する安定性を確保するため、期待値 ($V(E)$) を、過去 $N=5$ 個のポリシーにおける予測された状態の平均として計算する。
     • 実際の値 ($V(A)$) は、反事実的なものではなく、現在の参照ポリシー（現在実行中のもの）に基づいて計算し、進行中の有機体と環境の相互作用を反映させる。
     • $V_t = V(A)_t - V(E)_t$ である。
   • 覚醒（喚起：Arousal, $A$）: エージェントの後験的信念のエントロピーとして定義される。著者らは、生の運動学的不確実性を用いることは直感的ではない（例：遠方のエージェントは高い不確地／覚醒を誘発する一方で、差し迫った衝突は精密なトラッキングにより低い不確実性を誘発する可能性がある）と主張し、覚醒を意味のある抽象的な状態、すなわち衝突確率（$p_{coll}$）の不確実性にマッピングする。
     • $p_{coll}$ は、予測ホライゾンにおける衝突確率の期待最大値であり、バイナリ衝突分類器から導出される。
     • 覚醒は、この衝突確率の二値エントロピーとして計算される：$A_t = -[p_{coll} \ln(p_{coll}) + (1-p_{coll}) \ln(1-p_{coll})]$。

主な貢献

• 連続状態への拡張: 本論文は、Pattisapuらによる離散状態の感情定式化を、運転の連続的な状態空間能動的推論モデルへと一般化した。
• 未来志向の評価: 提案された定式化は、現在の状態だけでなく、予測される将来の結果（マルチステップ・ホライゾンにわたる）にも条件付けられており、これは感情の評価理論（Appraisal Theory）と一致している。
• 安定したバレンス推定: 複数の過去のポリシーにわたって期待値を平均化することで、確率的なポリシー選択による変動を抑え、より安定した情動信号を実現している。
• 意味論的覚醒: 著者らは、低レベルの運動学的不確実性ではなく、高レベルのセマンティックな状態（衝突の可能性）の不確実性から覚醒を導出する方法を導入し、遠方の脅威とならないエージェントに対する非合理的な覚醒反応を回避している。

結果
本アプローチは、それぞれ128回のシミュレーションを含む2つのインタラクティブな運転シナリオ（側方侵入シナリオおよび優先権違反を伴う交差点シナリオ）で評価された。エージェントは、遵守的なエージェントまたは非遵守的（敵対的）なエージェントと相互作用した。

• 側方侵入:
  • 遵守的エージェント: 衝突確率の上昇に伴い覚醒が初期に上昇したが、相手のエージェントが良行を示したことで減少した。実用的価値が改善したため、バレンスは正となった。
  • 非遵守的エージェント: 他方のエージェントが規範に違反すると、モデル化されたエージェントは信頼を失い、不確実性（覚醒）の増大と負のバレンスを招いた。エージェントは衝突回避に成功し、その結果、覚醒の低下とバレンスの上昇が見られた。
• 交差点:
  • 遵守的エージェント: 他方のエージェントが譲歩したため、感情は中立的／冷静な状態を維持した。
  • 非遵守的エージェント: 他方のエージェントが交通ルールを無視したため、エージェントは負のバレンスと覚醒の増大を経験した。回避に成功した場合、エージェントは譲歩し、安堵（正のバレンス）へと至った。衝突が発生した場合、覚醒は衝突が回避不可能になった時（結果の確実性）にのみ減少した。また、回避した場合よりもバレンスは低いままであった。
• 円環モデルへのマッピング: 円環モデルにマッピングした際、エージェントの感情状態は人間のパターンと一致した。規範違反は怒り（負のバレンス、高い覚醒）を誘発し、回避の成功はリラクゼーションへと導いた。衝突の結果は、悲しみから抑うつへと遷移した。

意義と主張
本論文は、能動的推論が人間の運転行動の情動的構成要素をモデル化するための実行可能かつ原理的な枠組みであることを主張している。主な意義は以下の通りである：

1. メカニズムの解釈可能性: モデルは、感情状態がいかに認知プロセス（例：期待される結果からの逸脱が負のバレンスを誘発する、規範違反の不確実性が覚醒を誘発するなど）から生じるかについて、構造的な説明を提供する。
2. 評価理論との整合性: 結果は、情動反応が予測される結果や社会的／規範的な期待の違反によって駆動されるという評価理論を支持している。
3. 統一された枠組み: 本研究は、知覚、行動、および感情の統一的な説明としての能動的推論の観点を支持しており、情動状態が行動モデリングに使用されるものと同じ生成フレームワークから推論可能であることを示している。

限界
著者らは以下の限界を挙げている：

• 本モデルは短期的な予測誤差を捉えるが、より高次または長期的な期待（例：渋滞中のドライバーは、短期的な予測が安定していても依然として負のバレンスを感じる可能性がある）については考慮していない。
• 評価はシミュレーションに限定されており、人間のデータ（表情など）との直接的な比較は行われていない。
• モデルは一方向的（行動が感情に影響を与える）であり、感情がどのように行動を変調させるか（例：怒りがリスクテイクを増大させるなど）については、まだ考慮されていない。