論文技術要約：ハミルトン・ヤコビ到達性解析と強化学習を用いた自転車との安全な相互作用

1. 問題定義 (Problem Formulation)

自律走行車（AV）が道路上の自転車と相互作用する際、既存のアルゴリズムには以下の課題が存在します。

• 過度な慎重さ: 安全性を最優先するあまり、非効率的な挙動（停止や遅延）を招き、目標到達までの時間が過剰に長くなる。
• 人間の行動モデルの欠如: 自転車の動きは予測不能であり、特に「快適性（Comfort）」や「脅威感」といった人間の心理的・身体的反応を考慮したモデルが不足している。
• 最適性の欠如: 安全性を保証しつつ、時間効率や目標到達を最適化するアルゴリズムが不足している。

本研究は、安全性の保証と時間効率の最適化の両立を目指し、自転車（外乱入力）と自律走行車（制御入力）の 2 者間の相互作用をモデル化する問題として定式化しました。

2. 提案手法 (Methodology)

本研究は、ハミルトン・ヤコビ・ベルマン（HJB）到達性解析と**深層 Q 学習（Deep Q-Learning, DQN）**を統合したハイブリッドフレームワークを提案しています。

A. 安全性の定量化と到達性解析 (Reachability Analysis)

• 衝突集合と到達可能集合: 自転車との衝突を定義する集合（$C_0$）から逆方向に到達可能集合（$B$）を計算します。これは、最悪の制御入力と外乱（自転車の動き）を想定した際に、最終的に衝突に至る可能性のある状態の集合です。
• 値関数（Value Function）: 各状態における「安全性の度合い」を定量的に示す値関数 $v(s, t)$ を、時間依存の HJB 偏微分方程式の解として計算します。
  • $v(s) > 0$: 安全な状態（衝突回避が可能）。
  • $v(s) \leq 0$: 危険な状態（衝突が避けられない）。
• 課題: 従来の到達性解析のみでは、衝突を完全に回避するために極端に慎重な挙動（目標到達の放棄）に陥る傾向があります。

B. 外乱入力（自転車）のモデリングと快適性の考慮

既存の研究（Fisac et al., 2019）を 2 者システムに拡張し、自転車の動きを単なる加速度ではなく、**「自律走行車に対する自転車の潜在的な反応（快適性）」**としてモデル化しました。

• オートエンコーダーの活用: 安全な状態と危険な状態のラベル付きデータ（Safety Pilot Michigan Database）を用いてオートエンコーダーを訓練します。
• 異常検知アプローチ: 安全な状態（正常パターン）で学習させたモデルに対し、危険な状態を入力した際の「再構成誤差（Reconstruction Error）」を評価します。誤差が大きい場合は危険と判断し、これを自転車の「脅威感」や「不快感」として外乱入力 $d$ に反映させます。
• これにより、単に物理的な衝突回避だけでなく、自転手が感じる心理的・身体的な距離感（Comfort Level）を考慮した外乱モデルを構築しました。

C. 深層 Q 学習によるナビゲーション

• 報酬関数の設計: 上記で計算された HJB 値関数を、強化学習の構造化された報酬信号として利用します。これにより、エージェントは「安全性（値関数の正負）」と「目標到達（時間効率）」のトレードオフを学習します。
• 最適化: 離散化されたマルコフ決定過程において、経験再生（Experience Replay）と Adam オプティマイザを用いて Q ネットワークを学習させ、最適な制御入力 $u$ を導出します。

3. 主要な貢献 (Key Contributions)

1. 2 者システムへの拡張: Fisac et al. (2019) が提案した単一エージェント向けのアプローチを、自転車と車両の 2 者間のゼロ和微分ゲームとして拡張しました。
2. 自転車の快適性の定量的定義: 自転車の外乱入力を、自律走行車の状態に対する自転車の「潜在的な反応（快適性）」としてモデル化し、人間の知覚を反映させる手法を提案しました。
3. 安全性と時間効率の両立: 安全性を保証しつつ、合理的な速度と距離で自転車を通り抜ける最適軌道を生成するアルゴリズムを開発しました。
4. 安全性の定量的評価: 「合理的な速度と距離での通過」という観点から、相互作用の安全性を数値的に評価可能な枠組みを提供しました。

4. 実験結果 (Results)

データセット: Safety Pilot Michigan Database（約 4 年間の 3400 万マイルの走行データ、約 4 万 5000 件の自転車イベントからフィルタリングされた 60 件のテストケース）。

比較対象:

• 人間のドライバー（Ground Truth）
• Fisac et al. (2019) の既存アルゴリズム
• 本研究のフレームワーク

定量的評価結果（Table I 要約）:

• 安全性（Safety Factor）: 本研究の手法は、Fisac '19 および人間ドライバーと比較して、より高い安全性（値関数の平均値が -2.01 で、Fisac '19 は -2.18、人間は -2.31。値が大きいほど安全）を示しました。
• 危険状態の発生率: 逆到達可能集合（危険領域）に進入した状態の割合が、本研究（31.6%）は Fisac '19（36.8%）や人間（39.0%）よりも低く、より安全な経路を生成できました。
• 目標到達と時間: 全ケースで目標地点に到達（100%）。平均所要時間は Fisac '19（199 秒）よりやや長かった（233 秒）ものの、人間ドライバー（253 秒）よりは短縮されました。これは、Fisac '19 が自転車の快適性を考慮せず過度に急いでいたのに対し、本研究は自転車の反応を考慮した結果、若干の時間的犠牲を払ってでもより安全で自然な挙動を実現したためです。
• 衝突: 全ケースで衝突ゼロ。

定性的評価:
可視化結果（Fig. 2）から、本研究のアルゴリズムは人間ドライバーよりも早く目標に到達しつつ、Fisac '19 のアルゴリズムよりも自転車の心理的距離感を考慮した滑らかな軌道を描いていることが確認されました。

5. 意義と結論 (Significance & Conclusion)

本研究は、自律走行車が自転車と相互作用する際、「物理的な衝突回避」だけでなく「人間の心理的・身体的な快適性」を考慮した安全性を数学的に保証する枠組みを確立しました。

• 理論的意義: ハミルトン・ヤコビ到達性解析による「安全性の保証」と、強化学習による「最適性の追求」を、人間の行動モデル（快適性）を介して統合する新しいアプローチを示しました。
• 実用性: 現実世界のデータ（Safety Pilot Michigan Database）を用いた検証により、過剰な慎重さや攻撃的な挙動の両極端を避けた、人間社会に適応した自律走行の実現可能性を証明しました。

今後は、このアプローチをより複雑なマルチエージェントシステム（複数の車両や歩行者が混在する環境）へ拡張する予定であるとしています。