Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing

技術要約：遮蔽された歩行者横断における自動緊急ブレーキのための、人間と整合した報酬ラベル付けを用いたオフライン強化学習

問題の定式化

本論文は、自動運転（AD）システムの展開における決定的なボトルネック、すなわちオフライン強化学習（Offline RL）に必要な、現実世界のデータセットにおける意味のある報酬ラベルの不足に対処している。Waymo、nuSEC、A2D2などの現実世界のデータセットは、高忠実度で豊かなデータを提供しているが、通常、エージェントに望ましい行動と望ましくない行動を区別させるために必要な報酬信号を欠いている。既存の解決策はシミュレーションに依存することが多く、それは「sim-to-real」ギャップの問題を抱えているか、あるいは画像ベースの観測が持つ知覚的な豊かさを無視した低次元の状態表現を使用している。

調査対象となる具体的なタスクは、遮蔽された歩行者横断シナリオにおける車両の縦方向制御である。この高リスクな環境において、自動運転車（AV）は、歩行者が他の車両によって隠れている（遮蔽）可能性があり、かつ突然出現する可能性があるゼブラゾーンをナビゲートしなければならない。課題は、直接的な全フレームへの人間によるアノテーションを必要とせずに、静的なデータセットから知覚ベースのオフライン強化学習エージェントの訓練を可能にするために、人間の安全価値（衝突の可能性があるシナリオでは効率よりも安全性を優先する）と整合した報酬ラベルを生成することにある。

メソドロジー

提案されるソリューションは、ラベルのないADデータセットをオフライン強化学習用の訓練可能なデータへと変換する、新しい報酬ラベル付けパイプラインを導入している。この手法は、主に3つの段階で構成される：

1. セマンティックセグメンテーションとリスク評価：

   • セマンティックマッピング： 生のカメラ画像は、ResNet18 UNetモデルを通じて処理され、歩行者、車両、ゼブラ crossing、路面標示を含む28クラスのピクセルレベルのセマンティックセグメンテーションマップを生成する。
   • 適応型安全コンポーネント ($c_t$)： システムは、セマンティックマップの特定のレイヤーを分析して、適応型安全フラグ ($c_t$) を計算する。このフラグは、以下の3つのリスク要因によって決定される：
     • 歩行者の存在 ($F_p$)： 歩行者が道路上にいるのか、歩道上にいるのかを検出する。
     • ゼブラ crossing の遮蔽 ($F_c$)： ゼブラ crossing が交通状況によって部分的に遮蔽され、不確実性が生じているかを評価する。
     • 歩行者の履歴 ($F_h$)： 現れては消える（遮蔽を示唆する）歩行者を追跡するためのメモリバンクを使用し、これらを中リスクとしてフラグを立てる。
   • 決定ロジック： これらの要因は合算され、スケーリングされたシグモイド関数を通過する。結果となる確率が閾値 ($\psi = 0.75$) を超えた場合、$c_t$ は1に設定され、安全報酬コンポーネントが有効化され、効率コンポーネントが非アクティブ化される。

2. 報酬関数の構築：
   最終的な報酬信号 ($R_{final}$) は、$c_t$ に基づいて動的に切り替えられる3つのコンポーネントの加重和である：

   • 安全性 ($g_{safe}$)： 歩行者付近での高速走行や衝突を罰する。$c_t=1$ の時に有効。
   • 効率性 ($g_{efficient}$)： 衝突の危険がない場合に、より高い速度を促進する。$c_t=0$ の時に有効。
   • 滑らかさ ($g_{smooth}$)： ぎこちない加速を罰する。常に有効。
   • センサー統合： 現実世界のデータについては、ピンホールカメラモデルとセマンティックセグメンテーションを組み合わせて歩行者までの距離を推論し、速度と加速度は車両のCANバスおよびIMUデータから導出される。

3. 空間アテンションを用いたオフラインRL訓練：
   エージェントを訓練するために、本論文はセマンティックマップを利用して特徴抽出をガイドする知覚ベースのパイプラインを提案している：

   • 特徴抽出： カメラ画像は ResNet18 オートエンコーダを通過し、潜在的な特徴埋め込みを生成する。
   • 空間アテンション： タスクに関連するセマンティックレイヤー（歩行者、ゼブラ crossing、車両）を分離し、潜在的な特徴に対して空間アテンションを適用する。これは、重み付きクロスワイズ乗算を通じて実現され、歩行者の特徴が最も高い重み ($\omega_{ped}=1.0$) を受け、次いでゼブラ crossing ($\omega_{cross}=0.75$)、車両 ($\omega_{veh}=0.50$) となる。このメカニズムにより、エージェントは衝突回避に関連する顕著なオブジェクトに焦点を合わせるよう強制される。

主な貢献

本論文は、主に3つの貢献を述べている：

1. 人間と整合した報酬ラベル付け： 既存のADデータセットに対して報酬ラベルを生成する新しいアプローチであり、新たなデータ収集を必要とせずに、エンドツーエンドのオフライン強化学習を可能にする。
2. 適応型安全メカニズム： セマンティックセグメンテーションマップから導出される適応型安全コンポーネントを組み込んだ報酬関数。これにより、歩行者の位置や遮蔽といったリアルタイムのリスク要因に基づいて、エージェントが効率よりも安全性を動的に優先することを可能にする。
3. セマンティックマップによる空間アテンション： セマンティックセグメンテーションレイヤーを利用して、画像観測内の異なるオブジェクトクラスに対して様々なレベルの空間アテンションを提供し、顕著なシーン要素に焦ラスすることでエージェントの意思決定を向上させる手法。

実験結果

本手法は、CARLAシミュレーションと、現実世界の Audi Autonomous Driving Dataset (A2D2) のサブセットの2つの設定で評価された。

• シミュレーション (CARLA)：

  • テストされたアルゴリズム： ラベル付きデータを使用して CQL、IQL、BPPO を訓練した。
  • ベースライン： 提案手法（"Gen"）は、Unlabeled Data Sharing (UDS)（報酬をゼロに設定）および Vision Language Model (VLM) アプローチと比較された。
  • パフォーマンス： IQL (Gen) 設定が最高の性能を達成し、部分的な遮蔽シナリオにおいて98-100%の成功率を記録した。提案手法は、UDSやVLMベースラインよりも一般的に安定し、信頼性の高い挙動を示した。
  • 限界： 高度に混雑した完全遮蔽シナリオでは、特にCQLおよびBPPOにおいてパフォーマンスが低下しており、フロントカメラの視界には限界があることを示唆している。

• 現実世界 (A2D2)：

  • 比較： 生成された報酬ラベルを、人間による手動アノテーションと比較した。
  • 知見： 全体的な報酬の分布は類似していたが、特定の安全分類において中程度の乖離が見られた。特に、本手法は人間のアノテーターが見落とした特定の危険状態（例：激しく遮蔽された歩行者）を検知した。逆に、使用された特定のリスク要因の制限（例：路面標示と路面の混同）により、明らかに目視できる歩行者を識別できなかった場合もあった。

意義と主張

本論文の主な意義は、大規模でラベルのない現実世界のADデータセットと、オフライン強化学習の要件との間のギャップを埋めることにあると主張している。人間と整合した報酬ラベルを自動生成することで、手動アノテーションの膨大なコストやシミュレーションの忠実度の問題を回避し、知覚ベースのエージェントの訓練を可能にする。

著者らは、本手法が意味のある報酬信号を生成し、シミュレーションにおける方策の性能を向上させることに成功している一方で、人間の判断を完全に代替するものではないことを強調している。A2D2の結果は、本手法が（セマンティックマップの体系的な分析により）人間が見落とすハザードを検出できる一方で、人間のドライバーのような微細な文脈的推論能力には欠けていることを浮き彫りにした。結論として、本アプローチは複雑なシナリオにおけるオフライン強化学習の実行可能な出発点を提供するが、今後の課題として、密集した交通環境をより堅牢に扱うための時間的推論とマルチビュー統合が必要であるとしている。