技術要約：自動運転ポリシーのプロービング（探査）

問題提起

大規模なデータセットと高速なシミュレータによって自動運転（AD）は急速に進歩しているが、定常的なシナリオにおける高いパフォーマンスは、不完全な推論や不安全なヒューリスティックを覆い隠していることが多い。標準的なクローズドループ・シミュレーションの指標（衝突率、目標進捗など）は、集計されたスコアを提供するだけで、「どのように」ポリシーが意思決定を行っているかまでは明らかにできない。具体的には、運転エージェントが周囲の車両の動きを真に予測し、適応的な計画を生成することを学習しているのか、それとも、単に一般的な低相互作用シナリオ（例：直進走行）では成功するものの、安全性が重要な状況では失敗するような脆弱なヒューリスティックに依存しているだけなのかは不明である。本論文では、運転ポリシーの内部表現を調査することで、それらが真の予測および計画能力をエンコードしているのか、あるいはその成功が偽りのもの（spurious）であるのかを判断する。

メソドロジー

著者らは、単純な行動クローニング（BC）から強化学習（RL）、および最先端の模倣学習（IL）モデルに至るまで、訓練された運転モデルの内部状態を調査するために、多角的なアプローチを採用している。この手法は、以下の3つのコア技術で構成されている。

1. 線形プロービング（Linear Probing）: 訓練済みモデルの中間表現に対して線形分類器を学習させ、自車および周囲の車両の将来の位置をデコードする。

   • 周囲車両プロービング: モデルの内部レイヤーが他エージェントの将来の軌道を予測する能力を測定する。これは、学習された表現にどれだけの追加情報がエンコードされているかを定量化するために、生の入力（raw-input）ベースラインと比較される。
   • 自車計画プロービング: 自車の計画された将来の位置を内部表現からデコードし、計画の適応性を評価する。
   • スケール分析: データセットのサイズ（100から80,000シーンまで）を変えてモデルを訓練し、予測および計画能力がどのように出現し、スケールするかを観察する。

2. 摂動を加えたクローズドループ・シミュレーション: 偽の依存関係（spurious dependencies）をテストするため、著者らはシミュレーション環境から周囲の車両をランダムに除去する。もしポリシーが、実際の挙動ではなく、単に他の車両が「存在すること」自体を安定性のために利用している場合、物理的にはタスクが容易になるにもかかわらず、パフォーマンスは低下するはずである。

3. 標的化された因果的介入（Targeted Causal Interventions）: 意思決定時の計画において、周囲の車両の内部表現に対して直接介入を行う。

   • 適応性テスト: 周囲の車両の表現を自車の経路と重なるように摂動を与え、自車の計画が衝突を回避するために適応するかどうかを確認する。
   • リカバリー・テスト: 周囲の車両の誤った予測を修正し、自車の計画がより安全で、グラウンドトゥルース（正解）に沿った軌道へとシフトするかを確認する。

主な結果

1. スケーリング則と内部表現

• パフォーマンスとスケール: BCおよびRLモデルは、データセットのサイズが増加するにつれて、クローズドループのパフォーマンス（衝突率の低下、目標進捗の向上）が向上し、1万〜2万シーン付近でプラトー（停滞）に達するべき乗則の傾向を示す。
• 予測能力: 線形プロービングにより、モデルは生の入力よりも周囲の車両をうまく表現することを学習しているものの、その予測能力は限定的であることが明らかになった。
  • 無関係 vs 重要: データがスケールするにつれ、モデルは明らかに無関係な車両（例：遠くにいる車両）を無視する能力は向上する。しかし、真に安全上の重要な車両（接近してくる車両）を特定し、優先順に加えることには苦慮している。
  • 時間的ホライゾン: BCモデルは近未来の予測に焦点を当てる傾向があり、利得は直近の未来に集中している。RLモデルは、より短いホライゾンの表現は強いものの、より長いホライゾンにおいては利得を維持できていない。

2. 偽の依存関係（Spurious Dependencies）

• 除去プロトコル: 周囲の車両をランダムに除去した際、BCおよびRLの両モデルにおいて、パフォーマンスの低下（オフロード率の上昇、目標進捗の低下）が見られた。この直感に反する結果は、ポリシーが相互作用の真の推論として車両を利用しているのではなく、他の車両の「存在」を偽のヒントとして部分的に利用していることを示唆している。この依存関係は、より大きなデータセットによって部分的に緩和されるが、排除されることはない。

3. ニアコリジョン（衝突寸前）分析

• 遅すぎる注意（Late Attention）: 衝突が発生する場面において、プロービング信号は、モデルが衝突する車両に対して注意を向けるのが遅すぎることを示している。信号の集中は、衝突前の最後の10ステップになって初めて自車の近くで強くなるが、これは効果的な回避計画には不十分である。これは、意思決定プロセスにおいて、重要な相互作用を早期に予見できていないことを示している。

4. 因果的介入と適応性

• 予測と計画のリンク: 介入実験は、予測と計画の間の因果関係を示している。
  • 適応性: 周囲の車両の予測を衝突を示すように摂動を与えると、自車の計画プローブは大部分のケースで変化し、誘発された衝突を回避するように軌道をシフトさせる。
  • リカバリー: 周囲の車両の誤った予測を修正すると、より安全な自車の計画へと導かれる。多くの失敗ケースにおいて、正確な周囲車両の予測を復元することで、モデルはグラウンドトゥルースに沿った軌道へと回復することができた。
• モデル間の違い: BCモデルはルート変更や減速の介入には信頼性があったが、加速の介入には苦戦した。RLモデルは、介入の種類に関わらず、よりバランスの取れた反応を示した。

意義と主張

本論文は、標準的なクローズドループ指標は、自動運転ポリシーの堅牢性を評価するには不十分であると主張している。主な貢献と知見は以下の通りである：

1. 現在のポリシーの限界: 高いクローズドループ・パフォーマンスを実現していても、運転ポリシーは安全上重要なエージェントのタイムリーな予測を内部化できていないことが多い。これらは「定常的な」挙動や、他の車両の存在との偽の相関に依存する傾向がある。
2. 能力の出現: より大きなデータセットは、無関係なエージェントをフィルタリングする助けにはなるが、衝突を防ぐために重要なエージェントを十分に早期に特定するという問題を完全には解決しない。
3. 因果関係: 本研究は、より良い内部予測がより良い計画へと因果的につながるという証拠を提供している。介入を通じて予測エラーを修正すると、計画モジュールは回復し、より安全な軌道を生成できる。
4. 方法論的貢献: 本論文は、線形プロービング、摂動を加えたシミュレーション、および因果的介入を組み合わせたフレームワークを導入し、運転ポリシーの「ブラックボックス」的な性質を診断した。これにより、堅牢な安全性には、単なるデータのスケーリングだけでなく、周囲の車両情報を捉え活用するためのより精密なメカニズムが必要であることを明らかにした。

著者らは、今後の研究は、単にデータをスケールさせることではなく、連続空間でのプローブの設計や、潜在的に共同の将来予測や補助タスクを組み込むことで、重要な相互作用を理解するモデルの能力を向上させることに焦点を当てるべきであると結論づけている。