技術要約：BeyondSight：エンドツーエンド自動運転のためのオブジェクト恒常性

1. 問題提起

自動運転システムは、アクター（車両、歩行者）がインフラや他の車両によって完全に遮蔽されることが頻繁に起こる、部分観測環境下で動作します。nuScenesデータセットの分析によれば、任意のタイムステップにおいて、アクターの約30%が完全に観測不能（unobservable）となっており、これには自車（ego vehicle）の至近距離に存在するアクターも含まれます。

現在のエンドツーエンド自動運転（E2E-AD）システムは、通常、アクターの存在を瞬間の観測に結びつけています。アクターが完全に観測不能になると、モデル内のそのアクターの表現は劣化するか、完全に消失してしまうことがよくあります。シーン表現から「不可視」のエージェントが除去されることで、ダウンストリームの予測および計画モジュールは、現在可視であるエージェントのみに基づいて推論することを余儀なくされます。その結果、これらのシステムは、遮蔽の多いシナリオ（例：交差点）において、一時的に隠れているが依然として存在するアクターに対して安全な軌道を維持できず、反応的または脆弱な挙動を示します。さらに、標準的な知覚ベンチマークは、観測可能性と存在を暗黙的に同一視しており、観測不能なアクターを監督（supervision）および評価の両方から除外しているため、観測の空白期間を通じて持続的な表現をモデルが学習することを妨げています。

2. 手法：BeyondSight

著者らは、アクターの存在と瞬間の観測可能性を明示的に切り離す、恒常性（permanence）を考慮したE2E-ADフレームワークであるBeyondSightを提案しています。このシステムは、永続的なアクター仮説を時間経過とともに維持することで、一時的に観測不能になったアクターに対しても、結合された知覚・予測・計画が推論できるようにします。

コアアーキテクチャ

BeyondSightは、スパースなクエリを用いて動的なアクターやマップ要素を表現するSparseDriveアーキテクチャに基づいています。主要な革新は、ベイズフィルタリングに着想を得た、アクター仮説を伝播および更新するための3段階の推論パイプラインです。

1. Temporal Prior Decoder（時間的事前分布デコーダ）: このモジュールは、前フレームのクエリ（$q_{t-1}$）を現在のタイムステップ（$t$）へと伝播させ、運動条件付きの仮説セット（$q_t^{\text{prior}}$）を生成します。極めて重要な点は、このステージが自己注意機構（self-attention）と軽量なMLPのみを使用してクエリ埋め込み上で動作し、現在の画像特徴量にアクセスしないことです。これにより、視覚的な証拠が得られない場合でも、モデルはアクターの仮説を維持することが可能になります。
2. Observation Decoder（観測デコーダ）: このステージは、時間的事前分布を、新たに初期化されたオブジェクトクエリおよび現在のBEV特徴量（$F_t$）と組み合わせ、観測条件付きの仮説（$q_t^{\text{obs}}$）を生成します。このコンポーネントは、観測可能なグラウンドトゥルース（GT）アクターのみを用いて監督されます。
3. Posterior Fusion Decoder（事後融合デコーダ）: このモジュールは、伝播された事前分布と観測条件付きの仮説を照合します。各アクターに対して分類信頼度が高い方のプロポーザルを選択し、それを精緻化することで、最終的なシーン表現（$q_t^{\text{post}}$）を生成します。この融合された表現には、観測可能なアクターと観測不能なアクターの両方が含まれており、ダウンストリームの計画に対してより豊かなコンテキストを提供します。

最適化と監督

学習は、2段階のプロトコル（知覚の事前学習、その後のエンドツーエンド結合学習）に従います。オブジェクト恒常性を強制するために、著者らは**Permanence-Aware Supervision（恒常性考慮型監督）**を導入しています。

• 拡張グラウンドトゥルース: 検出および運動の損失は、現在観測不能なものを含む全アクターの集合（$G_{\text{all}} = G_{\text{obs}} \cup G_{\text{unobs}}$）に対して計算されます。
• 観測可能性の分類: 事後デコーダは、各クエリに対して観測可能性の状態（$\hat{o}_t^i$）を予測し、バイナリクロスエントロピーによって監督されます。これにより、モデルは「遮蔽されているアクター」と「存在しないアクター」を明確に区別することを学習します。
• 損失関数: 全体の目的関数には、標準的な検出、マップ、運動、および計画の損失に加え、観測不能なアクターを監督する修正された検出損失（$\mathcal{L}_{\text{det}}'$）と、観測可能性分類損失（$\mathcal{L}_{\text{obs}}$）が含まれます。

3. 主な貢献

本論文は、主に3つの貢献を導入しています。

1. オブジェクト恒常性の定式化: 著者らは、E2E-ADにおけるオブジェクト恒常性を、「以前に観測されたアクターが、一時的に観測不能になった場合でも、モデルの仮説セット内に保持され続ける必要がある」という表現レベルの制約として定義しました。
2. nuScenes-Permanence ベンチマーク: 観測不能なアクターに対する監督および評価プロトコルを提供する、nuScenesデータセットの拡張版です。これには、センサーによるサポートが存在しない区間において、物理的に根拠のある運動事前分布を用いて欠落した軌跡状態を再構成するプロセスが含まれ、アノテーションセットを約30%拡大しています。
3. BeyondSight フレームワーク: スパースクエリ型E2E-ADアーキテクチャに対する恒常性考慮型の拡張であり、時間的伝播と観測可能性を考慮した融合を通じて持続的な仮説を維持し、長期的な遮蔽下での推論を可能にします。

4. 実験結果

実験は、nuScenes検証セットおよび提案されたnuScenes-Permanenceベンチマークに対して行われました。

標準的な性能

標準的なnuScenes指標において、BeyondSightは競争力のある性能を維持しながら、ダウンストリームの計画を改善しています。

• 計画（Planning）: オープンループ計画誤差（$L2_{\text{avg}}$）が0.61（SparseDrive）から0.54に改善し、衝突率は0.08%から0.07%に減少しました。
• 知覚（Perception）: 検出性能（mAP）が0.415から0.427に向上し、トラッキング性能（AMOTA）が0.372から0.401に向上しました。
• 偽陽性（False Positives）: 公式の評価プロトコル下において、モデルは追加の偽陽性を発生させておらず、持続的な仮説を維持することが標準的なベンチマーク性能を低下させないことを実証しています。

オブジェクト恒常性の性能 (nu_{scenes-Permanence})

提案された観測可能性条件付きの指標は、遮蔽されたアクターに関する推論において大幅な利点を示しています。

• 観測不能な検出: モデルは mAP$_{\text{unobs}}$ 0.249 を達成しました。これは、観測不能なアクターを脱落させてしまうSparseDriveのスコア 0 と比較して劇的な改善です。
• 包括的な理解: 集計された指標 mAP$_{\text{all}}$ は、0.389 から 0.413 へと向上しました。
• 遮蔽下の計画: 隠れたアクターの将来の軌道が自車に接近する高遮蔽サブセットにおいて、BeyondSightは計画誤差を0.64から0.56へ、衝突率を0.163から0.08へと減少させました。

アブレーション研究

アブレーション実験により、以下のことが確認されました。

• （恒常性考慮型監督なしの）時間的伝播のみでは、完全に観測不能なアクターの検出を実現できない（mAP$_{\text{unobs}}$ は0のまま）。
• 報告された利点を得るためには、時間的伝播、事後融合、および観測不能なアクターに対する監督の組み合わせが必要である。
• 事後融合デコーダは、伝播された仮説と現在の観測を照合するために極めて重要である。

5. 意義と限界

本論文は、オブジェクト恒常性が、堅牢なエンドツーエンド自動運転にとって重要なモデリング原理であることを主張しています。アクターの存在を瞬間の観測から切り離すことで、BeyondSightはシステムが完全な動的環境について推論することを可能にし、遮蔽の多いシナリオにおけるより安全な計画を実現します。nuScenes-Permanenceの導入は、この能力を訓練および評価するための最初の体系的なプロトコルを提供します。

限界:

• 停滞した仮説（Stale Hypotheses）: 学習された時間的事前分布からアクターが大きく逸脱した場合、非常に長い遮蔽期間中に持続的な仮説が不正確（停滞）になり、位置推定のドリフトを引き起こす可能性があります。
• 運動の仮定: nuScenes-Permanenceのアノテーションは、おおよそ連続的な運動を前提としています。このベンチマークは、周囲の観測から信頼性を持って推論できない急激な隠れた機動（例：急停止、急旋回、または意図の変化）を捉えきれていない可能性があります。
• 今後の方向性: 著者らは、不確実性を考慮したメモリ、特権ラベルを用いたシミュレーションベースのアノテーション、および直接的な遮蔽評価のためのマルチオブザーバーデータセットの探索を今後の課題として挙げています。