技術要約: QueryOcc

問題提起

画像からの3Dシーンの幾何構造とセマンティクス（意味論）の学習は、自動運転における根本的な課題であるが、大規模な3Dアノテーションは極めてコストが高い。既存の自己教師あり学習手法には、以下のような重大な限界が存在する：

1. レンダリングベースの手法: これらは2D画像の再構成の一貫性に依存している。スケーラブルではあるものの、3D構造は明示的な学習ターゲットとしてではなく、画像合成の副産物として現れるため、間接的な幾何学的信号しか提供できない。また、安定性のために外部で推定された深度マップに依存することが多い。
2. LiDARベースの手法: これらは明示的な3D監督を提供するが、集約された点群を定義済みのボクセルグリッドに離散化することに依存している。このアプローチは、空間的な精度、スケーラビリティ、および無制限なシーンを効率的に表現する能力を制限する。

本論文は、連続的な4D時空間における直接的な監督は、レンダリングベースやボクセル化されたLiDAR手法よりも、自己教師あり3Dセマンティック・オキュパンシー（占有）学習に対してより明確な幾何学的フィードバックを提供できると主張している。

手法: QueryOcc

QueryOccは、レンダリング損失やボクセル集約を用いることなく、マルチビュー画像（およびオプションでLiDAR）から連続的な3Dセマンティック・オキュパンシーを直接学習する、クエリベースの自己教師ありフレームワークである。

1. モデルアーキテクチャ

フレームワークは、モジュール化された4段階のパイプラインに従う：

• 画像エンコーディング: マルチビュー画像は、事前学習済みのバックボーンによって処理され、高密度な特徴量が抽出される。カメラのキャリブレーションパラメータは、軽量なMLPを介してエンコードされ、カメラ固有のコンテキストを提供する。
• Lift-Contract-Splat (LCS): これは、無制限なシーンを扱うための核心的なイノベーションである。これは、Lift-Splat-Shoot (LSS) の定式化を、以下の3つの主要コンポーネントによって拡張したものである：
  • ポイントワイズ・エンコーディング: 生の特徴量をスプラットする代わりに、モデルは学習可能な関数を用いて、可視性、不確実性、および時間的キューを明示的にエンコードする。これにより、占有領域と未観測領域の両方の表現が可能になる。
  • 対数線形深度ビンニング (Log-Linear Depth Binning): 近距離の解像度と遠距離のカバー範囲のバランスを取るため、深度ビンは近距離領域 ($d_{near}$) の外側では一様ではなく、指数関数的に増加する間隔を使用する。
  • 軸方向への収縮 (Axis-Aligned Contraction): シーンの範囲に関わらず一定のメモリと計算量を維持するために、軸方向の収縮関数が遠方の領域を圧縮しつつ、自車付近の高解像度な詳細を保持する。これにより、拡大するBEVグリッドに伴う二次的なメモリ増大を回避できる。
• BEV特徴量処理: 収縮されたBEV特徴量は、ResBlockとマルチスケール・デフォーマブル・アテンションを用いて処理され、局所的および広域的な依存関係を捉える。また、収縮による局所的なスケーリングに適応するために動的畳み込み（dynamic convolutions）を用いる。
• 統合クエリデコーダ: 軽量なデコーダは、任意の4Dクエリ ($q = [x, y, z, t]^\top$) に対して占有状態とセマンティクスを予測する。クエリはBEV空間に適合するように収縮され、MLPによってエンコードされた後、補間されたBEV特徴量と融合される。デコーダは、最終的な予測を出力する前に、近傍の場所から特徴量を抽出するためのオフセットを予測する（デフォーマブル・アテンションを模倣）。

2. 自己教師あり学習

フレームワークは連続的な4D時空間で直接動作し、時間を経て観測された点群から監督信号を生成する。

• 監督ソース:
  • カメラのみ: ビジョン基盤モデル（VFM）によって予測されたメトリック深度を用いて、ピクセルを3Dに持ち上げる（リフトする）ことにより、疑似点群が生成される。これらは、疑似セマンティックラベルまたは高密度なVFM特徴量とペアになる。
  • カメラ-LiDAR: 実データのLiDAR点群が明示的な幾何学的監督として機能し、カメラビューに投影されてセマンティックラベルや特徴量を回収する。
  • 統合: これら両方のソースの組み合わせ。
• クエリ生成: 監督は、点群からサンプリングされた時空間的な4Dクエリを介して適用される：
  • 負の（非占有）クエリ: センサー原点から観測された点までのレイ（光線）に沿ってサンプリングされる。
  • 正の（占有）クエリ: 観測された点の背後のバッファゾーン内にサンプリングされる。
• 損失関数: モデルは、占有のためのバイナリ・クロスエントロピー、セマンティクスのためのカテゴリカル・クロスエントロピー、およびVFM特徴量の蒸留のためのL1損失の組み合わせを用いて訓練される。

主な貢献

1. QueryOccフレームワーク: レンダリング損失やLiDARのボクセル化を必要とせず、マルチビュー画像から連続的な3Dセマンティック・オキュパンシーを学習する、柔軟なクエリベースのフレームワーク。
2. 無制限な収縮表現 (Unbounded Contractive Representation): 遠方の領域を滑らかに圧縮しながら近距離の詳細を保持する、新しいシーン表現。これは、一定のメモリ下での長距離の監督を可能にする。これは「リフト・コントラクト・スプラット」メカニメントと組み合わされている。
3. 最先端の性能: 本手法は、自己教師ありのOcc3D-nuScenesベンチマークにおいて優れた結果を達成し、セマンティックRayIoUにおいて従来の手法を26%上回ると同時に、リアルタイム推論（11.6 FPS）を維持している。

実験結果

Occ3D-nuScenesベンチマークにおける評価：

• 性能: QueryOccは**23.6%のセマンティックRayIoU（強化版QueryOcc+では25.8%）を達成し、従来の最良の自己教師あり手法（GaussianFlowOcc）を26%**上回った。また、占有（occupancy）RayIoUも25%向上させた。
• 効率性: モデルはA100 GPU上で11.6 FPSで動作し、総レイテンシは86msである。これは、レンダリングベースのNeRFアプローチ（例：SelfOccの1.2 FPS）よりも大幅に高速である。
• 堅牢性: モデルは様々なクラスに対して良好に機能し、特に小さく細いカテゴリ（例：交通コーン、歩行者）において優れている。また、画像エンコーダの選択（例：ConvNeXt-BaseまたはResNet-50）に対しても堅牢である。
• アブレーション研究:
  • 直接的なクエリベースの監督は、レンダリングベースの監督（23.6 vs 15.0 RayIoU）よりも大幅に優れた性能を示しており、2D再構成がより弱い幾何学的制約しか提供しないことを示唆している。
  • 提案されたすべてのコンポーネント（対数線形ビン、収縮、ポイントエンコーディング）が性能向上に寄与している。
  • カメラとLiDARの監督を組み合わせることで最良の結果が得られ、密なセマンティックキューと正確な幾何学を効果的に融合できることが示された。
  • パフォーマンスは、より高い入力解像度や追加のデータセット（例：Argoverse 2）によってスケールし、強力なデータ効率とクロスドメインの汎用性を示している。

意義

本論文は、QueryOccがカメラからの自己教師あり3Dシーン理解の新しいベンチマークを確立すると主張している。その意義は、直接的な4Dクエリベースの自己教師あり学習が、レンダリングベースの手法よりも明確な幾何学的フィードバックを提供する、堅牢な基盤であることを示した点にある。レンダリング損失やボクセル化を排除することで、本フレームワークは高い幾何学的精度、計算効率、および無制限なシーンを推論する能力のバランスを実現している。この研究は、連続的な4D監督が、画像合成の副産物としてではなく、幾何学とセマンティクスの両方を明示的なターゲットとして強力に学習することを可能にすることを強調している。