技術要約: RoadVGGT

問題提起

大規模な道路表面の再構成は、高精度地図（HDマップ）、自動運転の知覚、アノテーション、およびシミュレーションにとって極めて重要である。既存の特化した最適化手法（例：RoGS）は高品質な道路表現を生成できる一方で、重大なスケーラビリティの制限を抱えている。これらの手法は通常、シーンごとの学習を必要とし、走行軌道周辺にシーン依存のカバー範囲設計を行う必要があるため、新たに収集された道路や未知の道路に対する迅速な展開やマップ更新を困難にしている。さらに、一般的なフィードフォワード型のガウス再構成手法は、高密度でピクセルに整合した予測を生成することが多く、局所的に滑らかな道路表面に対して過剰な冗長性を生じさせ、ストレージおよびレンダリングコストを増大させる。加えて、ナイーブな融合戦略は、細い路面標示をぼやけさせたり、同じ地面位置を共有する異なる表面（例：道路と歩道）を誤って結合させたりする可能性がある。

手法

RoadVGGTは、テスト時のシーンごとの最適化を必要とせずに、コンパクトなガウス道路表面を再構成するように設計された、道路構造認識型のフィードフォワードフレームワークとして導入される。パイプラインは主に4つのステージで構成される：

1. フィードフォワード・ガウス予測:
   本フレームワークは、幾何学的基盤バックボーンとしてOmniVGGTを利用する。マルチビューRGB画像、カメラポーズ、および深度観測を与えられると、バックボーンは高密度な深度、カメラポーズ、およびマルチスケール特徴量を予測する。学習されたガウスヘッド（DPTスタイルのアーキテクチャに基づく）は、これらの特徴量をデコードし、高密度でピクセルに整合したガウス属性（外観、不透明度、スケール、回転）および各ピクセルの融合信頼度スコアを予測する。ガウス中心は、予測された深度を逆投影することで復元される。道路のような局所的な表面構造に適合させるため、z軸のスケール成分はゼロに固定され、平坦な2次元ガウス分布が作成される。

2. 座標アライメント:
   予測が一貫したメートル法による世界座標系で使用可能であることを保証するため、予測されたカメラ軌道を、最小二乗類似変換（スケール、回転、平行移動）を用いて入力された軌道にアライメントする。このアライメントはガウス幾何に適用され、水平XY平面が自然な道路平面のリファレンスとなり、グリッドセルが様々な長さの軌道にわたって物理的な意味を持つことを保証する。

3. 道路構造認識型グルーピング:
   融合前に、システムは微細な構造をぼかしたり、異なる表面を結合したりするリスクに対処する。以下の2つのグルーピングメカニズムを採用する：

   • カテゴリ認識型グルーピング: 微細な構造カテゴリ（例：車線標示、横断歩道）は、特定のセマンティックラベルをグループ識別子として保持し、それらが支配的な「道路」表面グループに平均化されるのを防ぐ。
   • 道路・歩道の接合部保護: 道路と歩道のガウス分布が共存するグリッドセルにおいて、これらは破壊的な表面間融合を防ぐために、別々の接合部グループに割り当てられる。最終的なグループ識別子は、カテゴリと接合ラベルの順序付きペアとなる。

4. グリッドベースのガウス融合:
   予測されたガウス分布は、汎用的な3Dボクセルグリッドではなく、2D道路平面グリッドにマッピングされる。占有されている各グリッドセル内において、同じグループに属するガウス分布は、信頼度重み付き平均化を用いて融合される。セマンティックラベルは多数決を通じて伝播される。このプロセスにより、冗長なピクセル単位の予測が、コンパクトなセルレベルの表現へと変換される。

学習と推論:
幾何学的バックボーンは凍結されており、ガウスヘッドのみがL1再構成損失および知覚的LPIPS損失を用いた微分可能レンダリングを通じて最適化される。推論時、長い道路シーケンスはチャンクごとに処理され、共有されたメートル座標系に変換された後、単一のグローバルグリッド融合に供される。

主な貢献

1. RoadVGGTフレームワーク: テスト時のシーンごとの最適化やシーン固有のハイパーパラメータ調整を必要とせずに、コンパクトなガウス道路表面を再構成するフィードフォワードフレームワーク。
2. 道路平面グリッド融合: 高密度なピクセル単位のガウス予測を、メートル法による2D道路平面グリッドに融合する手法。これにより、再構成品質を維持しながら、ストレージおよびレンダリングコストを大幅に削減する。
3. 構造認識型保存: カテゴリ認識型グルーピングおよび道路・歩道の接合部保護メカニズムの導入により、融合プロセスにおける脆弱な道路構造（細い標示や表面の境界など）を保持する。

実験結果

著者らはWaymo Open DatasetでRoadVGGTを評価し、nuScenesに対してゼロショット評価を行った。

• 定量的性能: Waymoにおいて、RoadVGGTはPSNR 25.71、SSIM 0.8480、mIoU 0.4692を達成し、全体的な品質指標において、フィードフォワード型のベースライン（AnySplat）および最適化型のベースライン（RoGS）の両方を上回った。また、ベースラインと比較して優れた高度精度（Z-RMSE 0.2312）を示した。
• 効率性: RoadVGGTは、AnySplat（712.47 MB）と比較して、同等の推論およびレンダリング速度を維持しながら、大幅にコンパクトな表現（112.81 MB）を実現した。
• 汎化性能: モデルはnuScenesにおいて強力なゼロショット汎化能力を示し、そのデータセットでの学習や微調整なしにPSNR 23.80を達成した。
• アブレーション研究: 実験により、以下が確認された：
  • グリッド解像度は0.05 mが、ノイズ耐性と詳細保持の最適なバランスを提供する。
  • 2Dガウスパラメータ化は、道路表面に対して3Dパラメータ化よりも優れており、より滑らかな表面とノイズの低減をもたらす。
  • 構造認識型グルーピングコンポーネントを取り除くと、局所的な外観、セマンティクス、および高度精度が低下する。

重要性と主張

本論文は、RoadVGGTがシーンごとの最適化の必要性を排除することで、現在の道路再構成手法のスケーラビリティの制限に対処していると主張している。幾何学的基盤モデルを活用し、道路構造に特化した専用の融合戦略を導入することで、本手法は大規模な道路表面の迅速かつ高品質な再構成を可能にする。得られる表現は、RGBおよびセマンティックな鳥瞰図（BEV）マップ、高度推定、および新規視点合成を含む、複数のダウンストリーム製品をサポートする。著者らは、幾何学的基盤モデルがスケーラブルでフィードフォワードな道路表面再構成に対して大きな潜在能力を持っていると結論付けているが、将来の性能向上は基礎となる幾何学的バックボーンの精度と堅牢性に依存することを認めている。