技術概要：マルチビュー基盤モデルによる統合パノラマ幾何推定（PaGeR）

問題定義

基盤モデルによるゼロショット 3 次元再構成の能力を通じて、透視投影画像からの単眼幾何推定は著しく成熟したが、これらの能力をパノラマ（360 度）画像へ拡張することは依然として課題である。既存のパノラマ手法は、主に以下の 2 つの限界に直面している：

1. データ不足と過学習：計測的に正確な深度と表面法線を持つ高品質なパノラマデータセットの収集は煩雑であり、希少であるため、モデルは小規模なデータセットに過学習し、汎化に苦慮する。
2. 幾何学的歪み：多くの手法は、極付近での極端な引き伸ばしなど、深刻な非線形歪みをもたらす等角円筒投影（ERP）に依存している。このドメインシフトは、透視投影データで訓練された翻訳不変アーキテクチャの有効性を低下させ、強力な透視投影の事前知識をパノラマドメインへ転移するのを妨げる。

手法

著者は、大規模な再訓練やカスタムアーキテクチャを必要とせず、最先端の透視投影基盤モデル（具体的には Depth Anything 3、DA3）をパノラマドメインへ引き上げるために設計されたフレームワーク、PaGeR（Panoramic Geometry Reconstruction） を導入する。

中核戦略：キューブマップ表現

歪んだ等角円筒画像としてパノラマを処理する代わりに、PaGeR は入力単位立方体の面に対応する 6 つの 90 度視野（FoV）透視投影画像であるキューブマップとして表現する。このアプローチは以下の利点を持つ：

• 透視投影で訓練されたモデルの帰納的バイアスと整合する。
• 光線空間の均一なサンプリングを提供する。
• ERP に固有の幾何学的歪みを回避する。

アーキテクチャの適応

包括的な 360 度推定のためにマルチビュートランスフォーマーバックボーン（DA3）を適応させるため、著者はいくつかの主要な修正を実装する：

1. 暗黙的エンコード同期：ビジョントランスフォーマー（ViT）エンコーダは、構造変更なしにパノラマデータで微調整される。6 つの面に対して固定されたカメラ行列と軸揃えの外部パラメータを提供することで、ネットワークはクロスビューアテンション層を介して隣接するキューブマップ面間でコンテキストをルーティングし、特徴を同期することを学習する。
2. 球面認識デコーダパディング：密なアップサンプリング中にキューブマップ面の境界で幾何学的およびフォトメトリックな不連続性を防ぐため、デコーダはクロスフェース有効パディングを採用する。標準的なゼロパディングの代わりに、この層は幾何学的に隣接する面から特徴を動的に抽出し、球面多様体全体にわたってシームレスな遷移を確保する。
3. ハイブリッド訓練レジーム：事前訓練された透視投影モデルの豊富な事前知識を維持し、シミュレーションから実世界へのドメインギャップを緩和するため、モデルは混合訓練を受ける。これは交互に行われる：
   • パノラマバッチ：アクティブなクロスフェースパディングを用いて、完全な 6 面構成を処理する。
   • 透視バッチ：標準的なゼロパディングを用いて、90 度 FoV に歪められた単一の現実世界画像を処理する。
     この戦略は、モデルに連続的な球面観測を処理することを教えながら、破滅的忘却を防ぐ。

統合マルチタスクデコーディング

PaGeR は、共有トランスフォーマーバックボーンと、単一のフォワードパスで複数の幾何学モダリティをデコードするための専門化された結合タスクヘッドを利用する：

• スケール不変（SI）深度：計測的ばらつきを圧縮するために局所対数平面深度を予測する。ピクセル精度、勾配保持、法線整合性をバランスさせる複合損失を使用する。
• 表面法線：事前訓練された深度重みで初期化された並列ブランチであり、過平滑化を防ぐためにコサイン類似度と知覚損失を組み合わせた結合目的関数で最適化される。
• 計測スケール：粗い低解像度デコーダが、SI 深度を粗い計測対数深度マップに整合させることで、グローバルスケール因子を予測する。これにより、絶対スケール推定と高解像度構造再構成が分離される。
• 空のセグメンテーション：軽量ブランチが空をセグメントし、無限深度領域を明示的に分離することで、有限構造に対する計測回帰を安定化させる。

主要な貢献

1. 新規適応戦略：キューブマップ表現とハイブリッド訓練を用いて、ERP 歪みを回避しつつ、透視投影基盤モデルを 360 度ドメインへ転移する手法。
2. PaGeR フレームワーク：共有トランスフォーマーバックボーンと、SI 深度、計測深度、表面法線、空マスクの同時予測のための専門化されたヘッドを備えた統合モデル。
3. ZüriPano ベンチマーク：長距離屋外シナリオに対する厳密な評価データの不足に対処するために作成された、高精度 LiDAR スキャンを備えた現実世界の屋外都市パノラマの新しいデータセット。
4. 最先端のパフォーマンス：多様な屋内および屋外環境におけるゼロショット汎化を実証し、特定の設定に限定された既存の手法を上回る性能を示した。

実験結果

著者は、PaGeR を屋内（Matterport3D360、Stanford2D3DS）および屋外（ZüriPano）の両データセットで評価した。

• 定量的性能：PaGeR はすべてのベンチマークで最先端の結果を達成した。困難な屋外 ZüriPano データセットにおいて、絶対相対誤差（AbsRel）を 18.27（以前の最高値、RPG360）から9.36に削減した。計測深度推定においては、ZüriPano で RMSE 530.85を達成し、次点の手法（716.38）を大幅に上回った。
• 表面法線：Structured3D データセットにおいて、PaGeR は平均角度誤差5.49 度および MSE 174.9を達成し、PanoNormal や HyperSphere といった専門的なアーキテクチャを上回った。
• 定性的結果：視覚的比較により、PaGeR は過平滑化に悩まされることが多い DAP や DA2 などのベースラインと比較して、より鮮明な境界とより正確なグローバル構造を回復することが示された。点群再構成は、他の手法で一般的に見られる境界アーティファクトなしに、複雑な屋内構造や複雑な屋外地形を保持するフレームワークの能力を実証している。
• 効率性：モデルは、単一のコンシューマーグレード GPU で 2K 解像度の完全なパノラマを0.5 秒で処理し、12.8 GB のメモリを消費する。

意義と主張

本論文は、PaGeR がゼロショットパノラマ幾何再構成における新たな最先端を確立すると主張している。その主な意義は、最小限のアーキテクチャ変更（キューブマップ表現とクロスフェースパディング）とハイブリッド訓練戦略を通じて、強力な透視投影基盤モデルを球面ドメインへ効果的に適応させ得ることを実証している点にある。

著者は、自らのアプローチが以下の点で優れていることを強調する：

• 豊富な事前知識の維持：事前訓練された DA3 バックボーンを活用することで、ゼロから再学習する必要なく、3 次元表面構造に対する強力な理解を維持する。
• グローバル整合性の確保：クロスフェースパディングと同期されたエンコーダにより、360 度全体にわたってシームレスな再構成を可能にし、以前のマルチフェースアプローチにおける境界不連続性の問題を解決する。
• 堅牢な汎化：このフレームワークは、以前の手法がしばしば失敗する長距離屋外シーンを含む、未見の環境で極めて優れた性能を発揮する。

論文は、現在のインスタンスでは DA3 を使用しているが、アーキテクチャの原理は他の幾何学トランスフォーマーとも互換性があり、透視投影とパノラマの 3 次元シーン理解の間のドメインギャップを埋めるための一般化された手法を提供していると結論づけている。著者は、鏡面または透明な表面への困難さなど、単眼推定に共通する限界を認め、稀に構造的に複雑なシーンでは微妙な境界の不一致が発生し得ることに言及している。