技術的サマリー：SeasonScapes

問題定義

スパースで制約のない視点からの大規模な 3D 景観再構築は、コンピュータビジョンにおいて依然として重大な課題である。既存の手法は、カメラ較正誤差、限られたシーンカバレッジ、動的照明や季節的な外観変化を伴う高複雑なシーンに対処することに苦慮している。大規模な静的都市環境向けのデータセットは存在するが、季節の移り変わりおよび日中の照明サイクルの両方を捉える、高品質で時間的に豊かな自然の無境界山岳景観向けのデータセットには明らかなギャップがある。さらに、従来のメッシュベースのシステム（例：Google Earth）は、静的な幾何学と合成された衛星テクスチャに依存しており、測光的一貫性を持つ視点依存の外観や多様な照明条件をモデル化できていない。

手法

著者らは、スパースなウェブカメラ映像から大規模で再照明可能な 3D 景観を再構築するためのフレームワークおよびデータセット SeasonScapes を提案する。本パイプラインは、以下の段階を通じてマルチモーダルデータ（ウェブカメラ、衛星画像、標高モデル）を統合する。

1. データ前処理と初期化

• 基本幾何学: 処理は、対象領域（例：ベルナー高地）の低解像度デジタル標高モデル（IDEM）と衛星カラー画像（$I_S$）から開始される。IDEM からのピクセル高さをマッピングし、$I_S$ で着色することで 3D ポイントクラウドが生成される。ポアソン表面再構成を用いて 3D メッシュ（$M$）が構築される。
• UV アンワーピング: メッシュ表面は xatlas ライブラリを使用してアンワーピングされ、UV テクスチャマップが作成されることで、テクスチャ保存と幾何学が分離される。
• ウェブカメラの整合: パノラマウェブカメラフィード（360 度円筒形）は 4〜6 の透視サブ画像に分割される。これらは一貫性のためにカラーグレーディングされ、3D メッシュと整合される。
• カメラ最適化: 初期カメラポーズは GPS 座標から導出されるが、学習ベースのアプローチで精緻化される。著者らは手動で 2D-3D 対応関係を確立し、投影された 3D 点とターゲットの 2D 画像点間の L1 ピクセル損失を最小化することで、内部パラメータ（焦点距離）と外部パラメータ（回転）を最適化する。

2. 3D メッシュテクスチャリングとインペインティング

オクルージョンとスパースなカバレッジに対処するため、フレームワークは 2 段階のテクスチャリングプロセスを採用する。

• 初期ペインティング: 前処理されたウェブカメラ画像は、メッシュの UV マップ onto 投影される。新しいテクスチャが UV マスクに基づいて既存のテクスチャとブレンドされる漸進的重ね合わせ戦略が用いられ、以前にペイントされた領域が保持されることを保証する。
• 反復的インペインティング: ウェブカメラの視点でカバーされていない領域については、システムが深度認識型拡散モデル（ControlNet）を使用して欠落領域をインペイントする。
  • 軌跡: システムは特定のポーズを持つ新規視点経路を定義する。
  • 条件付け: 各ステップで、RGBD 画像がレンダリングされる。HSV 色空間フィルタリングを使用して欠落領域を特定する、無彩色のマスクが生成される。
  • 拡散: ControlNet パイプラインは、深度マップ、近隣ウェブカメラからの外観ガイダンスのための IP-Adapter、およびテキストプロンプトに基づいてインペインティングを条件付ける。
  • 投影: 生成されたインペイント画像はローカル UV テクスチャマップ onto 投影され、以前のテクスチャと重ね合わせられる。

3. 再照明可能な 3D 表現

最終段階では、完成した時間的に多様なデータセットを使用して、Wild Gaussian モデル（3D ガウシアンスプラッティングの拡張）を訓練する。

• 動的埋め込み: モデルは季節的および日中の変動を捉えるために時間埋め込みを組み込む。
• 外観 MLP: マルチレイヤーパーセプトロン（MLP）は、視線方向と時間に基づいて各ガウシアンの基本色属性を変換し、動的なシーン特性の再構築と再照明機能を実現する。

主要な貢献

1. SeasonScapes データセット: 3,000 km² のアルプス地形を網羅する高品質で大規模なマルチモーダルデータセット。13 のタイムスタンプにわたる 32 の場所から 85,000 枚以上のウェブカメラ画像を含み、完全な季節サイクルと日中の変化を捉える。地上レベルの画像と地理参照衛星データ間の正確なタイムスタンプ注釈と較正された 2D-3D 対応関係を提供する。
2. SeasonScapes フレームワーク: 再照明可能な 3D 景観を作成するための新規パイプライン。GPS 座標間の線形または立方スプラインインペインティング軌跡を導入し、法線ベースのフィルタリングのみに依存するのではなく、UV インデックス付けと深度レンダリングによるオクルージョン認識ペインティングを実行することで、大規模で無境界のシーンを独自に処理する。
3. 動的再照明モデリング: 再照明可能なガウシアン訓練への動的埋め込みの統合により、大規模な屋外シーンにおける時間的変化（季節と一日の時刻）の効果的なモデリングを可能にする。

結果と評価

著者らは、Grindelwald（小規模）、Jungfrau（中規模）、Bernese Highlands（大規模）の 3 つの多様なテストシーンにおいてパイプラインを評価した。

• 定量的指標: 性能は LPIPS、PSNR、SSIM を使用して測定された。Grindelwald シーンは LPIPS 0.159 を達成したが、より大規模な Jungfrau および Bernese シーンはそれぞれ高い LPIPS 値（0.191 および 0.216）を示した。著者らは、合成を必要とする見えない領域の割合の増加が、大規模シーンにおける性能低下の原因であると帰属している。
• アブレーション研究: 初期ペインティング段階を除去すると、性能が大幅に低下し（Grindelwald の LPIPS で最大 33.1%）、2 段階アプローチの必要性が浮き彫りになった。深度制御を除去すると遠方領域で「山岳の幻覚」が生じ、IP-Adapter は主に色調を調整することが示された。
• 定性的比較: Google Earth と比較して、SeasonScapes アプローチは、ほぼ直交する視点をよりよく捉えることで急峻な崖面での着色が優れており、トップダウンの衛星視点で一般的である歪みや詳細の損失を回避した。この手法はまた、季節的変化に対する適応性も高かった。

意義と限界

本論文は、幾何学的に正確であるだけでなく、時間的に測光的一貫性を持つ自然環境のデジタルツインを作成する上で、SeasonScapes が前進したステップであると位置づけている。スパースなウェブカメラデータと拡散事前知識を組み合わせることで、この手法は長期的な環境遷移と短期的な照明変化のモデル化を可能にし、静的な衛星のみの再構築を超えて進展している。

著者らは現在の限界を認めている。

• 手動の 2D-3D 対応関係プロセスは時間がかかる。
• ControlNet は非常に小さな欠落領域のインペインティングに苦慮する。
• 再照明可能なガウシアン出力は、較正誤差と Wild Gaussian フレームワークの表現力の制約に起因する可能性のあるぼやけたアーティファクトを時折示す。

この研究は、環境監視、気象モデリング、バーチャルツーリズムへの応用における基盤を提供し、既存の静的データセットよりも動的で現実的な自然景観の表現を可能にする。