Feed-Forward Gaussian Splatting from Sparse Aerial Views

技術的サマリー：希少な航空画像からのフィードフォワードガウススプラッティング（AnyCity）

問題定義
大規模な都市景観を希少な航空画像から再構築することは、デジタルツインや都市計画にとって重要な課題である。しかし、偏ったトップダウンおよび浅い斜めカメラ姿勢に起因する希少な航空画像の取得は、深刻な証拠の偏り（evidence imbalance）に悩まされる。屋根や開放領域は繰り返し観測される一方、垂直なファサード、遠方の建物、遮蔽された構造物は、マルチビューのサポートをほとんど受けられない。既存の希少な入力から決定論的表現を直接回帰するフィードフォワード型 3D ガウススプラッティング（3DGS）手法は、この設定ではしばしば失敗し、ゴースト現象、溶けたファサード、引き伸ばされたテクスチャを生み出す。一方、強力な事前知識に大きく依存する最近の生成手法は、観測された幾何学と生成されたコンテンツの明確な分離が欠如しており、説得力はあるが幾何学的に不整合な構造をもたらす傾向がある。

手法：AnyCity
著者らは、この偏りを解決するために設計された、観測に基づく生成型再構築フレームワークAnyCityを提案する。核心的な洞察は、希少な航空画像による再構築を制御された生成精製問題として扱うことであり、ここで生成事前知識は、観測によって支持される幾何学を維持しつつ、制約の弱いコンテンツのみを補助的に支援する。このパイプラインは、シーンごとの最適化なしに単一のフィードフォワードパスで動作する。

1. 観測サポート型足場（Scaffold）
   モデルは、フィードフォワード型マルチビューバックボーンを用いて、姿勢未定義の希少な航空画像から幾何学潜在変数（$Z_{geo}$）を予測する。この潜在変数は、入力観測によって直接支持される信頼性の高い構造を固定する。最初のトレーニング段階では、この経路は、浮遊するガウスを抑制し、ファサードの溶融を防ぐために、フォトメトリック損失および軽量な幾何学損失（深度整合と法線平坦化）を用いて最適化される。

2. 航空画像補完トークン
   制約の弱いコンテンツ（例：ファサード、遠方の建物）を処理するために、モデルは航空画像補完トークンを導入する。これらのトークンは、観測サポート型足場から文脈を読み取り、幾何学潜在変数へのゲート付き残差更新（$\Delta Z$）を予測する。これにより、足場は信頼性の高い幾何学の責任を担い続け、補完ブランチは曖昧な領域を処理することが保証される。

3. ゲート付き動画事前知識注入
   微細な都市の外観の手がかりを提供するために、AnyCity は航空ドメイン向けに LoRA を介して適応された凍結された動画拡散バックボーン（Wan 2.2）を利用する。動画事前知識の特徴量は、補完トークン空間へ投影される。重要なのは、トークンごとのゲートが、各補完トークンが動画事前知識にどの程度強く注意を向けるかを調節することである。これにより、生成事前知識は、メインの幾何学ストリームを直接変更したり、信頼できる観測を変化させたりすることなく、制約の弱いコンテンツを精製することが可能となる。

4. トレーニング戦略
   モデルは、2 段階の漸進的トレーニングアプローチを採用する：

   • 段階 I：幾何学損失を用いて観測サポート型足場を安定化させる。
   • 段階 II：補完ブランチ、動画事前知識、およびゲート付き条件付けを活性化させる。この段階では、密から希への蒸留（dense-to-sparse distillation）を利用する。ここで、密なビューでトレーニングされた「教師」モデルが、希少な観測によって見逃された構造について「生徒」（希少な入力）を指導する。観測保存損失は、残差精製が希な入力によって既に支持されている幾何学を変更しないことを保証する。

主な貢献

• AnyCity フレームワーク：希少で姿勢未定義の航空都市ビューを特化して対象とするフィードフォワード生成型再構築フレームワーク。限られた重なり、弱いパララックス、および不均一なシーン証拠を処理可能。
• 航空画像適応型動画事前知識：足場条件付き航空画像補完トークンを介してルーティングされた動画拡散事前知識の導入。この設計により、生成の手がかりはシーン直接形成ではなく、ガウスデコーディング前に制約の弱いコンテンツを精製することが可能となり、幾何学的整合性を維持する。
• 漸進的トレーニングと観測保存：まず観測サポート型足場を安定化させ、その後、密から希への蒸留および観測保存目的を用いて動画事前知識による精製を監督するトレーニング戦略。これにより、信頼できる証拠が存在する場所でモデルが構造を幻覚（ハルシネーション）させることを防ぐ。
• 実証的検証：合成データ、航空ドメイン、UAV テクスチャ、および実世界シーンにおける広範な評価により、既存のフィードフォワードベースライン（特に制約の弱い領域において）に対する一貫した改善が示された。

結果
実験により、AnyCity は、入力ビュー数（2、4、および 16 ビュー）のさまざまな条件において、汎用的なフィードフォワードベースライン（NoPoSplat、FLARE、AnySplat など）と比較して、優れた新規ビュー合成の品質を達成することが示された。

• 定量的：GoogleEarth および CityNerf データセットにおいて、AnyCity は PSNR、SSIM、LPIPS においてベースラインを上回る。例えば、GoogleEarth において 4 ビューの場合、AnySplat が 17.256 の PSNR を達成するのに対し、AnyCity は 18.466 を達成する。
• 定性的：この手法は、よりフォトリアリスティックなレンダリングを生み出し、ファサードの連続性が向上し、浮遊するアーティファクトが減少する。
• 効率性：シーンごとの最適化手法（CityGaussianV2 など）が数分〜数時間を要するのに対し、AnyCity は正確なカメラ姿勢や SfM 初期化を必要とせず、最終的な 3DGS を数秒（例：32 ビューで約 3.4 秒）で再構築する。
• 診断：領域ごとの分析により、この手法は観測サポート領域において高い忠実度を維持しつつ、制約の弱い領域（ファサード、遠方の建物）を大幅に改善することが確認された。

意義と主張
本論文は、AnyCity が、フィードフォワード再構築の効率性と拡散モデルの生成能力の間のギャップを、航空画像の固有の課題に特化して成功裡に埋めたと主張している。信頼できる観測サポート型幾何学と生成精製を分離することで、この手法は、純粋な生成アプローチの「説得力はあるが不整合」という落とし穴を回避する。著者らは、AnyCity を、航空データ収集に典型的な証拠の偏り条件下で効果的に動作する、スケーラブルで姿勢不要な 3D 都市再構築への一歩として位置づけている。この研究は、生成事前知識が、直接のシーン生成ではなく、残差更新のための潜在コンディショナーとして使用される場合に最も効果的であることを浮き彫りにしている。