A Comparison of Multi-View Stereo Methods for Photogrammetric 3D Reconstruction: From Traditional to Learning-Based Approaches

以下は、提示された論文「A Comparison of Multi-View Stereo Methods for Photogrammetric 3D Reconstruction: From Traditional to Learning-Based Approaches」の技術的な要約です。

1. 問題定義 (Problem)

航空写真測量における 3 次元再構成は、従来の構造から運動（SfM）とマルチビュー・ステレオ（MVS）手法に依存してきました。これらは高い精度を提供しますが、処理速度とスケーラビリティに課題を抱えています。
一方、近年は学習ベースの MVS 手法が登場し、高速かつ効率的な再構成を目指しています。しかし、これらの新しい学習ベース手法（幾何ガイド型およびエンドツーエンド型）が、大規模な屋外航空写真測量のシナリオにおいて、従来の手法（COLMAP など）と比べてどの程度有効であるか、また精度、カバレッジ、処理時間の面でどのようなトレードオフがあるのかを体系的に比較評価した研究は不足していました。

2. 手法と評価対象 (Methodology)

本研究では、代表的な従来のパイプラインと最先端の学習ベース手法を比較するために、以下の 3 つのカテゴリーに分類された 10 種類の手法を対象に実験を行いました。

• 従来の手法:
  • COLMAP: 古典的な SfM と MVS パイプライン。明示的な幾何学モデルに基づき、特徴抽出、マッチング、カメラ姿勢推定、密な再構成を行う。
• 幾何ガイド型学習ベース手法 (Geometry-Guided):
  • PatchmatchNet, MVSFormer++, MVSAnywhere: 外部から推定されたカメラ姿勢（COLMAP 等による）を入力とし、コストボリュームを学習して深度マップを推定する。COLMAP のスパース再構成結果に依存する。
• エンドツーエンド学習ベース手法 (End-to-End):
  • Stereo4D, FoundationStereo: 2 枚の画像ペアからの推論に特化。
  • DUSt3R, MASt3R, Fast3R, VGGT: 画像コレクションから直接 3 次元構造を推論する大規模ビジョンモデル。明示的な幾何学モデリングを必要とせず、カメラ姿勢推定と構造推定を同時に行う。

実験設定:

• データセット:
  1. MARS-LVIG データセット: 複雑な環境（島）で撮影された UAV 画像。真値（Ground Truth）は高精度 LiDAR ポイントクラウド。
  2. Pix4D データセット: 都市部の画像。真値は Pix4Dmapper で生成されたポイントクラウド。
• 評価指標:
  • 処理時間: 入力画像数（2, 10, 20, 50, 100 枚）に対するスケーラビリティ。
  • 精度: 再構成されたポイントクラウドと真値との距離誤差（RMS, MD）。
  • カバレッジ: 真値ポイントのうち、再構成された表面内に収まる割合。
• 前処理: 公平な比較のため、すべての入力画像を解像度 512px にリサイズし、幾何ガイド型手法には COLMAP による姿勢推定結果を、エンドツーエンド手法には歪み補正済み画像を入力しました。

3. 主要な貢献と結果 (Key Contributions & Results)

A. 処理時間とスケーラビリティ

• COLMAP: 画像数が増加するにつれて計算コストが劇的に増加し、100 枚の画像では 1300 秒以上を要しました。
• 幾何ガイド型: COLMAP のスパース再構成に依存するため、COLMAP が失敗すると再構成自体が不可能になります。また、COLMAP よりも高速ですが、画像数が増えると処理時間が急増します。
• エンドツーエンド型:
  • Fast3R, VGGT: 非常に高速でスケーラビリティに優れています。100 枚の画像でも数秒〜数十秒で処理可能です。
  • DUSt3R, MASt3R: 2 枚の画像では高速ですが、画像数が増えると処理時間が急増し（MASt3R は 100 枚で 3 時間以上）、大規模データには不向きでした。

B. 精度とロバスト性

• sparse-view（画像数少ない）: DUSt3R が最も高い精度を示しました。画像が 2 枚しかない場合でも、COLMAP や他の手法よりも優れた幾何学的整合性を維持しました。
• dense-view（画像数多い）: 画像数が増えると、DUSt3R の精度は低下し、特に島のようなテクスチャが反復する領域で誤差が増大しました。
• VGGT: 画像数が増加しても精度が比較的安定しており、ロバスト性が高いことが示されました。
• COLMAP: 幾何学的に整合性の高い結果を提供しますが、テクスチャの少ない領域や照明変化に対して敏感であり、画像登録に失敗すると再構成が不完全になります。
• 共通課題: 学習ベース手法（特にエンドツーエンド）は、テクスチャの少ない領域や反復パターン（植生、屋根など）において、レイヤー化（層状のアーティファクト） や局所的な構造の不一致が発生しやすい傾向がありました。

C. カバレッジ

• DUSt3R: 画像数が少ない場合（2 枚）に最も高いカバレッジ（島：84.89%）を示しましたが、画像数が増えるとカバレッジが急激に低下しました。
• VGGT: 画像数の変化に対して最も安定したカバレッジを維持しました。
• COLMAP: 画像登録に失敗したフレームがある場合、カバレッジが制限されました。

4. 結論と意義 (Conclusions & Significance)

本研究は、航空写真測量の分野において、従来の手法と学習ベース手法の性能を定量的に比較した最初の体系的な評価の一つです。

• 従来の手法 (COLMAP): 制御された条件下では信頼性が高く幾何学的に整合性がありますが、計算コストが高く、大規模な屋外環境でのスケーラビリティに課題があります。
• 幾何ガイド型手法: COLMAP の結果に依存するため、入力段階での失敗がそのまま再構成の失敗につながります。
• エンドツーエンド手法: 非常に高速で、画像登録が困難な場合でも強力な特徴マッチング能力を示し、ロバスト性が高いです。特に VGGT は、再構成品質と実行時間のバランスが最も優れていました。
• 課題: 学習ベース手法は高速化とカバレッジの面で優れていますが、高精度な航空測量が求められる場面で、まだ大きな残差（誤差）やアーティファクト（層状化など）が発生しており、実用化にはさらなる改良が必要です。

意義:
本研究は、ダウンストリームの 3 次元再構成タスクにおいて、シナリオ（画像数、環境、求められる精度）に応じてどの手法を選択すべきかについての指針を提供しました。将来的には、SLAM 軌道などの姿勢事前知識を統合し、大規模な画像コレクションを効率的に処理するスケーラブルな推論戦略の開発が期待されます。