技術サマリー：スケーラブルなVGGTのための多様性配慮型ビュー・パーティショニング（Diversity-aware View Partitioning）

1. 問題提起

ジオメトリ・トランスフォーマー、特にVGGT（Visual Geometry Grounded Transformer）は、グローバル・アテンションを介して複数のビューを共同で推論することにより、3Dシーン再構成において強力な性能を確立している。しかし、これらのモデルを大量の画像コレクションへとスケールアップさせる際には、主に2つのボトルネックに直面する：

1. 計算のスケーラビリティ： グローバル・アテンション機構は、入力トークンの数に対して二次的な計算コストとメモリコストを発生させる。フレーム数が増加すると、このコストは急速に膨大になり、数千枚の画像を含むシーケンスへのデプロイを制限してしまう。
2. 視点の冗長性と性能低下： 実証的な分析により、単に（入力となる）ビューの数を増やすことが、再構成の品質を低下させるという逆説的な現象が明らかになった。高密度なキャプチャのシナリオでは、多くのビューが視覚的に冗長（近接した重複）である。VGGTにおいて、これらの冗長なビューは非常に類似したトークンを導入し、アテンション機構内における幾何学的に情報量の多い信号（パララックスやオクルージョンなど）を希釈してしまう。これにより、「アテンションの希釈（attention dilution）」が発生し、モデルが幾何学的な手がかりに集中することが困難になり、たとえ計算リソースが十分であったとしても、再構成誤差の増大や数値的不安定性を招く。

既存の効率化戦略（例：トークン・マージング、スパース・アテンション）はメモリの問題に対処するが、視点の分布という根本的な問題は解決していない。さらに、逐次的なチャンク分割手法は、多くの場合、時間的な順序やループクロージャの制約に依存しており、順序のない画像コレクションへの適用性は限定的である。

2. 手法

著者らは、入力ビューを「多様性に配慮し、バランスの取れたチャンク」へと再編成する、学習不要でプラグアンドプレイな推論フレームワークであるDA-VGGTを提案する。その核心となる仮説は、各処理チャンク内の視点の多様性を最大化することで、限られたアテンション容量の下でも、トランスフォーマーがより強力な幾何学的情報を抽出できるというものである。

本フレームワークは、以下の4つのステージで構成される：

A. 視覚的多様性に配慮した初期パーティショニング

初期化時にはカメラのポーズが利用できないため、本手法はまず、視覚的な非類似性のみに基づいてフレームを分割する。

• 特徴量抽出： 各フレームのパッチ埋め込みを抽出するために、凍結されたDINOv2エンコーダ（VGGTに組み込まれているもの）を再利用する。
• 非類似度指標： フレームは平均プーリングされた記述子によって表現される。ペアごとの視覚的非類似度（$\delta_{ij}$）は、$1 - \text{cosine\_similarity}$として計算される。
• グラフ・パーティショニング： この問題は、バランスの取れたチャンクサイズを維持しながら、チャンク内の多様性を最大化する組合せ最適化問題として定式化される。著者らは、Kernighan–Lin (KL) アルゴリズムに着想を得た貪欲なローカル・スワップ戦略を採用している。ランダムなバランス分割から開始し、スワップによってチャンク内の総多様性スコアが増加する場合にのみ、フレームをチャンク間で入れ替える。

B. 空間的分散のためのソフト・ポーズ伝播（Soft Pose Propagation）

全フレームに対してフルなポーズ推定を実行することはコストがかかるため（高価であるため）、空間情報を組み込むための手法として、ソフト・ポーズ伝播戦略を導入する：

1. シード・ポーズ推定： 参照用チャンクを1つ選び、VGGTを用いてそのフレームの疑似カメラポーズを取得する。
2. 伝播： 残りのフレームについては、視覚的類似性に基づいて参照チャンクから情報を伝播させることで、ポーズを近似する。具体的には、新しいフレームの並進ベクトルは、視覚的類似度のソフトマックスによって決定される重みを用いた、参照ポーズの加重平均となる。
3. 空間的分散： これらの疑似ポーズを使用して、ペアごとの空間的分散行列（$\rho_{ij}$）を計算し、フレームが空間的に離れている場合に高いスコアを割り当てる。

C. 多様性に配慮したパーティションの精緻化

初期の視覚的パーティションは、視覚的非類似度と空間的分散を統合したスコア行列（$\hat{U}_{ij} = \delta_{ij} + \epsilon \cdot \rho_{ij}$）によって精緻化される。KLローカルサーチを再度適用してパーティションを最適化し、各チャンクが「視覚的に異なり、かつ空間的に分散した」ビューを含むようにする。なお、精緻化の間、参照チャンクは固定される。

D. 推論とグローバルな整合性

最適化されたチャンクは、それぞれ独立してVGGTによって処理される。グローバルな一貫性を確保するため：

• 共有アンカー： すべてのチャンクに、共通のアンカーフレーム（通常は最初のフレーム）が推論前に挿入される。
• アライメント： すべてのチャンクが共通の参照フレームを共有しているため、アンカーフレームの予測されたポーズを介したSE(3)変換を用いて、個々の予測をグローバルな座標系に整列させることができる。これには、追加のグローバル最適化やループクロージャを必要としない。

3. 主な貢献

• 実証的な洞察： 本論文は、視点の分布がマルチビュー・ジオメトリ・トランスフォーマーにおける決定的な要因であることを特定した。視点の数を増やすことが、多様性が不十分な場合には性能を低下させることを示している。
• 学習不要のフレームワーク： 視覚的および空間的な多様性に関する組合せグラフ最適化を介して入力を再編成する、プラグアンドプレイ型のメソッドであり、モデルの再学習を必要としない。
• ソフト・ポーズ伝播： 少数のシードフレームと視覚的類似性のみを使用して、パーティショニングのための空間関係を近似する新しい戦略であり、真のポーズやフルSfMパイプラインを必要としない。
• スケーラビリティと互換性： 本フレームワークは既存の効率的なVGGTバリアント（例：LiteVGGT, FasterVGGT）を補完し、メモリ制約（OOM）や精度低下によりベースライン手法が失敗する、長大な未整理のシーケンス上でのスケーラブルな再構成を可能にする。

4. 実験結果

6つのデータセット（7Scenes, NRGBD, Bonn, ScanNet-50, TUM-RGBD, Tanks&Temples）を用い、カメラポーズ推定、マルチビュー深度予測、および3D再構成タスクにおいて広範な実験を行った。

• 性能向上： 本手法は、バニラVGGTおよびその効率的なバリアントと比較して、精度（ポーズのAUC、深度のAbs Rel、3DのChamfer Distanceで測定）を一貫して向上または維持している。特に、フレーム数が増加する（例：300から1000フレームへ）につれて見られるベースラインの性能劣化を防いでいる。
• 効率性： 全フレームを共同で処理する場合と比較して、VRAM使用量を大幅に削減（最大3.8倍低減）し、推論レイテンシを大幅に短縮（最大6.34倍高速化）した。
• スケーラビリティ： A100 GPU上で1000フレームのシーケンスに対してFasterVGGTのようなベースラインモデルがOOM（メモリ不足）で失敗する一方で、DA-VGGTはこれらを正常に処理できる。
• 汎用性： 本アプローチは$\pi^3$などの他のアーキテクチャにも汎用性があり、内部ネットワークのコンポーネント（トークン・マージングやスパース・アテンションなど）を変更することによる精度の低下を伴わずに、スケーラビリティを向上させる。
• 未整理のシーケンス： 時間的な一貫性に依存する逐次的チャンキング手法（例：VGGT-Long）とは異なり、DA-VGGTは未整理の画像コレクション（例：Heritage-Recon）に対しても堅牢に動作し、逐次的ベースラインと比較してATEを25%以上削減した。

5. 意義と主張

本論文は、ジオメトリ・トランスフォーマーをスケールアップする際の主要な課題は、単に入力ビューの数ではなく、視点の分布であると主張している。「より多くのビューを処理する」ことから「多様性のためにビューを整理する」ことへと焦点を移すことで、提案されたフレームワークは優れた効率と精度のトレードオフを実現している。

著者らは、本手法のオーバーヘッドが極めて小さいことを強調している。パーティショニングとアライメントのステップは、トランスフォーマーの推論と比較して無視できるほどの計算コスト（1000フレームに対して1秒未満）しか導入しない。結論として、多様性に配慮したパーティショニングは、スケーラブルなマルチビュー再構成のための実用的かつ学習不要なソリューションを提供し、幾何学的な忠実度を損なうことなく、大規模で未整理の画像コレクションに対するジオメトリ・トランスフォーマーのデプロイを可能にすると述べている。