技術概要：ストリーミング 3D 再構成のための適応的更新を備えたレイ対応ポインタメモリ

1. 問題定義

連続的な画像ストリームからの高密度 3D 再構成には、正確な幾何学的集約と安定した長期的メモリ管理の同時達成が要求される。近年のフィードフォワードフレームワーク（例：DUSt3R、MASt3R）は、共有座標系におけるポイントマップの予測により画像ペアから高密度幾何形状を回復することに成功しているが、これらの手法を長系列に拡張することは重大な課題を伴う。

既存のストリーミング再構成アプローチは一般的に 2 つのカテゴリに分類される：

1. グローバルアテンションメカニズム: VGGT や Spann3R などの手法は複数のフレームを共同で処理する。これらは強力なグローバル整合性を提供する一方で、計算複雑度が二次関数的に増大するため、長距離のストリーミングには非効率的である。
2. インクリメンタルメモリ更新: Point3R や CUT3R などの手法は、オンライン推論を可能にするためにシーン要素（トークンまたは空間ポインタ）の永続的メモリを維持する。しかし、これらの手法は通常、メモリ更新のために外観ベースの類似性に依存している。この依存関係は重大なボトルネックを生み出す：視点の変化に伴い、幾何学的に隣接する領域は遮蔽や照明により視覚的に明確に区別される可能性がある一方、反復的なテクスチャは異なる場所からの観測を類似して見せる可能性がある。その結果、幾何学的位置と視覚的特徴のみに依存することは、曖昧な関連付け、カスケード誤差、そして最終的なトラッキングドリフトをもたらす。

2. 手法

提案されるフレームワークは、ストリーミング状況における観測関連付けの曖昧さを解決するために設計されたレイ対応ポインタメモリシステムを導入する。中核となるパイプラインは、以下の 3 つの主要コンポーネントで構成される：

2.1 レイ対応ポインタメモリ表現

空間座標または潜在トークンのみを格納する従来のメモリ表現とは異なり、提案システムは各観測に関連する視幾何形状を明示的に符号化する。各メモリポインタ $m_k$ は、構造化されたタプルを格納する：
$$m_k = \{x_k, r_k, f_k, t_k\}$$
ここで：

• $x_k \in \mathbb{R}^3$: 点の 3D 空間位置。
• $r_k \in S^2$: カメラから点への単位レイ方向。
• $f_k \in \mathbb{R}^d$: 学習された特徴埋め込み。
• $t_k$: ポインタが作成されたフレームのタイムスタンプ。

観測レイ方向を組み込むことで、システムは変化する視点下での繰り返し観測を曖昧さを解消するための幾何学的文脈を獲得する。

2.2 統合観測推論器

新しいポインタが生成された際、システムはそれが既存のメモリエントリに対応するか、新しい幾何形状を表すかを決定しなければならない。著者は、空間的近接性と視方向の不一致を組み合わせた統合幾何距離メトリックを導入する：
$$D(m_{new}, m_k) = \lambda_{pos} d_{pos} + \lambda_{ang} d_{ang}$$
ここで、$d_{pos}$ は 3D 位置間のユークリッド距離、$d_{ang}$ は観測レイ間の角度差（$1 - (r_{new} \cdot r_k)$）である。

このメトリックにより、システムは観測を 3 つの明確なカテゴリに分類できる：

1. 局所的冗長性: 小さな空間距離かつ小さな角度差（同じ点、類似した視点）。
2. ループ再訪問: 小さな空間距離だが大きな角度差（同じ点、異なる視点）。
3. 新規幾何形状: 大きな空間距離（未観測の幾何形状）。

2.3 適応的ポインタ更新戦略

従来の融合ベースの戦略は、特徴平均化を通じて近接するポインタをマージするが、これは特徴的な幾何構造を希釈する可能性がある。提案手法はこれを保持または置換メカニズムに置き換える：

• 探索: 空間半径 $R$ 内の隣接ポインタを特定する。
• 決定: 隣接ポインタが存在する場合、システムは統合距離メトリックに基づいて最も近いポインタを特定する。確定的なマージの代わりに、確率的ポリシーを適用する：新しいポインタまたは既存のポインタのいずれかが等しい確率で破棄される。
• 結果: この戦略は、以前の観測の確定的な上書きを防ぎつつ、異なる視点にわたる多様な幾何学的証拠を保持し、幾何学的識別性を犠牲にすることなく有界なメモリ成長を維持する。

2.4 ループ検出と姿勢微調整

レイ対応表現により、明示的なループクロージャ検出が可能となる。2 つのポインタが以下の条件を満たす場合、ループ候補が特定される：

1. 空間的近接性（$\|x_i - x_j\| < \epsilon_{pos}$）。
2. 有意な角度差（$1 - (r_i \cdot r_j) > \epsilon_{ang}$）。
3. 時間的隔たり（$|t_i - t_j| > \Delta t$）。

ループ候補を検出すると、システムは蓄積されたドリフトを修正するために姿勢グラフ微調整をトリガーする。さらに、フィッシャー情報に基づく選択戦略がループ領域内のポインタをスパース化するために適用され、最も情報量の多い観測のみを保持する。

3. 主要な貢献

本論文は、その貢献を以下のように要約している：

1. ポインタベースのメモリ表現: 空間位置と視方向の両方を明示的に格納する新規表現。これにより、ストリーミング再構成において視点対応の幾何学的推論が可能となる。
2. 統合観測推論: 局所的冗長性、新規幾何形状、ループ再訪問を区別する統合的ジオ・ビジュアル検証問題としてのメモリ統合の定式化。
3. 適応的更新戦略: 情報量の多い幾何学的ランドマークを保持しつつ、制御不能なメモリ成長を防ぎ、従来の融合に伴う特徴の希釈を回避する、保持または置換のメモリ更新ポリシー。

4. 実験結果

本手法は、7-Scenes、NRGBD、NYU-v2、Sintel、Bonn、KITTI、ScanNet、TUM-dynamics といった複数のデータセットにおいて、以下の 3 つのタスクで評価された：

• 高密度 3D 再構成: 7-Scenes および NRGBD において、提案手法は最適化ベースのベースライン（例：DUSt3R-GA）およびオンライン手法（例：Point3R、CUT3R）と比較して、精度（Acc）と完全性（Comp）において優位または競争力のある結果を達成した。著者は、ノーマル整合性（NC）が一部のベースラインよりわずかに低かったことに言及しているが、これは保持または置換戦略に内在する局所表面平滑化よりも、明確な構造的詳細を優先する手法の特性によるものであると指摘している。
• 深度推定: 本手法は、屋内および屋外データセット全体でモノキュラー深度推定において競争力のある性能を示し、強力なゼロショット汎化性を示した。
• カメラ姿勢推定: 本アプローチは、ScanNet および TUM-dynamics において競争力のある絶対軌道誤差（ATE）および相対姿勢誤差（RPE）を達成し、事後のグローバルアライメントを必要とせずに完全なオンラインパイプラインを維持した。
• メモリ効率: 除去研究およびメモリ比較により、保持または置換戦略がマージベースの戦略と比較して格納されるポインタ数を大幅に削減しつつ、再構成品質を維持または向上させることが示された。また、本手法は、変動が大きく高い使用量（7.5–10.5 GB）を示すマージベースラインと比較して、より安定した低い GPU メモリ消費量（約 6–9 GB に制限）を示した。

5. 意義と主張

本論文は、スケーラブルかつドリフト耐性のあるオンライン 3D 再構成のための原理的なフレームワークを提供すると主張している。物理的点とそれらの視方向との関係を明示的にモデル化することで、システムは既存のストリーミング手法を悩ませる外観駆動型のメモリ更新の限界を克服する。

著者は、彼らのアプローチが以下を可能にすると強調している：

• 安定した長期的再構成: 局所的冗長性とループ再訪問を区別することで、長系列におけるトラッキングドリフトを防止する。
• 効率的な推論: 適応的更新戦略はコンパクトなメモリフットプリントを維持し、リソース制約のあるシナリオに適したシステムとする。
• 幾何学的整合性: 空間距離とレイ方向の不一致に関する統合推論は、特徴類似性のみに依存する手法よりも正確な幾何学的集約を可能にする。

本論文は、限界を認めて結論付けている。具体的には、フレームワークは比較的正しい初期姿勢推定を前提としており、更新戦略における確率的選択は観測の情報内容を完全に活用していない点である。しかし、実験結果は、提案されたレイ対応メモリ設計がストリーミング 3D 再構成の安定性と精度を大幅に向上させることを示している。