技術的概要：HorizonStream

問題定義

ストリーミング動画からのオンライン 3 次元再構築は、厳密な因果的かつ有界メモリ制約の下でカメラ姿勢とシーン幾何学を推定することを要求する。古典的な手法は限られたスループットを伴う反復最適化に依存するのに対し、最近のオフライン・フューワード手法は将来のフレームにアクセスすることで高精度を達成するが、厳密に因果的なストリーミング手法は長いシーケンスにおいて困難に直面する。

既存のストリーミングアーキテクチャは、シーケンス長が増加するにつれて、しばしばドリフト、ジッター、または崩壊に悩まされる。著者らは、その根本原因を、ストリーミング幾何学の性質と現在のアーキテクチャ設計との間の根本的なミスマッチにあると特定する：

• 時間的異質性：ストリーミング幾何学は、寿命が著しく異なる証拠を含む。局所的な 2D-3D 対応関係は短命であり、すぐに無効化するが、一方、グローバルなスケールやシーン構造は永続的であり、長い視野にわたって信頼性を保たなければならない。
• 病的な影響パターン：現在の手法は、すべての証拠に対して均一な伝播規則を課す。
  • スライディングウィンドウはハードカットオフを強制し、有用な過去の証拠を早期に破棄する。
  • ゲートなしの再帰は、有界でない誤差蓄積を伴う重たい尾部カーネルをもたらす。
  • 因果的ソフトマックス注意は「注意のシンク」として退化し、無関係な初期トークンに焦点を当てるのに対し、KV キャッシュ更新メカニズムは不連続性を生み出す。
  • これらの病的なカーネルは、シーケンスが成長するにつれてキャッシュの飽和と深刻な幾何学的ドリフトを引き起こす。

手法：HorizonStream

著者らは、ストリーミング幾何学の時間的異質性に対処するために、幾何学的証拠影響カーネルを明示的に因数分解する長視野トランスフォーマーHorizonStreamを提案する。このフレームワークは、最近の$W$フレームを因果的に処理しつつ、ウィンドウ間構造とスケールのために$O(1)$の幾何学的状態を維持する。

1. 幾何学的証拠影響カーネル

再構築プロセスは、時空間カーネル$K(t, i)$を介して多様な幾何学的証拠を集約することとして形式化され、以下のように因数分解される：
$$K(t, i) = K_{spatial}(t, i) \cdot K_{time}(t, i)$$
この因数分解は、特定の計算コンポーネントをストリーミング再構築の 3 つの中核要件にマッピングする：信頼性の高い局所対応関係の選択、有界なマルチタイムスケール伝播の確保、およびメトリックスケール/姿勢の維持。

2. 幾何学的線形注意（長距離時間因子）

$K_{time}$をモデル化するために、著者らは有界な再帰的幾何学的状態$S_t \in \mathbb{R}^{d \times d}$を維持する幾何学的線形注意を導入する。

• 割引状態推定：状態は、過去の証拠の影響が指数関数的に減衰する割引目的関数を通じて更新される。これにより、古くなった情報の無制限な蓄積が防止される。
• チャネル別保持：スカラー保持率の代わりに、モデルはチャネル別保持ベクトル$\gamma_t \in (0, 1)^d$を学習する。
  • 低-$\gamma$チャネルは、一時的な証拠（例：局所対応関係）を迅速に修正する。
  • 高-$\gamma$チャネルは、長寿命の証拠（例：シーン構造、メトリックスケール）を保持する。
  • これにより、有効なメモリ寿命の連続スペクトル（$\tau = -1/\log \bar{\gamma}$）が作成され、周期的なリセットなしにウィンドウ間での安定した伝播が可能になる。

3. 幾何学的局所注意（短距離空間因子）

$K_{spatial}$をモデル化するために、著者らは局所ウィンドウ（$W$フレーム）内で幾何学的局所注意を採用する。

• ヘッド別ゲーティング：各注意ヘッドには、ノイズの多い対応関係をフィルタリングし、注意のシンクを抑制するための信頼性ゲートが割り当てられる。
• 時空間 RoPE：回転位置埋め込みは、相対的な 3 次元時空間レイアウトを符号化するために 3 つの軸（時間、高さ、幅）に拡張され、注意が相対的な幾何学的オフセットに依存することを保証する。

4. メトリックリードアウトトークン（MRT）

メトリック不変性の制約を満たすために、メトリックリードアウトトークンが導入される。これらのトークンは幾何学的線形注意に参加し、再帰的状態の高保持チャネルから直接メトリックスケールを読み取る。

• スケールヘッドは、変位と深度を再スケーリングするためのグローバルスケール因子$\hat{s}$を予測する。
• 局所ウィンドウ内の姿勢トークンに対する相対姿勢融合は、シーケンシャルなキーフレーム連鎖からの誤差蓄積を回避する合意姿勢を推定する。

5. アーキテクチャとトレーニング

• バックボーン：VGGT および DINOv2 から初期化された ViT-L で、フレームブロックとグローバルブロックを交互に配置する。幾何学的線形注意層は、特定の深さ（4, 11, 17, 23）でインターリーブされる。
• トレーニング：モデルは因果ウィンドウを使用して48 フレームのクリップでトレーニングされる。姿勢、深度、スケール損失によって監督される。
• オプションのループクロージャ：モジュールは再訪問されたフレームペアを取得して局所的な幾何学的補正を推定し、姿勢グラフ最適化を通じてグローバル軌道を最適化する。

主要な貢献

1. ストリーミング再構築の形式化：本論文は、ドリフト、ジッター、崩壊といった長シーケンスの失敗を病的なカーネル形状（ハードカットオフ、不連続性、注意のシンク）として統一し、幾何学的証拠影響カーネルを統一フレームワークとして提案する。
2. 制約付きカーネル分解アーキテクチャ（HorizonStream）：
   • 幾何学的線形注意：学習されたチャネル別保持を通じて、ウィンドウ間での有界なマルチタイムスケール伝播を提供する。
   • 幾何学的局所注意：ヘッド別ゲーティングと時空間 RoPE を使用して、ウィンドウ内でのコンテンツ認識型 3 次元マッチングを可能にする。
   • メトリックリードアウトトークン：高保持部分空間からの読み取りによって、メトリックスケールと剛体姿勢を維持する。
3. 汎化性と効率性：48 フレームのクリップのみでトレーニングされた HorizonStream は、定数メモリと線形時間複雑性で10,000 フレームを超えるシーケンスに安定して汎化し、既存のストリーミング手法を上回る。

実験結果

KITTI、VBR、Oxford Spires、ScanNet++、Waymo などの複数のデータセットで広範な実験が行われ、カメラ軌道推定（ATE）と密な再構築（CD、F1）の両方が評価された。

• 長シーケンス安定性：VBR データセット（最大 18,846 フレームのシーケンス）において、HorizonStream は平均 ATE 25.30m（ループクロージャありで 18.84m）で安定した軌道を維持し、深刻なジッターまたは崩壊に悩まされる他のオンライン手法（例：Lingbot-map は 27.53m、LongStream は 77.93m）を大幅に上回る。
• KITTI パフォーマンス：KITTI シーケンス（最大 4,661 フレーム）において、HorizonStream は平均 ATE 19.75m（ループクロージャありで 16.44m）を達成し、オフライン手法や最適化ベースの SLAM システムに匹敵するか、それを超える。
• 密な再構築：HorizonStream は、ETH3D、Oxford Spires、7Scenes、TUM RGB-D ベンチマークにおいて、最先端のオンライン再構築品質（最低の CD と最高の F1）を達成する。
• メモリと時間：超線形なメモリ成長を示すか、周期的なキャッシュリセットを必要とする競合手法とは異なり、HorizonStream はほぼ一定のピーク GPU メモリを維持し、1 万フレームまで滑らかにスケーリングする。

意義

本論文は、HorizonStream が、幾何学的証拠の時間的異質性を明示的にモデル化することにより、現在のストリーミング 3 次元再構築アーキテクチャにおける根本的なミスマッチを解決すると主張する。固定されたウィンドウや無制限の再帰に依存するのではなく、有界なマルチタイムスケール保持スペクトルを学習することによって、この手法は、周期的な状態リセットや将来のフレームへのアクセスを必要とせず、超長シーケンスにわたって安定したメトリック整合性の再構築を実現する。これにより、長視野シナリオにおけるロボット工学や自動運転のための堅牢なオンライン 3 次元知覚が可能になる。