💻 computer science

GHOST: Geometry-Hierarchical Online Streaming Token Eviction for Efficient 3D Reconstruction

GHOST は、階層的な重要度スコアリング、特殊トークンの保護、および層ごとの予算割り当てを用いて冗長トークンをオンラインで破棄することにより、長尺の単眼動画からの効率的な 3 次元再構成を実現するトレーニング不要の幾何学的知見を備えたフレームワークであり、これにより再構成品質を損なうことなくメモリ使用量を大幅に削減し推論を加速する。

原著者： Leyang Chen, Junyi Wu, Zhiteng Li, Yulun Zhang

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Leyang Chen, Junyi Wu, Zhiteng Li, Yulun Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがカメラを持って部屋を歩き、一歩ごとに写真を撮りながら、完璧な 3D モデルを構築しようとしていると想像してください。これを行うためには、あなたのコンピュータの脳（AI）が、壁、家具、そして隅々がどのように接続しているかを理解するために、これまで撮影したすべての写真を記憶しておく必要があります。

問題は？長く歩き続けると、コンピュータのメモリが不足してしまうことです。それは、一歩ごとに重くなるバックパックを持ち続け、最終的に倒れ込んでしまうようなものです。

旧来の方法：「忘れっぽい司書」
従来の手法は、最も最近の書籍、あるいは現在読んでいる本に最も似ている本だけを保管する司書のように振る舞うことで、この問題を解決しようとしました。

欠点: この論文は、これが 3D にとっては悪い戦略であると主張しています。現在の写真と似ているからといって、それが有用であるとは限りません。壁が同じように見えても、カメラの角度がわずかに変わったため、10 分前に撮影された壁の写真が必要になるかもしれません。従来の手法は、その瞬間に「刺激的」ではなかったため、これらの「幾何学的に価値のある」写真を捨てていました。

新しい方法：GHOST（「賢い建築家」）
著者たちは、賢い建築家のように振る舞う新しいシステム、GHOST を紹介します。単に写真がどれほど似ているかを見るのではなく、GHOST はこう問いかけます：「この写真は、部屋の形状を理解するのに役立っていますか？」

GHOST がどのように機能するかを、3 つの簡単なトリックを使って説明します。

1. 2 段階のスコアカード（「全体像」と「詳細」）

GHOST は写真を全体として評価するだけでなく、2 つの側面から評価します。

レベル 1：視点スコア。 カメラは新しい場所へ移動しましたか？部屋には今、興味深い隅や縁が満ちていますか？カメラが空の廊下で単に円を描いて回転しているだけなら、それは退屈です（低いスコア）。カメラが複雑な階段を示す新しい角度へ移動すれば、それは黄金です（高いスコア）。
レベル 2：パッチスコア。 素晴らしい写真であっても、一部の部分は退屈です（例えば、真っ白な壁など）、そして一部の部分は興奮させます（例えば、テーブルの縁など）。GHOST は「興奮する」部分を保持し、「空白の壁」の部分を捨てます。たとえ写真自体が重要であってもです。

比喩: 旅行用のスーツケースをパッキングしていると想像してください。

旧来の方法: 「私が着た最後の 5 枚のシャツを保管します。」（それらがすべて同じ白い T シャツだったかもしれません）。
GHOST: 「天候に合うシャツ（視点）と、パスポートを入れる特定のポケット（詳細）を保管し、空のポケットは捨てます。」

2. VIP パス（「特別なトークン」を保護する）

AI の脳内には、部屋の GPS 座標と設計図のような役割を果たす特別な「トークン」（小さなデータ片）があります。これらを失うと、3D モデル全体が崩壊してしまいます。

問題: 時には、これらの GPS トークンは、カラフルなおもちゃの派手な写真に比べて「退屈」に見えるため、古いシステムはスペースを節約するために誤ってそれらを削除してしまう可能性があります。
GHOST の解決策: GHOST はこれらの特別なトークンにVIP パスを与えます。どれだけ「退屈」に見えようとも、それらは決して捨てられません。AI が方向感覚やシーンの全体的な構造を失うことがないよう、これらは保護されます。

3. 賢い予算（重要な場所に資金を配分する）

コンピュータには、脳の各層に費やすことができる「メモリ資金」が限られています。

旧来の方法: 「脳のすべての層に、正確に同じ量のメモリを与えましょう。」
GHOST の解決策: GHOST は事前に脳の層を研究します。それは、複雑な変換（データを大幅に変更する）を行う「働き者」の層と、与えられたものを単に繰り返すだけのような「怠け者」の層があることを発見します。
- GHOST は、重要な詳細をすべて保持できるように、働き者の層により多くのメモリを与えます。
- 仕事をするためにそれほど多くを必要としないため、怠け者の層にはより少ないメモリを与えます。

結果

これらの 3 つのトリックを使用することで、GHOST はメモリ不足に陥ることなく、2 倍の長さのビデオシーケンスを処理できます。

メモリ使用量をほぼ**50%**削減します。
コンピュータを1.75 倍高速化します。
最も重要なのは、ビデオが非常に長い場合でも、GHOST が構築する 3D モデルは、従来の最良の方法よりも精度が高く、エラーが少ないことです。

要約すると、GHOST は AI が退屈で反復的なデータにスペースを浪費するのを防ぎ、限られたメモリを、実際に 3D 世界を理解するのに役立つビデオの部分に集中させます。

技術的サマリー：GHOST（幾何階層型オンラインストリーミングトークンエビクション）

問題定義

長い単眼ビデオシーケンスからのストリーミング 3 次元再構築は、重要なメモリボトルネックに直面している。VGGT などのトランスフォーマーベースのモデルは、すべての入力フレームに対して共同アテンションを行うことで最先端（SOTA）の結果を達成するが、この共同アテンションはシーケンス長に対して二次的にスケーリングするため、長いビデオには非現実的である。StreamVGGT や InfiniteVGGT などのストリーミングアプローチは、増大するキー・バリュー（KV）キャッシュを維持し、固定された予算を超えた際にトークンをエビクトすることでこれを緩和しようとする。

既存のエビクション戦略、特にキー類似性ヒューリスティックに依存するもの（現在のクエリと最も類似しないキーを持つトークンを破棄するなど）は、根本的な限界に苦しんでいる。すなわち、現在のクエリフレームからのアテンションスコアは、歴史的トークンの長期的な幾何学的価値を忠実に反映していないことである。本論文で示されているように、キー類似性スコアはカメラポーズの変化に対して無視できる相関（ $\rho = -0.07$ ）しか示さず、深度勾配分散に対しても中程度の相関（ $\rho = +0.31$ ）しか示さない。その結果、これらの手法は、現在のフレームと視覚的に類似しているが幾何学的に特徴的なトークンを保持できず、長いシーケンスにおける再構築品質の低下を招く。

手法

著者は、ストリーミング 3 次元再構築のための KV キャッシュを管理するトレーニングフリーのフレームワークであるGHOST（Geometry-Hierarchical Online Streaming Token Eviction）を提案する。GHOST は、アテンションパターンにのみ依存するのではなく、モデル自身の 3 次元幾何学出力（深度、ポイントマップ、カメラポーズ）を利用してトークンの重要性を決定する。

1. 階層的二重レベル重要性スコアリング

GHOST は、トークンの重要性を相互に補強する 2 つのレベルに分解し、追加のフォワードパスなしでオンライン的に逐次更新する。

フレームレベル重要性（ $s_{frame}$ ）： 完全な視点の幾何学的価値を決定する。以下の 3 つのシグナルを統合する。
- カメラポーズ変化： 並進的近接性と回転的類似性をペナルティ化し、視点の大きな変化があるフレームを保持する。
- 深度勾配分散： 均一な表面よりも、エッジや境界などの豊富な構造的詳細を持つフレームを優先する。
- 時間的最近性： 文脈的重なりを維持するために最近のフレームに高い重みを割り当てる一方、独自の視点を持つ古いフレームも保持する。
トークンレベル重要性（ $s_{token}$ ）： フレーム内の特定の有益なパッチを特定する。以下の要素を集約する。
- 視覚的顕著性： 幾何学的対応を固定するための特徴マップの空間勾配の大きさで測定される。
- 深度信頼性： 深度推定に関するモデルの認識論的確信度。
- ポイント信頼性： 3 次元ポイントマップ推定に関するモデルの確信度。

最終的なパッチごとのスコア $\phi(t, p)$ は、正規化されたフレームレベルスコアとトークンレベルスコアの加重和である。

2. 特殊トークン特権メカニズム

標準的な重要性スコアリングは、視覚的顕著性の欠如により、カメラトークン $c_t$ やレジスタートークン $\{r^i_t\}$ などの特殊トークンを、有益なパッチトークンよりも低い順位にランク付けする可能性がある。GHOST は、これらのトークンに対して決定的なブーストを導入する。固定オフセット（ $\Delta_{boost}$ ）とランクベースのタイブレーカーを追加することで、グローバルなシーン幾何学と構造的な事前知識をエンコードするトークンが決してエビクトされないように保証し、ポーズ推定とシーンのグローバル化の破損を防ぐ。

3. コサイン類似性ガイド型レイヤー別予算割り当て

トランスフォーマーレイヤーが「変換強度」において異なることを認識し、GHOST は均一な予算配分を回避する。

オフラインプロファイリング： システムは、代表的なシーケンス全体において、各レイヤーの入力と出力間の平均コサイン類似度（ $\bar{\rho}_\ell$ ）を計算する。
割り当て： 類似度が高いレイヤー（恒等変換に近い変換）には小さな予算を割り当て、類似度が低いレイヤー（強い変換）には大きな予算を割り当てる。これにより、表現の保持に最も必要とされる場所にトークン予算を集中させる。

主要な貢献

幾何学認識スコアリング： モデル自身の 3 次元出力（深度、ポイント、ポーズ）を利用して幾何学的に価値のあるトークンを特定する、新規のトレーニングフリーなスコアリング方式。アテンションスコアと 3 次元構造の間の乖離に対処する。
特殊トークン保護： カメラトークンとレジスタートークンの保持を保証する決定的メカニズム。グローバルなポーズと構造エンコーディングをエビクションから守る。
適応的レイヤー予算化： レイヤー別変換強度に基づいて KV キャッシュ予算を割り当てるオフラインプロファイリング戦略。メモリ使用量と再構築忠実度の間のトレードオフを最適化する。
包括的評価： 複数のベンチマークと入力長さにおいて、GHOST が VGGT、StreamVGGT、CUT3R、Point3R、TTT3R、InfiniteVGGT などのベースラインを上回る性能を達成し、かつメモリフットプリントを大幅に削減することを示す広範な実験。

実験結果

著者は、GHOST を Bonn、7-Scenes、NRGBD、Long3D の 4 つのベンチマークで、様々な入力長さ（最大 9,545 フレーム）にわたって評価した。

性能： GHOST は、VGGT、StreamVGGT、CUT3R、Point3R、TTT3R、InfiniteVGGT などのベースラインと比較して、ほぼすべての指標（精度、完全性、ノーマル整合性、深度 Abs Rel）において一貫して最良の性能を達成する。
- 7-Scenes（300 フレーム）において、GHOST は InfiniteVGGT に対して平均精度誤差を 42.5% 削減した。
- Long3D（最大 9,545 フレーム）において、GHOST は有意な改善を示し、精度の向上はシーケンス長に比例して拡大した（例：ライブラリシーンで 33.5% の改善）。
効率性：
- メモリ削減： GHOST は競争力のある精度を維持しながら、KV キャッシュサイズをほぼ半分に削減する（例：60 万予算において 6.94 GB から 3.51 GB）。
- 推論速度： この手法は、最先端の手法と比較して最大1.75 倍の高速な推論を実現する。
アブレーション研究：
- 特殊トークンブーストを除去すると精度とノーマル整合性が低下し、グローバル構造トークンの保護の重要性が確認された。
- コサイン類似性ガイド型予算割り当ては、均一割り当てや他のプロファイリング戦略（フィッシャー情報量、勾配の大きさ）を上回った。
- システムは、重要性重みの摂動に対して頑健であることを示した。

意義

本論文は、GHOST が現在のストリーミング 3 次元再構築における根本的な限界、すなわちアテンションベースのヒューリスティックが歴史的に冗長なトークンと幾何学的に価値のあるトークンを区別できないという問題に対処していると主張する。エビクション基準をアテンションパターンから3 次元幾何学シグナルへ移行させることで、GHOST はトークン管理に対するより原理的なアプローチを提供する。このフレームワークは、大幅に削減されたメモリオーバーヘッドと改善された推論速度を伴う高品質な長シーケンス 3 次元再構築を可能にし、連続的で無制限のビデオ処理を必要とする実世界アプリケーションにとって実行可能な解決策となる。著者は、モデル出力を 3 次元タスクにおける KV キャッシュ圧縮に利用するという方向性は、先行研究では探求されていないことを強調している。