技術要約: SMORE (See MORE, store less)

問題提起

ビデオ・モーメント・リトリーバル（VMR）は、自然言語のクエリに意味的に対応するビデオ内の特定の時間的セグメントを特定することを要求される。マルチモーダル大規模言語モデル（MLLM）はビデオ理解を進展させてきたが、長時間のビデオに対して高密度にサンプリングされたフレームを処理する際のメモリ制約により、VMRは依然として困難な課題となっている。

既存の手法は、情報の解像度とメモリ効率の間のトレードオフに直面している：

1. 疎なサンプリング (Sparse Sampling): 従来のアプローチは、メモリ予算内に収めるために、限られた数のキーフレームを選択することに依存することが多い。これは、決定的な一時的視覚キューを見逃すリスクがあり、特に長いビデオにおいて情報の損失を招く。
2. 汎用キャプションによる密な処理 (Dense Processing with Generic Captions): 代替戦略として、メモリ負荷を軽減するために視覚的内容をテキストキャプションに凝縮しようとするものがある。しかし、従来のゼロショット・キャプショニングは、特定のユーザーの意図とは一致しない汎用的な記述を生成するため、リトリーバルの性能が最適化されない。
3. メモリのボトルネック (Memory Bottlenecks): 近年のMLLMベースのVMRシステム（ChronoやLLaVA-MRなど）は、時間的認識能を向上させているが、多大なGPUメモリ（例：80GB A100）を必要とすることが多く、アクセシビリティとスケーラビリティを制限している。

手法: SMORE フレームワーク

著者らは、高い情報解像度を維持しながらメモリ効率を高めるよう設計されたフレームワークである SMORE (See MORE, store less) を提案する。SMOREは、ビデオフレームがタイムスタンプと共に結合され、クエリに導かれたテキストキャプションによって強化される、インターリーブされたトークン・アーキテクチャ内で動作する。このフレームワークは、以下の3つのコアコンポーネントで構成されている。

1. クエリ誘導型キャプション生成 (Query-Guided Caption Generation)

汎用的なキャプションとユーザーのクエリとの間の不一致に対処するため、SMOREは2段階のキャプショニング・プロセスを導入している：

• クエリ解析 (Query Parsing): 入力クエリを解析し、特定のオブジェクトやアクションを抽出する。
• QAベースの関連性チェック (QA-Based Relevance Check): クエスチョン・ア Ans (QA) モジュールが、特定のオブジェクトやアクションが与えられたビデオシーンに含まれているかどうかを評価する。
• デュアルパス・キャプショニング (Dual-Path Captioning):
  • 関連シーン: シーンにクエリに関連する要素が含まれている場合、「クエリ認識プロンプト」を使用して、ユーザーの意図に特化したキャプションを生成する（例：クエリに「料理」と「Facetime」が含まれていれば、それらに焦点を当てる）。
  • 無関係なシーン: 関連性チェックに失敗したシーンには、標準的な汎用キャプションが付与される。
    これにより、モデルは、無関係なセグメントに対して紛らわしい、あるいは誤解を招くテキストを生成することなく、密な意味的カバレッジを受け取ることができる。

2. クエリ認識型重要度変調 (Query-Aware Importance Modulation)

すべての生成されたキャプションがリトリーバル・タスクに等しく寄与するわけではない。SMOREは、情報量の多いコンテンツを優先するための重み付けメカニズムを採用している：

• 各フレームとキャプションのペアに対して、フレームとクエリの間のコサイン類似度、およびクエリとキャプション（フレームとキャプションの類似性を包含）の間のコサイン類似度に基づき、類似度スコア $S_q(f_i, c_i)$ が計算される。
• キャプションの埋め込みは、LLMの自己注意（self-attention）レイヤーに入る前に、このスコアによって再重み付けされる。これにより、モデルはクエリに対して意味的に関連性の高いセグメントに焦点を当て、背景や冗長な情報をダウンウェイトすることができる。

3. 構造化視覚圧縮 (Structured Visual Compression: SVC)

時間的な忠実度を失うことなく空間的な冗長性を削減するため、SMOREは特異値分解（SVD）に基づく低オーバーヘッドの圧縮戦略を利用する：

• 冗長性検出 (Redundancy Detection): 連続するフレームの埋め込みは、現在のアンカーフレームに対するコサイン類似度を用いて比較される。
• SVD圧縮 (SVD Compression): 類似度が閾値 $\theta$ を超える場合、フレームはスタックされ、截断SVD（ランク-1近似）を用いて圧縮される。得られた平均行は、下位次数の冗長性を破棄しながら、主要な空間的特性を保持するコンパクトな埋め込みとして機能する。
• アンカー更新 (Anchor Update): 類似度が低い場合、現在のフレームが新しいアンカーとして保持される。
  このアプローチは、単純なフレーム選択や平均プーリングよりも、不可欠な視覚的ダイナミクスと時間的順序を効果的に保持する。

主な貢献

1. メモリ効率の高いVMRフレームワーク: SMOREは、80GB A100 GPUを必要とする手法とは対照的に、制限されたメモリ環境（48GB A6000）内で動作しながら、標準的なベンチマークにおいて最先端（SOTA）の性能を達成している。
2. クエリ誘導型意味抽象化: クエリ誘導型キャプショニングと重要度変調の導入は、密な視覚的カバレッジと特定のユーザー意図との間のギャップを埋め、視覚トークン数を増やすことなくリトリーバルの精度を向上させる。
3. 構造化視覚圧縮: 提案されたSVDベースの圧縮手法は、重要な視覚的証拠を保持しながら冗長なフレームを排除することで、メモリ使用量を効果的に削減し、素朴なフレーム選択や平均プーリングを凌駕する。

実験結果

著者らは、3つの代表的なデータセット（QVHighlights、Charades-STA、ActivityNet-Captions）を用いてSMOREを評価した。

• QVHighlights: SMOREは新たなSOTA性能を達成した。高精度モデルであるSG-DETRに対し、R1@0.5で4.19%、R1@0.7で**6.24%**向上し、同時に平均適合率（mAP）も高めた（+0.62%）。また、高リコールモデルであるLLaVA-MRを、リコールとmAPの両方の指標で上回った。
• Charades-STA: SMOREは新たなSOTAを樹立し、LLaVA-MRをmIoUで1.12%、R1@0.5で**0.61%**上回った。
• ActivityNet-Captions: モデルは、従来のSOTAに対し、R1@0.5で1.15%、R1@0.7で**0.66%**の向上を達成した。
• アブレーション研究: 段階的なアブレーションにより、各コンポーネント（ゼロショット・キャプショニング、クエリ誘導型キャプショニング、重要度変調、およびSVC）が最終的な性能に相乗的に寄与していることが確認された。フルモデルは、ベースラインに対してmAP平均で合計**+2.86%**の向上を示した。
• メモリ効率: 実験により、SMOREは様々なメモリ予算（30GBから45GB）において、フレームのみのベースラインを一貫して上回ることが示され、厳しい制約下でも、より豊かなマルチモーダル情報を持つ長いビデオへとスケールできる能力を証明した。

意義と主張

本論文は、SMOREが、高いリトリーバル精度とメモリ効率は互いに排他的ではないことを示していると主張している。クエリ誘導型の意味抽象化と構造化視覚圧縮を活用することで、本フレームワークは、微細な時間的理解を損なうことなく、よりアクセシブルなハードウェア（例：48GB GPU）への強力なビデオ言語モデルの展開を可能にする。

著者らは、SMOREを、密な時間的推論の必要性と現在のメモリリソースの制限との間の根本的なトレードオフに対する解決策として位置づけている。彼らは、本フレームワークがモジュール化されたパイプラインによりわずかな推論レイテンシを導入するものの、ストレージ効率重視（オンデマンド・キャプショニング）またはレイテンシ効率重視（事前計算済みキャプション）のモードで動作できる柔軟なアーキテクチャを提供しており、多様な実世界のデプロイメントに適応可能であると述べている。

論文は、高度に曖昧なクエリやビデオにおける性能低下などの限界を認めることで締めくくられており、今後の研究として、フレームワークの汎用性を拡張するためにデコーダーのみのモデルを探索できる可能性を示唆している。