技術要約: R3-CoVR (Reason, Retrieve, Re-rank)

1. 問題定義

本論文は、Composed Video Retrieval (CoVR) という課題に取り組んでいる。これは、参照ビデオ ($V_r$) と 自由形式のテキストによる修正指示 ($E$) が与えられた際に、大規模なギャラリーからターゲットとなるビデオを検索するタスクである。目標は、関連するコンテキストを保持しつつ、参照に対してエディット（編集）を適用した結果となるビデオを見つけ出すことである。

具体的な焦点は、CVPR 2026 VidLLMs ワークショップにおける Reason-Aware CoVR (CoVR-R) チャレンジである。この設定には、以下の2つの厳格な制約が課されている：

1. Zero-Shot: モデルはチャレンジデータに対して学習やチューニングを行うことができず、性能は汎化性能に依存しなければならない。
2. Reasoning-Aware (推論認識型): エディットはしばしば暗黙的である（例：「タイピングをフラストレーションに（typing to frustration）」という指示は、握りしめた拳のような特定の視覚的状態を暗示している）。単純なキーワードマッチングでは、語彙は共通しているが、暗示された視覚的帰結に反している「ハードなディストラクター（紛らわしい対象）」に対して失敗する。

2. 手法: R3-CoVR

著者らは、完全に凍結された基盤モデルのみで構築された、完全にトレーニングフリーの3段階パイプラインである R3-CoVR を提案している。

ステージ 1: Reason (推論)

• モデル: 凍結されたマルチモーダル大規模言語モデル (Qwen3-VL-8B)。
• プロセス: モデルは参照ビデオ ($V_r$) とエディット指示 ($E$) を観察する。単にキーワードを一致させるのではなく、エディットによる事後効果 (after-effects) について推論する。
• 出力: ステート（状態）、アクション、シーン、カメラ、テンポをカバーする構造化されたトレース ($R$) に続き、簡潔な事後エディット記述 ($D$) を生成する。
• 安定化: 一貫性を確保するため、$K=3$ 個のサンプルを抽出し、その埋め込みをダウンストリームで平均化する。構造化されたトレースは、チャレンジの推論メトリックのために保持される。

ステージ 2: Retrieve (検索)

• モデル: 凍結された対照学習型ビデオ・テキストエンコーダ (SigLIP-2)。
• プロセス: エンコーダは、簡潔な記述 ($D$) とすべてのギャラリービデオを共有のメトリック空間にマッピングする。
  • ビデオエンコーディング: 8枚のフレームを均一にサンプリングし、平均プーリングおよびL2正規化を行う。
  • テキストエンコーディング: 記述を埋め込む。
• 最適化 (極めて重要): 著者らは、SigLIP-2 エンコーダが固定の 64トークンウィンドウ を持つことを特定した。LLMによって生成された長い段落形式の記述は切り捨てられ、重要な内容が失われてしまう。そのため、システムは $D$ を、このウィンドウに収まるような 簡潔で前方に重要な情報を配置したキャプション (≤40語) に制限している。
• 出力: コサイン類似度によってギャラリーをランク付けし、トップ-$K$ のショートリスト（デフォルト $K=10$）を返す。

ステージ 3: Re-rank (再ランク付け)

• モデル: 同じ凍結された Qwen3-VL-8B が 制約判定器 (constraint judge) として機能する。
• プロセス: 判定器には、候補ビデオ、元のエディット ($E$)、および意図された記述 ($D$) が提示される。判定器は、候補が意図された結果をどの程度実現しているかを [0, 100] のスケールでスコアリングする。
• デノイジング (ノイズ除去): 判定器が少数の異なるスコアしか出力することによるタイ（同順位）を防ぐため、システムは 5回のサンプリング生成 にわたってスコアを平均化し、スコアの解像度を大幅に向上させている（テストプールにおいて、8個から86個の異なる値へと増加）。
• 最終スコアリング: 最終的なスコア ($s_{final}$) は、判定器の正規化されたスコア ($s_j$) と検索ランク ($rank_K$) をブレンドする：
  $$s_{final}(V) = \lambda s_j(V) + (1 - \lambda) rank_K(V)$$
  ここで $\lambda$ は通常 0.8 に設定される。このブレンドにより、判定器がショートリストを再順序付けしつつ、誤検知を防ぐために検索の事前分布を保持することができる。

3. 主な貢献

1. Zero-Shot パイプライン: チャレンジデータへのファインチューニングなしで、チャレンジ・テストセットにおいて 91.9% R@1 を達成した、完全にトレーニングフリーの CoVR システム。
2. 記述長の最適化: 記述の長さをエンコーダのトークンウィンドウ（64トークン）に合わせることが極めて重要であるという観察。この単一の変更により、R@1 は 67.5% から 72.7% へと向上した。
3. 制約を考慮した再ランク付け: ショートリストを再ランク付けするために、マルチモーダルLLMを判定器として導入。このステージは、+19.2 R@1 という大幅な利得をもたらし、メトリックを 72.7% から 91.9% へと押し上げた。
4. モジュール化された実装: オーケストレーション・ロジックを変更することなくバックボーンを入れ替えられる、クリーンな3層（データ/モデル/ランナー）の実装。

4. 実験結果

WebVid および Something-Something-v2 のギャラリーにわたる 301 個のクエリを含む Co-VR-R チャレンジ・テストセットで評価：

• ベースライン (豊かな記述): 豊かな記述を用いた Reason + Retrieve は 67.5% R@1 を達成。
• 最適化された検索: エンコーダのウィンドウに収まるよう記述を制限することで、R@1 は 72.7% (+5.2) に向上。
• フルパイプライン: 制約を考慮した再ランク付け（$\lambda=0.8$ および $K=10$）を追加することで、91.9% R@1 および 98.2% R@10 を達成。
• アブレーション調査:
  • ブレンド比率 ($\lambda$): 純粋な検索（$\lambda=0$）は 72.7% であった。純粋な判定器（$\lambda=1$）は 88.2% に低下した。最適なブレンド（$\lambda=0.8$）は、判定器の信号を活用しつつ、検索ランクを使用してタイを打破することで、91.9% でピークに達した。
  • ショートリストの深さ: ショートリストを $K=10$ から $K=20$ に増やすと、広範なリコール（R@10 が 96.8% から 98.2% へ）は改善したが、高スコアのディストラクターが増加するため、R@1 は大幅には改善しなかった。

5. 重要性と限界

重要性:
本論文は、凍結されたマルチモーダルLLMの推論能力と対照学習型エンコーダの効率性に依拠することで、トレーニングなしでも 推論を考慮した構成ビデオ検索 (reason-aware composed video retrieval) が効果的に解決できることを示している。システムは 解釈可能（推論トレースと判定理由を提供）であり、かつ モジュール化 されている。

限界と今後の課題:

• コスト: 再ランク付けのコストは、ショートリストの深さとデノイジングのための生成回数に対して線形に増加する。
• 知覚バイアス: 8B の判定器モデルには、微細な差異を区別することに限界があり、R@1 (91.9%) と R@10 の天井 (~98%) の間に差が生じている。著者らは、より大きな判定器（例：72B）を用いることで、この差を埋められる可能性があると示唆している。
• トークン制約: 対照学習型エンコーダの 64 トークンウィンドウは、初期検索に使用される記述の豊かさを制限する。より長いコンテキスト、あるいはビデオネイティブなリトリーバーを使用することで、ショートリストのリコールをさらに向上させられる可能性がある。
• 計算のトレードオフ: 自己整合性（3 サンプル）とデノイジング・スコアリング（5 サンプル）の使用は、計算量と堅牢性のトレードオフであり、著者らはこれを大規模な環境で再検討すべきであると述べている。