技術要約：Denoise-then-Retrieve: テキスト条件付きビデオ・デノイジングによるビデオ・モーメント・リトリーバル

問題提起

テキスト駆動型のビデオ・モーメント・リトリーバル（VMR）は、自由形式のテキストクエリに意味的に一致する特定の時間的セグメントを、未トリミングのビデオ内から特定することを目的としている。強力な特徴量相互作用能力を持つTransformerベースのアーキテクチャが普及している一方で、既存の手法には重大な限界がある。それは、マルチモーダル・エンコーディングにおいてすべてのビデオクリップを等しく扱ってしまうという点である。

現実世界の未トリミングビデオにおいて、テキストに関連するクリップ（グラウンドトゥルースおよび困難な非ターゲットフレームを含む）は、全時間のわずかな部分しか占めていないのに対し、テキストに関連のない「ノイズ」となるクリップが大部分を占めている。例えば、QVHighlightsデータセットの分析によれば、グラウンドトゥルースのクリップは通常ビデオの30%未満しか占めない一方で、ノイズとなるクリップは60%以上を占めている。すべてのクリップを一律に処理する現在のアプローチは、マルチモーダル表現の中に意味的なノイズを混入させ、アライメントを阻害し、最適化を妨げている。従来の二段階方式は、多数のプロポーザルを生成することでこれを軽減しようと試みているが、これは効率性を低下させ、マッチングプロセスを複雑にする。

手法：Denoise-then-Retrieve パラダイム

意味的なノイズの問題に対処するため、著者らは Denoise-then-Retrieve パラダイムを提案する。すべてのクリップを処理する代わりに、この手法はテキストに無関係なクリップを明示的にフィルタリングすることで、リトリーバルの範囲を絞り込み、マルチモーダル表現を純化させる。これは、以下の3つのコアコンポーネントからなる Denoise-then-Retrieve Network (DRNet) を通じて実装される。

1. テキスト条件付きデノイジング (TCD) モジュール

TCDモジュールは、ノイズとなるクリップを動的に特定し、ビデオ表現を純化するためのノイズマスクを生成する。これは以下のステップで動作する：

• クロスアテンション (Cross-Attention): テキスト埋め込みがキー（Key）およびバリュー（Value）として使用され、ビデオ表現に対してクエリを行い、テキストを意識したビデオ特徴量を生成する。
• コンテキスト相互作用オペレータ (Context Interaction Operator: CIO): 構造化状態空間モデル（具体的にはMamba）に基づき、CIOは順方向および逆方向のテンポラル方向にコンテキストを伝播させる。これにより、テキストを意識したビデオ特徴量、テキスト特徴量、および学習可能なグローバルトークンを統合し、モーダル内、クロスモーダル、およびグローバルなコンテキストを捉える。
• 動的デノイジング (Dynamic Denoising): テキスト特徴量はプーリングされ、全結合層を通過して動的畳み込みカーネル (dynamic convolution kernels) を生成する。これらのカーネルは、ビデオ特徴量に対してポイントワイズ畳み込みを実行し、テキストとクリップのアライメントスコアを算出する。
• マスキング (Masking): これらのスコアに閾値を適用することで、バイナリノイズマスクを生成する。アライメントスコアが低いクリップはマスクされ、その結果、「純化された」ビデオ表現が得られる。

2. テキスト再構成フィードバック (TRF) モジュール

学習中のデノイジングプロセスに対して補助的な監督を提供するために、TRFモジュールは、純化されたビデオ表現が入力テキストの意味の本質を保持していることを保証する。

• 学習可能なクエリ埋め込みが、純化されたビデオ特徴量（CIOを介して）と相互作用し、センテンスレベルのクエリ埋め込みを再生成する。
• この再生成された埋め込みは、コサイン類似度を用いた意味的一貫性損失を用いて、元の入力テキスト埋め込みとアライメントされる。
• この損失を最小化することで、TCDモジュールがテキストと意味的に一貫したビデオ特徴量のみを保持するように強制し、それによってデノイジングの品質を向上させる。

3. デコーダ (Decoder)

デコーダは、純化された（ノイズマスクされた）ビデオとテキストの特徴に対してマルチモーダルな相互作用を行い、ターゲットとなるモーメントをリト true する。これには以下が含まれる：

• グローバル・リトリーバル (Global Retrieval): グローバル特徴量を用いて、中心となる時間座標とスパンを回帰する。
• 境界予測 (Boundary Prediction): 畳み込み層を用いて、各クリップの左および右のオフセットを予測する。
• フォアグラウンド分類 (Foreground Classification): テキスト条件付き畳み込みカーネルを用いて、クリップをフォアグラウンド（関連あり）またはバックグラウンド（関連なし）に分類する。
• コントラスティブ学習 (Contrastive Learning): 特徴量のアライメントをさらに精緻化するために、ビデオ内およびビデオ間のコントラスティブ学習を組み込む。

主な貢献

本論文は、主に4つの貢献を述べている：

1. DRNetアーキテクチャ: 純化されたビデオ表現を抽出するために、テキスト条件付きデノイジング (TCD) とテキスト再構成フィードバック (TRF) を統合した新しいネットワークを提案し、最先端の性能を達成した。
2. テキスト条件付きデノイジング・アプローチ: マルチレベルのマルチモーダル融合のために、クロスアテンションと構造化状態空間ブロック (Mamba) を統合し、正確なノイズ特定のために動的カーネルを利用する手法。
3. テキスト再構成フィードバック・メカニメント: 再生成されたクエリを入力テキストと一致させることで、デノイジングプロセスに補助的な監督を提供する戦略。
4. パラダイムの汎用性: 「denoise-then-retrieve」パラダイムが、アーキテクチャの変更なしに既存の高度なVMRモデル（UniVTG, VMSなど）にシームレスに統合でき、性能を向上させることができることを実証した。

実験結果

Charades-STA および QVHighlights の2つのベンチマークで広範な実験が行われた。

• QVHighlights: DRNetは、すべての指標において、すべての最先端手法（MomentDiff, MESM, UVCOM, TR-DETRを含む）を上回った。特に、mAP@0.7において、最も近い競合相手（MESM）を**4.36%**上回った。
• Charades-STA: 本モデルは、VGGおよびSlowFast+CLIPの両方のバックボーンを使用してトップティアの性能を達成した。VGGバックボーンを使用した場合、mAP@0.7において最も近い競合相手（MESM）を**4.36%**上回った。
• アブレーション研究:
  • TCDモジュールを除去すると、平均パフォーマンスが**11.71%**大幅に低下し、ノイズフィルタリングの決定的な役割が確認された。
  • MambaベースのCIOを標準的なTransformerエンコーダに置き換えると、パフォーマンスが**5.1%**低下した。これは、グローバルな自己注意（self-attention）と比較して、選択的な情報を伝播させるMambaの優れた能力に起因する。
  • TRFモジュールは、デノイジングプロセスに補助的な監督を提供するために不可欠であることが示された。
• 汎用性: UniVTGやVMSといった既存のモデルに適用した場合、デノイジング・パラダイムは一貫した改善をもたらした（例：UniVTGではmAP@Avgが**2.72%**増加）。これは、本アプローチの適応性を裏付けている。

意義と主張

本論文は、現在のVMR手法における主なボトルネックは、意味的に無関係なノイズとなるクリップが含まれていることであり、それがマルチモーダルなアライメントを阻害していると主張している。リトリーバルの前にこれらのクリップを明示的にフィルタリングすることで、提案された Denoise-then-Retrieve パラダイムはマルチモーダル表現の品質を大幅に向上させる。

著者らは、彼らのアプローチが新しい最先端のベンチマークを樹立するだけでなく、汎用的な戦略を提供することも断言している。アーキテクチャの刷新なしにこのパラダイムを既存のモデルに統合できる能力は、幅広いビデオ理解タスクを向上させるための実用的な経路を示唆している。結果は、利用可能なすべてのデータを処理することよりも、「純化された」コンテキストに焦点を当てることが、より正確で効率的なビデオ・モーメント・リトリーバルにつながることを示している。