SMART: Shot-Aware Multimodal Video Moment Retrieval with Audio-Enhanced MLLM

技術要約：ショット認識型マルチモーダル・オーディオ拡張時間セグメント検索（SMART）

問題提起
ビデオ・モーメント検索（VMR）は、自然言語のクエリに対応する未トリミング動画内の特定の時間セグメントを特定することを目的としている。マルチモーダル大規模言語モデル（MLLM）は、このタスクにおける高度な意味理解を進展させてきたが、既存のアプローチには主に2つの制限がある：

1. 単一モダリティへの依存： 現在のほとんどのMLLMベースの手法は視覚的な手がかりに大きく依存しており、オーディオ・モダリティを軽視している。これは、音（例：音声、サイレン）が決定的な証拠を提供したり、時間的な曖昧さを解消したりする場合において、性能を制限する要因となる。
2. 長いシーケンスにおける非効率性： MLLMを用いて長いビデオを処理することは、二次的な自己注意（self-attention）の計算複雑性により、高い計算コストを招く。既存の圧縮戦略は、微細な時間的詳細を破棄してしまったり、ビデオ固有の構造を活用できなかったりするため、冗長性を生んだり意味的な豊かさを失わせたりすることがある。

手法：SMARTフレームワーク
著者らは、オーディオの手がかりとショットレベルの時間構造を共同で活用するように設計された、MLLMベースのフレームワークであるSMらSMART（Shot-aware Multimodal Audio-enhanced Retrieval of Temporal Segments）を提案する。そのアーキテクチャは、以下の3つのコアコンポーネントで構成されている：

1. デュアルブランチ・マルチモーダル・エンコーディング：

   • 視覚ブランチ： 事前学習済みのEVA-CLIPエンコーダを使用してフレーム埋め込みを抽出し、Q-Formerによって精緻化することでフレームレベルの特徴量を生成する。
   • オーディオブランチ： 音響トークナイザであるBEATsを利用し、生のオーディオを離散的で意味的に豊かな埋め込みへとエンコードする。
   • 統合： モデルは統一されたマルチモーダル・プロンプトを構築する。視覚的特徴は明示的なタイムトークンとペアリングされる。オーディオ特徴量は、視覚トークンと厳密にフレームごとに整列させるのではなく、コンパクトな表現へと時間的にプーリングされ、補完的なコンテキストとして結合される。特殊なセパレータ・トークンが、視覚とオーディオの各モダリティを区別する。

2. ショット認識型トークン圧縮（STC）：
   長いシーケンスに伴う計算負荷に対処するため、SMARTは、時間的な忠実度を維持しながら冗長性を削減する2段階の圧縮戦略を導入している：

   • ステージ1：キーフレームの特定： ビデオはTransNetV2を用いてショットごとに分割される。各ショット内において、フレームは「キーフレーム」または「非キーフレーム」として、フレーム間の動きの大きさ（パッチ単位の差分のL2ノルム）に基づいて分類される。動的なコンテンツを捉えるキーフレームは、完全なフレームとして保持される。
   • ステージ2：ショット内トークン・フィルタリング： 非キーフレームに対して、モデルはQ-Formerの出力におけるトークンレベルの分散を分析する。動的なコンテンツを表すトークン（高分散）は保持され、静止した背景や冗長なコンテンツを表すトークン（低分散）は破棄される。この選択的な圧縮により、不可欠な時間的手がかりを排除することなく、シーケンス長を削減する。

3. プロンプティングと出力：
   圧縮されたマルチモーダル・シーケンスは、軽量なLoRAチューニング済みLLMに送られる。モデルは、開始時刻と終了時刻の入れ子状のリスト（例：[[s1, e1], [s2, e2]]）として時間セグメントを生成するようにプロンプトされ、これにより必要に応じて複数の離散的なモーメントを予測することが可能になる。

主な貢献

• VMRのためのオーディオ拡張型MLLM： 本論文は、オーディオをMLLMパイプライン内の補完的なコンテキストとして効果的に統合するフレームワークを導入し、オーディオによる手がかりが、特に音に依存するクエリにおいて時間的なグラウンディングを向上させることを実証した。
• ショット認識型トークン圧縮： キーフレームと非キーフレームを区別する新しい圧縮戦略を導入した。代表的なキーフレームを完全な形で保持しつつ、非キーフレームのみをトークン分散に基づいて圧縮することで、効率性と微細な時間的証拠の保持のバランスを取っている。
• 効率性と有効性のトレードオフ： この設計は、フルシーケンスを処理するベースラインと比較して、検索精度を維持または向上させながら、視覚的な冗長性と計算負荷（メモリおよびレイテンシ）を削減する。

実験結果
SMARTは、2つのベンチマークデータセットであるCharades-STA（短いビデオ）とQVHighlights（長いビデオ）を用いて評価された。

• 性能向上： SMARTは、LLaVA-MRやMr. BLIPを含む強力なベースラインを一貫して上回った。
  • Charades-STAにおいて、LLaVA-MRに対してR1@0.5で1.61%、R1@0.7で**2.59%**の改善を達成し、新たな最高mIoUである61.09を記録した。
  • QVHighlights（テストセット）において、R1@0.5で78.15、R1@0.7で63.16を達成し、LLaVA-MRをそれぞれ1.56%および1.68%上回った。
• 定性的分析： ケーススタディにより、SMARTがオーディオの手がかり（例：音声の不在や、バックグラウンドオーディオにおける特定の場所への言及の検出）を活用し、トークン圧縮を通じてショットレベルの一貫性を維持することで、視覚のみのモデルが見逃したモーメントを正常に検索できることが示された。
• アブレーション研究： 実験により、オーディオの統合と2段階のSTC戦略の両方が性能にプラスに寄与することが確認された。キーフレーム選択とトークン・フィルタリングの組み合わせが最良の結果をもたらし、一方で過度なトークン・フィルタリングのみを行うと性能低下を招いた。

意義と主張
本論文は、SMARTが、マルチモーダルな完全性と計算効率という二つの課題に対処することで、長いビデオのモーメント検索に対する堅牢なソリューションを提供すると主張している。オーディオの手がかりを統合することで、モデルは視覚のみのシステムが見落とす証拠（特に時間的に曖昧なクエリにおいて）を捉えることができる。同時に、ショット認識型トークン圧縮戦略により、高密度なトークン入力に伴う法外なメモリコストを伴うことなく、より長いビデオシーケンスの処理が可能になる。著者らは、SMARTを、検索精度と計算コストの良好なバランスを実現するフレームワークとして位置付けており、長く複雑なビデオコンテンツを扱う実世界のアプリケーションに適しているとしている。

認められた限界
著者らは、現在のオーディオブランチが微細なオーディオ・イベントのタイミングに関する精緻なオーディオ・ビジュアル整列ではなく、圧縮されたグローバル・コンテキストに依存していることを指摘しており、これが性能を制限する可能性があるとしている。さらに、圧縮戦略は効果的ではあるものの、過度な圧縮は非常にダイナミックなシーンにおける微細な視覚的詳細を弱める可能性がある。また、大幅な分布シフトやオープンワールドの設定下でのモデルの挙動については、今後の調査課題である。