💬 NLP

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

本論文は、トークン選択を関連性、重要性、および多様性に基づくトップ $K$ の検索問題として再定義することで、オムニモーダルLLMにおける時間単位のオーディオ・ビデオ理解を強化する、検索に着想を得たトークン圧縮フレームワークであるAVOCを提案しており、これにより、1時間を超えるコンテキストにおける堅牢性を維持しながら、長尺のベンチマークにおいて最先端の性能を達成している。

原著者： Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

公開日 2026-06-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

膨大な映画や、数時間に及ぶ会議の録画ビデオがある巨大なライブラリを想像してみてください。あなたは、その中の特定の動画について、「あの特定のセリフの後に、何人の人が地下室に入りましたか？」といった具体的な質問を、非常に賢いAIアシスタントに投げかけたいと考えています。

問題は、AIの「脳」（メモリウィンドウ）が小さすぎて、ビデオ全体を一度に保持できないことです。もしビデオ全体を流し込もうとすれば、AIは処理しきれずパンクしてしまいます。単にランダムにフレームを選んでサイズを縮小しようとすれば、重要な瞬間を見逃してしまうかもしれません。一方で、あらゆる詳細をすべて保持しようとすれば、容量が足りなくなってしまいます。

AVOC：スマートな司書

この論文の著者たちは、AVOCと呼ばれる新しいシステムを作り出しました。AVOCを、1時間の映画をAI用のわずか10ページの「カンニングペーパー（要約）」にまとめる、非常にスキルの高い司書だと考えてください。ただし、そこには非常に明確な目的があります。それは、「そのカンニングペラには、あなたの質問に答えるために必要な情報だけが含まれていなければならない」というものです。

AVOCがどのように機能するかを、検索エンジンが最適な結果を見つける方法から借りた3つのシンプルなルールを使って説明します。

1. Relevance（関連性）：「質問と一致しているか？」

例えば、あなたが「誰が地下室に入りましたか？」と尋ねたとします。

従来の方法： 司書は、たとえ派手な色使いだったり音が大きかったりしたとしても、キッチンや外の天気に関するページを見せてくるかもしれません。
AVOCの方法： AVOCはまず、あなたの質問を読み取ります。ビデオとオーディオをスキャンし、「よし、地下室について話している部分を探さなければ」と判断します。そして、質問に直接関連するビデオ内の特定の瞬間と、オーディオ内の特定の言葉を強調表示します。これは**Text-Guided Scoring（テキスト誘導型スコアリング）**と呼ばれます。

2. Importance（重要性）：「質問がなくても、それは面白いか？」

時には、あなたの質問が曖昧であったり、答えがビデオの中で明示的に語られていない「映像」に依存していたりすることもあります。

例え話： 人混みの中から特定の人を探している場面を想像してください。その人の名前を知らなくても、その人が「明るい赤色の帽子」を被っていたり（ユニークな視覚的特徴）、あるいは「踊っている唯一の人」であったり（ユニークな音声的特徴）すれば、見つけ出すことができるはずです。
AVOCの方法： AVOCは、ある瞬間がそれ自体として「重要」かどうかをチェックします。ビデオとオーディオがどのように相互作用しているかを確認します。もし人物の顔（ビデオ）が特定の音（オーディオ）と一致していれば、たとえ質問の中でそのことに触れていなくても、その瞬間には高い「重要度」スコアが与えられます。これにより、AIが見落としがちな隠れた手がかりを見逃さないようにしています。

3. Diversity（多様性）：「同じものを二度も見せないで！」

これが最も難しい部分です。あるキャラクターが部屋に入り、部屋を出て、また部屋に戻ってくるシーンがあるとします。愚かなシステムは、これら3つの瞬間すべてが似ているために、すべてを選んでしまうかもしれません。これはスペースの無駄遣いです。

例え話： 旅行のためにスーツケースをパッキングしている場面を想像してください。全く同じ赤い靴下を3足も入れる必要はありません。異なるニーズに対応するために、赤い靴下1足、青い靴下1足、緑の靴下1足をパッキングする必要があります。
AVOCの方法： AVOCは、**Temporal-Aware Diversity（時間的意識を持つ多様性）**と呼ばれる特別なルールを使用します。「もし、誰かが部屋に入る瞬間をすでに選んだのであれば、その直後の、全く同じ動作をしている次の1秒間は選ばない」と判断します。しかし、もし同じことが映画の1時間後に起きたとしたら、AVOCはそれを「異なるイベント」として選定します。これにより、内容は新鮮なまま、重複することなくタイムライン全体をカバーすることができます。

結果：超スマートな要約

これら3つのルールを組み合わせることで、AVOCは膨大な1時間のビデオとオーディオのストリームを、非常に効率的な小さな「トークン」シーケンスへと圧縮します。退屈な部分、繰り返される部分、あるいは無関係な部分を切り捨て、情報の「黄金の塊（ゴールデン・ナゲット）」だけを残すのです。

どのような結果が得られたのか？

他よりも優れている： 長いビデオ（最大90分）を用いたテストにおいて、AVOCは他のトップモデルよりもはるかに正確に質問に回答しました。平均して、2番目に優れたモデルに対して約5ポイント高いスコアを叩き出しました。
「干し草の山の中の針」を見つけ出す： 彼らは、AIが1時間のビデオの中に隠された特定の秘密の数字を見つけられるかどうかをテストしました。AVOCは、ビデオが1時間に及ぶ場合でもほぼ完璧に見つけ出すことができましたが、他のモデルはビデオが長くなるにつれて失敗し始めました。
高速である： この複雑なソートを行っているにもかかわらず、AVOCはAIの処理速度をほとんど低下させません。実際、不要なデータを大量に切り捨てるため、AIは以前よりもビデオを速く処理できるようになります。

要するに、AVOCはAIに「より優れた読書術」を教えているのです。それは、500ページの本のすべての単語を読むのではなく、質問に完璧に答えるために、スキミング（流し読み）をし、重要な部分をハイライトし、無駄な部分を無視することを学ぶのです。

テクニカルサマリー: AVOC – 検索に着想を得たトークン圧縮による、時間単位のオーディオ・ビデオ理解の強化

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、短時間のオーディオ・ビデオタスクにおいて顕著な成功を収めてきました。しかし、これらの能力を時間単位の長時間オーディオ・ビデオ理解へと拡張するには、主に2つのボトルネックが存在します：

コンテキストウィンドウの制限: 長時間のビデオと高サンプリングレートのオーディオによって生成される膨大なトークンシーケンスは、現在のMLLMのコンテキストウィンドウを超過します。
情報の冗長性: 生のオーディオ・ビデオストリームには、実質的な冗長性が含まれています。単純な削減戦略（例：一様な疎なサンプリング）は、重要な短時間のイベントを見逃すことが多く、一方で密なサンプリングはコンテキスト予算を使い果たし、シーケンスの切り捨てや重要な手がかりの希薄化を招きます。

オムニモーダルLLMにおける既存の圧縮手法は、多くの場合、非対称かつ一方向のデザイン（例：オーディオを使用してビデオを間引く、あるいはその逆）に依存しています。これらのアプローチは、「ガイド」となるモダリティが弱い、あるいは疎な信号しか提供できない場合、重要な情報を破棄してしまうリスクがあり、映画や会議のような現実世界の複雑で相互依存的なマルチモーダルコンテンツの性質を捉えることができません。

2. メソドロジー: AVOCフレームワーク

著者らは、マルチモーダル・トークン圧縮をTop-K検索問題として再定義するフレームワークであるAVOCを提案しています。固定されたコンテキスト予算 $K$ と膨大な候補トークンのプールが与えられたとき、目標はユーザーのクエリに最も適合するコンパクトなサブセットを抽出することです。AVOCは、モダリティエンコーダとLLMバックボーンの間に位置する、統合された学習可能な圧縮パイプラインに、3つの古典的な情報検索（IR）基準を統合しています。

2.1 コアコンポーネント

圧縮モジュールは、トークンの生成と選択を行う3つのステージで動作します：

関連性 (Text-Guided Cross-Attention Scoring):
- メカニズム: ユーザーのテキストクエリを検索クエリとして、マルチモーダル・トークンを候補コーパスとして扱います。
- 実装: テキスト埋め込みとマルチモーダル・トークン埋め込みの間のクロスアテンション・スコアを計算します。各トークンの関連性スコアは、すべてのテキストトークンから受け取ったアテンション・ロジットの平均値となります。
- 目的: 特定のユーザークエリに関連するトークンを優先的に選択します。
重要性 (Bidirectional Video-Audio Cross-Attention Scoring):
- メカニズム: クエリに依存しない本質的な情報量を捉えます（クエリ非依存）。これは、リッチなオーディオ・ビジュアルコンテンツに対してクエリが疎である場合に備えるものです。
- 実装: 各テンポラルブロック内で、ビデオ・トークンとオーディオ・トークンの間の双方向クロスアテンションを計算します。反対のモダリティと強く相互作用するトークンは、より高いスコアを受け取ります。
- 目的: セマンティックに密な領域（例：対話とアクションが共存するシーン）が、たとえ明示的にクエリされていなくても保持されるようにします。
多様性 (Temporal-Aware Maximal Marginal Relevance - TA-MMR):
- メカニズム: 冗長で隣接するトークンを選択することを防ぎつつ、時間的に離れているがセマンティックに類似したイベントを保持します。
- 実装: 修整されたMMR目的関数を用いた再ランキング・ステージです。標準的なMMRとは異なり、TA-MMRは冗長性のペナルティをローカルな時間窓 ( $W$ ) 内に限定します。ペナルティは、 $[\tau_i - W, \tau_i + W]$ 内にあるトークンの間でのみ適用されます。
- 目的: 情報的に繰り返される隣接するトークン（例：静止したシーン）を抑制しつつ、異なる時間に発生する繰り返しのイベントを抑制しないようにします。

2.2 選択と学習

予算配分: 合計トークン予算 $K$ は、バランスの取れたクロスモーダル表現を確保するために、モダリティ固有の予算（ $K_{video}, K_{audio}$ ）に分割されます。TA-MMRは各モダリティ内で独立して適用されます。
微分可能な学習: エンドツーエンドの学習を可能にするため、離散的なTop-K選択は、Gumbel-SoftmaxとStraight-Through Estimatorを用いて近似されます。TA-MMRの再ランキングは、その貪欲（greedy）かつ反復的な性質から、学習中には無効化され、推論時のみ有効になります。
2段階学習:
1. ステージ1: 圧縮モジュールなしでLLMバックボーンをファインチューニングし、安定した勾配信号を確立します。
2. ステージ2: ランダムに初期化された圧縮モジュールとLLMを共同で学習します。

3. 主な貢献

新しい視点: マルチモーダル・トークン圧縮をTop-K検索問題として再定義し、古典的なIRの原則（関連性、重要性、多様性）をオーディオ・ビデオ領域に適応させました。
学習可能な圧縮モジュール: テキスト誘導型クロスアテンション、双方向クロスモーダル・アテンション、およびTemporal-Aware MMRを通じて、3つのIR基準を特化したメカニズムで具現化した統合モジュールの設計。
オムニモーダル能力: 厳しいコンテキスト予算の下で、時間単位のオーディオ・ビデオストリームの包括的な理解と微細な検索の両方を実現する、オムニモーダルLLM（AVOC）の開発。

4. 実験結果

著者らは、複数の長時間オーディオ・ビデオ・ベンチマークと、カスタムのNeedle-in-a-Haystack (NIAH) タスクを用いてAVOCを評価しました。

ベンチマーク性能:
- OmniVideoBench: AVOCは (10, 30] 分のサブセットで39.8%、全体で42.3%の平均精度を達成し、2番目に優れたモデルをそれぞれ4.9および5.5ポイント上回りました。
- LVOmniBench: AVOCはMediumサブセットで41.3%、Highサブセットで35.5%を達成し、全体平均は40.3%となり、2番目に優れたモデルを5.5ポイント上回りました。
- WorldSense: AVOCは52.6%の精度を達成し、2番目に優れたモデルに対し1.7ポイント向上しました。
- 観察事項: 性能の向上はビデオの長さに比例しており、冗長性が最も高い超長時間コンテンツにおいて、この手法が特に効果的であることを示しています。
オーディオ・ビデオ Needle-in-a-Haystack (AV-NIAH):
- AVOCは、最大**3600秒（1時間）**のビデオに隠された「針」（秘密のキーワード）に対する強力な検索能力を示しました。
- 2000〜3000秒を超えると大幅な精度低下を示すベースライン（例：OmniZip）とは異なり、AVOCは全期間・全深度のグリッドにわたって高い精度を維持しました。
アブレーション研究:
- いずれか一つのコンポーネント（関連性、重要性、または多様性）を除去すると性能が低下し、それらが相補的な関係にあることが確認されました。
- 最適なモダリティ予算比率は**2:1 (Video:Audio)**であり、これはテストされたベンチマークにおける視覚的キューの高い情報密度を反映しています。
- TA-MMRのハイパーパラメータ（ $\lambda=0.15, W=3$ ）は極めて重要でした。窓の半径を無限大に設定した場合（標準的なMMRへ退化）、性能の低下が見られ、時間的意識の必要性が検証されました。
効率性:
- 圧縮モジュールによるオーバーヘッドは最小限です（フル保持の場合で約1.8秒）。
- 強力な圧縮（保持率 $\rho=0.1$ ）により、未圧縮のバックボーンと比較してプリフェリングのレイテンシをほぼ9倍削減しました（4.45秒から0.5秒へ）。

5. 意義と主張

本論文は、AVOCが豊かな1時間単位のマルチモーダル・コンテンツに対して推論可能なオムニモーダルLLMへの重要な一歩であると主張しています。硬直的で非対称な圧縮戦略から、検索に着想を得た対称的なアプローチへと移行することで、AVOCはコンテキストウィンドウの制限と情報の冗長性の間の根本的なトレードオフに対処しています。著者らは、このフレームワークにより、シーケンス長の制約のために従来はアクセス不可能であった現実世界のシナリオ（例：映画、会議、チュートリアル）において、モデルが堅牢な理解と微細な検索能力を維持できることを示唆しています。