🤖 AI

OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs

OmniMemは、モダリティを考慮した割り当て戦略と摂動を考慮したメモリ選択を採用することで、厳格なメモリ予算下での精度を大幅に向上させ、長尺ビデオ推論の限界を克服する、オーディオビジュアルLLMのためのメモリ効率の高いストリーミングフレームワークである。

原著者： Guangzhi Sun, Yixuan Li, Yudong Yang, Chao Zhang

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Guangzhi Sun, Yixuan Li, Yudong Yang, Chao Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に限られたストレージを持つ小さなスマートフォンで、3時間の映画を観ようとしているところだと想像してください。映画が再生されるにつれて、あなたのスマートフォンはあらゆるフレーム（映像のコマ）と、すべての台詞（言葉）を記憶しようとします。やがて、スマートフォンはメモリ不足に陥り、動作が固まったり、新しいシーンのためのスペースを作るために、何かをランダムに削除したりしなければならなくなります。これは、現代の「オーディオ・ビジュアル大規模言語モデル（ビデオを視聴し、音声を聞くことができるAI）」が、長い動画を理解しようとする際に直面している問題そのものです。

この論文では、この問題を解決するために「OmniMem」と呼ばれる新しいシステムを紹介しています。OmniMemを、AIのメモリのための、非常に賢く、高度に整理された「司書」だと考えてください。

仕組みは、以下のシンプルな概念に分解できます。

1. 問題点：「一律の扱い」という間違い

現在のAIシステムは、ビデオ（視覚情報）とオーディオ（聴覚情報）を、メモリに保存する際に全く同じ方法で扱っています。

不均衡： 一般的な動画には、数千もの視覚的「トークン」（画像データの小さな断片）がありますが、オーディオのトークン（言葉や音）はごくわずかです。
欠陥： 標準的なメモリ制限を使用すると、AIは冗長な視覚的詳細（静止した背景など）を大量に溜め込む一方で、重要な音声の手がかり（例：「後ろを見て！」というキャラクターの言葉）を誤って捨ててしまうことになります。これは、バックパックの中に100個の全く同じ小石を詰め込み、肝心な地図を一つ入れる隙間もない状態に似ています。

2. 解決策：OmniMemの二段構えの戦略

OmniMemは、「別々のポケット」と「スマートな選択」という2つのトリックを使うことで、この問題を修正します。

トリックA：別々のポケット（オーディオ・ビジュアル予算配分）

OmniMemは、一つの大きなメモリバケツを与えるのではなく、AIに視覚用と音声用の2つの別々のポケットを与えます。

比喩： 複雑な料理を作っているシェフを想像してください。彼らは単にすべての材料を一つの巨大な鍋に投げ込むわけではありません。スパイスは小さくて貴重な瓶に、野菜は大きな箱に入れて保管します。
仕組み： OmniMemは、音声は希少だが価値が高く、視覚情報は豊富だがしばしば繰り返されるものであることを認識しています。これにより、映像が多すぎるという理由だけで重要な言葉が削除されないよう、オーディオ用の「ポケット」に対して、特定かつ公平な量のメモリを割り当てます。

トリックB：スマートな選択（摂動を考慮したメモリ管理）

AIがメモリのポケットを持った後は、ビデオが再生される間に「何を保持し、何を捨てるか」を決定する必要があります。従来の方法は、単に物事がいかに似ているか（例：「これら2つのフレームは似ているので、1つ削除する」）だけを見ていました。

従来の方法の欠陥： たとえ2つのフレームが似ていたとしても、それが重要でないとは限りません。その「退屈な」フレームに、後でAIが必要となる微細な手がかりが含まれているかもしれないからです。
OmniMemのアプローチ： OmniMemは、「もしも？」という問いを投げかけます。メモリの一部を削除することをシミュレーションし、「もしこれを削除したら、AIの回答は変わるだろうか？」と問い直すのです。
- もし、トークンを削除することでAIが混乱したり、考えが変わったりする場合、OmniMemはそのトークンを保持します。
- もし、トークンを削除しても何も変わらない場合、OmniMemはそれを捨てます。
比喩： これは映画の編集のようなものです。下手な編集者は、シーンの長さに基づいてカットを行います。しかし、OmniMemは「ストーリーが成立するかどうか」に基づいてカットを行うスマートな編集者です。たとえ廊下がどれほど美しくても、「プロットの転換点」となるシーンは残し、「長い廊下を歩くシーン」は削除します。

3. 「トレーニング」によるボーナス

論文では、AIにこれらの新しいメモリ規則を特別に教え込む（「ファインチューニング」と呼ばれるプロセス）と、さらに性能が向上することについても言及しています。

比喩： AIに新しいルールを教えることは、学生に新しい学習ガイドを与えるようなものです。その後、そのルールを使った練習テストを与えると、彼らはノートをより効率的に整理する方法を学び、限られたスペースからさらに多くの価値を引き出すことができるようになります。

結果

研究者たちは、いくつかの長いビデオのベンチマーク（VideoMMEやLVBenchなど）でOmniMemをテストしました。

結果： 追加のトレーニングなしでも、OmniMemは従来のトップレベルの手法よりも2〜4%高い精度を示しました。
トレーニングを行った場合： AIが新しいメモリ規則を使用する方法を学習した後、さらに1〜2%の精度向上が得られました。
効率性： これらすべてを、AIの速度を落としたり、計算能力を大幅に増大させることなく実現しました。

まとめ

OmniMemは、AIが脳の容量を使い果たすことなく、長いビデオを視聴するための新しい方法です。これは、音声とビデオを同じものとして扱うのをやめ、それぞれに専用のメモリ空間を与え、AIが「これを見逃すことはない」と確信できる情報のみを保持するようにします。その結果、AIは以前よりもはるかに正確に、数時間のビデオコンテンツを理解できるようになります。

技術要約: OmniMem

問題提起

オーディオ・ビジュアル大規模言語モデル（av-LLM）は、長尺ビデオの理解において大きな可能性を示しているが、ストリーミング推論において根本的なボトルネックに直面している。それは、ビデオトークンおよびKey-Value（KV）キャッシュの線形的な増加である。ビデオの長さが増すにつれ（例：1時間のビデオ）、メモリ要件は急速にGPUの限界を超えてしまう。チャンク化されたストリーミング処理は実用的な解決策として登場したが、既存の圧縮手法には主に2つの制限がある：

一律なトークン処理: 現在の手法は、多くの場合、音声トークンと視覚トークンの両方に統一されたトークン選択指標（例：コサイン類似度や汎用的なプロキシ・クエリ・アテンション）を適用している。これは、モダリティ間の深刻なトークン不均衡（視覚トークンは音声トークンの30〜40倍多いことが多い）を考慮できておらず、重要な音声情報の系統的な過小評価や破棄を招いている。
最適ではない選択基準: 既存のストリーミング手法は、通常、「汎用的なプロキシ・クエリ」（モデルの計算グラフの外にあるもの）に依存してトークンの重要性を推定している。これらのスコアは、トークンを削除した際に実際に生じる摂動を正確に反映していない可能性があり、汎用的なプロキシでは高いスコアを得られないものの、モデルの特定の出力には不可欠な情報状態を削除してしまう可能性がある。

手法

著者らは、これらの制限に対処するために設計された、メモリ効率が高く、摂動を考慮し、かつモダリティを意識したストリーミングフレームワークであるOmniMemを提案する。このワークフローは、ビデオをチャンクごとに処理し、音声用と視覚用のKVキャッシュを個別に保持する。

1. 摂動を考慮したKVキャッシュ選択

外部のプロキシ・クエリを使用する代わりに、OmniMemは、削除後のアテンション出力への歪みを最小限に抑えるという基準に基づいて、保持するKVペアを選択する。トークン $k$ の選択スコア ( $\psi_k$ ) は、以下の2つの要因を組み合わせる：

重要度（アテンション・スコア）: そのトークンに対して後続のクエリから向けられた累積アテンション質量 ( $a_k$ )。値が高いほど、そのトークンが次のレイヤーで頻繁に使用されていることを示す。
冗長性（コサイン類似度）: トークンの隠れ状態とその隣接する位置との間のコサイン類似度 ( $s_k$ )。類似度が高いことは、冗長性を示唆する。

選択スコアは次のように計算される：
$\psi_k = a_k^\lambda (1 - s_k)$
ここで、 $\lambda$ は正規化係数である。この乗算による組み合わせにより、システムは「頻繁に使用される（高い重要度）」かつ「非冗長である（隣接箇所との類似度が低い）」トークンの両方を保持することを保証する。過度なオーバーヘッドなしに類似度を計算するために、この手法はフルKVキャッシュではなく、隠れ状態（または値ベクトル）を利用する。

2. オーディオ・ビジュアル予算配分 (AVBA)

モダリティの不均衡に対処するため、OmniMemは、一律のグローバルな予算を適用するのではなく、音声および視覚のKVキャッシュに対して個別のメモリ予算を割り当てるメカニズムであるAVBAを導入する。

圧縮性指標: システムは、正規化されたアテンション・エントロピーと平均コサイン類似度を用いて、各モダリティの圧縮性スコア ( $C$ ) を算出する。
動的比率: 事前の視覚対音声のトークン比率 ( $r$ ) が設定される（論文内では5に設定）。実際の予算ウェイト ( $w_v, w_a$ ) は、音声ストリームと視覚ストリームの相対的な圧縮性スコアに基づいて調整される。これにより、トークン総数のごく一部であっても、圧縮しにくいモダリティ（人間の音声など）に対して十分なメモリ割り当てが行われることが保証される。
レイヤー別配分: 総予算は、レイヤー固有の圧縮性に基づき、トランスフォーマーのレイヤー間で非一様に分配される。一般的に、初期レイヤーの方が大きな予算を受け取る。

3. 予算を考慮したファインチューニング

OmniMemはトレーニングフリーの手法として機能するが、著者らは割り当てられた予算スキームを用いた教師ありファインチューニング（SFT）についても検討している。このプロセスにおいて、モデルは保持されるメモリ・トークンに有用な情報を集約するように訓練される。長大なシーケンスに対する計算コストを管理するため、バックプロパゲーションは最後の $L-l$ レイヤーまで切り捨てられるが、最終チャンクの全レイヤーを通じて勾配フローが確保される。

主な貢献

本論文の貢献は以下のようにまとめられている：

OmniMemフレームワーク: アテンションに基づく重要性とコサイン類似度に基づく冗長性を組み合わせ、削除後の出力の歪みを最小限に抑える、摂動を考慮しモダリティを意識したKVキャッシュ選択メカニズム。
AVBAメカニズム: 音声・視覚の予算配分を行う、av-LLMのための初のメカニズムであり、モダリティの表現の差異に対処し、トークン数の不均衡によって音声トークンが疎外されるのを防ぐ。
性能向上: 汎用的なプロキシ・クエリやコサイン類似度のベースラインに対して一貫した精度の向上を示し、予算を考慮したファインチューニングによってさらなる向上が達成された。

実験結果

実験は、video-SALMONN 2+ (4Bおよび8Bパラメータ) と Qwen2.5-Omni (7Bパラメータ) を用い、VideoMME Long、LVBench、および LVOmniBench に対して行われた。

トレーニングフリーの性能: 同一のメモリ予算（例：レイヤーあたり8K KVペア）の下で、OmniMemは一貫して強力なベースライン（InfiniPot-V、StreamMem、HERMES）を**2〜4%**上回る絶対精度を記録した。
- video-SALMONN 2+ (8B) において、OmniMemはVideoMME Longで4.5%、LVBenchで3.0%、LV-OmniBenchで2.2%の改善を、最良のベースラインであるHERMESと比較して達成した。
- 改善は、音声と視覚のバランスが極めて重要なStreamingBenchの「Omni-source」パーティションにおいて特に顕著であった。
ファインチューニングによる利得: 予算を考慮したファインチューニングを適用することで、さらに**1〜2%**の絶対精度の向上が得られた。最も顕著な改善はLVBenchで見られ（4Bモデルで最大4.1%）、これはモデルが長尺ビデオに対して固定されたメモリ予算をより効果的に活用することを学習していることを示唆している。
効率性: 類似度計算のための隠れ状態の保持により、実行時のメモリオーバーヘッドは最小限（H800 GPU上で1GB未満）であった。最初のトークンのレイテンシは、ベースラインと同程度（約0.2秒）であった。

意義と主張

本論文は、OmniMemを、ヒューリスティックなトークンスコアリングを超え、トークンの削除がモデル出力に与える影響を明示的に最適化する原理的なアプローチへと進化させた、ストリーミングav-LLMに不可欠な進化として位置づけている。

モダリティの認識: 著者らは、音声と視覚のトークンを一様に扱うことは、現在のストリーミング手法における根本的な欠陥であると主張している。AVBAを導入することで、頻度は低いが情報密度の高い音声モダリティの完全性を維持することが、長尺の理解において極めて重要であることを示している。
摂動の認識: 汎用的なプロキシ・クエリから、摂動を考慮した選択（出力の歪みの最小化）への移行は、トークンの重要性を判断するためのより堅牢な基準として提示されている。
実用的な展開: 本手法は現実的な展開制約に合わせて設計されており、予算を決定するためのユーザープロンプトを必要とせず、1時間のビデオに対する厳格なメモリ制限内で効果的に機能する。

著者らは、OmniMemが類似度計算のためにわずかなメモリオーバーヘッドを導入するものの、そのトレードオフが一貫して有意な精度向上をもたらし、メモリ制約のある長尺のオーディオ・ビジュアル推論における新しい標準を確立すると結論付けている。