💻 computer science

MARC: Memory-Augmented RL Token Compression for Efficient Video Understanding

本論文は、Visual Memory RetrieverとCompression Group Relative Policy Optimization蒸留手法を組み合わせた新しいretrieve-then-compress戦略を通じて、ビデオ理解においてベースラインに近い精度を達成しつつ、ビジュアルトークンを95%削減しGPUメモリを72%削減する、メモリ増強型強化学習フレームワークであるMARCを提案している。

原著者： Peiran Wu, Zhuorui Yu, Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

公開日 2026-02-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Peiran Wu, Zhuorui Yu, Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、非常に高精細な巨大な映画ファイルを、ある非常に賢いが多忙なアシスタント（AIモデル）に見せなければならないとします。問題は、そのファイルがあまりにも巨大であるため、アシスタントが圧倒されてしまい、メモリ不足に陥り、回答を出すのに膨大な時間がかかってしまうことです。これが、現在のビデオ理解における課題です。ビデオは処理するには大きすぎるのです。

この論文では、この問題を解決するために、MARC（Memory-Augmented RL Token Compression）と呼ばれる新しいシステムを紹介しています。MARCを、物語の核心を失うことなく、映画をたった一枚の写真のサイズまで縮小する「スマートなエディター（編集者）」だと考えてください。

仕組みは以下の通りです。簡単な比喩を用いて説明します。

1. 問題：「情報過多」によるボトルネック

現在、AIがビデオを理解しようとする際、多くの場合、動画を毎秒60フレームの速度で視聴するように、あらゆるフレームを見ようとします。ビデオが長いと、これはデータの山を生み出します。

比喩： たった一つの単純な質問に答えるために、500ページの書籍を読もうとしている状況を想像してください。それは非効率的です。すべてのページの一文字一文字を読む必要はありません。答えが隠されている特定の章さえ分かればよいのです。

2. ステップ1：ビジュアル・メモリ・リトリーバー（賢い司書）

AIがビデオを圧縮する前に、まず適切な部分を見つけ出す必要があります。論文では、これを**ビジュアル・メモリ・リトリーバー（VMR）**と呼んでいます。

仕組み： このツールは、ビデオを連続したストリームとして見るのではなく、物語を理解する人間の司書のように機能します。これはビデオを「イベント（出来事）」（映画のシーンのようなもの）に分解します。
比喩： もしあなたが「車が衝突したとき、何が起きましたか？」と尋ねたら、司書は映画全体を見せることはしません。彼らは即座に、衝突が発生した3つの短いクリップと、その直前直後の瞬間だけを取り出します。そして、何も起きていない退屈な部分は無視します。
結果： AIは、映画全体ではなく、わずか数本の短い関連クリップだけを扱えばよくなります。

3. ステップ2：C-GRPO（「師匠と弟子」のトレーニング）

さて、AIは正しいクリップを手に入れましたが、それでもまだ処理すべき詳細（トークン）が多すぎます。そこで、論文ではC-GRPOと呼ばれる新しい学習手法を導入しています。

比喩： **マスターシェフ（師匠）**がフル装備のキッチンを使って複雑な64品のフルコースを作っている場面を想像してください。次に、**アプレンティス（弟子）**がいますが、彼は小さなキャンプ用コンロと、たった一つの食材しか使うことが許されていません。
挑戦： 通常、もし弟子にこれほど少ないものしか使わせないとしたら、料理の味はひどいものになってしまいます。
解決策： 論文では、特別な「強化学習」による報酬システムを使用しています。弟子が料理を作ると、システムはこうチェックします。「弟子の作った料理は、たとえ材料が極めて少なくても、師匠の料理と同じくらい美味しくなっているか？」
- もし弟子が成功すれば、報酬が得られます。
  には、失敗すればペナルティが課されます。
成果： この試行錯誤のプロセスを通じて、弟子はごくわずかな材料だけで、味の「本質（推論）」を抽出する方法を学びます。

4. 結果：象を縮める

論文によれば、この「賢い司書」（適切なクリップを見つける）と「師匠と弟子」のトレーニング（データの圧縮）を組み合わせることで、以下のことが実現されました。

サイズ削減： 通常、理解するために64フレームのデータを必要とするビデオを、わずか1フレームに相当する量まで圧縮できます。これは95%のデータ削減です。
パフォーマンス： 95%少ないデータを使用しているにもかかわらず、AIの質問に対する回答能力は、64フレームすべてを見た場合とほぼ変わりません。
速度とメモリ：
- メモリ： コンピュータのメモリ（RAM）を72%削減します。
- 速度： 回答生成が23.9%高速化します。

なぜこれが重要なのか（論文による説明）

著者らは、これにより、リソースの限られたデバイス上でこれらの強力なビデオAIモデルを動かすことが可能になると述べています。具体的には、以下のようなアプリケーションを挙げています。

リアルタイムのビデオ質問応答（ビデオが進行している最中に質問する）。
監視システム（スーパーコンピュータを使わずにカメラを監視する）。
自動運転（限られた車載電力の中で、ビデオを素早く理解する必要がある自動車）。

要約すると、MARCはAIに対し、単なる「読者」ではなく、最も重要な瞬間を見つけ出し、ファイル全体を処理することなく深く理解するための「スキマー（拾い読みする人）」になることを教えているのです。

技術要約: MARC – 高効率なビデオ理解のためのメモリ拡張型強化学習によるトークン圧縮

問題提起

視覚言語モデル（VLM）は、画像理解からビデオ理解へとスケールアップする際に、重大な計算上のボトルネックに直面します。高いフレームレートと長いビデオの継続時間は、数千のトークンの処理を必要とし、推論コスト、レイテンシ、およびGPUメモリ使用量の急激な増加を招きます。これは、自動運転や監視システムのような、リソース制約がありレイテンシに敏感な環境へのデプロイを妨げる要因となります。

トークン圧縮は有望な解決策ですが、既存の手法は主に**学習を伴わない（training-free）**戦略（例：空間的または時間的なトークン・マージング）に依存しています。著者らは、これらの学習を伴わないアプローチは圧縮プロセスにおいて必然的に情報の損失を引き起こし、結果としてモデルの性能を大幅に低下させると主張しています。核心となる課題は、モデルの推論能力を犠牲にすることなく、極端なトークン削減（例：ビデオを単一の画像のトークン数まで削減する）を実現することです。

メソドロジー

本論文では、圧縮前に関連情報を検索するように設計された2段階のフレームワークであるMARC（Memory-Augmented Reinforcement Learning-based Token Compression）を提案しています。

1. 視覚メモリ・リトリーバー (VMR)

認知科学およびイベントセグメンテーション理論に着想を得たVMRは、固定長のテンポラル・ウィンドウを、意味的かつイベントベースのアプローチに置き換えます。

イベントベースのセグメンテーション: 深層イベント検出ネットワークが、シーンの変化、トピックの転換、またはアクションの開始に基づいて、連続的なビデオストリームを意味的に一貫した短いクリップ（視覚的メモリ断片）に分割します。
メモリ・リトリーバル（想起）: クエリ表現と視覚的断片を、コントラスティブ学習を用いて共有潜在空間にマッピングします。最近傍探索により、ユーザーのクエリに最も関連性の高い上位 $k$ 個の断片を抽出します。
機能: このステップはフィルターとして機能し、探索範囲を絞り込むことで、冗長なフレームではなく、因果関係において最も有用な証拠を含む「エピソード記憶」のみに対して後続の圧縮が行われるようにします。

2. メモリ認識型テンポラル・コンプレッション

RL蒸留の前に、抽出されたセグメントに対して特定の圧縮レイヤーが適用されます。

ローカルな一貫性: 抽出された各イベント・セグメント内において、局所的なダイナミクスを保持しながら冗長性を削減するために、コサイン類似度に基づいて連続するフレームをマージします。
グローバルな統合: トークン予算が依然として超過している場合、軽量なクロスセグメント・マージが適用されます。これにより、VMRによって定義されたイベント構造が維持されます。

3. 圧縮グループ相対方策最適化 (C-GRPO)

極端な圧縮（入力を単一フレーム相当のトークン数まで削減）下でも性能を維持するために、著者らはポストトレーニングの強化学習戦略であるC-GRPOを導入しています。

教師・生徒蒸留: 「教師（Teacher）」ネットワークは64フレームを処理し、「生徒（Student）」ネットワークは圧縮された単一フレームの入力を処理します。
保持アライメント報酬: 正解率に焦点を当てる標準的なGRPOとは異なり、C-GRPOは圧縮報酬（ $r_c$ $r_{c}$ ）を導入しています。この報酬は、教師の性能を生徒がどの程度保持しているかを測定する保持率（ $\eta$ $η$ ）に基づいて計算されます。
- $r_c = \alpha \cdot \max(0, \eta - \tau)$ 、ここで $\tau$ は最小許容保持閾値（0.6に設定）です。
ゲーティング機構: 保持報酬は正解性（ $1[\text{correct}]$ ）によってゲート制御されます。これにより、意味的に妥当な生成のみがボーナスを受け取ることが保証されます。これは、モデルが推論能力を実際に保持することなく、偶然に正解を導き出す「報酬ハッキング」を防ぐためです。
目的: 方策は、厳格なトークン予算を遵守しながら、教師の推論能力の保持を最大化するように最適化されます。

主な貢献

MARCフレームワーク: 構造化された視覚的検索（VVMR）とRLベースのトークン圧縮を統合した新しいアーキテクチャであり、人間のエピソード記憶を模倣した効率的なビデオ理解を可能にします。
C-GRPOアルゴリズム: ビデオのトークン圧縮のために特別に設計された、初のポストトレーニングRL戦略です。これは、性能保持を明示的に最適化することで、高トークンの教師から低トークンの生徒へと複雑な推論能力を正常に蒸留することに成功しました。
実証的検証: 6つのベンチマークにおける広範な実験を通じて、本手法がベースラインに近い性能を達成しつつ、計算コストを劇的に削減できることを示しました。

実験結果

著者らは、Qwen2.5-VL-3Bをバックボーンとして使用し、6つのベンチマーク（VSI-Bench, VideoMMMU, MMVU, MVBench, TempCompass, VideoMME）でMARCを評価しました。

性能: MARCは平均スコア42.20を達成し、64フレームのベースラインである42.21とほぼ同等でした。
- MMVU、MVBench、TempCompassにおいてベースラインを上回りました。
- より大きなモデル（例：InternVL3.5-4B、Gemma-3-4B）をも凌駕しました。
トークン削減: 本手法は視覚トークンを**95%**削減しました（約2590トークンから約123トークンへ）。これは、実質的に単一フレーム分のトークン（元の4.71%）のみを使用していることになります。
効率性の向上:
- GPUメモリ: 減少（A6000上で41.63 GBから11.48 GBへ、**72.4%**削減）。
- レイテンシ: 生成レイテンシは**23.9%**減少し、サンプルの処理におけるエンドツーエンドのレイテンシは11.1%減少しました。
アブレーション研究:
- VMR: VMR単独の使用によりベースラインの精度が向上（平均45.56 vs 42.21）し、イベントベースの検索の価値が証明されました。
- C-GRPO vs SFT: MARC (C-GRPO) は、教師あり微調整（SFT）ベースラインよりも平均スコアで9.6%高く、圧縮タスクにおけるRL蒸留の優位性を浮き彫りにしました。
- 閾値 ( $\tau$ ): 閾値0.6が、安定性と性能保持の最適なバランスを提供しました。

意義と主張

本論文は、MARCが大規模モデルのポストトレーニング圧縮における堅牢なソリューションを提供し、効率性と精度の間のギャップを埋めるものであると主張しています。認知科学に着想を得た検索とRLベースの蒸留を組み合わせることで、本手法は、リアルタイムのビデオ質問応答、監視、自動運転といった、厳格なリソース制約のあるシナリオにおけるVLMのデプロイを可能にします。

著者らは、彼らのアプローチが、学習を伴わない圧縮手法に典型的な性能低下を回避していることを強調しています。代わりに、圧縮を「生徒が教師の推論に一致しなければならないアライメント問題」として扱うことで、MARCは入力を単一フレーム相当のトークン量まで削減しても高い忠実度を維持します。この研究は、ビデオ理解を現実世界のレイテンシに敏感なアプリケーションにおいてスケーラブルかつデプロイ可能にするための実用的な経路を提示しています。