🤖 AI

AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding

本論文は、MLLM の自己不確実性をグローバル制御信号として活用し、長動画理解におけるトークン選択と早期終了を可能にするトレーニング不要のフレームワーク「AdaptToken」を提案し、複数のベンチマークで精度向上と推論時間の短縮を実現したことを報告しています。

原著者： Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

公開日 2026-03-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

長い動画の理解を助ける「AdaptToken」の仕組み

この論文は、AI（マルチモーダル大規模言語モデル）が**「長い動画」**を理解するのを助ける新しい技術「AdaptToken」について紹介しています。

AI が長い動画を見るのは、人間が 3 時間の映画を 1 秒ずつすべて見て内容を理解しようとするようなもので、とても大変です。メモリが足りなくなったり、処理しきれなかったりするのが問題でした。

この「AdaptToken」は、そんな AI のために**「必要な部分だけを選んで、無駄な部分を捨てて、もう十分なら見るのをやめる」**という賢い仕組みを作ったものです。

以下に、日常の例えを使って簡単に説明します。

1. 従来の問題：「全部見ようとして疲弊する」

昔の AI は、長い動画を見せられると、フレーム（映像の断片）をすべて、あるいはランダムに選んで見ようとしていました。

例え話： 100 ページある本の内容を聞かれたとき、AI は「重要なページも、ただの背景描写も、同じように全部読み上げようとして、頭がパンクしてしまう」状態でした。

2. AdaptToken の解決策：3 つのステップ

この新しい技術は、以下の 3 つのステップで AI をサポートします。

ステップ①：グループに分けて「自信」を測る（エントロピーの活用）

長い動画を小さな「グループ（断片）」に分けます。そして、AI にそれぞれのグループを見せながら、「このグループは質問の答えに役立っているか？」を AI 自身に判断させます。

仕組み： AI が「あ、これだ！」と確信を持てるほど、回答の「不安定さ（エントロピー）」が低くなります。逆に、何もないと AI は「えっと…」と曖昧な答えになります。
例え話： 探偵が事件現場を調べる際、**「手がかりがありそうな部屋（確信度が高い）」と「ただの廊下（確信度が低い）」を区別します。AdaptToken は、AI が「この部屋は重要だ！」と確信した瞬間を、「手がかりが見つかった！」**という信号として使います。

ステップ②：重要度に応じて「予算」を配分

動画全体で使える「見る回数（トークン数）」には限りがあります。AdaptToken は、**「手がかりが見つかりやすいグループには多くの人（トークン）を派遣し、そうでないグループには少ない人しか行かせない」**という配分を行います。

例え話： 捜査チームの人数が限られているとき、**「犯人が隠れそうな家には 10 人派遣し、ただの公園には 1 人だけ」**というように、リソースを賢く配分します。これにより、重要な情報が漏れなくなります。

ステップ③：「もう十分」を見つけて即座に終了（Early Stopping）

これが最大の特徴です。もし、いくつかのグループを見て「もう答えがはっきりした！」と AI が確信したら、残りの動画を見るのをやめてしまいます。

例え話： 映画のサスペンス部分を見て「犯人は A だ！」と 100% 確信できたら、映画の残り 1 時間を見ずに「終了！」と宣言するようなものです。これにより、処理時間が半分以下に短縮されます。

3. さらに「重複」を避ける

同じような映像が連続して入っている場合、AI は同じ情報を何度も見てしまいます。AdaptToken は、**「似すぎている映像は一つにまとめる」**という作業も行うため、より多様な情報だけを AI に渡すことができます。

この技術のすごいところ（成果）

どんな AI でも使える： 小さな AI でも巨大な AI でも、この仕組みを組み合わせるだけで性能が向上します。
超長編動画に強い： 1 時間、2 時間、あるいは 1 万フレームもの超長編動画でも、精度が落ちずに理解できます。
速くて正確： 「AdaptToken-Lite」というバージョンを使えば、処理時間が約半分になりつつ、精度はほとんど変わらないという驚異的な結果を出しています。

まとめ

AdaptToken は、AI に**「全部を無理に見るのではなく、重要な部分に集中し、答えが出たらすぐに止まる」**という、人間のような「直感」と「効率性」を与えた技術です。これにより、AI は長い動画でも、疲れることなく、正確に内容を理解できるようになりました。

以下は、論文「AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding」の技術的な要約です。

AdaptToken: 長動画理解のためのエントロピーベース適応的トークン選択

1. 背景と課題 (Problem)

マルチモーダル大規模言語モデル（MLLM）は、短い動画クリップの理解において高い性能を示していますが、長動画（例：1 時間以上）の理解においては依然として大きな課題に直面しています。
主なボトルネックは以下の通りです：

メモリコストとコンテキスト長の制限: 動画のフレーム数を増やすと、生成される視覚トークンの数が爆発的に増加し、モデルのコンテキストウィンドウやメモリ容量を超えてしまいます。
既存手法の限界:
- フレームレベル選択: 関連するフレームを事前に選別する手法は、選択されたフレーム内にも無関係な領域（背景など）が含まれており、信号が希薄化されるリスクがあります。
- トークンレベル選択: クロスモーダルアテンションを用いてトークンを圧縮する手法は存在しますが、**「 distant clips（遠く離れたクリップ）間の関連性を比較する原理的なメカニズム」**が欠如しています。また、モデルが十分な証拠を得た時点で処理を停止する（Early Stopping）機能も通常備わっておらず、不要な計算コストが発生します。

2. 提案手法：AdaptToken (Methodology)

AdaptToken は、学習不要（training-free）かつモデル非依存のフレームワークであり、MLLM の**自己不確実性（self-uncertainty）**をグローバルな制御信号として利用します。

主要なコンポーネント

グループ化とエントロピーに基づく関連性評価:
- 動画を複数のフレームグループに分割します。
- 各グループを MLLM に入力し、モデルの応答（生成トークン）のエントロピーを計算します。
- 仮説: 低エントロピー（高い確信度）の応答は、そのグループがプロンプトに関連する証拠を含んでいることを示唆します。逆に高エントロピーは、関連性の低さやモデルの推測（ハルシネーション）を示します。
- このエントロピー信号を用いて、各グループの「プロンプト関連性」を定量化し、グローバルなトークン予算を配分します。
エントロピー誘導グローバルトークン選択:
- グループ内評価: 各グループ内で、クロスモーダルアテンション（視覚キーとテキストクエリ）を用いて、視覚トークンの重要性をスコアリングします。
- グローバル配分: 上記のエントロピーに基づくグループの確信度（Certainty Score）に応じて、各グループに割り当てるトークン予算（ $B_g$ ）を動的に調整します。関連性の高いグループには多くのトークンを、低いグループには少ないトークンを割り当てます。
位置意識グローバルトークン除去 (Location-aware Global Token Removal):
- 関連性だけでなく、多様性と時間的カバレッジを確保するため、選択されたトークン間の類似度（特徴量のコサイン類似度と時間的距離）を計算します。
- 冗長なトークンを反復的に除去し、最終的なトークンセットの密度と多様性を向上させます。
早期停止 (AdaptToken-Lite):
- 複数のグループで高い確信度（低エントロピー）が得られた時点で、残りのグループの処理をスキップします。
- これにより、推論時間を大幅に短縮しつつ、精度を維持します。

3. 主な貢献 (Key Contributions)

学習不要なグローバル制御: クロスモーダルアテンションと応答エントロピーを組み合わせ、長動画理解におけるトークンの重要性をグローバルに評価する初めてのトレーニングフリーフレームワークを提案しました。
早期停止メカニズム: モデルの確信度に基づいて処理を早期に終了させることで、推論時間を約半分に削減しつつ、精度を維持（または向上）させました。
広範な有効性の実証: 7B から 72B までの多様な MLLM アーキテクチャおよび、VideoMME、LongVideoBench、LVBench、MLVU という 4 つの主要な長動画ベンチマークにおいて、一貫した性能向上を実証しました。

4. 実験結果 (Results)

精度の向上:
- Qwen2.5-VL 7B ベースモデルにおいて、4 つのベンチマーク全体で平均 +6.7 ポイント の精度向上を達成しました。
- 既存のフレーム/トークン選択手法（FlexSelect, AdaReTAKE, SeViCES など）をすべてのベンチマークで上回りました。
- 特に、超長動画（LVBench など）において顕著な改善が見られました。
スケーラビリティ:
- 入力フレーム数を 10,000 フレーム まで増やしても性能が維持・向上することを確認しました（既存手法は通常、このスケールでのタスク精度を報告していません）。
- 大規模モデル（Qwen2.5-VL 72B）に対しても有効であり、平均で +5.7 ポイントの向上を達成しました。
効率性 (AdaptToken-Lite):
- 早期停止機能により、平均推論時間を 約 50% 削減（例：VideoMME で 17.8 秒→8.6 秒）しましたが、精度はフルバージョンと同等（または一部で上回）でした。
- GPU メモリ使用量も大幅に削減され、Qwen3-VL 8B において 96GB から 41GB へ減少しました。

5. 意義と結論 (Significance)

AdaptToken は、長動画理解における「メモリ制約」と「文脈長の限界」という根本的な課題に対し、モデル自体の**「不確実性」**という内在的な信号を制御メカニズムとして転用する画期的なアプローチを示しました。

原理的な革新: 単なるフレーム選別や圧縮ではなく、モデルが「いつ、どの程度の情報が必要か」を動的に判断する仕組みを提供します。
実用性: 追加の学習（ファインチューニング）を必要とせず、既存の MLLM に即座に適用可能であるため、実世界での展開（Embodied AI やマルチモーダルエージェントなど）に極めて有用です。
将来展望: 超長動画（10K フレーム以上）の理解を現実的なリソースで可能にし、長動画処理の新たな基準を確立しました。

この研究は、MLLM が長文脈を処理する際の効率性と精度のトレードオフを、モデルの自己評価能力を用いて解決する重要なステップと言えます。