🤖 AI

DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

この論文は、視覚エンコーダの出力を情報保持トークンに圧縮し、言語バックボーン内で文脈に応じた視覚トークンを段階的に削減する「DUET-VLM」という二段階のユニファイド効率化フレームワークを提案し、LLaVA や Video-LLaVA などの大規模モデルにおいて、トークン数を大幅に削減しながらも精度を維持、あるいは向上させることを実証しています。

原著者： Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

公開日 2026-03-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎨 絵と言葉の「二人三脚」：DUET-VLM の仕組みを簡単解説

この論文は、**「AI が画像や動画を理解するときに、いかにして『無駄な情報』を捨てて、必要なことだけを残すか」**という問題を解決する新しい方法（DUET-VLM）について書かれています。

イメージしやすいように、**「料理」や「大勢の会議」**に例えて説明しましょう。

🍽️ 問題：AI は「料理」をやりすぎている

今の AI（VLM：視覚言語モデル）は、画像を見るときに、「1 枚の絵」を数千個の小さなパズル（トークン）に分解して処理しています。

例え話： 1 枚の「ピザ」の画像を見るとき、AI は「チーズの粒」「トマトのかけら」「ピザの縁の焦げ」など、576 個〜2800 個もの小さな断片をすべて細かくチェックしています。
問題点： 全部チェックするのは、**「大勢の会議で、全員が同じ話を延々とし続ける」**ようなものです。計算量が膨大になり、時間もお金もかかりすぎます。

💡 解決策：DUET-VLM（デュエット）の「2 段階作戦」

この論文の「DUET-VLM」は、**「2 人のパートナーが協力して、無駄を省く」**という 2 段階の戦略をとります。

第 1 段階：写真館での「整理整頓」（Vision Encoder）

まず、画像を AI が受け取る直前で、**「似たようなものはまとめて、重要なものだけ残す」**作業を行います。

どんなこと？
- 空の青い部分や、背景のぼやけた木々など、**「似ているパズル」**は 1 つにまとめます（クラスタリング）。
- 一方で、**「誰が写っているか」「何をしているか」**という重要な部分は、そのまま残します。
例え話：
- 料理で言えば、**「大量の野菜をすべて細かく刻むのではなく、似た野菜はまとめて刻み、メインの肉はそのまま残す」**ような感じです。
- これで、**「情報量は減るけど、味（意味）は変わらない」**状態になります。

第 2 段階：料理人の「味見と選別」（Language Backbone）

次に、整理された画像を「言葉（テキスト）」と一緒に AI が理解する段階です。ここで**「質問に答えるために本当に必要な画像部分だけ」**を選びます。

どんなこと？
- ユーザーが「『選手』の『背番号』は何？」と聞くとします。
- AI は「選手」や「背番号」という**「重要な言葉」に注目し、それに関連する画像部分（選手のユニフォーム）だけを残し、「 irrelevant な背景（観客席や空）」**を思い切って捨てます。
例え話：
- 会議で「プロジェクトの進捗」を聞かれたとき、「関係のない雑談」や「過去の余談」をスルーして、重要なデータだけを発表するようなものです。
- これを AI の頭の「層（レイヤー）」ごとに繰り返すので、**「深くなるにつれて、必要な情報だけが残る」**ようになります。

🚀 結果：驚くべき「軽さ」と「賢さ」

この「2 段階作戦」を使うと、どんなすごいことが起きるのでしょうか？

圧倒的な軽さ（高速化）：
- 画像の情報を67%〜89% も減らしても、AI の性能はほとんど落ちません。
- 例え話：**「ピザの具材を 9 割減らしても、美味しい味がそのまま残る」**ようなものです。
学習時間の短縮：
- AI を訓練する時間も30% 以上短縮できました。
- 例え話：**「無駄な練習を省いて、必要なトレーニングだけ集中して行う」**ので、早く上達します。
動画でも大活躍：
- 動画（1 秒間に何十枚もの絵）でも、「93% も情報を減らして」、ほぼ 100% の精度を維持しました。
- 例え話：**「長い映画のシーンを、重要なカットだけ切り抜いて見せても、ストーリーが完全に理解できる」**状態です。

🌟 まとめ

DUET-VLMは、AI に**「全部を細かく見るのではなく、『どこに注目すべきか』を 2 段階で賢く選別する」**方法を教えたものです。

第 1 段階： 画像の「似たもの」をまとめて整理する。
第 2 段階： 質問に答えるために「本当に必要な部分」だけを残す。

これにより、**「計算コストは激減」しつつ、「賢さはそのまま（むしろ向上）」**という、夢のような AI が実現しました。これからの AI は、もっと軽くて速く、でも賢いものになっていくでしょう！

DUET-VLM: 視覚言語モデル（VLM）のための二段階ユニファイド効率的トークン削減技術

この論文は、大規模視覚言語モデル（LVLM）の推論および学習における計算コストの課題を解決するため、DUET-VLM（Dual stage Unified Efficient Token reduction for VLM Training and Inference）という新しいフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

近年の視覚言語モデル（VLM）は、多様なタスクで高い性能を発揮していますが、高解像度の画像入力に伴う視覚トークンの膨大さが大きなボトルネックとなっています。

計算コストの増大: 画像はテキストに比べてトークン数が二次関数的に増加します（例：LLaVA-1.5 は 576 トークン、LLaVA-NeXT は 2,800 以上）。これにより、Transformer のアテンション計算コストが爆発的に増大し、メモリとレイテンシの制約が生じます。
既存手法の限界: 既存の効率化手法は主に以下の 2 つの方向性に分かれますが、それぞれに課題があります。
- 視覚側圧縮: 視覚エンコーダ出力を早期にマージする手法（VisionZip など）は、情報の損失リスクがあります。
- 言語側圧縮: 言語モデル内で視覚トークンを段階的に削除する手法（PyramidDrop など）は、文脈に適応した削除が不十分で、精度と速度のトレードオフが発生しやすいです。
既存手法の共通課題: 多くの手法が「単一方向」の圧縮（視覚側のみ、または言語側のみ）に依存しており、視覚と言語の両側を協調的に最適化できていません。

2. 提案手法：DUET-VLM

DUET-VLM は、**「視覚エンコーダ内での冗長性認識マージ」と「言語バックボーン内でのテキストガイド付き段階的削除」**という 2 つの相補的なステージからなる、プラグ＆プレイ型の双方向圧縮フレームワークです。

ステージ 1: Vision-to-Vision (V2V) マージ（視覚エンコーダ内）

視覚エンコーダから出力されたトークン群に対して、自己アテンションマップに基づいて以下の処理を行います。

支配的トークンの選択: 視覚的な自己アテンションスコアが高い「支配的トークン（Dominant tokens）」を $k_1$ 個選択します。
局所クラスタリングによる残差トークンのマージ: 残りのトークン（残差トークン）を、グローバル平均ではなく局所的なクラスタリングによってマージします。
- 残差トークンを $k_2$ 個のクラスタに分割し、各クラスタの重心（セントロイド）と近傍トークンに基づいて局所的に平均化します。
- これにより、背景ノイズによる情報の希薄化を防ぎつつ、微細な視覚的手がかりを保持したまま冗長性を削減します。
- 結果として、情報保持型の「支配的トークン」と「文脈的トークン」のセットが生成されます。

ステージ 2: Text-to-Vision (T2V) プルーニング（言語バックボーン内）

マージされた視覚トークンを言語モデル（LLM）に入力し、テキストの文脈に基づいてさらに段階的に削除します。

重要テキストトークンの特定: システムプロンプトやクエリから、視覚トークンの削除判断に用いる「重要テキストトークン（Salient text tokens）」を抽出します（最後のトークンを含む）。
階層的なトークン削除: 言語モデルの各レイヤー（ステージ）において、重要テキストトークンと視覚トークンの間のクロスアテンションスコアに基づいて、視覚トークンをランキング付けし、重要度の低いものを削除します。
- このプロセスはレイヤーを深めるにつれて繰り返され、推論が進むにつれて冗長な視覚情報が段階的に除去されます。
- これにより、計算効率と表現の忠実さのバランスを動的に調整します。

3. 主要な貢献

視覚 - 言語の協調最適化: 従来の片側圧縮ではなく、可微分なインターフェースを通じて視覚表現と言語文脈を同時に適応させ、クロスモーダルな整合性を保ちながら効率化を実現しました。
二段階圧縮フレームワーク: 視覚エンコーダ内での「冗長性認識マージ」と、言語モデル内での「重要度に基づく段階的削除」を統合したユニファイドなアプローチを提案しました。
高い精度維持: 極端なトークン削減下でも、ベースラインの性能を大幅に維持（あるいは超える）することを示しました。

4. 実験結果

LLaVA-1.5-7B、Qwen-2.5-VL-7B、Video-LLaVA-7B などのモデルおよび画像・動画ベンチマーク（POPE, GQA, TextVQA, MME, SQA, Video QA など）で評価されました。

推論時の性能（LLaVA-1.5-7B）:
- トークンを67% 削減（576→192）した場合、ベースライン精度の**99.0%**を維持。
- 89% 削減（576→64）の場合でも、**95.4%**の精度を維持。
- 既存の最善手法（VisionZip, PyramidDrop, FitPrune など）をすべてのトークン予算で上回りました。
学習時の性能:
- 学習プロセスに DUET-VLM を統合した場合、67% 削減で99.7%、89% 削減で**97.6%**の精度を達成し、ベースラインを上回る結果も得られました。
- 学習時間を31% 短縮しながら、精度の低下は 1% 未満に抑えられました。
動画理解（Video-LLaVA-7B）:
- トークン53.1% 削減でベースラインを100.8%（精度向上）達成。
- 極端な93.4% 削減（2048→136 トークン）でも**97.6%**の精度を維持し、既存手法を大幅に凌駕しました。
Qwen-2.5-VL-7B への汎用性:
- 異なるアーキテクチャでも同様の効果（98% 以上の精度維持）が確認され、手法の汎用性が示されました。

5. 意義と結論

DUET-VLM は、単なるモデルの縮小ではなく、**「トークン管理の最適化」**がモデルのスケーリングに匹敵する精度向上をもたらすことを実証しました。

技術的意義: 視覚情報の冗長性を早期に削減しつつ、言語の文脈に基づいて後段でさらに精査する「二段階アプローチ」の有効性を示しました。特に、局所クラスタリングと重要テキストガイドの組み合わせが、情報の損失を防ぎつつ計算コストを劇的に削減する鍵となりました。
実用性: 推論だけでなく、学習プロセス自体を高速化できるため、リソース制約のある環境や大規模なマルチモーダルモデルの展開において極めて重要です。
将来展望: このアプローチは、画像だけでなく動画理解や、将来的には音声などの他のモダリティへの拡張も可能であり、コンパクトかつ高性能な次世代 VLM の開発への道筋を示しています。

要約すれば、DUET-VLM は「無駄な視覚トークンを賢く削ぎ落とし、必要な情報だけを効率的に処理する」ことで、計算コストを大幅に削減しながらも、高い推論能力を維持する画期的な手法です。