💻 computer science

VisCo: Leveraging Large Language Models as Intrinsic Encoders for Visual Token Compression

VisCoは、学習効率の高いフレームワークであり、事前学習済みのVision-Language Modelを内在的なエンコーダーとして活用することで、視覚トークンをコンパクトなメモリトークンの集合へと圧縮し、大規模な再学習や外部モジュールを必要とすることなく、様々な圧縮率において優れた性能と安定性を実現します。

原著者： Yupeng Zheng, Kai Zou, Bin Liu, Nenghai Yu

公開日 2026-08-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yupeng Zheng, Kai Zou, Bin Liu, Nenghai Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたのそばに、写真を見て物語を語ってくれる、ものすごく賢いロボットの友達がいるとします。このロボットは非常に才能豊かですが、その脳みそはとても小さく、しかも非常に高価です。あなたが高精細な写真を見せると、ロボットは画像内のすべてのピクセルを見ようとし、画像を「トークン」と呼ばれる数千もの小さなメモの膨大なリストへと変換してしまいます。それはまるで、写真に写っているのが猫なのか犬なのかを決めるためだけに、百科事典を一冊丸ごと読み込もうとするようなものです。このプロセスは非常に負荷が高いため、ロボットを動作を遅くさせ、メモリを大量に消費させ、一般的なスマートフォンやリアルタイムの状況での使用を困難にします。科学者たちは、ロボットをもっと効率的に動かせるよう教えてこようとしてきました。通常、彼らは「退屈な」メモを捨て去る（これによってロボットが重要な詳細を見逃してしまうことがあります）か、あるいは要約を助けるための、全く新しい重厚なマシンを構築する（これはコストがかかり、訓練も困難です）という方法をとってきました。大きな疑問は、「既存のロボットの脳力を使って、外部に大規模な改造を施すことなく、ロボット自身に画像を要約させることはできるだろうか？」ということです。

これこそが、まさにVisCoの開発者たちが解決しようとした課題です。彼らは、ロボットの脳（視覚言語モデル）がすでに画像を理解することの達人であることに気づきました。ただ、これまで効率的に要約するように頼まれたことがなかっただけなのです。VisCoは、新しいツールを作ったり、盲目的にメモを削除したりする代わりに、ロボットの脳を「自己完結型の圧縮マシン」として扱います。彼らは、一連の小さな「メモリ・トークン」（ロボットが書き込みできる、数枚の付箋のようなものと考えてください）を導入し、ロボットに画像全体を読み取らせ、そのすべての情報をその数枚のメモへと凝縮させるよう指示します。魔法は、ロボットが自身の内部的な「アテンション（注意）」、つまり画像の異なる部分にどのように焦点を当てるかを用いて、単純な質感から複雑な意味に至るまで、層を重ねるごとに何が重要であるかを判断することによって起こります。

論文では、このアプローチがゲームチェンジャーであることが示されています。他の手法では、非常に少ない数のメモを使うように強制すると（例えば、街全体の様子をたった一言で表現しようとするかのように）、失敗に終わってしまいますが、VisCoは驚くほど高い性能を維持します。テストにおいて、画像をたった一つのトークンまで圧縮した場合でも、VisCoは元の知能の約85%を維持しており、35〜50%程度まで低下してしまう他の手法を大きく引き離しました。さらに素晴らしいことに、研究者たちは、これらの「メモリ・メモ」が単に元の画像の縮小版であるだけでなく、画像を捉えるための「新しい方法」を実際に捉えており、それが時としてロボットを以前よりもさらに賢くすることさえあることを発見しました。これは、ロボットの脳全体を最初から訓練し直すことなく、より少ないリソースでより多くのことをさせるための、軽量で効率的な方法なのです。

テクニカルサマリー：VisCo – 大規模言語モデルを内在的エンコーダーとして活用した視覚トークン圧縮

1. 問題提起

Vision-Language Models (VLMs) は通常、高解像度の画像を大量の視覚トークンへとエンコードして処理します。これは、自己注意（self-attention）メカニズムの二次関数的な複雑さに起因する大幅な推論レイテンシとメモリオーバーヘッドをもたらします。また、Key-Value (KV) キャッシュのストレージ要件も大きな課題となります。このボトルネックは、リソースが制限されたシナリオやリアルタイム性が求められる環境におけるVLMの展開を著しく制限しています。

既存の視覚トークン圧縮ソリューションは、以下の2つのカテゴリに分類されますが、いずれも重大な限界があります。

学習フリーの手法（Training-free methods）: これらは、アテンションスコアや特徴量の類似性といったヒューリスティックな指標に基づき、トークンの削減（pruning）や統合（merging）を行います。効率的ではあるものの、高い圧縮率の下では大幅な性能低下を招きます。これらは「アテンション・シフト（attention shift）」を引き起こし、ハルシネーション（幻覚）を誘発する傾向があり、テキストによる指示に基づいたグローバルな意味内容や微細な詳細を保持することに失敗することがよくあります。
学習ベースの手法（Training-based methods）: これらは外部の圧縮モジュールを導入するか、大規模な再学習（再アライメントやインストラクションチューニングを含む）を必要とします。より堅牢ではありますが、重い再学習コストが発生し、学習済みVLMの事前知識（priors）を損なう可能性があり、プラグアンドプレイの柔軟性に欠けることが多くあります。

核心となる課題は、大規模な再学習や外部モジュールを必要とせずに、強力な圧縮（例：トークンを単一のユニットまで削減）の下でも意味的な忠実度を維持できる、効果的な視覚トークン圧縮を実現することです。

2. メソドロジー：VisCo フレームワーク

著者らは、学習効率の高い自己圧縮フレームワークである VisCo を提案します。これは、学習済みのVLM自体を内在的な圧縮器として再利用するものです。VisCoは、パラメータを共有する**非対称VLMオートエンコーダ（asymmetric VLM autoencoder）**として設計されており、以下の2段階で動作します。

A. 非対称アーキテクチャ

エンコーディング段階（Encoding Stage）: 本フレームワークは、学習済みのVLMバックボーンに軽量な学習可能モジュールを付加します。具体的には、少数の学習可能なメモリトークン ( $X_m$ ) を導入し、Q/V射影に LoRA アダプターを利用します。エンコーダーは、視覚トークン ( $X_v$ ) とメモリトークン ( $X_m$ ) の結合シーケンスを処理します。
デコーディング段階（Decoding Stage）: LoRAアダプターを取り除き、元の凍結された学習済みVLMバックボーンをデコーダーとして直接再利用します。この設計により、VisCoはマルチモーダル生成プロセスをゼロから学習し直すのではなく、既存の能力の軽量な適応のみを必要とします。

B. シーケンス構築と因果的マスキング

VisCoは、デコーダーのみのVLMにおける標準的な因果的マスキング（causal masking）メカニズムを厳格に遵守します。メモリトークンは、入力シーケンス内の視覚トークンの後に付加されます。これにより、メモリトークンはモデルの内在的なアテンション・プライアを利用して、先行するすべての視覚トークンに対して自然にアテンションを向けることができ、カスタマイズされた相互作用ルールを導入することなく、豊かな視覚情報を集約することができます。

C. 階層的な情報集約と受け渡し

Transformerのレイヤーは機能的な専門化（下位レイヤーは局所的なパターンをエンコードし、上位レイヤーは抽象的な意味をエンコードする）を示すことを認識し、VisCoは階層的な情報伝達メカニズムを採用しています。

メモリバンクの構築: エンコーディング中、最終的な隠れ状態をデコーダーに渡す代わりに、システムはすべてのレイヤー $l$ において、メモリトークンに対応する**キー（Key: $K$ ）およびバリュー（Value: $V$ ）**行列のみを保持します。これらはレイヤーごとのメモリバンク（ $K_{mem}, V_{mem}$ ）に保存されます。
階層的デコーディング: デコーディング中、これらのレイヤーごとのメモリKVキャッシュがデコーダーのKVキャッシュに直接注入されます。これにより、デコーダーは投影層を必要とすることなく、低レベルのテクスチャから高レベルの言説に至るまでの多粒度の意味情報をアクセスできるようになり、パラメータ共有を活用します。

D. 学習目的

VisCoは、圧縮されたメモリとテキスト入力が与えられた際の、正解（ground-truth）の条件付き尤度を最大化するように、ティーチャー・フォーシング（teacher forcing）を用いてエンドツーエンドでファインチューニングされます。追加の事前学習目的は導入されません。

3. 主な貢献

非対称な内在的自己圧縮フレームワーク: VisCoは、学習済みのVLM自体を圧縮器として利用し、バックボーンを維持したまま、軽量な学習（LoRA + 学習可能なメモリトークン）のみを要求します。
階層的情報伝達メカニズム: レイヤーごとのKVキャッシュを介して、エンコーダーレイヤーからデコーダーへ多粒度の意味情報を転送するメカニズムを導入し、圧縮下においても視覚情報の構造的階層を保持します。
包括的な評価: 3つのVLMバックボーン（LLaVA-1.5-7B, Qwen2-VL-2B, Qwen2-VL-7B）と6つのベンチマークにわたる広範な実験により、既存の手法に対する一貫した優位性を実証しました。特に、強力な圧縮条件下において顕著です。

4. 実験結果

論文では、GQA, MMB, MMB-CN, MME, POPE, MMVetを含むベンチマークでVisCoを評価しています。

強力な圧縮下での性能:
- LLaVA-1.5-7B（576トークン $\to$ 32トークン）において、VisCoは元の性能の 91.8% を維持し、最良のベースライン（VisPruner）を平均スコアで4.0ポイント上回りました。
- 極端なシングルトークン設定（1トークン）において、VisCoは元の性能の 85.3% を維持し、学習フリーの手法（例：SparseVLMの約72.6%）を大幅に上回り、特定の指標ではMatryoshkaQueryやVoCo-LLaMAのような強力な学習ベースのリファレンスさえも凌駕しました。
- すでに圧縮機能が組み込まれている Qwen2-VL-2B において、VisCoは25%のトークン保持率で95.2%、12.5%の保持率で91.4%の性能を維持し、VisionZipのようなファインチューニングされたベースラインを上回りました。
定性的分析:
- VisCoは、非常に少ないトークンであっても、シーン全体のコンテキストと主要な領域の両方を捉えることに成功しています。一方で、アテンションベースの削減手法は、グローバルなコンテキストと詳細を失います。
- シングルトークン設定において、VisCoはオブジェクトレベルの記述と一貫したグローバルな意味を含む詳細なキャプションを生成できます。
効率性:
- VisCoはKVキャッシュのストレージを大幅に削減します。
- 初期エンコーディング段階でオーバーヘッドが発生するものの、VisCoは高速なデコーディングを実現します。マルチターン対話のシナリオでは、キャッシュされた表現の再利用により、VisCoはわずか3回の対話ターン後にはFastVのような学習フリー手法のレイテンシを追い越します。
相補的な表現:
- アブレーション研究（VisCo+）によれば、学習されたメモリトークンと元の視覚トークンを組み合わせることで、いくつかのベンチマークにおいてベースモデルの性能が実際に向上することが示されました。これは、メモリトークンが単なる圧縮されたサブセットではなく、相補的な情報を捉えていることを示唆しています。

5. 意義と主張

本論文は、学習済みVLMの内在的なプライア（priors）を活用することで、軽量な学習のみによる堅牢な視覚トークン圧縮が可能であることを示しています。

トレードオフの克服: VisCoは、学習フリーの手法に見られる深刻な性能低下と、外部モジュールベースのアプローチに見られる重い再学習コストの両方を回避します。
ネイティブな処理パターン: カスタマイズされた相互作用ルールを書き換えるのではなく、VLMのネイティブな処理パターン（因果的マスキングとパラメータ共有）に従うことで、VisCoは軽量な適応の柔軟性を維持しながら、重量級の手法に匹敵する性能を実現しています。
圧縮を超えて: 著者らは、学習されたメモリトークンが視覚的特徴を豊かにする相補的な表現として機能し、単なる圧縮効率を超えてモデルを向上させる可能性があると示唆しています。

結論として、効果的な視覚トークン圧縮は、すでに学習済みVLMに備わっている強力な情報エンコーディング能力に依存しており、それはVisCoのような効率的な自己圧縮フレームワークを通じて解禁できるものであるとしています。今後の展望として、適応的なトークン割り当てやビデオ圧縮への拡張が提案されています。