💻 computer science

Hybrid Token Compression for Vision-Language Models

本論文は、連続的なパッチ特徴と離散的なセマンティックアンカーを融合させることで、微細な外観の詳細と高次な意味論の保持を効果的に両立させ、既存の連続的なベースラインと比較して優れた性能保持と効率性を実現する、ハイブリッドな視覚トークン圧縮フレームワークであるHTC-VLMを提案する。

原著者： Jusheng Zhang, Xiaoyang Guo, Tongyu Mo, Qinhan Lv, Wenhao Chai, Jian Wang, Keze Wang, Liang Lin

公開日 2026-08-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jusheng Zhang, Xiaoyang Guo, Tongyu Mo, Qinhan Lv, Wenhao Chai, Jian Wang, Keze Wang, Liang Lin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビジュアル・オーバーロードの難題：なぜAIにはより優れた要約が必要なのか

想像してみてください。あなたは、非常に賢いが、とてもお腹を空かせた生徒に、写真の理解の仕方を教えようとしています。人工知能の世界では、この生徒は「ビジョン・ランゲージ・モデル（VLM）」と呼ばれます。これは、画像を見て「犬は何を着ていますか？」や「なぜ空は青いのですか？」といった質問に答えることができる、一種のコンピュータの脳です。これを行うために、コンピュータは画像を「パッチ」と呼ばれる数百の小さな正方形に分解し、それぞれをコンピュータが読み取れる長い数字のリスト（トークン）に変換します。

問題は、コンピュータが圧倒されてしまうことです。もし576個もの小さな正方形を入力すると、コンピュータの脳は、画像を理解するためにすべての正方形を他のすべての正方形と比較しなければなりません。これは、図書館にある本を一度にすべて読もうとするようなもので、膨大な作業量を生み出します。これにより処理が遅くなり、膨大なコンピュータメモリを消費します。科学者たちは、画像をわずか1つまたは数個の「要約トークン」にまとめることでこの問題を解決しようとしてきましたが、そこには落とし穴がありました。もし、すべての詳細を単なる一つの「平均的な数値」としてまとめてしまうと、重要なストーリー（例えば、それが「犬である」という事実）が失われてしまいます。一方で、ストーリーを維持するために特定の「キーワード」を選ぼうとすると、細かなディテール（例えば、犬の毛並みの質感など）が失われてしまいます。これは、もどかしいトレードオフです。大まかな意味は掴めるが詳細は逃してしまうか、あるいは詳細は得られるが主要なポイントを忘れてしまうかのどちらかです。この論文は、シンプルな問いを投げかけます。「両方を手に入れることはできるのだろうか？」

ハイブリッドのヒーロー：HTC-VLM

Jusheng Zhang氏率いる研究チームは、その答えは「イエス」であると述べています。ただし、それはコンピュータに一つの道具だけですべてをやらせようとするのをやめた場合に限られます。彼らは、HTC-VLM（Vision-Language Modelsのためのハイブリッド・トークン圧縮）と呼ばれる新しい手法を導入しました。これは、プロットやキャラクターの詳細を失うことなく、複雑な物語を要約する巧妙な方法だと考えてください。

彼らの「ハイブリッド」なトリックがどのように機能するかを、簡単な比喩を使って説明します。

あなたが、一文しか聞くことができない友人に、公園での混沌とした場面を説明していると想像してください。

従来の方法（連続的圧縮）： すべてを一つの文章に押し込もうとします。「色や形を持った多くのものが動いています」。あなたの友人は音は聞こえますが、実際に何が起きているのかは分かりません。何かが賑やかであることは分かりますが、何が賑やかなのかは分からないのです。これは、AIが画像を一つの平均的な数値に押しつぶそうとしたときに起こることです。「高レベルの意味」（例えば「犬がいる」）が、「ノイズ」（例えば草や空）によってかき消されてしまいます。
もう一つの古い方法（離散的量子化）： 「犬。草。木。」と正確に言おうとします。友人は主要な登場人物は分かりますが、その犬がどのような姿をしているのか、走っているのか、あるいは毛の色が何色なのかといったことは全く分かりません。彼らは質感や動きを見落としてしまいます。
HTC-VLMの方法（ハイブリッド・ソリューション）： 研究者たちは二段階のアプローチを提案しています。まず、友人に、主要な要素が何であるかを正確に示す4つの特別な「アンカー（錨）」カードを渡します（例：「犬」「草」「木」）。これらが離散トークンです。これらは骨組みや地図として機能します。次に、細かいディテール（毛の質感、風に揺れる草、犬のポーズなど）を保持するたった一つの「要約」トークンを渡します。

魔法は、コンピュータが「要約トークン」を読み取る際に、どのように「アンカーカード」を使用するように訓練されているかによって起こります。アンカーはコンピュータに対して、「おい、ここで犬を探せ！」と指示を出し、要約トークンが他の詳細によって混乱するのを防ぎます。このようにして、AIは大きな絵（意味論）と微細なディテール（外観）を、完璧に融合させる最後の瞬間まで別々に保持することができるのです。

彼らが発見したこと

チームはこのアイデアを、画像の質問回答から科学図解の理解に至るまで、7つの異なる困難なテストで検証しました。彼らは、新しい手法を既存の最高水準の画像圧縮手法と比較しました。

結果： 画像全体をたった一つのトークンへと極限まで圧縮した場合、彼らのハイブリッド手法は元のパフォーマンスの**87.2%**を維持しました。以前の最高の手法（「平均」アプローチを用いたもの）は、**81.0%**しか維持できませんでした。これは小さな差に聞こえるかもしれませんが、AIの世界において、データのほとんどを捨て去った状態でその「知能」の6%を維持することは、極めて大きな成果です。
なぜ機能するのか： 研究者たちは、コンピュータの「アテンション（注意）」がどのように機能しているかを分析しました。その結果、単一の要約トークンは、まず4つの「アンカー」カードを積極的に見ていることが分かりました。つまり、アンカーをガイドとして使い、残りの画像を理解していたのです。これは、アンカーが意味を維持するための重労働を担っていることを証明しています。
トレードオフ： この手法は、4つのアンカーカードを生成するために、ごくわずかな追加作業を必要とします。しかし、研究者たちは、数百のトークンを処理する必要がなくなることで節約できる時間が非常に大きいため、全体の速度は依然として驚異的に速いことを示しました。これは、素晴らしいアウトラインを書くために5秒を費やすことで、質の悪いエッセイを書くための5時間を節約するようなものです。

これは「何ではない」のか

この論文が主張していないことも明記しておく必要があります。研究者たちは、極限の圧縮下において、単にすべてを「平均化」すればうまくいくと考える考え方に明確に反対しています。彼らは、一つの連続的な数値に「ストーリー」と「詳細」の両方を無理やり持たせようとすると、ストーリーが崩壊してしまうことを示しました。また、画像の断片をランダムに選んだり、古い「プルーニング（枝刈り）」手法（一部を切り出す方法）を用いたりしても、わずか1つか2つのトークンまで削減する場合、それほど上手くいかないことも示しました。

この論文は、このハイブリッド・アプローチが「極限圧縮」という特定の課題に対する堅牢な解決策であることを示唆していますが、AIのあらゆる問題を解決すると主張しているわけではありません。例えば、単一の画像には非常に有効ですが、より長い動画や複雑なマルチイメージの会話には調整が必要になる可能性があることも指摘しています。

まとめ

要するに、HTC-VLMは、AIを賢く、かつ高速にするためには、画像を単なる小さな点へと縮小しようとするのではなく、AIに**「地図」（離散的なアンカー）と「ブリーフィング（概要報告）」**（連続的な詳細）を与え、それらを連携させるべきであると提案しています。「何であるか」と「どのように見えるか」を分離することで、コンピュータはたった一つのトークンで画像を理解し、意味を明確に保ちながら、ディテールを鮮明に保ち、ノイズに迷い込むことなく処理できるのです。これは、スペースを節約するためには、何かを捨てるのではなく、単により良く整理すればよいのだということを教えてくれます。

技術要約: HTC-VLM – Vision-Language Modelsのためのハイブリッド・トークン圧縮

1. 問題提起

Vision-Language Models (VLMs) は通常、リッチな知覚情報を提供するために、ViTエンコーダから得られる数百の視覚的パッチ・トークン（例： $N=576$ ）に依存しています。この密な結合は、二次的な計算コスト $O((N+L)^2)$ を発生させ、GPUメモリとコンテキストウィンドウを急速に枯渇させます。

既存の圧縮戦略は、根本的なトレードオフに直面しています：

連続的圧縮 (Continuous Compression): グローバル・プーリングやアテンション集約のような手法は、すべてのパッチを単一の稠密なベクトルへと圧縮します。これは効率的ですが、多様なパッチ分布の平均化によって相互情報量 $I(v_c; S)$ が低下し、意味論的希釈 (semantic dilution) を引き起こすことがよくあります。つまり、高次のセマンティクス（物体の識別、空間的関係など）が失われます。
離散的量子化 (Discrete Quantization): ベクトル量子化 (VQ) を用いる手法は、カテゴリ的なセマンティクスを保持しますが、微細な連続的キュー（テクスチャ、ポーズ、変形など）を破棄してしまい、詳細な推論を制限する グラニュラリティ・ギャップ (granularity gap) を生み出します。

核心となる課題は、高次の構造や低次の詳細を犠牲にすることなく、画像全体を単一のトークンに圧縮した場合に、VLMが意味的に有用な視覚情報を保持できるかどうかという点です。

2. 手法: HTC-VLM

著者らは、視覚情報を2つの相補的なチャネルに分離してから、それらを単一の潜在トークンへと融合させるフレームワークである HTC-VLM (Hybrid Token Compression for Vision-Language Models) を提案しています。

2.1 二重チャネル・アーキテクチャ

HTC-VLMは、生のパッチを直接圧縮する代わりに、視覚入力 $I$ を以下の2つに分解します：

連続的詳細チャネル ( $D$ ): 学習済みビジョンエンコーダ (CLIP ViT-L/14) と線形プロジェクタを利用して、 $N=576$ のパッチ埋め込みを生成します。このパスウェイは、テクスチャの勾配やポーズの変化といった低次レベルの詳細を保持します。
離散的セマンティック・チャネル ( $S$ ): MGVQ (Multi-Group Vector Quantization) を用いて画像を特徴ベクトルへと量子化し、それをMLPを介して少数の4つの離散的セマンティック・アンカー・トークン ( $v_d$ ) へと投影します。これらのアンカーは、高次のカテゴリ的セマンティクス（例：「犬」、「木」）や空間的レイアウトを捉えます。

2.2 ハイブリッド融合と分離ボトルネック

離散的アンカーは、ハイブリッド・シーケンス $V_{hy} \in \mathbb{R}^{580 \times d}$ (4つのアンカー + 576個のパッチ) を形成するために連続的パッチ・シーケンスに前方付加されます。このシーケンスは、学習可能な <voco> トークンへと入力されます。

重要な構成要素は、分離アテンション・マスク (Disentanglement Attention Mask, $M_{hy}$ ) です：

テキスト対視覚の制約 (Text-to-Vision Constraint): テキスト・トークンは、生のハイブリッド視覚トークン ( $V_{hy}$ ) へのアテンションが厳格に禁止されています。テキスト・トークンは、圧縮された <voco> トークンに対してのみアテンションを向けることができます。
視覚的自己アテンション (Visual Self-Attention): 視覚トークン（離散および連続の両方）は、集約される前に互いにアテンションを向けることが許可されています。これにより、<voco> トークンが文脈化された視覚的証拠を統合することが可能になります。
潜在抽出 (Latent Extraction): <voco> トークンは、580トークンのシーケンスを単一の潜在ベクトル $z$ へと圧縮し、これがLLMへの唯一の視覚入力として機能します。

2.3 理論的基礎

本手法は、情報ボトルネック (Information Bottleneck, IB) 原理に基づいています。著者らは、単一の連続ベクトルは エントロピー支配 (Entropy Domination) に苦しむと主張しています。つまり、高周波の詳細 ( $D$ ) が限定されたボトルネックの容量を飽和させてしまい、セマンティクス ( $S$ ) の情報が消失してしまう現象です。離散的アンカーを「セマンティック・プライア（意味的事前分布）」として導入することで、HTC-VLMは $S$ に対するエントロピー障壁を下げ、潜在ベクトル $z$ が残差詳細 $D$ を符号化することに容量を集中できるようにします。これは、連続のみのベースラインと比較して、よりタイトな証拠下限 (ELBO) を通じて形式化されています。

3. 主な貢献

表現ボトルネックの分析: 本論文は、単一トークン圧縮における「セマンティック・ディテール容量競合」を特定し、なぜ純粋な連続的ボトルネックが高次のセマンティクスを保持できないのかを説明する情報理論的な証明 (Theorem 1) を提供しています。
ハイブリッド・セマンティック分離フレームワーク: 圧縮前に最小限の離散的セマンティック・アンカーを注入する原理的なアーキテクチャにより、離散的セマンティクスと連続的な外観の共同最適化を可能にします。
実用的なアーキテクチャ (HTC-VLM): 1トークンの予算条件下で、7つのベンチマークにおいて平均 87.2% の性能保持率を達成し、主要な連続ベースラインである VoCo-LLaMA (81.0%) を上回る実例を示しました。
広範な検証: トークン予算 (1–576)、クロスアーキテクチャの汎用性 (Qwen-VL, LLaVA-NeXT)、推論効率、およびハイパーパラメータ (コードブックサイズ、マスキング・トポロジー) への堅牢性に関する包括的な研究を行っています。

4. 実験結果

4.1 性能保持

7つのベンチマーク (GQA, VQAv2, MMBench, MME, POPE, SEED-Bench, ScienceQA-Image) で評価した結果、HTC-VLM はフル576トークンモデルに対して平均 87.2% の保持率を達成しました。これは以下を大幅に上回っています：

VoCo-LLaMA (連続のみ): 81.0%
平均プーリング (Average Pooling): 64.1%
Q-Former: 57.2%

4.2 トークン予算に対する堅牢性

構造化プルーニング手法 (ToMe, PDrop など) は、中程度の圧縮 (64–192 トークン) では良好に機能しますが、超低トークン領域 ( $<32$ トークン) では急激に性能が低下します。一方、HTC-VLM は 1トークン領域 まで安定しており、連続的手法が失敗する場面でも離散的アンカーが情報の崩壊を防ぐことを示しています。

4.3 汎用性

ハイブリッド・ボトルネックは、より強力で構造的に異なるバックボーンにも効果的に転移します：

Qwen-VL-Chat: 94.5% 保持 (VoCo-LLaMA の 86.4% に対し)
LLaVA-NeXT (動的解像度): 95.7% 保持 (VoCo-LLaMA の 86.6% に対し)

4.4 効率性とレイテンシ

NVIDIA A100 GPU 上で、HTC-VLM はバニラな 576トークンモデルと比較して、LLM のプリフィル・レイテンシを 94.3% 削減します。MGVQ エンコーダの追加によるわずかなオーバーヘッド (~6.1ms) はあるものの、総システムレイテンシ (61.0ms) は連続のみのベースライン (51.9ms) に近く、複数のトークンを保持するプルーニング手法よりも大幅に高速です。

4.5 アブレーション研究

離散的アンカー: アンカーを除去すると (連続のみ)、性能は 81.0% に低下します。また、離散トークンのみを使用すると、約 33% まで低下します。
アンカー数: 4つのトークンが最適な性能をもたらします。1つまたは2つでは不十分であり、8つでは冗長性が生じます。
マスキング: テキスト・ボトルネック・マスク (視覚的自己アテンションを許可し、テキストから生の視覚へのアテンションをブロックする) は、厳格なスターグラフ・マスクよりも優れており、圧縮前の視覚的コンテキストの必要性を裏付けています。

5. 意義と主張

本論文は、HTC-VLM が VLM における「効率性と忠実度のトレードオフ」に対する実用的な解決策を提供すると主張しています。セマンティクスと詳細を明示的に分離することで、ハイブリッド・アプローチは、連続のみの手法で見られるセマンティック崩壊を起こすことなく、極限の圧縮 (1トークン) を可能にします。

著者らは、性能向上は脆弱なハイパーパラメータ調整によるものではなく、構造的なハイブリッド設計によるものであることを強調しています。離散的アンカーは解釈可能なセマンティック・ガイドとして機能し、圧縮プロセスを安定させ、視覚入力が単一のトークンに削減された場合でも LLM が効果的に推論できるようにします。本研究は、マルチモーダル圧縮の将来の方向性として、セマンティックな解釈性を維持しつつ、トークンコストを劇的に削減する、構造化されたタスク適応型ボトルネックの設計を示唆しています。

認められた限界: 本手法は軽量な MGVQ エンコーダを導入しているため、連続のみの圧縮と比較して厳密なゼロ・オーバーヘッドではありません。また、現在の評価は画像レベルの VLM に焦点を当てており、長尺ビデオや高密度なローカリゼーション・タスクへの拡張にはさらなる適応が必要となる可能性があります。