技術概要：CIVIC – 効率的な視覚言語モデルのためのエンドツーエンドシーケンス圧縮性

1. 問題提起

視覚言語モデル（VLM）は、高解像度の画像や長い動画を処理する際、生成される膨大な数の視覚トークンに起因し、メモリとレイテンシのボトルネックに直面しています。既存の研究は、理論的な FLOPs を削減するためにトークンのスパース化、マージ、および KV キャッシュの圧縮に焦点を当ててきましたが、これらのアプローチはしばしば物理的なハードウェア加速への比例した転換に失敗しています。

特定された核心的な問題は「圧縮と実現のギャップ」です。現在のほとんどの手法は、高密度な視覚表現がすでに構築された後に、事後（post-hoc）のランタイム圧縮を適用します。これにより、以下の構造的なオーバーヘッドが生じます。

• 非連続なメモリアクセス: トークンスコアリング、ルーティング、gather/scatter、および高密度インターフェースの復元といった操作が、GPU メモリの連続性を妨げます。
• 幾何学的な方向性の喪失: プリニング中に 2 次元グリッドを破壊すると、微細な局所化の喪失につながる可能性があります。
• 非効率的な下流圧縮: エンコーダ内で視覚トークンが削減されたとしても、下流の言語モデル（LLM）のプリフィルおよび KV キャッシュ操作は、圧縮されていない、あるいは部分的に高密度なインターフェースの処理を継続することが多く、レイテンシの向上を無効化します。

その結果、理論的な FLOP の削減は真のウォールクロック加速をもたらさず、リソース制約のある展開はレイテンシと KV キャッシュのフットプリントによってボトルネックされたままとなります。

2. 手法：CIVIC フレームワーク

これらの障壁に対処するため、本論文は**CIVIC（Compact Inference for Vision-Language Integrated Compression：視覚言語統合圧縮のためのコンパクト推論）**を提案します。これは、視覚エンコーダと投影層から LLM のプリフィルおよび KV キャッシュに至るまで、推論パイプライン全体にわたってシームレスにコンパクトなシーケンス表現を維持するように設計された、パス一貫性のあるフレームワークです。

中核コンポーネント

1. 学習済みアンカーに基づく集約:
   符号化後にトークンをプリニングするのではなく、CIVIC は高密度なパッチを視覚符号化前に連続したトークンに変換します。これは、学習されたコンパクトなアンカー（$A$）を用いて、ソフトウェイト付きメカニズムを通じて高密度なパッチ埋め込み（$X_0$）を集約します。これにより、空間マッピングが保持され、2 次元グリッド構造を乱すことなく、高密度シーケンスがコンパクトな潜在シーケンス（$Z_0$）に変換されます。

2. KV 圧縮を伴うコンパクト視覚符号化:
   コンパクト視覚エンコーダ（$E^c_v$）は、集約されたシーケンスを処理します。重要なのは、クエリ投影は標準的なままですが、キーと値は固定数のメモリアンカー（$S$）に圧縮される点です。これにより、アテンション相互作用の複雑さが $O(T_e^2)$ から $O(M_e \cdot S)$ に削減されます（ここで $M_e$ はコンパクトトークン数です）。

3. 適応的空間保持フロア:
   過度の圧縮が微細な局所化を破壊するのを防ぐため、CIVIC は適応的空間保持フロアを採用します。これにより、空間的に関連するトークンの最小割合が保持され、積極的な切り捨て中にも視覚精度が保護されます。

4. コンパクトマルチモーダルプリフィル:
   コンパクト視覚埋め込みは、言語モデルの隠れ空間（$\Pi_c$）に直接投影され、LLM コンテキストに挿入されます。高密度なプレースホルダーを挿入する他の手法とは異なり、CIVIC はこれらのスパンを完全にコンパクトシーケンス（$V_c$）に置き換えます。これにより、LLM のプリフィルおよびその後の自己回帰的デコーディングが、元の高密度長さ（$L + T_p$）ではなく、短縮されたシーケンス（$L + M_p$）上で動作することが保証されます。

5. テキスト整合 KL 蒸留:
   視覚トークンインターフェースが変更されるため、標準的な蒸留では不十分です。CIVIC はテキスト整合 KL 蒸留方式を利用します。これは、コンパクトな学生モデルのロジットを、非視覚テキスト位置においてのみ、高密度な教師モデルと整合させます。これにより、凍結された言語モデルパラメータの構造的な再トレーニングを必要とせずに、コンパクト埋め込みが高密度スパンを直接置き換えることを可能にします。

3. 主要な貢献

本論文は、以下の 3 つの主要な貢献を概説しています。

• ギャップの特定: 視覚エンコーダ、プロジェクタ、および LLM プリフィルにわたってエンドツーエンドでシーケンス圧縮性が保持されない限り、VLM における理論的な FLOP 削減は物理的な加速をもたらさないことを著者は特定しました。
• パス一貫性フレームワーク: 学習済みアンカーに基づく集約、適応的空間保持フロア、およびテキスト整合 KL 蒸留を通じて幾何学的およびトレーニングのボトルネックを解決し、エンドツーエンドのコンパクト潜在表現を維持する CIVIC の提案。
• 実証的検証: Qwen3-VL アーキテクチャでの評価により、安定したコンパクト処理が、微細なマルチモーダル精度を保持しつつ、レイテンシと KV キャッシュのフットプリントを劇的に削減し、ランタイムルーティングや高密度復元を不要にすることが実証されました。

4. 実験結果

実験は、NVIDIA RTX 4090 GPU を使用したQwen3-VL-2B-Instructモデルで行われ、5 つのベンチマーク（MMMU、MathVision、ODinW-13、RealWorldQA、VideoMME）において、CIVIC を 5 つのベースライントークン削減手法（DyMU、DiffRate、DynamicViT、VisionTrim、ZOO-Prune）と比較しました。

性能指標

• レイテンシ削減: CIVIC は、総推論レイテンシを2514.9 ms達成し、ベースラインの3543.0 msから大幅に削減しました。一方、多くの事後手法（ZOO-Prune、DynamicViT など）は、オーバーヘッドによりレイテンシの悪化や無視できる程度の改善しか示しませんでした。
• KV キャッシュ最適化: KV キャッシュのメモリ使用量は、ベースラインの122.7 MBから C IVIC の44.61 MBに削減され、ベースラインの約 3 分の 1 となりました。
• シーケンス圧縮: プリフィルトークン数は1122.2から407.9に削減されました。
• 精度保持: 推論重視タスク（MathVision）や微細な局所化（ODinW-13）で深刻な劣化をきたした事後プリニング手法とは異なり、CIVIC は安定した性能境界を維持し、場合によっては局所化精度を向上させました。
• オーバーヘッド: CIVIC の圧縮オーバーヘッドは無視できるレベル（0.49 ms）でしたが、ベースラインはランタイムの帳簿付けにより大きなオーバーヘッド（例：ZOO-Prune で 18.45 ms）を被りました。

アブレーションの知見

• トークン予算: 中間的なトークン予算（例：C=256）は、視覚密度と下流のワークロードの間の最適なバランスを提供しました。極端な圧縮（C=64）は、情報の枯渇によりデコーディング性能を劣化させました。
• 保持フロア: 適応的な最小保持率は決定的でした。無制限の排除（Min=0.0）は視覚精度を破壊しました。
• エンドツーエンドの一貫性: LLM 前に高密度なプレースホルダーを復元すると、すべての速度向上が無効化され、中間的なコンパクトさが LLM まで持続しない限り無益であることが確認されました。

5. 意義と主張

本論文は、CIVIC が理論的な圧縮を物理的なハードウェア効率へと成功裏に変換したと主張しています。連続したコンパクトな経路を強制することで、このフレームワークは、現在の手法を悩ませる非連続なメモリアクセスと局所的なアンマージのオーバーヘッドを回避します。

その意義は、ホリスティックなシーケンス圧縮性が、具体的な VLM 加速の決定的な要因であることを実証した点にあります。結果は、効率的な VLM 展開のためには、圧縮を事後の付加物として扱うのではなく、推論グラフ全体を圧縮性のために最適化する必要があることを示唆しています。このアプローチにより、ロボット工学や自動運転などの実用的なアプリケーションに必要な微細なマルチモーダル推論能力を犠牲にすることなく、リソース制約のあるシナリオでより大きなバッチサイズと拡張されたコンテキストウィンドウを実現できます。

著者は範囲について控えめであり、現在の評価は静的なトークン予算、単一画像、および Qwen3-VL-2B アーキテクチャに限定されており、より大規模なモデルや動的でインスタンス適応的なコンテキストにおけるスケーラビリティを検証するための将来の作業が必要であると述べています。