技術的サマリー：Skip-It？ビジョン・ランゲージモデルにおける層スキップの理論的条件

問題定義

ビジョン・ランゲージモデル（VLM）は多様なタスクにおいて最先端のパフォーマンスを達成しているが、その大規模なサイズと、テキストに加えて広範なビジョントークンのシーケンスを処理する必要性により、推論コストが許容できないほど高くなっている。最近の研究では、マルチモーダル処理には顕著な冗長性が含まれていることが示されているが、現在の層スキップおよびプルーニング技術は主にアドホックな手法に依存している。これらは、層をスキップすることが有益かどうかを決定するための原理的な基準ではなく、ヒューリスティックまたはハイパーパラメータの掃引に依存している。その結果、パフォーマンスを犠牲にすることなく効率性を向上させることができる冗長性の条件を特徴づけるための統合された理論的枠組みが存在しない。

手法

著者は、VLM における冗長性を特徴づけるために、学習理論および情報理論に基づいた統合的な枠組みを提案する。この手法は主に 3 つの段階で進行する。

1. 冗長性の理論的定義

本論文は、層の活性化とトークンを表す確率変数（RV）を用いて、4 つの異なる冗長性の概念を形式化する。

• 幾何学的冗長性: 隣接する層/トークン表現間の期待コサイン距離によって定義される（$E[\rho(X_{\ell-1}, X_\ell)] < \epsilon$）。
• 近接冗長性: 2 つの RV が閾値 $t$ 以内に近接する確率によって定義される（$P[\rho(X_\ell, X_{\ell-1}) < t] \geq 1-\epsilon$）。
• 機能的冗長性: 層をスキップした場合のダウンストリームタスクのパフォーマンス変化を測定する。最適な推定量における期待二乗差によって定義される（$E[\|E[Z|X_\ell] - E[Z|X_{\ell-1}]\|^2_2] < \epsilon$）。
• 情報論的冗長性: 条件付きエントロピーを通じて定義される（$H(X_\ell|X_{\ell-1}) < \epsilon$）。これは、前の層が与えられた場合、その層が新しい情報を追加しないことを示す。

著者は、これらの概念間の理論的リンクを確立する。正則性の仮定（例えば、写像関数のリプシッツ連続性）の下では、幾何学的および近接冗長性が機能的および情報論的冗長性を意味することを証明する。具体的には、定理 1 および 2 は、平均コサイン距離が小さいことが、最適な推定量および経験的推定量の両方において、ダウンストリームタスクのパフォーマンスの最小限の劣化を保証することを示している。

2. 層スキップ技術の統合

この枠組みは、既存の層スキップ手法を以下の 2 つのカテゴリに一般化する。

• Late Entry（遅延入力）: 特定の層 $L$ までビジョントークンを保持する。これは、初期のビジョン活性化が最小限の変化（幾何学的/近接冗長性）を受け、テキスト表現への影響が最小限である場合に実行可能である。
• Early Exit（早期終了）: 特定の層 $L$ の後にビジョントークンを除去する。これは、後期の層におけるビジョン活性化が冗長であり、ビジョンからテキストへのクロスモーダルアテンションが最小限である場合に実行可能である。

本論文は、ビジョンとテキストトークンの間の相互作用を定量化する指標として**Visual Attention Ratio（VAR）**を導入し、初期または後期の層における最小限のクロスアテンションが、それらの特定のパラダイムにおけるスキップのための十分条件であると論じている。

3. 実証的検証

著者は、複数のモデル（LLaVA 1.5、LLaVA NeXT、DeepSeek-VL、Qwen 2.5 VL）およびデータセット（一般 VQA、テキスト/ドキュメント VQA、マルチモーダル推論、キャプション生成）にわたって、理論的条件を検証した。

• 冗長性分析: 隣接層のコサイン距離と近接状態の確率を計算した。その結果、初期のビジョントークンは非常に低いコサイン距離と高い近接冗長性を示すことがわかった。同様に、後期の層のトークン（ビジョンおよびテキストの両方）も冗長性を示すことが多い。
• アテンション分析: VAR を用いて、クロスモーダルアテンションが中間層に集中しており、初期および後期の層ではビジョンからテキストへのアテンションが最小限であることを観察した。
• パフォーマンス相関: これらの冗長性およびアテンション条件を満たす層をスキップすることは、パフォーマンスの最小限の劣化をもたらすことを示した。一方、非冗長な層をスキップすると、パフォーマンスが大幅に低下する。
• ラベルフリーアルゴリズム: 本論文は、幾何学的/近接冗長性および VAR 閾値に基づいてスキップ可能な層を識別するために、ラベルなしデータの小部分集合を使用するアルゴリズム（アルゴリズム 1）を提示し、理論と実用的な展開の間のギャップを埋めている。

主要な貢献

1. 統合フレームワーク: VLM における冗長性を特徴づける学習および情報理論に基づくフレームワーク。パフォーマンスの損失なしに効率性を向上させるプルーニングの条件を計算可能にする。
2. 理論的保証: 幾何学的および近接冗長性の経験的測定値が機能的および情報論的冗長性を意味することを示す形式的証明（定理 1–5）。これにより、層スキップのためのヒューリスティック（例：コサイン距離）の使用が正当化される。
3. 実証的発見: 特定の冗長性パターンの特定。初期ビジョントークンは非常に冗長であり、後期の層のトークン（ビジョンおよびテキストの両方）はしばしば冗長性を示す。これは既存のプルーニング戦略を検証する。
4. タスク依存性の洞察: 冗長性がタスクに依存することを示す。例えば、テキストの冗長性は、キャプション生成タスクと比較して、識別的 VQA タスクでは低い。これにより、スキップが実行可能となる場所が影響を受ける。
5. 実用的アルゴリズム: 少量の較正部分集合を使用して実行可能なスキップ層を決定するラベルフリーアルゴリズム。選択プロセス中にグランドトゥルースラベルを必要としない。

結果

• 冗長性パターン: LLaVA 1.5（7B/13B）や NeXT などのモデルにおいて、初期ビジョントークンは低い隣接コサイン距離（例：確率 $>0.9$ で $\rho < 0.05$）を持ち、高い冗長性を確認する。後期の層も冗長性を示すが、その程度はモデルおよびタスクによって異なる。
• パフォーマンスの維持: 提案された条件に基づいて層をスキップする場合（例：初期層に対する Late Entry、VAR が低い後期層に対する Early Exit）、モデルの精度はベースラインに近いまま維持される。逆に、クロスアテンションが高いまたは冗長性が低い層をスキップすると、パフォーマンスが大幅に低下する。
• 一般化: 少量のデータ（例：1k サンプル）上で計算されたフレームワークの指標（コサイン距離および VAR）は、完全なデータセットに対してよく一般化する。これにより、完全なデータセットの処理なしに、スキップ可能な層を効率的に識別することが可能になる。

意義と主張

本論文は、アドホックなヒューリスティックを超えて、VLM における冗長性に対する理論的に裏付けられた理解を提供すると主張している。Early Exit や Late Entry などのさまざまな層スキップ技術を単一の理論的レンズの下で統合することで、これらの手法がなぜ機能するのかを説明する。

著者は、このフレームワークが、ラベルなしデータの小部分集合のみを使用して冗長な層を識別できる計算容易な条件を提供することを強調している。これは実用的な展開において重要である。なぜなら、プルーニング選択段階において再学習やダウンストリームタスクラベルへのアクセスを必要とすることなく、推論コストの最適化を可能にするからである。この研究は、厳密で測定可能な冗長性の概念を提供することで、トークンおよび層削減手法に関する将来の研究を鼓舞することを目的としている。

本論文は、VLM におけるすべての効率性問題を解決するものではなく、層スキップがいつおよびどこで適用可能かを決定するための原理的な基盤を提供するものであると主張している。スキップの実行可能性は、特定のモデルアーキテクチャおよびダウンストリームタスクの性質に依存することに注意が必要である。