技術概要：LLM 深度圧縮のための局所性意識冗長性剪定

1. 問題定義

トランスフォーマーアーキテクチャに基づく大規模言語モデル（LLM）は、極端な深度と過剰パラメータ化に悩まされており、推論中に莫大な計算コストとメモリコストを伴う。レイヤー単位（深度）の剪定は、トランスフォーマーブロック全体を削除することで遅延とメモリを削減する効果的な戦略であるが、既存のワンショット・学習不要な手法は、冗長性に関する誤った仮定に依存している。

現在の手法は一般的に 2 つのカテゴリに分類される：

1. 局所重要度に基づく手法：孤立したレイヤーのスコア（例：ブロック影響度）を用いて冗長性を推定する。
2. 連続する類似性に基づく手法：冗長性が隣接する深度領域に集中していることを仮定する。

しかし、実証分析により、これらの仮定は不十分であることが明らかになった。層間冗長性はアーキテクチャ全体で均一ではなく、局所的（特定の深度領域に集中）または全球的に分散（ネットワーク全体に広が）している可能性がある。固定された剪定事前知識は、これらのアーキテクチャ依存の構造的差異を考慮できず、結果として性能低下が最適化されない。

2. 手法：局所性意識冗長性剪定（LoRP）

著者は、各 LLM の特定の表現幾何学に適応する、学習不要のワンショット深度剪定フレームワークであるLoRPを提案する。ワークフローは 5 つの主要な段階から構成される：

2.1 層間類似性の測定

少量の較正データセット（C4 から 128 系列）を用いて、LoRP はすべてのトランスフォーマーブロックの入力隠れ状態アクティベーションを収集する。その後、ペアワイズな**層間隠れ状態コサイン類似度行列（$S$）**を計算する。ここで、各要素 $S_{ij}$ は、層 $i$ と層 $j$ の入力表現間のトークン平均コサイン類似度を表す。

2.2 表現局所性スコア（RLS）

冗長性のグローバルな構造を定量化するために、著者は**表現局所性スコア（RLS）**を導入する。

• まず、すべての層ペアにわたるグローバルな非対角類似度の平均（$\bar{S}_{off}$）を計算する。
• RLS は以下のように定義される：$RLS(S) = -\log_2(\bar{S}_{off})$。
• 解釈：高い RLSは深度全体での類似性の急速な減衰を示し、局所的な冗長性（冗長性が特定の領域に集中）を意味する。低い RLSは強いグローバルな類似性を示し、分散した冗長性（冗長性がネットワーク全体に広が）を意味する。

2.3 レイヤークラスタリング

類似度行列 $S$ と RLS に基づき、アフィニティ行列 $A = (S + 1)/2$ に対するスペクトルクラスタリングを用いて、レイヤーを表現クラスタに分割する。

• クラスタリングの粒度は RLS によって導かれる：高い RLS は粗いクラスタリング（集中した領域）をもたらし、低い RLS は分散した冗長性を処理するために微細な分割を促す。
• このステップは、物理的な隣接性に関係なく、同様の残差ストリーム表現を処理するレイヤーをグループ化する。

2.4 2 段階の冗長性意識剪定

LoRP は、カバレッジと冗長性のバランスを取るために、2 段階のプロセスを通じて剪定予算（削除する $k$ レイヤー）を割り当てる：

1. ステージ 1：カバレッジ意識初期化：剪定が単一のクラスタに収束するのを防ぐため、各クラスタから最も冗長な対象レイヤーを選択し、初期候補プールを形成する。
2. ステージ 2：残存冗長性割り当て：残りの予算を反復的に割り当てる。各ステップで、アルゴリズムは最も高い残存冗長性（残存対象レイヤー間のペアワイズ平均類似度）を持つクラスタを特定し、そのクラスタ内の最も冗長なレイヤーを剪定する。

この動的な割り当てにより、局所的な冗長性を持つアーキテクチャは集中した領域内で剪定され、分散した冗長性を持つアーキテクチャは複数の領域にわたって剪定されることを保証する。

3. 主要な貢献

本論文は、以下の具体的な貢献を行う：

• 実証的観察：表現局所性が LLM ファミリー間で大幅に変動することを示した（例：Qwen モデルは分散した類似性を示す一方、LLaMA/Mistral は局所的な冗長性を示す）。
• 指標の提案：この現象を定量化するための、グローバルな層間隠れ状態類似度から導出された単純な指標**表現局所性スコア（RLS）**を導入した。
• フレームワーク設計：表現類似性によってレイヤーをクラスタリングし、アーキテクチャ固有の冗長性構造に基づいて剪定を割り当てる、学習不要のワンショット剪定フレームワークLoRPを提案した。
• 性能検証：LoRP が、剪定後の回復や微調整を必要とせず、多様な LLM ファミリーにわたって一貫してパープレキシティと下流の推論精度を向上させることを示した。

4. 実験結果

実験は、9 つのゼロショット推論ベンチマークと 3 つのパープレキシティデータセット（WikiText-2、C4、PTB）を使用して、5 つのオープンソース LLM（LLaMA-3.1-8B、OLMo-3-7B、Mistral-Nemo-12B、Qwen3-8B、Qwen3-14B）で行われた。

• パープレキシティ（PPL）：LoRP は、ベースライン（ShortGPT、LLM-Streamline、LaCo）と比較して、ほとんどのモデルと剪定予算において最低の平均パープレキシティを達成した。特に、連続剪定手法が失敗した Qwen モデルにおいて改善は顕著であった。
• 下流精度：LoRP は、既存の手法よりもゼロショット推論性能をよりよく維持した。例えば、36 層中 7 層を剪定した Qwen3-8B において、LoRP は 56.65% の平均精度を達成し、ShortGPT（51.50%）や LaCo（55.82%）を上回った。
• 剪定パターン：可視化により、LoRP がモデルに合わせて剪定パターンを適応させることが確認された：高 RLS の LLaMA/Mistral では集中した領域からレイヤーを削除し、低 RLS の Qwen ではネットワーク全体に削除を広げる。
• 反復手法との比較：Shortened LLaMA などの反復手法は、較正目的への適応により時として低いパープレキシティを達成するが、LoRP は下流の汎化精度において優位性を維持しており、較正セットを超えた優れた頑健性を示唆している。

5. 意義と主張

本論文は、表現局所性が効果的な深度剪定のための重要なアーキテクチャ依存因子であると主張する。この研究の意義は、固定された連続的または孤立したレイヤースコアリングから、グローバルで幾何学を意識したアプローチへとパラダイムを転換することにある。

• 控えめな主張：著者は明示的に、冗長性が表現幾何学の構造化された性質であるという知見を示唆していると述べている。LoRP がすべての圧縮タスクに対する万能の解決策であると主張するのではなく、アーキテクチャの違いを尊重することで効率を向上させるフレームワークであると位置づけている。
• 限界：著者は、RLS 導出クラスタリングポリシーが評価モデルから実証的に導出されたことを認めている。現在の手法は、RLS 範囲に基づいて手動で指定されたクラスタ数（$K$）に依存しており、まだ剪定後の回復や微調整を含んでいない。将来の研究では、より広範なアーキテクチャ、スケール、トレーニングレシピにわたる汎化を検証し、クラスタリングパラメータを選択するための完全な自動戦略を開発する必要がある。

要約すると、LoRP は、LLM の特定の冗長性構造を特徴付け、それに適応することにより、モデル性能を犠牲にすることなくより効率的な深度圧縮を実現できることを示している。