技術要約：単一次元の圧縮を超えて

問題提起

大規模言語モデル（LLM）は、高い推論コストによる重大なデプロイメント上の課題に直面している。モデル圧縮技術として、静的なパラメータ・プルーニングや動的なトークンレベルの計算削減などが開発されてきたが、これらは共通の限界を抱えている。それは、**本質的なスパース性境界（essential sparsity boundary）**の存在である。ある臨界的なスパース性の閾値を超えると、さらなる積極的なスパpless化は急速な性能低下を引き起こす。

現在の研究は通常、これらの圧縮メカニズムを個別に研究している。静的なパラメータ・プルーニングは、推論前に構造的な冗長性を除去する。一方で、動的なトークンスキッピングは、入力ごとに計算を適応させる。本研究が取り組む中心的な問いは、これら2つの異なるメカニズムを組み合わせることで、単一の次元の冗長性を使い果たすのではなく、複数の次元に圧縮の負担を分散させ、性能低下の発生を遅らせることができるか、という点である。

手法

著者らは、パラメータのスパース性とトークンレベルの計算のスパース性を独立して制御するように設計された、ミニマリストな複合スパース性フレームワークを提案している。このパイプラインは、以下の2つの連続したステージで構成される：

1. 静的なパラメータ空間の圧縮:

   • フレームワークは、学習済みLLMのバックボーンに対して構造化プルーニングを適用する。
   • アテンション・モジュールにはLoRAP（低ランク近似プルーニング）を、MLPモジュールにはチャネル・プルーニングを利用する。
   • これにより、モデルの構造的コストを削減し、フルレイヤーの演算子 $F(\cdot)$ をスパースなバックボーン演算子 $F_p(\cdot)$ に変換する。

2. 動的なトークンレベルの計算圧縮:

   • プルーニングされたバックボーンの上に、軽量で推論適応型のルーティング・メカニズムを導入する。
   • SkipGPTに基づき、事後学習されたルーターが各トークンに対してバイナリ指標を生成する。
   • トークンは、アクティブ・サブセット（完全なフォワード計算を行う）と、非アクティブ・サブセット（スキップされ、次のレイヤーへ直接パスされる）に分割される。

複合スパース性の定義:
著者らは、実効的な推論計算の減少量に基づいて、グローバルな複合スパース性（$S_{comp}$）を以下のように定義する：
$$S_{comp} = 1 - (1 - s_p)(1 - s_t)$$
ここで、$s_p$ はパラメータのスパース性比、$s_t$ はトークンの計算スパース性比である。この定式化により、固定された総スパース性予算を2つの次元間で柔軟に配分（例：$s_p \approx s_t$ のような均衡配分）することが可能になる。

主な結果

実験は、Redpajamaトレーニングデータを用いたLlama3.1-8Bに対して行われ、言語理解ベンチマーク（BoolQ, PIQA, HellaSwagなど）および言語モデリング（WikiText-2 PPL）によって評価された。

1. 劣化の遅延:

   • 複合スパース性は、同一の総スパース性において、単一メカニズムの圧縮を一貫して上回る。
   • 理解タスクにおいて、「本質的なスパース性」による崩壊の閾値（性能が急激に低下する点）は、単一メカニズムの約**20%から、複合による約30%**へと遅延した。
   • 言語モデリングにおいて、複合スパース性は著しく高い性能を維持した。総スパース性が30%のとき、複合スパース性は約70%の相対性能を維持したが、トークンスキッピング単体では約60%、パラメータ・プルーニング単体では約56%であった。

2. タスクへの感受性:

   • 言語モデリング・タスクは、多肢選択式の理解タスクよりもスパース性に敏感である。モデリング・タスクは初期段階の本質的なスパース性（0–10%）を示し、その後は近似的な線形劣化を示すが、理解タスクは性能におけるより明確な「崖（cliff）」を示す。

3. 次元間の干渉:

   • 本研究は、パラメータ・プルーニングとトークンスキッピングが完全に独立しているわけではないことを明らかにしている。軽微にプルーニングされたバックボーン（例：10%のパラメータ・スパース性）は、トークンスキッピングに対してより敏感になる。
   • この干渉は、複合スパース性には統一された固有の限界が存在することを示唆している。つまり、劣化は遅延されるものの、排除されることはない。

4. 最適な配分:

   • 固定された総スパース性予算（例：50%）の下では、パラメータとトークンの間でスパース性をほぼ均衡に配分することが、最良の性能をもたらす。
   • 性能は凸関数に従う：一方の次元を過度に圧縮すると性能は激減するが、緩やかなパラメータ・スパース性によって性能は向上する。

主な貢献

1. 視点の転換: 本研究は、本質的なスパース性を複合的な圧縮の観点から調査しており、スパース性の限界が単一のメカニズムの特性であるという見方に異を唱えている。
2. 制御可能なフレームワーク: LoRAP、チャネル・プルーニング、およびトークンごとの動的レイヤースキッピングを用いたデカップル（分離）されたフレームワークを導入し、パラメータとトークンのスパース性を独立して操作することで、トレードオフの分析を可能にした。
3. 実証的検証: 複合スパース性が圧縮と性能のトレードオフを改善し、性能の減衰を遅らせることを実証した。同時に、さらなる圧縮を制限するより広範な次元間スパース性境界を特定し、「二つの次元、一つの壁（Two Dimensions, One Wall）」という原則を支持している。

意義と主張

本論文は、複合圧縮がLLMの圧縮を改善するための実用的な方法を提供すると主張している。これは、圧縮の負担を直交する次元（パラメータとトークン）に分散させることで実現される。このアプローチにより、単一メカニズムのアプローチと比較して、性能の崖に到達する前のより高い総スパース性を達成できる。

しかし、著者らは圧縮の究極的な限界について謙虚な姿勢を維持している。彼らは、圧縮の負担を共有することは性能の劣化を遅らせることはできるが、固有のスパース性限界を回避することはできないと断言している。次元を超えた普遍的なスパース性の壁が、究極の制約として残る。これらの知見は、厳格なリソース制約下でモデルの能力を最大化するための、原理的な予算スケジューリングの参照を提供しており、均衡な配分が最も効果的な戦略であることを示唆している。

注：本研究のコードは https://github.com/EIT-NLP/LLM-Pruning で公開されている。