技術概要：GLASS – LLM の推論時スパース化のためのグローバル・ローカル集約

1. 問題提起

リソース制約のあるエッジデバイスに大規模言語モデル（LLM）をデプロイするには、メモリトラフィックと計算需要を削減する必要があります。静的プルーニングはパラメータを恒久的に削除しますが、動的プルーニング（入力に基づいて計算をスキップする）は柔軟な代替手段を提供します。しかし、既存のフィードフォワードネットワーク（FFN）向けのトレーニングフリーな動的プルーニング手法は、ニューロンの重要性を推定するために、プロンプト由来の信号（プレフィル段階での局所活性化）のみに依存しています。

著者らは、これらの「プロンプトのみ」のアプローチにおける致命的な失敗モードを特定しました：

• 短いプロンプトでの信頼性の欠如：短いプロンプトの場合、その後の長文生成にどのニューロンが重要かを正確に予測するには、局所活性化信号が不十分です。
• マスクドリフト：デコーディング段階での活性化パターンは、プレフィルマスクから大きく逸脱することが多く、これにより不正確なプルーニングマスクが生じます。
• 忠実度の低下：このドリフトにより、特にプロンプトが短い場合、長文デコーディング中の生成品質（高いパープレキシティと KL 発散）が低下します。

このドリフトを修正するためにマスクをオンラインで更新することは可能ですが、計算オーバーヘッドを導入し、高速メモリに固定されたコンパクトな重みサブセットを常駐させるというエッジデプロイメントの主要な利点を無効にしてしまいます。

2. 手法：GLASS

著者らは、ニューロンの重要性に関する 2 つの補完的な視点、すなわち局所的なプロンプト固有の活性化とグローバルなモデル内在的事前分布を集約することで、動的 FFN プルーニングを安定化させる、プラグアンドプレイかつトレーニングフリーなフレームワークGLASS（Sparsification のための Global-Local Aggregation）を提案します。

2.1 Null-Prompt Stimulation (NPS) によるグローバル事前分布の推定

外部データセット（例：Wikipedia）に依存してコーパスバイアスを導入する代わりに、GLASS はNull-Prompt Stimulation (NPS) を用いてグローバル事前分布を計算します。

• メカニズム：モデルは、典型的なサンプリング設定の下で、ヌルプロンプト（例：空文字列または BOS トークン）を使用して、自身からテキストを生成します。
• 利点：これにより、外部データのバイアスなしにモデルの内在的なニューロン利用度を探ることができます。
• グローバル重要性 ($M^g$) の 2 つのバリエーション：
  1. A-GLASS（活性化の大きさ）：NPS 系列全体でのニューロンの平均 $\ell_2$ 正規化された活性化大きさを計算します。
  2. I-GLASS（ニューラル影響）：一次テ일러展開を用いて、ニューロンを除去することがクロスエントロピー損失に与える影響を計算します（テ일러・プルーニングと同様）。勾配は、自己生成された NPS 系列に対するティーチャフォースによって計算されます。

2.2 ランク集約

GLASS は、入力プロンプトから導出された局所信号 ($A^l$) と、NPS から導出されたグローバル信号 ($M^g$) を重み付きランク集約ルールを用いて融合します。

• ランキング：局所およびグローバルの重要性スコアは、スケーリングと分布の差異を処理するために、ランク ($R^{(l)}$ および $R^{(g)}$) に変換されます。
• 確率的解釈：著者らは、GLASS を特に二乗スピアマンランク距離を持つマロー型モデルに基づく置換ベースの確率モデルの下での最大事後確率 (MAP) 合意ランキングとして解釈します。
• 融合式：ニューロン $j$ の最終スコアは、そのランクの重み付き和です：
  $$GLASS_j = (1 - \lambda)R^{(l)}_j + \lambda R^{(g)}_j$$
  ここで、$\lambda$ は局所証拠とグローバル証拠の信頼性をバランスさせます。デフォルト設定は、同等の信頼性を仮定して $\lambda = 0.5$ です。
• 選択：GLASS スコアが最も高い上位 $k$ 個のニューロンが選択され、プルーニングマスクを形成し、その後デコーディング段階で適用されます。

3. 主な貢献

本論文は、4 つの主要な貢献を概説しています：

1. 失敗モードの特定：著者らは、プロンプトのみのトレーニングフリー・スパース化が、活性化ドリフトにより、短いプロンプト・長い生成のシナリオにおいて失敗し、生成忠実度の低下を招くことを実証しました。
2. GLASS フレームワーク：局所プロンプト証拠と NPS を通じて計算されたグローバルなモデル内在的事前分布を融合して、堅牢なマスクを生成する、プラグアンドプレイかつトレーニングフリーなフレームワークの導入。
3. 理論的基盤：マロー型モデルに基づく MAP 合意ランキングとしての GLASS の確率的解釈により、重み付きランク集約ルールに対する原理的な正当性を提供。
4. 実証的性能：困難なシナリオにおいて、先行するトレーニングフリーのベースライン（特に GRIFFIN）を大幅に上回る性能の実証。50% のスパース性において、パープレキシティが最大 45.10% 低下し、KL 発散が 25.73% 低下するとともに、デバイス上での大幅な高速化を達成。

4. 実験結果

著者らは、Gemma、Llama、Mistral、OPT、Qwen、Phi などの多様なオープンソース LLM に対して、分類、短生成、長生成のベンチマークにおいて GLASS を評価しました。

• 長文生成（Alpaca ベンチマーク）：GLASS は、最も強力なトレーニングフリーのベースライン（GRIFFIN）を大幅に上回ります。
  • Gemma 3n E2B：GRIFFIN と比較して、45.10% のパープレキシティ低下と 25.73% の KL 発散低下を達成。
  • Gemma 2 27B：12.48% のパープレキシティ低下と 22.80% の KL 発散低下を達成。
  • Llama 3 8B：23.28% のパープレキシティ低下と 21.98% の KL 発散低下を達成。
• 短文生成および分類：GLASS は、標準的な分類および短生成タスクにおいて GRIFFIN と同等の性能を発揮し、グローバル事前分布が長生成の安定性に対して最も重要であることを示しています。
• オラクル重なり分析：実験により、グローバル・ローカル集約は、局所信号またはグローバル信号の単独使用と比較して、「オラクル」的な重要なニューロンセットに著しく近いマスクを生成することが示されました（Jaccard 類似度が約 0.52 から約 0.60 に増加）。
• NPS と WikiText の比較：グローバル事前分布の推定に NPS を使用することは、WikiText ベースの統計を使用すること一貫して上回っており、NPS がより信頼性が高く、バイアスのない重要性推定を提供することを確認しました。
• デバイス上での性能：Samsung Galaxy S25 Ultra 上で評価。
  • Gemma 7B の場合、50% の FFN 削減によりモデルが完全に RAM に常駐できるようになり、メモリスワップに苦しんだ密なベースラインと比較して約 11 倍のデコーディング速度向上を実現。
  • Llama 3 8B の場合、42% の速度向上が観測されました。

5. 意義と主張

本論文は、GLASS がエッジデバイス向けの信頼性の高い高速化を可能にすると主張しており、特に消費者向けアプリケーションで一般的に見られる短いプロンプトと長い生成というワークロードに対して有効です。

• 堅牢性：安定したモデル内在的グローバル知識と文脈固有の局所証拠を融合することで、GLASS はプロンプトのみの手法を悩ませる「ドリフト」問題を軽減します。
• 効率性：トレーニングフリーの補助予測器のトレーニングやトークンごとのマスク再計算のオーバーヘッドなしに、入力文脈に適応しつつ、静的マスクの利点（高速メモリへの固定重み常駐）を維持します。
• 汎用性：この手法はモデル非依存かつトレーニングフリーであり、微調整なしに幅広い事前学習済み LLM に適用可能です。
• 理論的妥当性：この手法はアドホックなヒューリスティックではなく、確率的合意ランキングモデルに基づいています。

著者らは、モデル内在的グローバル知識は、プロンプト駆動型スパース化を改善するための重要かつこれまで過小評価されていたリソースであり、リソース制約のあるハードウェアでの効率的な推論を可能にすると結論付けています。