技術要約: SelectInfer

問題提起

大規模言語モデル（LLM）は、高いメモリおよび計算需要のため、リソース制約のあるエッジデバイス（NVIDIA Jetson Orin Nanoなど）へのデプロイにおいて大きな障壁に直面しています。既存の最適化戦略は、エッジデプロイメントにおける3つの重要な次元（メモリフットプリント、推論速度、出力精度）を同時に解決できていません。

• **量子化（Quantization）**はメモリを削減しますが、デコーディングのスループットを低下させることが多く、また（4ビット対8ビットのような）粗い粒度の制御しか提供できません。
• **枝刈り（Pruning）**はコストの高い再学習を必要とし、重みを永久に削除してしまうため、実行時の適応性に欠けます。
• オフローディング（Offloading）（例：ディスクへの退避）はI/O帯域幅によってボトルネックとなり、エッジSoCに見られるユニファイドメモリ・アーキテクチャと互換性がないことがよくあります。
• 実行時スパース性手法（Runtime Sparsity methods）（例：CoreInfer）は、不活性なニューロンをスキップすることで速度を向上させますが、モデル全体がメモリ上に存在している必要があるため、メモリ制約のあるハードウェア上でより大きなモデルをデプロイすることを妨げます。

メソドロジー

SelectInferは、オフラインのプロファイリングフェーズによって導かれる選択的ロード（selective loading）と選択的計算（selective computation）を通じて、効率的なLLM推論を可能にするニューロンレベルの最適化フレームワークです。その核心となる洞察は、LLMのニューロンが二重の構造を持っているという点です。すなわち、あらゆるタスクで普遍的に活性化されるモデル固有（汎用）の安定したコアと、個々の入力に対してパフォーマンスを駆動するタスク固有のニューロンです。

1. オフラインフェーズ: LLMプロファイラー

デプロイ前に、SelectInferはオフラインプロファイラーを使用して、多様なデータセット（QA、翻訳、要約など）にわたるニューロンの活性化を分析します。

• スコアリング: 各ニューロン $n$ について、一連のトークン $T$ に対する絶対活性化の総和に基づき、スコア $s_n$ が計算されます：$s_n = \sum_{t \in T} |a_n(t)|$。
• 分類: ニューロンは2つのグループに分類されます。
  • ベースニューロン（Base Neurons）: 特定のタスク内のプロンプトからのスコアをマージすることで特定される、タスク固有のニューロン。
  • セカンダリニューロン（Secondary Neurons）: 異なるタスク間のスコアをマージすることで特定される、モデル固有のニューロン。
• 出力: プロファイラーは、特定のタスクおよび一般的なモデルの挙動にとって最も重要なニューロンを特定した、ランク付けされたニューロンファイルを生成します。

2. オンラインフェーズ: 最適化

エッジデバイス上での実行時、SelectInferは2つのメカニズムを適用します。

• 選択的ロード（Selective Loading）（メモリ最適化）:
  モデル全体をロードする代わりに、SelectInferは一部のニューロンのみをメモリにロードします。システムはベースニューロン（タスク固有）を優先的にロードし、定義されたロード閾値 $\gamma$ まで、残りのメモリ予算をセカンダリニューロン（モデル固有）で埋めます。これにより、本来であればデバイスのメモリを超えるようなモデル（例：8GBのデバイス上で3Bモデルを実行する場合）であっても、無関係な重みを完全に破棄することで実行が可能になります。

• 選択的計算（Selective Computation）（速度最適化）:
  メモリフットプリントが削減されていても、ロードされたすべてのニューロンを計算すると低速になる可能性があります。SelectInferは、さらにロードされたニューロンのサブセット（$\epsilon < \gamma$）に計算を制限します。

  • 静的ニューロン（Static Neurons）: ベースニューロンに対応します。これらは入力に関わらず常に計算されます。
  • 動的ニューロン（Dynamic Neurons）: プリフィル（prefill）フェーズ中の実行時に選択されます。システムはロードされたすべてのニューロンの活性化値を計算し、それらをソートして、トークンあたりの上位 $\alpha$ 個のニューロンを選択します。その後、これらを集計して、プロンプトに対する頻出上位 $\beta$ 個のニューロンを見つけ出します。
  • 全体の計算比率 $\phi = \delta + \epsilon$ はユーザーが設定可能であり、速度と精度のトレードオフを可能にします。

主な貢献

1. オフラインプロファイラー: モデル固有およびタスク固有のニューロンを特定し、ランク付けするメカニズムであり、LLMの活性化における「二重構造」を確立します。
2. 選択的ロード: 関連するニューロンのみをロードするデプロイ戦略であり、デバイスの利用可能なメモリを超えるモデルの実行を可能にします。
3. 選択的計算: 実行時に最も関連性の高いニューロン（静的＋動的）を動的に計算する実行時メカニズムであり、大幅な精度低下を招くことなく推論を加速させます。
4. チューナブルなフレームワーク: メモリ、速度、精度を独立して調整可能なパラメータとして扱うシステムであり、量子化や枝刈りの粗い制御と比較して、きめ細かな制御を提供します。

評価結果

本フレームワークは、Llama3.2-1B、Llama3.2-3B、Qwen2.5-3Bモデルを用い、QA、翻訳、要約タスクにおいて、NVIDIA Jetson Orin Nano（8 GB 共有メモリ）を用いて評価されました。

• 実現可能性: SelectInferは、ニューロンの70%のみをロードすることで、3Bスケールのモデル（ネイティブでは約8.5〜9.5 GBを必要とする）を8 GBのJetsonデバイス上で動作させることを可能にしました。
• メモリフットプリント: Selectifyは、Llama3.2-3Bにおいて、元のモデルと比較してメモリ使用量を約13.2%削減（6.88 GBから5.97 GBへ）しました。これは、フルモデルのロードを必要とするCoreInferと比較して大幅な削減です。4ビット量子化は絶対的なメモリ使用量ではより低い値を示しましたが、SelectInferはロードされた重みに対してより高い精度を維持しました。
• 精度: SelectInferは競争力のある精度を維持しました。翻訳タスク（WMT16）において、SelectInferはLlama3.2-3Bで約25〜26 BLEUを達成し、CoreInfer（約4〜5 BLEU）やランダムロードを用いたCoreInferを大幅に上回りました。また、翻訳および要約タスクにおいて、一般的に4ビット量子化と同等またはそれを上回る性能を示しました。
• 速度: SelectInferは、Llama3.2-3Bにおいて約9.85 tokens/sのデコーディングスループットを達成しました。これは、4ビット量子化に対して1.53倍、ディスクオフローディング手法に対して13倍の向上となります。
• 比較: SelectInferは、精度（オフラインプロファイリングによる）およびメモリ効率（選択的ロードによる）の両面でCoreInferを上回りました。また、翻訳タスクにおいて、量子化よりも優れた速度と精度を提供しつつ、低精度カーネルによるハードウェアの制限を回避しました。

意義と主張

本論文は、SelectInferがメモリ、速度、精度の「トリレンマ」を解決することにより、エッジデバイスへのLLMデプロイに向けた実用的な一歩であると主張しています。単一または二つの次元のみを最適化する先行研究とは異なり、SelectInferはこれら三つの次元すべてにわたってバランスの取れた調整可能な動作点を提供します。

著者らは、彼らのアプローチが以下の特性を持つことを強調しています：

• 再学習を必要としない: これにより、枝刈りや蒸留とは差別化されています。
• ユニファイドメモリ・アーキテクチャと互換性がある: オフローディング手法とは異なります。
• きめ細かな制御を提供する: ユーザーは、特定のデバイス制約やアプリケーションのニーズに合わせて、ロードおよび計算されるニューロンの割合を調整できます。
• モデルファミリー間で汎用性がある: LlamaおよびQwenの両方のアーキテクチャにおいて有効性を実証しています。

本研究は、粗い粒度の圧縮を超えた、SelectInferが不可欠な進化であることを位置づけており、これまで不十分と見なされていたハードウェア上で、より大規模で有能なモデルの実行を可能にします。