🤖 machine learning

RAP: Runtime Adaptive Pruning for LLM Inference

本論文は、変化するメモリ制約とワークロード条件の下で有用性を最大化するためにモデル重みと KV キャッシュの保持を共同最適化し、LLM 推論のプルーニング戦略をリアルタイムで動的に適応させる強化学習駆動型のフレームワークである RAP を紹介する。

原著者： Huanrong Liu, Chunlin Tian, Xuyang Wei, Qingbiao Li, Li Li

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Huanrong Liu, Chunlin Tian, Xuyang Wei, Qingbiao Li, Li Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で非常に賢い図書館の助手（大規模言語モデル、または LLM）がいると想像してください。この助手は物語を書いたり、質問に答えたり、問題を解決したりできます。しかし、ここには一つの欠点があります。この助手はあまりにも巨大なため、稼働させるだけで倉庫いっぱいの棚（メモリ）と、膨大な数の作業員（計算能力）が必要になるのです。

もしこの助手をスマートフォンやノートパソコンのような小さなデバイスで動かそうとすると、スペース不足や速度低下により、しばしばクラッシュしてしまいます。

問題点：「万能型」の過ち

現在、多くの人はこの巨大な助手を縮小しようとして、棚を取り外したり、固定されたルールに基づいて作業員を解雇したりするなど、その一部を恒久的に削ぎ落としています。「では、常に図書館の 30% を削減しましょう」と言うのです。

しかし、この論文はそれが悪い考えだと主張しています。なぜなら、図書館のニーズは毎日変化するからです。

シナリオ A: ユーザーが非常に短い質問をした場合。助手は会話の記憶にわずかなスペースしか必要としません。
シナリオ B: ユーザーが 1 万語の小説を書くよう依頼した場合。助手はこれまでの物語を追跡するための「メモ帳」（KV キャッシュと呼ばれる）を保持するために、突然膨大なスペースを必要とします。

もしスマートフォンに収めるために助手の脳の 30% を恒久的に削ぎ落とせば、誰かが長い質問をした際にシステムが破綻する可能性があります。逆に何も削らなければ、そもそもスマートフォンに収まりません。既存の方法は硬い鎧のようです。重すぎて着られないか、軽量化するために切り詰めれば、身が露わになってしまうのです。

解決策：RAP（ランタイム適応型プルーニング）

著者たちは、RAPを提案しています。これは、助手にリアルタイムで形状を変える賢く伸縮性のあるスーツを与えるようなものです。

助手を一度きりで切り捨てるのではなく、RAP は強化学習（RL）エージェントを使用します。このエージェントを、熟練した交通整理員やステージマネージャーだと考えてください。

群衆を観察する: 助手が作業を開始する前に、エージェントは具体的なリクエストを確認します。短い質問ですか？長い物語ですか？他のアプリが動作しているためスマートフォンのメモリがいっぱいですか？
即座に決定する: 観察に基づき、エージェントは今この瞬間に、何を一時的に隠すか決定します。
- リクエストが短くメモリが逼迫している場合、スペースを節約するために重い「思考」部分（FFN レイヤー）を隠すかもしれません。
- リクエストが長くメモリがいっぱいの場合、長い物語を追跡するために必要な「注意」部分（MHA レイヤー）を隠すかもしれません。
最良の部分を保つ: エージェントは、脳のすべての部分が同等ではないことを知っています。あるレイヤーは特定のタスクにとってより重要です。それはGreedy Sequential Importanceと呼ばれる特別な「重要度スキャナ」を使用して、回答を台無しにすることなく安全に退避させることができる部分を正確に特定します。

仕組み（比喩）

天候がまだわからない状態で、旅行用のスーツケースをパッキングすると想像してください。

古い方法: 重い冬のコートと水着を常に自宅に残すことにします。雨が降れば濡れてしまいます。晴れれば水着がありません。
RAP の方法: 賢いロボット助手がいます。
- あなたはロボットに「小さなスーツケース（メモリ制限）を持って、ビーチ（長い会話）に行く」と伝えます。
- ロボットは即座に重いコートを軽い T シャツと交換し、水着は残します。
- あなたはロボットに「小さなスーツケースを持って、山（短い会話）に行く」と伝えます。
- ロボットは水着を暖かい帽子と交換します。

このロボットは強化学習を通じて経験から学び、毎回完璧な交換を行い、スーツケースに収まりつつ、その旅行に必要なものを正確に揃えることを保証します。

発見されたこと

この論文では、この「賢いロボット」を Llama や Qwen などの人気 AI モデルでテストしました。

より良い結果: メモリが逼迫している場合、RAP は従来の「固定された切り捨て」方法よりも AI をはるかに良く機能させました。クラッシュせず、回答も賢いままでした。
柔軟性: 人間の再調整なしに、異なる種類のリクエスト（短いもの対長いもの）を処理しました。
速度: 決定を下す「ロボット」は非常に高速で小さく、プロセスを全く遅らせませんでした。会話にほぼ追加の時間を加えることなく動作しました。

結論

RAP は、大規模な AI モデルをより小さなデバイスで実行するための新しい方法です。AI の一部を恒久的に切り捨てるのではなく、特定のタスクと利用可能なスペースに必要な部分のみを保持しながら、AI をその場で動的に再構成します。これは、硬く重いスーツを着るのと、その日の活動に応じて適応する賢く伸縮性のあるスーツを着るのとの違いです。

技術的サマリー：RAP（LLM 推論のためのランタイム適応型プルーニング）

問題定義

大規模言語モデル（LLM）は、膨大な計算リソースとメモリフットプリントにより、展開上の重大な障壁に直面しています。モデル圧縮技術（プルーニング、量子化、蒸留）は解決策を提供しますが、既存の手法は以下の決定的な限界を有しています：

静的ヒューリスティック: 現在のほとんどのプルーニング戦略は、静的なワークロードを前提とした固定されたワンショットヒューリスティックに依存しています。これらは、バッチサイズやシーケンス長さの変動など、変動するユーザーリクエストによって引き起こされるランタイムメモリの変動に適応できません。
KV キャッシュの軽視: 従来のプルーニングは、主に静的なモデル重み（パラメータ）の削減に焦点を当てています。しかし、自己回帰推論において、キー・バリュー（KV）キャッシュメモリはバッチサイズとシーケンス長に比例して線形に増大し、静的なパラメータメモリを凌駕することがよくあります。固定されたプルーニング比率は、パラメータ優位から KV キャッシュ優位へのメモリボトルネックの動的な移行に対応できません。
システムレベルの変動性: 現実世界のエッジおよびクラウド環境では、共存するアプリケーションや干渉により確率的なメモリ可用性が生じ、固定予算の仮定を無効化します。

ここで扱われる核心的な課題は、出力品質を低下させることなく、変動するメモリ予算を満たしつつ、多様で時間変化するリクエストワークロードに動的に適応する最適な LLM プルーニングポリシーをどのように選択するかです。

手法：RAP フレームワーク

著者らは、リアルタイムのシステム状態に基づいて圧縮戦略を動的に調整する、強化学習（RL）駆動の弾力的なプルーニングフレームワークである**RAP（ランタイム適応型プルーニング）**を提案します。

1. 貪欲逐次重要度（GSI）

「ワンショット」プルーニング（層間依存性を無視し、性能低下を招く）の限界に対処するため、RAP は**貪欲逐次重要度（GSI）**を採用します。

メカニズム: すべてのブロックを一度にスコアリングするのではなく、GSI はモデル性能（パープレキシティで測定）の悪化が最小となるブロックを反復的に削除します。
再較正: 各削除後、残りのブロックの重要度スコアを、縮小された新しいアーキテクチャ内で再評価します。この段階的なプロセスは誤差の蓄積を制御し、モデル構造の変化に伴う層の動的な感度を考慮します。

2. 強化学習定式化

RAP は、プルーニングポリシーの選択を、メモリ効率とモデル忠実度のバランスを RL エージェントが学習する逐次意思決定問題（マルコフ決定過程）として定式化します。

状態（ $S_t$ ）: エージェントは各推論ステップ $t$ $t$ で複合状態を観測します：
- リクエスト特性: バッチサイズ（ $R_{bs}$ ）とシーケンス長さ（ $R_{sql}$ ）。
- モデル構成: GSI から導出された、すべてのマルチヘッドアテンション（MHA）およびフィードフォワードネットワーク（FFN）ブロックの重要度スコア。
- システム状態: 現在の利用可能なシステムメモリ（ $Sys_{avail}$ ）と、提案されたアクションに対する推定メモリオーバーヘッド（ $Sys_{req}$ ）。
アクション（ $A_t$ ）: エージェントは、特定の MHA および FFN ブロックを保持するか削除するかを決定することでプルーニングポリシーを選択します。アクション空間（ $2^{2N}$ ）の組み合わせ爆発を管理するため、決定は逐次的な単一ブロック選択に分解されます。
報酬（ $R_t$ ）: 統合された報酬関数は、2 つの目的をバランスさせます：
- パープレキシティ（ $R_{ppl}$ ）: 言語モデル性能の維持を促進します。
- メモリペナルティ（ $R_{mem}$ ）: 推論中のピークメモリ消費にペナルティを課します。
- 報酬は重み付き和です： $R_t = \sum (At)_i (\alpha R_{ppl, i} - \beta R_{mem, i})$ 。ここで、ハイパーパラメータ $\alpha$ と $\beta$ は精度とメモリのトレードオフを調整します。

3. 実行フロー

RL エージェントはリアルタイム環境（入力長さ、バッチ、メモリ可用性）を観測します。
現在の状態に基づいて、プルーニングアクション（どのブロックを削除するか）を選択します。
ベースモデルは、プルーニングされたアーキテクチャで推論を実行します。
エージェントは、結果としてのメモリ使用量とパープレキシティに基づいて報酬を受け取り、将来の意思決定を最適化するためにポリシーを更新します。

主要な貢献

ランタイム適応型フレームワーク: RAP は、モデル重みと KV キャッシュメモリを「その場（on the fly）」で統合的に考慮し、瞬間的なワークロードとデバイス状態に基づいてスパース性レベルを動的に調整する初のフレームワークです。
RL 駆動ポリシー: 著者らはプルーニングを RL 問題として定式化し、メモリ節約と生成忠実度のバランスを取る最適なポリシーを学習するエージェントを訓練しました。これにより、静的ヒューリスティックベースラインを上回る性能を発揮します。
構造的プルーニングのための GSI: 貪欲逐次重要度の導入は、トランスフォーマープルーニングにおける層間依存性の問題に対処し、過酷な圧縮下でのブロック重要度を決定するためのより堅牢な手法を提供します。
実証的検証: 広範な実験により、RAP が多様なモデル（Llama2、Llama3、Qwen）およびメモリ制約において、最先端の静的プルーニングベースライン（例：LLM-Pruner、SliceGPT、ShortGPT）を一貫して上回ることが示されました。

実験結果

実験は、Llama2-7B、Llama3-8B、Qwen1.5-7B、Qwen2.5-7B に対して、パラメータと KV キャッシュの両方をカバーする 80% および 60% の統合メモリ予算下で行われました。

生成能力: RAP は最小のパープレキシティ変動を示しました。80% の予算における Llama2-7B において、RAP は WikiText2 で +6.33、PTB で +21.47 しかパープレキシティを増加させず、それぞれ 22.95 および 146.93 の差で次善の手法を大幅に上回りました。
下流タスク: ゼロショット常識推論において、RAP は 80% の予算下で密モデルの精度の 86% を維持し、Llama2-7B で +8.2%、Llama3-8B で +11.5% ずつ主要なベースラインを上回りました。
回復力: 厳しい 60% のメモリ制約下では、RAP は他の手法が壊滅的な劣化を被る中で、密モデルのパフォーマンスの 60% 以上を維持した唯一の手法でした。
アブレーション研究:
- GSI を除去（静的ワンショットスコアリングを使用）すると、平均常識推論精度が 13.17% 低下しました。
- RL エージェントを除去（ランダムなブロック削除を使用）すると、学習済みポリシーと比較してパープレキシティが大幅に増加しました（WikiText2 で +301.71）。これは適応型意思決定の必要性を浮き彫りにしています。
オーバーヘッド: RL コントローラーは、コンパクトなアーキテクチャ（18K パラメータ）により、実行時のオーバーヘッドを無視できるレベル（レイテンシ増加 <1%）に抑えています。一方、オフラインの GSI 計算は、展開全体で償却される一回性のコストです。

意義と主張

本論文は、RAP が静的圧縮技術と動的な現実世界の展開シナリオの間のギャップを埋めると主張しています。「万能」ヒューリスティックから脱却することで、RAP は以下を実現します：

スケーラブルなエッジ展開: 必要に応じて大幅な重みをプルーニングし、リソースが許容する場合はフル容量を維持することで、LLM が厳しく変動するメモリ制約下でデバイス上に収まることを可能にします。
品質損失なしの効率性: 出力品質への影響を最小限に抑えながら、優れたメモリ節約と高速な推論を実現し、パラメータ集約型と KV キャッシュ集約型のボトルネック間のトレードオフを効果的に navigates します。
汎用性: このフレームワークはアーキテクチャ非依存であり、異なるモデルファミリー（Llama、Qwen）および世代において良好に機能することが示されています。

著者らは、固定戦略が失敗する不均一な環境において LLM 推論を可能にする柔軟で文脈を認識する圧縮メカニズムとして RAP を位置づけています。