🤖 machine learning

Theoretically Optimal Attention/FFN Ratios in Disaggregated LLM Serving

本論文は、確率的なワークロードの動的特性と同期オーバーヘッドを考慮し、デバイスのアイドル時間とステップレベルのブロッキングを最小化するために、分散型LLMサービングにおける理論的に最適なAttention-to-FFNリソース比率を決定するための分析フレームワークと閉形式のプロビジョニング規則を提示する。

原著者： Chendong Song, Meixuan Wang, Hang Zhou, Hong Liang, Yuan Lyu, Zixi Chen, Yuwei Fan, Zijie Zhou

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chendong Song, Meixuan Wang, Hang Zhou, Hong Liang, Yuan Lyu, Zixi Chen, Yuwei Fan, Zijie Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが巨大な AI 脳のための「思考」（トークン）を生産する、大規模で高速な工場を運営している状況を想像してください。この工場は、各思考を完了させるために連携して働く 2 つの主要な組立ラインを持っています。

メモリライン（アテンション）： このチームは図書館司書のような役割です。彼らは、巨大で成長し続ける本棚（KV キャッシュ）に行き来して、各リクエストに固有のページを見つけなければなりません。本棚が大きくなるにつれて、このチームはより重い荷物を運ぶ必要があるため、次第に遅くなります。彼らはメモリ制約に縛られています。
計算ライン（FFN）： このチームは超高速な電卓のような役割です。彼らは本棚を見る必要はなく、司書たちが渡したデータに基づいて数字を計算するだけです。彼らは計算制約に縛られており、十分な作業があれば驚異的な速さで作業できます。

問題点：「不調和なダンス」

かつて、これら 2 つのチームは同じ部屋に縛り付けられていました。司書が遅ければ、電卓チームは彼らを待って待機せざるを得ませんでした。逆に電卓チームが速ければ、司書がボトルネックとなりました。

これを解決するため、エンジニアたちは**AFD（アテンションと FFN の分離）**と呼ばれる新しいレイアウトを発明しました。彼らは司書と電卓を別々の部屋に移しました。これにより、1 つの巨大な電卓部屋に、複数の司書チームが供給できるようになりました。

しかし、ここには落とし穴があります： 1 つの電卓部屋に対して、何組の司書チームが必要なのでしょうか？

司書が少なすぎますか？ 電卓はデータ不足で待機し、飢えてしまいます。
司書が多すぎますか？ 電卓が圧倒され、司書たちは電卓が追いつくのを待って立ち往生することになります。

完璧な比率（これをrと呼びましょう）を見つけることは、1 人のシェフに対して完璧な数のウェイターを見つけるようなものです。推測を誤れば、工場全体が遅くなります。

論文の解決策：工場管理者のための「水晶玉」

この論文の著者たちは、比率を推測することが難しいのは、作業がランダムであるためだと気づきました。

短い質問をする顧客もいれば、長い物語を語る顧客もいます。
すぐに完了するリクエストもあれば、長時間かかるものもあります。
「本棚」（メモリ）は、リクエストごとに異なる形で成長します。

このランダム性のため、平均値に基づく単純な数式を使うことはできません。混沌を予測する方法が必要です。

彼らの「秘密の武器」は、3 つのことを行う新しい数学的枠組みです。

「平均的な混沌」を測定する： 彼らは過去の要求ログ（トレース）を見て、より長いリクエストが任意の瞬間に観測されやすいという事実を考慮した、真の平均作業負荷を表す単一の数値（θと呼びます）を計算する方法を開発しました。
「最も遅いランナー」を考慮する： この工場では、すべての司書チームが作業を完了してからでないと、電卓は作業を開始できません。もし 1 つのチームが巨大な本を抱えて立ち往生すれば、ライン全体が待たされます。著者たちは、これらの「遅れ屋（最も遅い作業者）」によってどれだけの余分な時間が失われるかを予測する数式を作成しました。
「黄金比」のレシピを提供する： これら 2 つの洞察を用いて、彼らはシンプルで閉じた形式のルールを導き出しました。ハードウェア仕様と要求ログを入力すると、その数式が電卓部屋を最大速度で運転するために必要な司書チームの正確な数を教えてくれます。

結果：「機能する！」

チームは理論を検証するために、デジタルシミュレーター（仮想工場）を構築しました。

彼らは司書チームの数（1 から 32）を変えて試しました。
シミュレーターによって見出された実際の最高性能と、彼らの「黄金比」予測を比較しました。
結論： 彼らの予測は驚くほど正確で、現実のシミュレーションと10% 以内で一致しました。

また、司書チームを増やすにつれて、最も遅いチームに起因する「待ち時間」は増加することを発見しましたが、彼らの数式はこの点を考慮しており、チームをやりすぎて資金を無駄にしないように保証しています。

結論

この論文は、これらの分離型 AI 工場を構築するための科学的な規則集を提供します。推測や試行錯誤に頼るのではなく、システム設計者はもはやこの数学を用いて、メモリと計算リソースをどのようにバランスさせるべきかを正確に把握できます。これにより、作業負荷が予測不可能であっても、AI が可能な限り高速かつ効率的に動作することが保証されます。

技術的概要：確率的ワークロード下における注意機構–FFN 非集約型 LLM サービングのための分析的プロビジョニング

問題定義

大規模言語モデル（LLM）のサービングは、モデルサイズの拡大に伴い、効率性の面で重大な課題に直面しています。**注意機構–FFN 非集約（AFD）**は、メモリ束縛型の注意機構層（状態を保持し、KV キャッシュが支配的）と計算束縛型の FFN 層（状態を持たない）を分離する有望なアーキテクチャとして登場しましたが、最適なリソースプロビジョニング比率を決定することは依然として未解決の問題です。

AFD トポロジー（ $r$ 個の注意機構インスタンスが 1 つの FFN インスタンスに供給される $r$ A–1F と表記）において、システム性能は比率 $r$ に極めて敏感です。

$r$ が小さすぎると、FFN サーバーは入力不足に陥り、計算リソースがアイドル状態になります。
$r$ が大きすぎると、注意機構インスタンスは共有 FFN サーバーを待機してブロックされ、ステップレベルのブロッキングとパイプラインバブルが発生します。

既存のシステムは通常、ワークロードの確率性を無視した経験的な探索や単純な決定論的近似を通じて $r$ を決定します。核心的な難しさは、注意機構ワークロードの動的な性質にあります。バッチサイズのみ依存する FFN 計算とは異なり、注意機構のレイテンシは、KV キャッシュが成長し、ランダムなプロンプト長とデコード長でリクエストが補充されるにつれて連続的に変化します。さらに、複数の注意機構ワーカーの同期実行は、最も遅いワーカーによって支配される「ストレイガー（遅延者）」効果をもたらします。これは、解析的にモデル化することが困難な同期バリアを形成します。

手法

著者らは、確率的ワークロード下における最適な A/F 比率（ $r^*$ ）のための閉形式プロビジョニング規則を導出する、厳密な確率論的枠組みを開発しました。この手法は、以下の 2 つの主要なランダム性の源に対処します。

スロットごとのワークロード進化: 著者らは、スロットごとのトークン負荷を離散時間再生報酬分析を用いてモデル化しました。プロビジョニングを支配する単一のワークロード統計量、 $\theta$ （スロットあたりの期待定常トークン負荷）を特定しました。この統計量は、ランダムなデコードステップでより長いリクエストがより頻繁にサンプリングされる「長さバイアス」効果を考慮しています。重要なのは、 $\theta$ とその分散 $\nu^2$ が、特定の分布族を仮定することなく、リクエスト追跡データから非パラメトリックに推定可能である点です。
ワーカー間同期: $r$ 個のワーカー中最も遅いものをシステムが待機するバリア効果に対処するため、著者らはガウス順序統計量補正を適用しました。 $r$ 個のワーカー上の総負荷を i.i.d. 確率変数の和としてモデル化し、 $r$ 個の標準正規変数の最大値の期待値（ $\kappa_r$ ）を用いて最大負荷を近似します。

この分析により、2 つのプロビジョニング規則が導き出されました。

平均場規則（ $r^*_{mf}$ ）: 同期バリアを無視（完全な負荷分散を仮定）して導出された閉形式解です。この規則は、注意機構ボトルネック、通信ボトルネック、FFN ボトルネックの 3 つの領域に分解されます。
バリア感知型洗練（ $r^*_G$ ）: 同期オーバーヘッド項（ $\sqrt{B}\nu\kappa_r$ ）をサイクル時間近似に組み込んだ洗練された最適化です。これは、1 次元の解析的最適化と離散探索を組み合わせて解かれます。

主要な貢献

確率的ワークロードモデル: 本論文は、連続バッチングを伴う AFD サービングの確率的ダイナミクスを捉える解析的枠組みを確立しました。任意のプロンプト長およびデコード長分布の有効性を有するプロビジョニングを支配する統計量として $\theta$ を特定し、追跡データからの $\theta$ および $\nu^2$ の非パラメトリック推定量を提供します。
閉形式プロビジョニング規則: 著者らは、注意機構、通信、FFN のボトルネックを明示的にバランスさせる平均場最適比率を導出しました。さらに、ストレイガーワーカーによって導入される同期オーバーヘッドを定量化するバリア感知型洗練を提供し、このオーバーヘッドが $r$ に対して亜対数的に増加することを示しました。
追跡データ較正による検証: チームは、実世界の追跡データとハードウェアパラメータ（具体的には Huawei Ascend 910C NPU）で較正された AFD シミュレータを開発しました。多様なワークロードとハードウェア構成において、この枠組みを検証しました。

結果

実験的検証は、システム挙動の予測において高い精度を示しています。

最適比率の精度: 予測された最適比率（ $r^*_{mf} \approx 9.3$ ）は、シミュレーションで得られた最適比率とほぼ一致します。理論的なスループット曲線は、テストされたすべての構成（ $r \in \{1, 2, 4, 8, 16, 24, 32\}$ ）においてシミュレーション結果を良好に追跡します。
誤差範囲: 予測された最適比率は、シミュレーション最適値に対して10% 以内で一致します。
ストレイガーの影響: 大きな $r$ において、平均場モデルとシミュレーション間のスループット予測に最大約 15% の残差ギャップが観察されました。バリア感知型分析はこの不一致を説明し、それを同期オーバーヘッドに起因するものと特定しました。このオーバーヘッドは $r=24$ で約 11% に達します。
パラメータ感度: 除去実験（アブレーション研究）により、最適な $r^*$ は、マイクロバッチサイズ（ $B$ ）の増大および全コンテキスト長の増大（プリフィル $\mu_P$ とデコード $\mu_D$ の両方）に伴って増加することが示されました。これら要因は、注意機構側への計算圧力を高めるためです。

意義と主張

本論文は、経験的な探索を超えて、AFD システムのプロビジョニングのための最初の原理的な解析的基盤を提供すると主張しています。確率的ワークロード構造がプロビジョニングをどのように決定するかをコンパクトかつ較正可能な形で記述することで、この枠組みはシステム設計者に以下のことを可能にします。

広範なシステム構築や試行錯誤なしに、最適な A/F 比率を決定する。
現実的な確率的ワークロード下でのメモリスケーリング（注意機構）と計算スケーリング（FFN）のトレードオフを理解する。
非集約型アーキテクチャにおける同期バリアのコストを定量化する。

著者らは、AFD 実装が成熟するにつれて実システムでの検証は将来の課題として残されるとしつつも、生産環境に類似した分布からの追跡データを用いた現在のシミュレーションベースの検証が、理論に対する強力な経験的裏付けを提供していると指摘しています。この研究はプレプリント（arXiv:2601.21351v2）として提示されており、新興分野である非集約型 LLM サービングへの基礎的な貢献を示しています。