ParetoBandit: 非定常 LLM サービングのための予算ペース適応型ルーティング

技術的サマリー（日本語）

本論文は、生産環境における大規模言語モデル（LLM）のサービングにおいて、コストと品質のトレードオフを動的に管理し、非定常な環境変化に適応する新しいルーティングシステム「ParetoBandit」を提案しています。

1. 背景と課題 (Problem)

生産環境での LLM サービングでは、単一のモデルですべてのタスクを処理するのではなく、コストが最大で約 530 倍の差がある複数のモデルから構成されるポートフォリオを利用する傾向があります。しかし、既存のルーティング手法には以下の重大な課題がありました。

• 非定常性への対応不足: プロバイダーが API の価格を変更したり、モデルの品質が静かに劣化（Regression）したり、新しいモデルが追加されたりする場合、オフラインで学習された固定ポリシーでは適応できません。
• 予算制約の閉ループ制御の欠如: 既存手法の多くは、特定のホライズン（期間）内での累積予算や、固定されたペナルティに基づいて動作します。しかし、無限に続くリクエストストリームにおいて、リクエストごとのコスト上限（ドル建て）を厳密に守りつつ、品質を最大化する「閉ループ制御」は未解決の問題でした。
• ランタイムでのモデル追加の難しさ: 新しいモデルをダウタイムなしでポートフォリオに追加し、即座にその品質とコストの特性を学習する仕組みが不足していました。

2. 提案手法：ParetoBandit (Methodology)

ParetoBandit は、コストを考慮した文脈バンディット（Contextual Bandit）を基盤とし、以下の 3 つの主要なシステムレベルのメカニズムを組み合わせたオープンソースの適応型ルーティングシステムです。

A. オンライン双対予算パサー (Online Primal-Dual Budget Pacer)

• 目的: 運営者が指定した「リクエストあたりのコスト上限（$B）」を、無限のストリームにおいて閉ループで強制します。
• 仕組み: ラグランジュ乗数（双対変数）$\lambda_t$ を使用します。
  • 最近の平均コストが上限 $B$ を超えると $\lambda_t$ が増加し、高価なモデルへのペナルティを強化します。
  • コストが余裕があれば $\lambda_t$ は減少し、品質向上のための探索を許容します。
  • ハードシーリング: $\lambda_t > 0$ の場合、コストが動的な上限を超えるモデルを候補から完全に除外する「回路ブレーカー」として機能し、単一リクエストでの破綻を防ぎます。
  • ソフトペナルティ: 候補セット内では、コストに比例したペナルティを UCB スコアに追加し、微細な調整を行います。

B. 非定常性への耐性（幾何学的忘却）

• 目的: 価格や品質の急激な変化に素早く適応します。
• 仕組み: 従来の LinUCB が過去のデータを全て均等に蓄積するのに対し、ParetoBandit は**幾何学的忘却（Geometric Forgetting）**を導入します。
  • 十分統計量（$A_a, b_a$）に忘却係数 $\gamma$ ($0 < \gamma < 1$) を適用し、古いデータの重みを指数関数的に減衰させます。
  • これにより、モデルの品質が劣化した場合や価格が変更された場合、古い推定値を迅速に無視し、新しいデータに基づいて再学習できます。
  • 探索の「古さ（Staleness）」に基づいて UCB の探索ボーナスを意図的に増幅させ、放置されたモデルの再探索を促進します。

C. ランタイムポートフォリオ管理 (Runtime Portfolio Management)

• 目的: ダウタイムなしでのモデルの追加・削除を可能にします。
• 仕組み:
  • ホットスワップレジストリ: 実行時にモデルを追加・削除できます。
  • 強制探索フェーズ: 新規モデルは、オフライン事前分布（Warm-up priors）または無情報な事前分布で初期化され、短時間の「強制探索（forced-exploration）」フェーズを経て、UCB 選択による自律的な品質・コストニッチの発見に移行します。
  • オフラインからオンラインへのウォームアップ: 過去のデータから学習した事前統計量を読み込むことで、コールドスタート時の後悔（Regret）を大幅に削減します。

3. 主要な貢献 (Key Contributions)

1. 自律的な予算制御: 無限のホライズンを持つリクエストストリームにおいて、ドル建てのコスト上限を閉ループで強制し、価格変動時に自動的に予算を再配分する初のシステムです。
2. 非定常性への体系的対応: 幾何学的忘却を用いて、モデル品質の静かな劣化や価格変更を検知し、予算制約内で適応的にトラフィックを再配分します。
3. ランタイムでのモデルオンボーディング: 事前学習なし、または事前分布を用いて、実行時に新しいモデルを追加し、予算制約を破ることなくその特性を学習・選別します。
4. 超高速な推論: CPU 上でエンドツーエンドのルーティングレイテンシは 9.8ms（推論時間の 0.4% 未満）であり、決定自体は 22.5μs で完了します。

4. 評価結果 (Results)

1,824 個のベンチマークプロンプトを用いた 4 つの実験（定常環境、コストドリフト、品質劣化、コールドスタート）において、以下の結果が得られました。

• 予算遵守: 7 つの異なる予算上限条件下で、平均リクエストコストは目標値を最大でも 0.4% しか超えませんでした。
• 価格変動への適応: 最も高価なモデルの価格が大幅に下落した際、システムは即座に検知し、そのモデルへのトラフィックを増やして品質を最大 +0.071 向上させつつ、予算内を維持しました。
• 品質劣化の検知と回復: モデルの品質が静かに劣化（約 18% 低下）した際、コスト信号には変化がないにもかかわらず、報酬信号のみで劣化を検知し、予算を維持したままトラフィックを回避しました。
• コールドスタート: 事前分布なしで追加された新しいモデルは、約 142 ステップで意味のある採用率に達し、予算上限を破ることなくポートフォリオに統合されました。
• 選別能力: 高価だが品質が低いモデルは予算ゲートにより排除され、安価だが品質が悪いモデルは探索フェーズ後に拒否されるなど、盲従ではなく賢明な選別を行いました。

5. 意義と結論 (Significance)

ParetoBandit は、LLM サービングが本質的に「非定常」であるという現実（価格変動、品質の静かな劣化、モデルの進化）を初めて体系的に解決したシステムです。

• 実用性: 単一の固定モデルやオフライン学習されたルーターに依存するのではなく、オンライン学習と閉ループ制御により、運用コストを最適化しつつ品質を維持できます。
• 拡張性: 複数のプロバイダーやモデルを混在させる「マルチモデルポートフォリオ」が標準となる未来において、信頼性が高く、コスト制御された LLM サービングを実現するための基盤技術となります。
• 将来展望: 本論文ではオフライン評価が中心ですが、リアルタイムのデプロイ、人間のフィードバックのノイズへの耐性、レイテンシ制約の追加など、さらなる実用化への道筋が示されています。

要約すると、ParetoBandit は「予算を守りながら、変化する環境に即座に適応する LLM ルーター」を実現し、生産環境における LLM 運用の新たな標準を提示する画期的な研究です。