CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference

技術概要：CR2 – ワイヤレス端末 - エッジ LLM 推論のためのコスト認識型リスク制御ルーティング

問題定義
大規模言語モデル（LLM）が中央集権型クラウドからモバイルエッジ環境へ移行するにつれ、限られた端末 - エッジリソース下で遅延、エネルギー消費、精度をバランスよく保つ効率的なサービングが求められます。軽量なオンデバイスモデルと強力なエッジモデル間のクエリレベルのルーティングは、このトレードオフを navigat するための柔軟なメカニズムを提供しますが、既存のルーティング手法は主に中央集権型クラウド環境向けに設計されています。これらの先行アプローチはトークンレベルのコストや静的な品質 - コストのトレードオフを最適化するものの、ワイヤレスエッジ展開に固有の動的な遅延およびエネルギーオーバーヘッドを捉えきれていません。

端末 - エッジシステムが要求する2 段階の意思決定構造には、重要なギャップが存在します：

1. ローカル意思決定（UE）： ユーザ端末（UE）は、エッジモデルのスコアやリアルタイムのエッジ状態へのアクセスなしに、利用可能なローカル情報（クエリ埋め込みとコスト選好）のみを用いて、クエリをローカルで実行するかエッジに委譲するかを決定しなければなりません。
2. エッジ意思決定： 委譲されたクエリのみが、完全なシステム状態に基づいて利用可能なエッジモデル間でルーティングされます。

既存の手法は、エッジ状態のグローバルな知識を前提としたり、ルーティングを単発の選択として扱ったりする傾向があり、非対称な意思決定リスクを無視しています。すなわち、不要な委譲は通信遅延とエネルギーを招き、誤ったローカル受諾はより優れたエッジモデルへの機会を不可逆的に失わせ、ユーザー体験を低下させます。さらに、標準的なルーターは、部分情報下での誤ったローカル受諾のリスクを明示的に制御していません。

手法：CR2 フレームワーク
著者は、ルーティング問題を展開可能なローカル受諾ゲートと状態認識型エッジセレクタに分解する、CR2という 2 段階の端末 - エッジルーティングフレームワークを提案します。

1. システムおよびコストモデリング：

   • システムは、確率的なワイヤレス条件（アップリンク/ダウンリンクチャネル利得）、計算ワークロード（プレフィルおよびデコード段階）、および端末/エッジの電力プロファイルを組み込んだエンドツーエンドの遅延とエネルギー消費をモデル化します。
   • 展開コストは、参照モデルに対する正規化された遅延とエネルギーの加重和として定義されます。
   • ルーティングの目的は、スカラー化されたユーティリティ関数 $u_m = y_m - \lambda c_m$（ここで $\lambda$ はコスト重み）でパラメータ化された展開コスト制約下で精度を最大化することとして定式化されます。

2. 2 段階アーキテクチャ：

   • 段階 1：UE ローカル受諾（マージンゲート）： 軽量なオンデバイスモジュールが「ユーティリティマージン」を計算し、ローカル実行が最良のエッジ代替案と競争力があるかどうかを推定します。
     • これは凍結されたクエリエンコーダと軽量なスコアリングヘッドを使用します。
     • 入力としてクエリ埋め込みとオペレータ指定のコスト重み $\lambda$ を受け取ります。
     • 決定を下す前に、エッジモデルのユーティリティや実行時状態 $\xi$ にアクセスしません。
   • 段階 2：エッジユーティリティセレクタ： 委譲されたクエリについて、エッジサーバーは完全なユーティリティ推定値（実行時状態 $\xi$ を含む）に基づいて、エッジプールから最適なモデルを選択します。

3. トレーニングおよび較正：

   • 教師 - 生徒蒸留： 完全情報データ（クエリ + 状態 + 正解ラベル）でトレーニングされた「教師」セレクタが、モデルの正解率とユーティリティマージンを推定します。オンデバイスゲートは、ローカル実行とエッジ実行の間の教師誘発ユーティリティマージン（$\Delta$）を蒸留するようにトレーニングされます。
   • 損失関数： ゲートは以下の組み合わせで最適化されます：
     • 符号損失（Sign Loss）： 予測されたマージンの符号を、教師のローカル対エッジの選好と整合させます。
     • マージン損失（Margin Loss）： Huber 損失を使用して、予測されたマージンを連続的な教師マージンに回帰させます。
     • 単調性正則化子（Monotonicity Regularizer）： 予測されたマージンがコスト重み $\lambda$ に対して非減少であることを強制し、より高いコスト重みがローカル実行を好むという構造的性質を反映させます。
   • 適合リスク制御（CRC）： 誤ったローカル受諾の非対称なリスクに対処するため、著者は CRC 較正手順を導入します。
     • 目標リスクレベル $\alpha$ に対して、CRC は学習されたスコアを較正された受諾閾値 $\tau^*(\lambda; \alpha)$ にマッピングします。
     • これにより、較正データとテストデータの交換可能性を仮定した場合、限界誤受諾リスク（エッジモデルが厳密に優れている場合にローカルで受諾する確率）が $\alpha$ 以下に抑えられます。

主要な貢献

1. 展開制約を考慮したフレームワーク： 本論文は、モバイルエッジ展開の情報制約を明示的に尊重し、UE のローカル受諾とエッジモデル選択を分離する 2 段階ルーティングフレームワークを確立します。
2. CR2 アルゴリズム： 著者は CR2 を開発しました。その特徴は以下の通りです：
   • 完全情報ユーティリティマージンを展開可能なオンデバイススコアに蒸留するUE 観測可能マージンゲート。
   • 異なるコスト重み動作点全体で一貫した意思決定を確保する単調性正則化子。
   • UE においてエッジモデルスコアを必要とせず、限界誤受諾リスクを明示的に制御する$\lambda$ 毎の CRC 較正規則。
3. 実証的性能： ベンチマーク由来のルーティングタスク（Qwen モデルとプロファイリングされた展開コストを使用）での評価により、CR2 が展開可能な精度 - コストのパレート最前線において最高性能を達成することが示されました。強力なクエリレベルのベースライン（KNN、MLP、EmbedLLM、LLM-Rank）と比較して、同等の精度において正規化された展開コストを最大**16.9%**削減します。

結果

• 精度 - コストのトレードオフ： CR2 は、精度 - コスト平面において一貫してベースラインを上回ります。拡大された動作領域では、展開可能な手法の中で最も強力な最前線を形成します。
• コスト削減： 固定された精度レベル（例：0.81 および 0.82）において、CR2 は KNN と比較してそれぞれ正規化された展開コストを 16.9% および 16.2% 削減します。
• リスク制御： CRC 較正閾値は、競合する精度を維持しつつ、指定された境界内（例：$\alpha=0.01$）に実証的な限界誤受諾率を成功裡に制御します。
• 効率性： オンデバイスマージンゲートは計算的に軽量（約 105k パラメータ、207k FLOPs）であり、完全情報参照や LLM-Rank などの他のパラメトリックルーターよりも大幅に小型です。
• 誤差分解： 分析により、展開可能な CR2 と完全情報オラクルの間の残存性能ギャップは、主に低コストにおける「誤った委譲（過剰なエスカレーション）」によって引き起こされ、誤ったローカル受諾は低く抑えられている（<1.5%）ことが示されました。

意義と主張
本論文は、CR2 が2 段階の端末 - エッジ展開下でのモデル選択を定式化することにより、クエリレベルのルーティングとエッジ LLM サービングの間のギャップを埋めると主張しています。その意義は以下の点にあります：

• 脱結合： 部分情報で決定されなければならないローカル意思決定と、完全情報を持つエッジ意思決定を成功裡に脱結合すること。
• リスク制御： 通信オーバーヘッドがコストのかかる信頼性の高いエッジ推論にとって重要な要件である誤ったローカル受諾のリスクを明示的に規制するための、厳密で分布フリーなメカニズム（CRC 経由）の提供。
• 実用性： 軽量で凍結エンコーダベースのゲートが完全情報オラクルを近似でき、端末における密な階層間調整やグローバル状態知識を必要とせずに、実世界のワイヤレスエッジシナリオで効率的かつコスト認識型のルーティングを可能にすることを示すこと。

著者は、CR2 がモバイルエッジ協調推論のための堅牢な解決策を提供し、ワイヤレスエッジ展開の厳格な情報制約に準拠しつつ、遅延、エネルギー、精度の間のトレードオフをバランスさせることを結論付けています。