技術要約: TMO – 3つのMによるオフローディングを用いたデバイス・クラウド協調型LLM推論

1. 問題提起

大規模言語モデル（LLM）のデプロイメントは、二極化に直面している。オンデバイスでのデプロイメントは、計算資源、メモリ、およびエネルギー資源によって制約を受け、応答品質が制限されることが多い。一方で、クラウドへのデプロイメントは、レイテンシ、通信コスト、および利用料金といった課題をもたらす。これらの課題は、現代のアプリケーションにおける**「Three-M」**シナリオによってさらに深刻化している：

1. Multi-Modal（マルチモーダル）: タスクが多様なデータソース（例：様々なカメラ角度からのテキストや画像）を必要とする。
2. Multi-Task（マルチタスク）: アプリケーションが、単純なメッセージ編集から複雑な活動認識まで多岐にわたる。
3. Multi-Turn（マルチターン）: 会話には逐次的な依存関係が含まれ、初期の決定が将来の資源可用性やコンテキストに影響を与える。

既存のフレームワークは、これら次元における応答品質、レイテンシ、およびコスト間の複雑なトレードオフに対処できていない。具体的には、以下の点において苦慮している：

• 最適な推論場所: タスクをデバイスで処理すべきか、クラウドにオフロードすべきかの決定。
• モダリティ選択: 情報利得と送信コストのバランスを取りながら、どの特定のデータモダリティ（例：どのカメラビュー）をアップロードするかを決定すること。
• リソース制約: 再学習なしに、ユーザーが指定した任意の資源予算（レイテンシおよびコスト制限）に適応すること。
• 推論の不確実性: 生成タスクにおけるLLM出力の確率的な性質、およびオフライン学習時におけるグラウンドトゥルース（正解）指標の欠如への対処。

2. 手法: TMOシステム

著者らは、"Three-M" オフローディングをオーケストレートするデバイス・クラウド協食型推論システムであるTMOを提案している。TMOの中核は、**リソース制約付き強化学習（RCRL）**意思決定エンジンである。

A. システムアーキテクチャ

• オンデバイスLLM: 単純なタスクに対して高速なテキスト処理を行うよう最適化された軽量モデル（例：Phi-3-mini）。
• クラウドLLM: 複雑なタスクや多様なデータ入力を扱うことが可能な大規模マルチモーダルモデル（例：GPT-4o）。
• 意思決定エンジン: 各会話ターン $t$ において、システムはアクション $a_t = (\ell_t, M_t)$ を選択する。ここで $\ell_t$ は選択されたLLM（デバイスまたはクラウド）であり、$M_t$ はアップロードするモダリティのサブセットである。

B. RCRL定式化

問題はマルコフ決定過程（MDP）としてモデル化される：

• 状態 ($s_t$): 過去 $\tau$ ターンのスライディングウィンドウを含み、以前のLLM選択、アップロードされたモダリティ、およびタスクカテゴリを捉える。決定的な特徴として、状態はリソースに基づいた意思決定を可能にするため、残りのリソース予算 ($\xi_t$) で拡張されている。
• アクション ($a_t$): LLMのタイプおよびアップロードする特定のモダリティの選択。
• 報酬 ($r_t$): 以下の要素のバランスをとる複合的な指標：
  • 応答スコア ($S_{at}$): LLMの応答の推定品質。
  • 関連性指標 ($\Lambda_{at}$): プロンプトと選択されたモダリティ間の関連性（CLIPを用いて算出）。
  • レイテンシ ($\psi_{at}$): 計算時間（デバイス）または通信＋推論時間（クラウド）。
  • 使用コスト ($\phi_{at}$): エネルギー消費量（デバイス）またはサービス料金（クラウド）。
  • 制約ペナルティ: 累積リソース消費量がユーザー指定の予算 $\xi_j$ を超えた場合、報酬はゼロに設定される。

C. 主要な技術的革新

1. 最近傍推定による不確実性の処理: LLMジャッジの非決定的な性質、およびオフライン学習における分布外（OOD）の状態行動ペアに対処するため、TMOは**k-最近傍（k-NN）**戦略を採用している。これは、未知の状態行動ペアに対して、ユークリッド距離で重み付けされた、最も類似した $k$ 個の履歴ペアのスコアを平均することで、応答スコアを推定するものである。
2. リソースを考慮した汎用化: ユーザーの予算に応じて再学習なしにポリシーを汎用化させるため、著者らは以下を実施した：
   • 残りの予算ベクトルを直接状態空間に含める。
   • 固定値ではなく、分布（一様分布、正規分布、ハイブリッド分布）からサンプリングされたランダム化されたリソース予算を用いて学習を行う。これにより、特定の予算制約への過学習を防ぐ。
3. タスク・モダリティ関連付け: システムは、事前学習済みのCLIPモデルを使用して、テキストプロンプトと画像モダリティ間の類似度スコアを計算し、最も情報量の多いデータソースの選択を導く。

3. M4A1データセット

この特定の問題に適したデータセットの欠如を認識し、著者らは、マルチモーダル、マルチタスク、マルチターン、およびマルチLLM評価のために設計された初のデータセットであるM4A1を構築した。

• 構成: ActionSenseデータセット（キッチンでの活動を一人称視点、サイドビュー、オーバーヘッドビューで捉えたもの）および指示データセットから派生した21,014の会話ターン。
• 構造: 各エピソードは2〜5ターンを含み、4つのタスクカテゴリ（アシスタント、レコメンデーション、クエリ、メッセージ編集）、および4つのLLMロール（オンデバイス、クラウド、リファレンス、ジャッジ）との相互作用で構成される。
• 生成戦略: エキスパートデータセットとは異なり、M4A1はLLMおよびモダリティ選択にランダム化されたアクションを使用している。これにより、状態行動空間を均一にカバーし、いかななるポリシー決定に対してもk-NN推定器が堅牢かつ低分散となるようにしている。

4. 実験結果

著者らは、TMO（具体的にはRC-A2C、RC-PPO、RC-DQNを使用）を、いくつかのベースラインと比較評価した：

• ナイーブなベースライン: オンデバイスのみ、クラウドのみ、およびランダム選択。
• LLM-as-Router: 様々なLLM（Phi-3, LLaMA, Mistral, GPT-4など）をゼロショット意思決定エンジンとして使用。
• SOTA探索決定モデル: AIwRG（能動的推論）およびPerLLM（バンディットベース）。

主な知見:

• パフォーマンス: TMO（特にRC-A2C）は、すべてのベースラインと比較して最も高い総合報酬（0.86）を達成した。これは、制約違反や不適切なモダリティ選択に苦戦したLLM-as-Routerのアプローチを大幅に上回る結果である。
• 制約遵守: TMOは、多様な予算構成においてほぼゼロの制約違反を維持したが、ベースラインは頻繁にレイテンシまたはコストの制限を超過した。
• 堅牢性:
  • デバイスの変動: TMOは、Raspberry PiからiPhone 15 Proに至る多様なハードウェア間で一貫して動作し、デバイスの能力に基づいて戦略を適応させた。
  • 予算の汎用性: ランダム化された予算を用いて学習することで、TMOは再学習なしに未知の予算制約（一様、正規、ハイブリッド）へ汎用化することができた。
  • レイテンシへの感度: クラウドのレイテンシを人工的に増加させた場合（最大10倍）、TMOは制約を維持するために、動的にトラフィックをオンデバイスLLMへとシフトさせた。
• アブレーション研究: いずれかの主要なコンポーネント（LLM選択ロジック、モダリティ選択、リソース認識、または不確実性推定）を削除すると、大幅な性能低下を招いた。これは、フルフレームワークの必要性を検証するものである。

5. 意義と主張

本論文は、TMOが単なる静的なオフローディングや単一クエリのルーティングを超え、LLMデプロイメント戦略における根本的な転換を提示していると主張している。その意義は以下の点にある：

1. 包括的な最適化: リソース制約の下で、LLMの選択、マルチモーダルデータのオフロード、およびマルチターンのコンテキストを共同で最適化する初のシステムである。
2. 実践的な適応性: リソースを考慮した状態表現とランダム化された学習により、システムは現実世界のシナリオにおいて、再学習なしにユーザー定義の任意の資源予算に適応できる。
3. 不確実性の処理: 提案された最近傍推定戦略は、LLM推論データに対するRLポリシーの学習において堅牢な手法を提供し、生成モデルに固有の確率性と評価の課題に対処する。
4. データセットの貢献: M4A1の公開は、複雑なマルチターン、マルチモーダル環境における協調推論を評価するための標準的なベンチマークを提供し、文献における重要なギャップを埋めるものである。

著者らは、TMOが応答品質、レイテンシ、およびコストのトレードオフを大幅に改善する一方で、今後の課題として、プロアクティブな適応を可能にするために動的な実行時条件（リアルタイムのネットワーク帯域幅、バッテリー残量など）を組み込むことに焦点を当てるとしている。