技術概要：Hera – 長期的な協調を学習するデバイス–クラウド協調 LLM エージェント

1. 問題定義

大規模言語モデル（LLM）エージェントは、環境との自律的な相互作用を通じて、複雑で長期的なタスクを解決する能力を実証しています。しかし、その実世界への展開は、根本的なデバイス–クラウドのジレンマに直面しています：

• デバイス側の制約： デバイス内モデル（通常 100 億パラメータ未満）は効率的で低遅延ですが、複雑な多段階計画に必要な推論深度が不足しており、パフォーマンスの低下や一貫性のない軌道を引き起こします。
• クラウド側の限界： 強力なクラウドモデルは優れた推論を提供しますが、顕著なネットワーク遅延、高い計算コスト、プライバシー上の懸念をもたらすため、ロボット制御や対話型 GUI ナビゲーションなどのリアルタイムアプリケーションには実用的ではありません。

既存のデバイス–クラウドルーティング手法は、通常、推定された難易度や信頼性に基づいて、クエリ全体をデバイスまたはクラウドのいずれかに割り当てる粗いタスクレベルの決定を行います。この「すべてか無か」のアプローチは、実行が難易度の異なる相互依存するステップの連続として展開される長期的なエージェントタスクには不適切です。本論文は、タスクの成功と推論コストを効果的にバランスさせるために、より微細なステップレベルの協調戦略が必要であると主張しています。

2. 手法：Hera フレームワーク

著者らは、タスクの成功とクラウド使用量の間のトレードオフを最適化するために設計された軽量なステップレベルのデバイス–クラウドコーディネーターHeraを提案します。Hera は 5 億パラメータのデコーダー専用トランスフォーマーであり、バイナリ分類ヘッドを備えており、各相互作用ステップ $t$ において、状態をローカルデバイス方策 ($\pi_{\theta_d}$) にルーティングするか、クラウド方策 ($\pi_{\theta_c}$) にルーティングするかを決定します。

Hera は、新しい2 段階トレーニングパラダイムを採用しています：

ステージ 1：模倣学習（IL）によるコールドスタート

直接的な強化学習信号なしでルーティング方策を初期化するために、著者らは模倣学習を使用します：

1. 軌道収集： デバイスエージェントとクラウドエージェントの両方を展開して、一連のタスクに対する軌道を生成します。
2. フィルタリング： クラウドがデバイスよりも大幅に優れている（閾値 $\delta$ を超える）タスクを選択し、クラウド支援が必要となる領域を定義します。
3. 監督： デバイスエージェントをクラウドの成功軌道状態に対して「再生」します。ステップレベルの一貫性ラベル $y_t$ が生成されます：
   • $y_t = 1$（クラウドへルーティング）：デバイスの動作 $a^d_t$ がクラウドの動作 $a^c_t$ と一致しない場合。
   • $y_t = 0$（デバイスへルーティング）：動作が一致する場合。
4. トレーニング： ルーターは、このデータセット上でバイナリ交差エントロピー（BCE）損失を使用してバイナリ分類器としてトレーニングされ、その潜在空間を 2 つのモデル間の性能差に整合させます。

ステージ 2：状態グループ化を伴うコスト認識型強化学習（RL）

IL ステージは事前分布を提供しますが、リターンを最大化しつつクラウド呼び出しを最小化するという結合目的を直接最適化するものではありません。Hera は RL を用いて洗練されます：

1. ロールアウト： 現在のルーターを使用して、各タスクに対して複数の軌道（$N$）を収集します。探索を促進するために、温度スケーリングされたベルヌーイ分布を介して確率性が導入されます。
2. 状態グループ化： 異なるロールアウト間で遭遇する同一の状態をグループ化します。各一意の状態 $s$ に対して、システムは以下を推定します：
   • $\hat{R}(d; s)$：決定 $d$（デバイスまたはクラウド）が下された場合の期待軌道リターン。
   • $\hat{C}(d; s)$：決定 $d$ が下された場合の（現在のステップを含む）期待される将来のクラウド呼び出し数。
3. 選好ラベリング： 推定リターンが高い決定を選択することで選好ラベル $y(s)$ を導出します。リターンが比較可能な場合（閾値 $\epsilon$ 以内）、期待される将来のクラウド使用量が低い決定が優先されます。
4. 最適化： ルーターは、これらの選好ラベルに対する BCE 損失を最小化することによって更新され、IL 初期化パラメータからの過度な逸脱を防ぐための $L_2$ 正則化項が追加されます。

3. 主要な貢献

本論文は、3 つの主要な貢献を主張しています：

1. 最初のステップレベルコーディネーター： Hera は、長期的なタスクに対してステップレベルで動作する最初のデバイス–クラウドエージェントコーディネーターとして提示され、従来のタスクレベルルーターよりも粒度の細かい性能–コストのトレードオフに対応します。
2. 2 段階トレーニングフレームワーク： 著者らは、行動の一貫性に基づくコールドスタート初期化のための模倣学習と、軌道リターンとクラウドコストの結合最適化のための状態グループ化強化学習を組み合わせた、特定のトレーニングパイプラインを開発しました。
3. 経験的優位性： 広範な実験により、Hera が最先端のベースラインを上回り、タスクの成功とクラウド使用量の間のより強力なパレートフロンティアを達成することが実証されました。

4. 実験結果

Hera は、3 つの困難な長期的ベンチマークで評価されました：ALFWorld（具象化された家事タスク）、WebShop（e コマースナビゲーション）、およびAppWorld（マルチアプリコーディングタスク）。デバイスモデルは Qwen2.5-7B-Instruct、クラウドモデルは Qwen-Max でした。

主要な知見：

• 性能–コストのトレードオフ： Hera は、クラウドのみを使用した場合の成功率の**92.5%を達成しながら、ステップのわずか46.3%**でクラウドを使用しました。
• ベースラインとの比較：
  • ALFWorld では、Hera は $4.0 \times 10^{-3}$ のコストで 86.1% の成功率を達成し、クラウドのみのベースライン（90.9% の成功率、$11.7 \times 10^{-3}$ のコスト）および他のすべてのルーティングベースライン（例：RouteLLM、FrugalGPT）を大幅に上回りました。
  • WebShop では、Hera は $8.1 \times 10^{-3}$ のコストで 34.1% の成功率に達し、クラウドのみの $14.7 \times 10^{-3}$ のコストでの 35.6% の成功率と比較されました。
  • AppWorld では、Hera は $31.3 \times 10^{-3}$ のコストで 19.7% の成功率を達成し、クラウドのみの $43.8 \times 10^{-3}$ のコストでの 22.6% の成功率と比較されました。
• 遅延： クラウド呼び出しを削減することで、Hera は高い成功率を維持しながら、エンドツーエンドの遅延を大幅に低下させました（例：ALFWorld で 105.5 秒対 174.1 秒）。
• アブレーション研究： RL ステージを除去すると、成功率が低下し、クラウド使用量が増加しました。IL ステージを除去すると、トレーニングが不安定になり、パフォーマンスが低下し、2 段階パイプラインの必要性が確認されました。
• マイクロベンチマーク： 分析により、Hera が深いコンテキスト追跡や複雑な制約の構成を必要とする「重要なステップ」を効果的に特定し、それらをクラウドへルーティングする一方、通常のステップはローカルで処理することが示されました。

5. 意義と主張

本論文は、Hera が粗いタスクレベルのルーティングから微細で動的な協調への決定的な転換を表すと主張しています。その意義は以下の点にあります：

• 高度なエージェントの民主化： 重要なステップのわずかな部分のみがクラウド介入を必要とすることを示すことで、Hera はユーザーデバイスに高度なエージェントを展開するための計算および財務的な障壁を低下させます。
• リアルタイムアプリケーションの実現： このフレームワークは、ロボット制御や対話型アシスタントなどの遅延に敏感なアプリケーションを、禁止的なコストや遅延なしにデバイスハードウェア上で実現可能にします。
• スケーラビリティ： Hera は強力な性能–コストのパレートフロンティアを確立し、リソース制約が最重要となる実世界の環境において、スケーラブルで持続可能、かつ普遍的な自律エージェントへの実現可能な道筋を示唆しています。

著者らは、同期で信頼性の高い接続を仮定していること、およびオフロードされたデータのための組み込みのプライバシー保護メカニズムの欠如といった限界を指摘し、これらを将来の研究分野として特定しています。