技術要約：車載エッジネットワークにおける動的なタスク・オフローディング

問題提起

本論文は、車載エッジコンピューティング（VEC）ネットワークにおける動的なタスク・オフローディングという極めて重要な課題に取り組んでいる。車載インターネット（IoV）の拡大に伴い、自動運転、没入型ゲーミング、ホログラフィック通信などのアプリケーションでは、エンドツーエンドのレイテンシを10〜100 ms、高い帯域幅、および信頼性といった厳格なサービス品質（QoS）が要求される。

核心となる困難は、車両の高い移動性とネットワークリソースの動的な性質にある。車両が路側機（RSU）のカバーエリア間を移動する際、滞在時間（sojourn time）が正確に予測されていない場合、進行中のタスクが失敗したり、再送が必要になったりする可能性がある。既存のスケジューリング戦略は、一定速度や単一経路のモビリティといった簡略化された仮定に依存していることが多く、現実世界の交通における複雑で双方向的かつマルチパスな移動パターンを考慮できていない。さらに、車両は限られたオンボード計算リソースしか持たないため、タスクの期限（デッドライン）とエネルギー消費およびレイテンシのバランスをとる効率的なオフローディング決定が必要となる。

手法

1. システムおよびモビリティ・モデリング

著者らは、VEC環境を、$V$ 個の移動車両と、中央クラウドに接続された $R$ 個のRSUからなるネットワークとしてモデル化している。

• モビリティ・モデル: 車両の動きはマルコフ報酬過程（MRP）を用いてモデル化されている。これにより、車両の軌跡、そして決定的な要素である特定のRSUのカバー範囲内に車両が滞在する滞在時間（$\Delta^r_v$）を予測することが可能になる。期待される滞在期間は、RSU間の遷移確率と時間分布に基づいて算出される。
• タスク・モデル: タスクは、入力データサイズ（$d_{r,t}$）、計算負荷（$c_{r,t}$）、およびデッドライン（$\delta_{r,t}$）によって定義される。タスクは、RSUでローカルに実行されるか、特定の車両にオフロードされる。
• 効用関数: デッドラインの遵守に報酬を与え、エネルギー消費にペナルティを与える、タスクごとの効用関数が設計されている。
  $$U_{r,t} = w_d \max\left(0, 1 - \frac{D_{r,t}}{\delta_{r,t} + \epsilon}\right) - w_e \frac{E_{r,t}}{E_{max}}$$
  ここで、$D_{r,t}$ は総遅延（伝送＋実行）、$E_{r,t}$ はエネルギーコストである。

2. 問題定式化

タスク・オフローディング問題は、以下の制約を満たしながらシステム全体の効用を最大化することを目的とした、初期の**整数線形計画法（ILP）**問題として定式化される。

• 割り当て（各タスクは必ず一度だけ処理されなければならない）。
• デッドラインの遵守。
• 滞在時間（オフロードされたタスクは、車両がRSUの範囲を離れる前に完了しなければならない）。
• RSUおよび車両の両方の計算容量。

著者らは、このILPはNP困難であり、決定変数の指数関数的な増加とリアルタイム適応の必要性から、従来の最適化手法による直接的な解決は、大規模で動的なネットワークにおいては計算量的に不可能であると指摘している。

3. 提案フレームワーク：A3CベースのDRL

静的な最適化の限界を克服するため、本論文では**非同期アクター・クリティック（A3C）アルゴリズムを用いた深層強化学習（DRL）**フレームワークを提案している。

• マルコフ決定過程（MDP）: 問題は、MDPのタプル $(S, A, P, R, \gamma)$ にマッピングされる。
  • 状態空間 ($S$): 車両の位置、速度、RSUおよび車両の利用可能な計算/ストレージリソース、キューに入ったタスク、および予測された滞在時間を含む。
  • 行動空間 ($A$): タスクを特定の車両にオフロードするか、あるいはローカルで処理するかという決定。
  • 報酬関数 ($R$): 効用関数から派生し、遅延削減とエネルギー効率のバランスをとる。
• A3Cアーキテクチャ: フレームワークは、環境と非同期的に相互作用する複数の並列ワーカー・エージェント（車両やRSUを表す）を採用している。各ワーカーは、計算されたアドバンテージに基づいて勾配を蓄積した後、ローカルのポリシーおよびバリュー・ネットワークを維持し、共有のグローバル・ネットワークを更新する。この非同期的なアプローチは、同期的な手法と比較して、学習を加速させ、動的な環境における安定性を向上させる。

主な貢献

1. モビリティを考慮したモデリング: 車両の滞在時間を正確に予測するためにマルコフ報酬過程を統合し、一定速度の仮定を超えた、より高度な予測を実現した。
2. ILP定式化: タスクのデッドライン、車両の滞在時間、およびリソース制約を明示的に組み込んだ、タスク・オフローディング問題のための数学的なILP定式化の開発。
3. A3Cベースのスケジューリング: NP困難なスケジューリング問題を解決するために、A3Cを用いた深層強化学習フレームワークの設計。このアプローチは、並列学習を活用することで、動的なネットワーク条件に適応し、レイテンシとエネルギーのトレードオフを最適化する。
4. 包括的な評価: 提案手法であるA3CRLを、4つのベースライン・アルゴリズム（DDPG、DDQN、SA-PSO（模擬焼結粒子群最適化）、およびGA（遺伝的アルゴリズム））と比較する広範なシミュレーションを実施。

パフォーマンス結果

Python環境において、車両数（10–50）、タスク数（50–250）、車両速度（30–70 km/h）を変化させてシミュレーションを行った。提案されたA3CRLフレームワークは、すべての指標において優れた性能を示した。

• サービス遅延: A3CRLは、車両密度の変化に対しては2番目に優れた手法（DDQN）と比較して最大19%、タスク負荷の変化に対しては最大**29%**のサービス遅延削減を達成した。
• エネルギー消費: 本フレームワークは、車両密度の変化に対して最大35%、タスク負荷の変化に対して最大40%（ベースラインと比較）エネルギー効率を向上させた。これは、エネルギーを考慮した目的関数と効率的なタスク割り当てによるものである。
• 成功的なオフローディング率: A3CRLは、最も高いタスク完了率を維持し、2番目に優れた戦略に対して最大**13%**の向上を示した。これは、予測された滞在時間に基づき、安定したリンクと十分なリソースを持つ車両を選択できるアルゴリズムの能力によるものである。
• 収束性: 学習の収束に関して、A3CRLはDDQNよりも高い平均報酬（11.64 vs 11.21）と低い分散（0.39 vs 0.46）を達成しており、より安定かつ効果的な学習が行われていることを示している。

意義と主張

本論文は、提案されたA3Cベースのフレームワークが、VECネットワークにおけるリアルタイムのタスクスケジューリングのためのスケーラブルで適応的、かつ効率的なソリューションを提供すると主張している。モビリティ予測（滞在時間）をスケジューリングの決定プロセスに直接統合することで、本フレームワークは、車両の動きの動的な性質を見落としがちな既存手法や、スケールすることに失敗する貪欲な戦略の限界に対処している。

著者らは、従来の最適化手法（ILPなど）は理論的には健全であるが、計算オーバーヘッドのため、大規模で動的なIoV環境においては実用的ではないと強調している。提案されたDRLアプローチは、このギャップを効果的に埋め、エージェントが環境との相互作用を通じて最適なオフローディングポリシーを学習することを可能にする。結果は、深層強化学習、特にA3Cが、大規模なタスク・オフローディングを管理する複雑な車載エッジネットワークにおいて大きな潜在能力を持っていることを示唆している。

論文は、今後の課題として、実用的な動的環境における堅牢性をさらに高めるための、マルチオブジェクティブ最適化、協調的オフローディング戦略、および実験的な検証を挙げ、控えめに締めくくられている。