技術的サマリー：異種エッジ - クラウド連続体における適応的 DNN 分割とオフローディング

問題定義

モノのインターネット（IoT）デバイスの普及により、深層ニューラルネットワーク（DNN）による高度な処理を必要とする膨大なデータ量が生成されています。中央集権的なクラウド実行は計算能力を提供しますが、リアルタイム IoT アプリケーションには許容しがたい遅延、帯域幅の制約、プライバシーリスクをもたらします。一方、リソース制約のあるエッジデバイス上で DNN を完全に実行すると、高いエネルギー消費と遅い推論時間につながることが多いです。

エッジ - クラウド連続体全体に推論を分散させる既存のソリューションは、通常静的な分割戦略に依存しています。これらのアプローチは、デプロイ前にニューラルネットワーク層の固定された分割点を定義するものであり、変動するネットワーク帯域幅、ノードの移動性、または変化する計算負荷といったランタイムのダイナミクスに適応できません。さらに、文献には重要なギャップが存在します：提案されたフレームワークの多くは、理想的なネットワーク条件を仮定したシミュレーション環境で評価されており、物理ハードウェア上で検証されたものはほとんどありません。加えて、多くの実世界研究は主に遅延やタスク完了時間に焦点を当てており、主要な最適化目標としてエネルギー消費を軽視する傾向があります。

手法

著者は、厳格な遅延制約を遵守しつつエネルギー消費を最小化するために、DNN 推論ワークロードを異種三層連続体（エッジ、フォグ、クラウド）に動的に分割するように設計された適応的分割およびオフローディングフレームワークを提案します。

システムアーキテクチャ

このフレームワークは、以下の物理的テストベッド上で動作します：

• エッジ： Raspberry Pi 4（リソース制約あり）。
• フォグ： ラップトップ（Intel Core i7）。
• クラウド： 高性能デスクトップ PC（NVIDIA RTX 4070 Ti GPU）。

このアーキテクチャは、$i$ 層がエッジで実行され、$i+1$ 層から$j$ 層がフォグで実行され、$j+1$ 層から$N-1$ 層がクラウドで実行されるような分割スキームを可能にします。

アルゴリズムパイプライン

このフレームワークは 5 段階のパイプラインに従います：

1. オフラインプロファイリング： ランタイム前に、システムはモデルをプロファイリングし、2 つのルックアップテーブルを生成します：

   • アクティベーションサイズテーブル： 通信コストを推定するために、各特徴境界における中間テンソルのサイズを記録します。
   • 相対計算重みテーブル： 単一の実行に基づいて、各層に総推論作業の正規化された割合を割り当て、ランタイム測定のスケーリングのための安定した参照として機能します。

2. 2 点リンクプロービング： 過大なオーバーヘッドなしにネットワーク条件を推定するために、システムはネットワークホップ間で対照的なサイズの 2 つのペイロード（$s_1, s_2$）を送信します。往復時間（RTT）を平均化することで、リンクを$rtt(s) = \omega + s/\beta$としてモデル化し、固定オーバーヘッド（$\omega$）と実効スループット（$\beta$）を導き出します。

3. 候補分割推定： 任意の候補分割$(i, j)$に対して、システムはエンドツーエンドの遅延とエネルギーを予測します。遅延は、プロファイリングされた重みとノード速度から導出された計算時間の合計と、リンクモデルから導出された転送時間の合計です。エネルギーは、ノード固有の計算時間に実測の電力率を乗じることで推定されます。

4. 最良候補探索： システムはすべての有効な分割ペアを評価します。候補は、遅延期限（$L_{max}$）を満たし、静的なベースラインよりも劣らないようにフィルタリングされます。最適な分割は、重み付けされた目的スコアを最小化します：
   $$S(i, j) = w_{end}\frac{\hat{E}_{end}}{n_{end}} + w_{tot}\frac{\hat{E}_{tot}}{n_{tot}} + w_{lat}\frac{\hat{L}}{n_{lat}}$$
   ここで、重みは総システムエネルギーおよび遅延よりもエッジエネルギー消費（0.6〜0.9）を優先します。

5. 適応的分散推論スケジューリング：

   • 初期化： システムは、ノードごとの計算レートとリンクモデルを適合させるために、ベースライン分割と 3 つの「プローブ」分割（エッジ重視、バランス型、クラウド重視）を実行します。
   • 定常状態： システムは、現在の分割を推論のウィンドウにわたって実行します。定期的に、リンクを再プローブし、レートを再適合させることで環境を再評価します。新しい候補が目的スコアを少なくとも 3% 改善した場合（または遅延期限が違反された場合）、システムは新しいパーティションに切り替わります。遅延違反中に改善された候補が存在しない場合は、静的なベースラインに戻ります。

主要な貢献

本論文は、3 つの主要な貢献を概説しています：

1. 適応的フレームワーク： 遅延制約を違反することなくエネルギー効率を優先し、異種エッジ - クラウド連続体全体にワークロードを動的に分割する、DNN 推論のための新規フレームワーク。
2. 物理的テストベッド： 従来の研究におけるシミュレーションへの依存に対処するため、実ハードウェア上で垂直オフローディング戦略を評価するために構築・活用された、完全機能の三層テストベッド（Raspberry Pi、ラップトップ、デスクトップ PC）。
3. 実証的評価： 広く採用されている 3 つの CNN（VGG16、AlexNet、MobileNetV2）を使用した包括的な実世界実験。単一デバイス、静的、および適応的構成全体で、ハードウェア測定されたエネルギーおよび遅延メトリクスを収集しました。

結果

このフレームワークは、単一デバイス実行および静的分割（固定された均等なワークロード分散）の 2 つのベースラインに対して評価されました。

• エネルギー削減： 適応的フレームワークは、静的なベースラインと比較して有意なエネルギー節約を達成しました：
  • VGG16： 35.82% 削減（5.69 J から 3.65 J）。
  • AlexNet： 35.70% 削減（0.68 J から 0.43 J）。
  • MobileNetV2： 27.09% 削減（0.92 J から 0.67 J）。
• 遅延削減： エンドツーエンドの遅延も削減されました：
  • VGG16： 6.34% 削減。
  • AlexNet： 22.92% 削減。
  • MobileNetV2： 14.20% 削減。
• 観察： MobileNetV2 の場合、ネットワークオーバーヘッドにより静的分割は実際には単一デバイス実行よりも遅延を増加させましたが、適応的フレームワークは分割点をシフトさせることでこれを効果的に緩和しました。結果は、エネルギー削減がフレームワークの目的重み付けを反映して遅延削減を上回ることを一貫して示しています。

意義と主張

本論文は、その知見が動的で異種環境において静的な手法に対する適応的分割の優位性を確認していると主張しています。シミュレーションではなく実ハードウェア上でアプローチを検証することで、オフローディング戦略の実用的な性能に関する文献における重要なギャップに対処しています。

著者は、そのフレームワークがリアルタイムの遅延制約を違反することなく、リソース制約のあるエッジデバイス上のエネルギー消費を成功裡に最小化すると主張しています。強化学習（RL）ベースのアプローチや複雑な並列推論アーキテクチャとは異なり、このフレームワークは単一の重み付け目的関数の軽量な定期的な評価に依存しており、ネットワーク帯域幅の変動やノード負荷の変化といった環境変化に継続的に適応可能です。結果は、遅延削減において最先端の作品と同等であると提示されていますが、既存の異種エッジ - クラウド研究でしばしば見過ごされているエネルギー効率に明確な焦点を当てています。