技術要約：ヘテロジニアスなシステムにおける、エネルギー効率の高い連合学習および分散学習のための適応的データ・パーティショニング

1. 問題提起

ヘテロジニアスなシステム上での分散モデル学習は、参加デバイス間の処理スループット、メモリ挙動、および動作条件の差異によって著しく阻害される。固定された等分な学習データの割り当てが適用されると、高速なデバイスは作業を早期に完了して、同期ポイントで低速な「ストラグラ（遅延デバイス）」が終了するのを待つ間、アイドル状態となる。このストラグラ効果は、総学習メイクスパン（所要時間）を増大させるだけでなく、同期した参加者が集団的な進捗が可能になるまで活動を継続しなければならないため、デバイスのエネルギー消費量も増大させる。

この問題を軽減するための既存のアプローチは、多くの場合、参加者の選択（低速なデバイスの除外）、非同期集約、最適化手法の変更、またはモデルの適応に依存している。近年のシステムではデータの再分配を探索しているものもあるが、その多くは学習されたコントローラー、事前探索、特定のハードウェア設定、あるいは同期セマンティクスや参加セットの変更に依存している。異なる同期およびデータ所有境界（連合学習や分散データ並列学習など）を横断して動作しつつ、元の学習構成、モデル、および同期ルールを維持できる共通のクローズドループ・メカニズムには、依然として空白が存在する。

2. 手法

著者らは、観測された学習時間と測定されたデバイスあたりのエネルギーに基づき、ラウンド境界において固定されたサンプル予算を再配分する、軽量で測定駆動型の割り当てコントローラーを提案する。このコントローラーは、モデル、損失関数、オプティマイザ、または参加デバイスのセットを変更することなく動作する。

実行レジーム

本研究では、以下の3つの異なる実行レジームにおいてコントローラーを評価している。

1. 周期的なモデル平均化 (PMA): ワーカーは信頼されたドメイン内で共有データを用いて独立したモデルレプリカを学習し、ラウンド境界でのみ同期する。
2. 分散データ並列 (DDP): ランクは各オプティマイザステップの後に勾配を同期する。このレジームでは、パディングやダミーバッチを導入せずに、不均一なランクあたりのワークロードを扱うための特定のバッチサイズ戦略が必要となる。
3. 階層型連合学習（イントラ・サイロDDPを含む）(HFL-DDP): デバイスは固定された「サイロ」（データの所有ドメイン）にグループ化される。サイロ内のランクはDDPを使用し、サイロモデルは連合ラウンド境界で集約される。再配分は、データ所有権を尊重するため、同一サイロ内のランクに限定される。

適応的コントローラー

コントローラーは以下のように機能する。

• 測定: 各ラウンド $r$ の終了時に、各参加者 $i$ はその処理時間 ($t_i^{(r)}$)、エネルギー消費量 ($e_i^{(r)}$)、およびサンプル数 ($n_i^{(r)}$) を報告する。
• コスト計算: 1サンプルあたりのコストは $\tau_i^{(r)} = t_i^{(r)} / n_i^{(r)}$ および $\epsilon_i^{(r)} = e_i^{(r)} / n_i^{(r)}$ として導出される。これらはノイズを低減するために指数移動平均 (EMA) を用いて平滑化される。
• 重み付き比例分割: コントローラーは、ユーザーが選択した時間に関する重み $w_t$ とエネルギーに関する重み $w_e$ を使用して、無次元の結合コスト $c_i^{(r)}$ を計算する。
  • $c_i^{(r)} = w_t \frac{\hat{\tau}_i^{(r)}}{\text{median}(\hat{\tau})} + w_e \frac{\hat{\epsilon}_i^{(r)}}{\text{median}(\hat{\epsilon})}$
• 割り当て: 参加者には、そのコストに反比例してサンプルが割り当てられる。「デッドバンド」メカニズムにより、コストの差が無視できる場合には不要な再配分を防ぐ。
• DDP固有の仕様: DDPの場合、コントラーラーは、サンプルを再分配するステップレベルのバッチサイズ・スケジュールを構築することで、すべてのランクがラウンドあたり同じ数のオプティマイザステップを実行するように保証し、サンプル平均勾配の目的を維持する。

実験設定

評価は、Arm、RISC-V、およびx86アーキテクチャを特徴とする11台のデバイスからなるヘテロジニアスなSystem-on-Chip (SoC) テストベッドを用いて実施された。3つの教師あり学習タスク（MNIST：画像分類、ERA5：時系列回帰、IMDB：テキスト感情分類）が使用された。本研究では、適応型ポリシーを以下のものと比較した。

• 等分割り当て: 一様なサンプル分割。
• 静的プロファイル済み: 一度の測定後に固定された割り当て。
• Oort型選択: 低速な参加者を除外するベースライン。
• FedAsync: 非同期PMA。
• EMAバッチサイジング: DDPのためのステップレベルのスループット・ベースライン。

3. 主な貢献

本論文は、主に4つの貢献を提示している。

1. 測定駆動型コントローラー: 観測されたサンプルあたりの時間とエネルギーに基づいて、全参加セットと同期セマンティクスを維持しながら、固定されたサンプル予算を再配分する軽量なメカニズム。
2. 統一された設計: PMA、DDP、およびHFL-DDPに適用可能な共通の割り当て設計であり、階層的設定におけるデータ所有権の境界に関する特定の制約を備えている。
3. エネルギー認識型目的関数: 時間とエネルギーの相互作用を明らかにする、調整可能な重みを持つ目的関数。これは、エネルギーの重みを最大化することが常に総エネルギーを最小化するという仮定に異を唱えるものである。
4. 包括的な評価: ヘテロジニアスなテストベッド上で、3つの学習タスクと3つの同期レジームにわたる再現実験を行い、割り当ての変化と、計算の不均衡、同期の露出、メイクスパン、および測定されたエネルギーとの関連付けを行った。

4. 結果

ヘテロジニアスなテストベッドにおける実験により、以下の知見が得られた。

• メイクスパンとエネルギーの削減: 適応的パーティショニング（特に「時間のみ」および「低エネルギー」ポリシー）は、等分割り当てと比較して、訓練のメイクスパンおよび測定されたデバイスエネルギーを一貫して減少させた。PMAにおいて、「時間のみ」ポリシーは、タスク全体を通じて中央値メイクスパンを約71〜80%、エネルギーを28〜40%削減した。
• ストラグラの緩和: コントローラーは計算の不均衡を大幅に減少させた。DDPにおいて、フォワードパス時間の変動係数は、等分割り当ての約0.8〜1.1から、適応型では約0.02〜0.18へと低下し、これが同期待ち時間の減少と直接相関している。
• 収束: 適応型ポリシーは、等分割り当てよりも早く低目的関数領域（ホールドアウト損失/MSE）に到達し、多くの場合、大幅に短い時間で同等の最終品質を達成した。
• 非単調なエネルギー応答: エネルギーの重み ($w_e$) を大きくしても、必ずしも総エネルギーが減少するわけではなかった。エネルギー効率は高いが低速なデバイスにより多くの仕事を割り当てると、同期実行ウィンドウが延長され、全参加者の累積エネルギーが増加する場合がある。特定の文脈（例：特定のタスクにおけるHFL-DDP）では、小さなエネルギー重み ($w_e = 0.25$) を設定することが、「エネルギーのみ」($w_e = 1$) よりも優れたトレードオフを提供することが多い。
• オーバーヘッド: スケジューリング計算自体は無視できるほど小さく、ラウンド時間の0.02%未満であった。

5. 意義と主張

本論文は、学習構成や同期ルールを変更することなく、分散学習レジーム全体でストラグラを緩和するための実用的な方法として、測定ベースのデータ・パーティショニングを提供すると主張している。

• 実用性: 本手法は、事前のプロファイリング、学習されたポリシー、またはオプティマイザやモデルアーキテクチャの変更を必要としない。実行時のテレメトリを用いたクローズドループ・コントローラーとして動作する。
• コンテキスト依存の最適化: 著者らは、時間とエネルギーの最適なバランスは、特定のタスクや実行レジームに依存することを強調している。「時間のみ」は、メイクスパンを最小化するための最も信頼できるデフォルトであるが、特定の文脈（例：特定のタスクにおけるHFL-DDP）では、小さなエネルギーの重みが有益となる場合がある。
• 先行研究との区別: Oortのような参加者選択手法とは異なり、本アプローチはすべてのプロビジョニングされた参加者を保持する。非同期手法とは異なり、対象となるレジームの同期セマンティクスを維持する。
• 限界: 著者らは、結果が評価された11台のデバイスのテストベッドおよび固定されたネットワーク条件に特有であることを謙虚に述べている。既存のあらゆる手法に対して普遍的な優位性を主張しているのではなく、単純な測定駆動型の固定予算の再配分が、ヘテロジニアスな環境において、静的な等分分割や一回限りのプロファイリングよりも優れた性能を発揮できることを示している。