技術要約：リソース制約のあるデバイスにおける言語モデルの効率的なゼロ次フェデレーテッド・ファインチューニング

1. 問題提起

フェデレーテッド学習（FL）は、分散されたデータソース間で大規模言語モデル（LLM）をファインチューニングするための、プライバシー保護に優れたフレームワークを提供します。しかし、これらのモデルをリソース制約のあるエッジデバイスにデプロイするには、大きな障害が存在します。

• メモリ制約: 1次手法（標準的なバックプロパゲーションなど）やLoRAのようなパラメータ効率の高い手法は、勾配計算のために中間活性化関数を保存する必要があります。これにより、RoBERTa-largeで約4 GBといったメモリフットプリントが発生し、ほとんどのエッジデバイスの能力を超えてしまいます。
• 通信オーバーヘッド: フルモデルのパラメータや、低ランク適応行列（LoRA）であっても、送信には膨大なアップロードコストがかかり、特に低帯域幅の無線環境において問題となります。
• ゼロ次（ZO）法の限界: MeZOのようなゼロ次最適化（ZO）手法は、バックプロパゲーションを排除し、フォワードパスと擬似ランダム摂動を使用することでメモリ効率を高めますが、収束が遅く、計算需要が高いという課題があります。安定した勾配推定を実現するためには、既存のZO-FL手法は訓練ステップごとに大量の摂動を必要とし、結果として過剰なフォワードのみの演算量（FLOPs）を招きます。

ここには決定的なトレードオフが存在します。現在のZO手法はメモリ効率は高いものの計算コストが高く、一方で1次手法は計算効率は高いもののメモリ集約的であるという点です。

2. 手法：FedSPもZO

著者らは、ZO-FLの計算負荷を軽減しつつ、そのメモリおよび通信の利点を維持するために設計された新しいフレームワークである、Federated Split-Perturbation Zeroth-order Optimization (FedSPZO) を提案します。

コアメカニズム：分割摂動戦略

FedSPZOは、ニューラルネットワークの逐次的かつ構成的な構造を利用して、モデルを2つの連続するブロック、$f_1$（最初の大きなブロック）と $f_2$（2番目の小さなブロック）に分割します。ここで、$y = f_2(\theta_2; f_1(\theta_1; B))$ となります。

• 非対称な摂動予算: ネットワーク全体に同じ数の摂動を適用するのではなく、FedSPZOは2番目の小さなブロック（$f_2$）により多くの摂動予算を割り当てます。
  • ブロック1 ($\theta_1$): $P_1$ 個の方向で摂動を加えます。
  • ブロック2 ($\theta_2$): $P_2$ 個の方向で摂動を加えます。ここで、$P_2 = 2 \times P_1 \times P_s$ です。
• 活性化の再利用: キーとなる効率化は、中間活性化関数の再利用によるものです。
  1. クライアントは $\theta_1$ を単一の方向（$+z_1$）で摂動させ、 $f_1$ のフォワードパスを実行して中間出力 $+y_l$ を生成します。
  2. この単一の $+y_l$ が、 $f_2$ の $P_s$ 個の異なる摂動（正および負の方向の両方）の入力として使用されます。
  3. このプロセスは、$\theta_1$ の負の方向（$-z_1$）についても繰り返され、$-y_l$ を生成し、それが別の $P_s$ 個の $\theta_2$ の摂動に対して再利用されます。
• 勾配推定:
  • $\theta_2$ の勾配は、すべてが $f_1$ からの共通の入力を共有する $P_2$ 個の摂動による損失の差を用いて推定されます。
  • $\theta_1$ の勾配は、複数の $f_2$ の摂動による損失の差を平均化することによって推定されます。これにより、$f_2$ の確率性によって導入されるノイズが軽減されます。

通信プロトコル

FedSPZOは、通信効率の高い設計を維持しています。

• クライアント側: クライアントは $K$ ステップのローカル訓練を行います。モデルパラメータはアップロードしません。代わりに、摂動ベクトルを再生するために使用されるスカラー勾配値（$G_1, G_2$）および乱数シード（$S_1, S_2$）のみをアップロードします。
• サーバー側: サーバーは、受信したシードから摂動ベクトルを再生し、スカラー更新を適用することで、正確なクライアントモデルを再構築します。これにより、クライアントがモデルの重みを送信する必要がなくなり、パラメータベースのFLと比較してアップロードオーバーヘッドが数桁削減されます。

3. 主な貢献

1. FedSPZOフレームワーク: モデルを2つのブロックに分割し、より深く小さい方のブロックに大きな摂動予算を割り当てる新しいZO-FL手法。これは、中間活性化関数の再利用を活用して、より少ないフォワード評価で全ネットワークを更新することを可能にします。
2. 計算効率: 本手法は、ZOのメモリおよび通信の利点を維持しながら、最新のZO-FLベースライン（具体的には Fang et al., 2022 および Li et al., 2025）と比較して、最大3倍の計算削減を実現します。
3. 包括的な評価: RoBERTa-large、OPT-1.3B、LLaMA-3-3.2B モデルを用いた複数のデータセット（SST-2, RTE, WiC, MultiRC, SQuAD, BoolQ）に対する広範な実験により、FedSPZOが総GFLOPsを大幅に削減しつつ、1次バックプロパゲーション手法と同等の精度（軽微な低下を伴う）を維持できることを実証しています。
4. アブレーション解析: 著者らは、モデルの分割、摂動予算、および独立したブロックごとの勾配計算に関する研究を行い、分割摂動戦略が、独立したブロック推定や一様な摂動スキームよりも優れていることを検証しました。

4. 実験結果

評価では、FedSPZOを1次手法（FedAvg, FedAvg+LoRA）および他のZO-FL手法（FedZO, DecomFL）と比較しています。

• メモリ効率: FedSPZOは、推論に近いメモリフットプリントを維持します。コンテキスト長256のRoBERTa-largeの場合、FedAvgは約4.9 GB、LoRAは約3.9 GB必要ですが、FedSPZOは約1.75 GBで済みます。これにより、LoRAや標準的なFLが不可能なエッジデバイスでもFedSPZOの実行が可能になります。
• 通信オーバーヘッド: FedSPZOは、LoRAと比較してアップロードコストを3桁以上削減します。LoRAは低ランク行列（数百MB）をアップロードしますが、FedSPZOはスカラー勾配とシード（キロバイトからメガバイト単位）のみをアップロードします。
• 計算コスト:
  • FedAvg(LoRA)との比較: ZO手法特有の収束速度の遅さにより、FedSPZOは合計計算量が多くなります（約17倍）。
  • 他のZO手法との比較: FedSPZOは大幅に効率的です。様々なモデルとデータセットにおいて、DecomFLおよびFedZOと比較して2.1倍から3倍の計算削減を実現しています。
• 精度: FedSPZOは、FedAvg(LoRA)と同等の精度を達成しており、精度の低下はわずかです（例：SST-2で<1%、RoBERTaのRTEで~4%）。バックプロパゲーションを行うフルFedAvg（上限値）よりはわずかに劣りますが、リソース制約の文脈ではその差は軽微であるとみなされます。
• 訓練時間: シミュレートされたエッジ環境（Jetson Orin Nano）において、FedSPZO（RoBERTa/SST-2で2.6時間）は、LoRA（0.45時間）よりは遅いものの、DecomFL（6時間）やFedZO（166時間）よりも劇的に高速です。

5. 重要性と主張

本論文は、FedSPZOをリソース制約のある環境における現実的なトレードオフとして位置付けています。

• エッジデバイス向け: メモリと通信帯域が主なボトルネックであり、LoRAや標準的なバックプロパゲーションが機能しないシナリオにおいて、好ましい選択肢として提示されています。
• バランスの追求: 著者らは、FedSPZOがZOの計算コストを排除するものではないことを認めた上で、それを大幅に軽減していることを強調しています。これは、バックプロパゲーションのための活性化関数の保存が不可能であり、フルモデルの更新を送信するコストが高すぎるデバイスにおいて、LLMのファインチューニングを実現するための実行可能な道筋を提供します。
• 今後の展望: 著者らは、FedSPZOは既存のZO手法よりも計算効率は向上しているものの、生の処理速度においては依然として1次手法に及びません。今後の研究では、このギャップをさらに埋めるために、より低精度の推論専用アクセラレータ上でのZOの探索を目指しています。

結論として、FedSPZOは、1次FLの高メモリ/通信コストと、従来のZOの高計算コストを効果的に切り離すことに成功しており、これまで不可能と考えられていたシナリオでのLLMファインチューニングを可能にしています。