技術的概要：GLoRA – 分散型 LoRA のためのゲージ意識型低ランクサーバー表現

1. 問題定義

分散学習（FL）と低ランク適応（LoRA）の組み合わせは、分散データおよびリソース制約下での大規模言語モデル（LLM）の微調整に向けた有望なパラダイムを提供する。しかし、既存の分散型 LoRA 手法は、集約規則における根本的な意味的ミスマッチに悩まされている。

核心的な問題はゲージ曖昧性である。LoRA 更新は低ランク積 $\Delta W = BA$ として表現される。この因数分解は一意ではない。任意の可逆行列 $Q$ に対して、ペア $(BQ, Q^{-1}A)$ は全く同じ更新行列 $\Delta W$ を生み出す。集中型トレーニングでは、この曖昧性は無害である。なぜなら、因数は単一のオプティマイザ内部に留まるからである。しかし、分散環境では、クライアントが生の因数 $(B, A)$ をサーバーに送信する。もしサーバーがこれらの生因数を直接集約する（例えば、$B$ と $A$ を個別に平均化する）場合、結果として得られるサーバー更新は、個々のクライアントが行う任意の座標選択（ゲージ）に依存することになる。その結果、本質的に同一のクライアント更新であっても、クライアント内部のパラメータ再設定に依存して異なるサーバーモデルが生み出され、集約規則が未定義となる。

最近の研究は「不正確な集約」（$\sum B_i A_i \neq (\sum B_i)(\sum A_i)$ という代数的誤差）に対処してきたが、より根本的なゲージ依存性は解決されていない。生身の更新行列 $\Delta W_i$ を集約してから再因数分解するという単純な解決策は、意味的な正しさを回復させるが、サーバーが現代の LLM の規模では非現実的な大規模な $d_{out} \times d_{in}$ 行列を具体化して分解する必要があるため、LoRA の効率性向上を破壊してしまう。

2. 手法：GLoRA

著者は、密な更新に回帰することなく意味的な正しさを維持するサーバー表現であるGLoRA（ゲージ意識型低ランク集約）を提案する。GLoRA は、更新幾何学と因数座標を分離することで動作する。

2.1 ゲージ不変部分空間の抽出

生因数を集約する代わりに、GLoRA はまず各クライアントの更新の本質的な幾何学を抽出する。クライアント更新 $\Delta W_i = B_i A_i$ に対して、サーバーは $B_i$ に対して縮小 QR 分解を実行する：
$$B_i = U_i T_i$$
ここで、$U_i$ は更新の列空間を張る正規直交基底であり、$T_i$ は座標を含む。更新は $\Delta W_i = U_i \tilde{A}_i$（ただし $\tilde{A}_i = T_i A_i$）として書き換えられる。
重要なのは、$U_i$ が張る列部分空間がゲージ不変であることである。これは、元の因数に適用される任意の可逆変換 $Q$ によっても変化しない。サーバーは、この幾何学を直交射影 $P_i = U_i U_i^\top$ を用いて表現する。

2.2 合意部分空間の構築

サーバーはこれらの射影を集約して、共有された合意部分空間 $U_{ref}$ を推定する：
$$K = \sum_{i} p_i P_i = \sum_{i} p_i U_i U_i^\top$$
サーバーは $K$ のトップ-$R$ 固有ベクトルを計算して、参照基底 $U_{ref}$ を形成する。このステップは、完全な密な更新行列ではなく、クライアント基底の細い行列上で動作するため、計算効率的である。$U_{ref}$ は、現在の更新ラウンドに対する共通の座標系を定義する。

2.3 共有座標系における集約

$U_{ref}$ が確立されると、各クライアントの更新はこの共有フレームに射影される：
$$Z_i = U_{ref}^\top \Delta W_i = U_{ref}^\top U_i \tilde{A}_i$$
その後、サーバーはこれらの射影された座標を直接集約する：
$$Z_{global} = \sum_{i} p_i Z_i$$
最終的なサーバー状態は、更新 $\Delta W_{global} = U_{ref} Z_{global}$ を表す低ランクペア $(U_{ref}, Z_{global})$ である。これにより、サーバー更新は任意の因数座標ではなく、本質的な行列 $\{\Delta W_i\}$ によって定義されつつ、完全に低ランクのまま維持される。

2.4 異質性に対応するランク互換性のある読み出し

異なるランク予算（$r_i$）を持つクライアントをサポートするために、GLoRA はコア・テール読み出しメカニズムを採用する。サーバーは、エネルギーに基づいて成分を順序付けるために SVD を介して $Z_{global}$ を分解する。

• コア: グローバルな一貫性を維持するために、すべてのクライアントにトップ成分の共有セットが割り当てられる。
• テール: 残りのランク予算は、クライアント固有の履歴更新幾何学（整合スコア）に基づいて割り当てられる。履歴が利用できない場合は、グローバルなスペクトル順序に基づいて割り当てられる。
  これにより、異質なクライアントは、個別の集約オブジェクトや密な再因数分解を必要とせずに、同一のサーバー状態から異なるランクのアダプターをインスタンス化できる。

3. 主要な貢献

1. ゲージ依存性の特定: 本論文は、因数レベルの分散型 LoRA 集約における意味的失敗モードとしてゲージ依存性を特定し、代数的な「不正確な集約」問題と区別する。ゲージ曖昧性下では、生因数は有効な集約対象ではないと主張する。
2. GLoRA フレームワーク: 著者は、コンパクトな低ランクサーバー状態を維持するゲージ意識型集約手法を提案する。これは、合意部分空間と共有参照座標を通じて更新を集約し、生因数集約と密な更新の具体化の両方を回避する。
3. 異質性サポート: GLoRA は、単一のサーバー状態から異なるランクのアダプターをインスタンス化するランク互換性のある読み出しを導入し、異質なクライアント容量とスパースな参加を自然にサポートする。
4. 実証的検証: 広範な実験により、GLoRA はデータ異質性、リソース異質性、タスク異質性のすべてにおいて、ベースライン（FedIT、FedEx-LoRA、FedSA-LoRA、HetLoRA、FlexLoRA）を一貫して上回ることが示された。

4. 実験結果

著者は、GLoRA を GLUE（RoBERTa-Base 使用）および SuperNI（LLaMA-1B、Qwen2-7B、Gemma-2-9B 使用）において、様々な条件下で評価した：

• データ異質性: 重度のラベル歪み（Dir(0.1)）下において、GLoRA は GLUE タスクで最高平均精度を達成し、ほとんどのタスクで収束に失敗した FedSA-LoRA や他のベースラインを大幅に上回った。
• リソース異質性: 異質なクライアントランク（正規分布、一様分布、重尾分布）を有する設定において、GLoRA は 15 のタスク分布ペアのうち 14 で 1 位となり、変動するアダプター容量に対する堅牢性を示した。
• スパースなクロスタスク FL: 10% のクライアント参加と未見のタスク評価を伴う SuperNI において、GLoRA はドメイン内および未見のクライアントの両方で最高の ROUGE-L スコアを達成し、ランク固有の切り捨て手法と比較して優れた汎化性能を示した。
• スケーラビリティ: GLoRA は、より大規模なバックボーン（7B および 9B パラメータ）においても性能優位性を維持し、このアプローチが小規模モデルに限定されないことを示唆している。
• 効率性: GLoRA は、効率性と性能の優れたトレードオフを達成する。そのレイヤーごとの複雑さは $\Theta(r_\Sigma^2(d_{out} + d_{in}) + r_\Sigma^3)$ であり、直接因数平均のゲージ感度性を回避しつつ、密な更新集約手法（FlexLoRA など）よりも著しく安価である。

5. 意義と主張

本論文は、効果的な分散型 LoRA には、単に低ランク因数を平均化するだけでなく、集約のための意味的に意味のあるサーバーサイド表現を定義することが必要であると主張する。

著者は、分散型 LoRA における重要な設計選択は、「因数をどのように平均化するか」から「集約を表すサーバーサイドのオブジェクトは何か」へと焦点を移すことであると論じる。更新幾何学を因数座標から分離することで、GLoRA は現在の手法に内在する意味的ミスマッチを解決する。結果は、特に異質なデータ、リソース、タスクを扱う場合、分散環境における安定した収束と高性能のためにゲージ意識型集約が不可欠であることを示唆している。本論文は、現在の合意部分空間推定が列空間幾何学に依存しているが、将来の研究では部分空間構築をさらに洗練させるために更新エネルギーやタスク意識型重み付けを組み込むことができる、と結論付けている。