🤖 machine learning

FedProxy: Federated Fine-Tuning of LLMs via Proxy SLMs and Heterogeneity-Aware Fusion

FedProxy は、プロキシ SLM とヘテロジニアスデータに強い融合戦略を採用することで、LLM の知的財産保護とクライアントのプライバシーを維持しつつ、中央集権的なトレーニングに匹敵する高性能な連合ファインチューニングを実現する新しいフレームワークです。

原著者： Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang

公開日 2026-04-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文「FedProxy」は、**「巨大な AI（LLM）を、プライバシーを守りながら、複数の異なる場所にあるデータで学習させる」**という、非常に難しい問題を解決する新しい方法を紹介しています。

これを理解するために、**「天才シェフと弟子たち」**という物語を使って説明してみましょう。

1. 問題：なぜこれまでうまくいかなかったのか？

昔から、巨大な AI（LLM）を学習させるには、以下のような「3 つのジレンマ（三難問題）」がありました。

秘密のレシピを守りたい（知的財産の保護）： AI を作った会社は、自分の「天才シェフ（基盤モデル）」のレシピを他人に教えたがりません。
弟子たちの食材は秘密（プライバシー）： 各地の弟子（クライアント）が持っている食材（データ）も、誰にも見せられません。
弟子たちの料理の癖が違う（データの偏り）： 弟子 A は「辛い料理」が得意、弟子 B は「甘い料理」が得意です。みんなの料理を混ぜると、味が壊れてしまうことがあります。

これまでの方法（Offsite-Tuning）：
「シェフのレシピは教えないけど、小さなメモ帳（アダプター）だけ渡すから、それで練習してね」という方法でした。
しかし、これには大きな欠点がありました。メモ帳だけでは、シェフの「本物の腕前」を十分に引き出せず、最終的な料理の味（性能）が、シェフが全部の食材を一度に見て作った料理に比べてかなり劣ってしまいました。

2. 解決策：FedProxy（フェドプロキシ）の登場

FedProxy は、このジレンマを解決するために、**「優秀な見習いシェフ（プロキシ SLM）」**という新しい役割を作りました。

ステップ 1：天才シェフから「見習いシェフ」を作る（圧縮）

何をする？ 巨大な天才シェフ（LLM）から、**「本質的な料理のセンスだけを残した、小さくて優秀な見習いシェフ（プロキシ SLM）」**を作ります。
どうやって？ 公開されている一般的なレシピ（公開データ）を使って、天才シェフの「ブロック（料理の工程）」の中で最も重要な部分だけを残し、不要な部分を削ぎ落として作ります。
メリット： この見習いシェフは小さくて軽いため、弟子たちが自分のパソコン（リソース）で練習できます。しかも、元の天才シェフの完全なレシピは渡さないので、秘密は守られます。

ステップ 2：弟子たちが「見習いシェフ」で練習し、先生がまとめる（分散学習と融合）

何をする？ 各地の弟子たちは、それぞれが持っている「秘密の食材（データ）」を使って、この「見習いシェフ」を練習させます。
工夫点（干渉の回避）：
- 弟子 A は「辛い味」を強調し、弟子 B は「甘い味」を強調すると、味がぶつかり合います。
- FedProxy は、**「誰の意見が誰と似ているか」**を分析します。
- 意見がぶつかりそうな部分（パラメータの衝突）は、弟子たちが練習する時に「少し慎重になろう」と教えます。
- 先生（サーバー）は、弟子たちの練習結果を単純に足し合わせるのではなく、「意見が一致している部分は大きく反映し、ぶつかり合っている部分は調整して」、一つの良い「見習いシェフ」にまとめ直します。
結果： 弟子たちの「秘密の食材」から得た知識が、見習いシェフの中に上手に蓄積されます。

ステップ 3：見習いシェフの知識を「天才シェフ」に戻す（プラグイン）

何をする？ 練習が終わった「見習いシェフ」の腕前を、元の「天才シェフ」に戻します。
どうやって？ 特別な再学習は不要です。見習いシェフが習得した「新しい料理の技術」を、天才シェフの**「特定の工程（レイヤー）」に差し替える（プラグインする）**だけです。
メリット： 天才シェフの全体構造はそのままなので、計算コストがかからず、瞬時に「秘密の食材」を学んだ天才シェフが完成します。

3. この方法のすごいところ（結論）

FedProxy は、これまでの「メモ帳方式」よりもはるかに高性能です。

味は本物に近い： 中央集権型（全部の食材を一度に集めて学習させる）に迫る美味しさを達成しました。
秘密は守れる： 元のレシピも、弟子たちの食材も、誰にも見せません。
バラバラな癖も大丈夫： 弟子たちの「辛い派」と「甘い派」の意見が衝突しても、上手に調整して美味しい料理にします。

まとめ

FedProxy は、**「巨大な AI を、小さな『見習い』に預けて、各地の秘密の食材で練習させ、その成果を『本物』に差し替える」**という、賢くて安全な仕組みです。

これにより、企業は自社の AI の秘密を守りつつ、ユーザーのプライバシーも守ったまま、最高性能の AI を進化させることができるようになりました。まるで、世界中の料理人が協力して、一つの「究極の料理」を完成させるようなイメージです。

FedProxy: プロキシ SLM と異質性認識融合による大規模言語モデル（LLM）の連合微調整に関する技術的サマリー

本論文は、大規模言語モデル（LLM）の連合学習（Federated Learning, FL）における「知的財産（IP）保護」「クライアントのプライバシー」「異種データによる性能低下の回避」というトリレマ（3 つの課題の同時解決）を解決するための新しいフレームワークFedProxyを提案しています。既存の「Offsite-Tuning (OT)」ベースの手法が抱える根本的な性能ボトルネックを克服し、中央集権的な微調整に近い性能を達成することを目的としています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

1.1 既存手法の限界

従来の連合微調整アプローチ、特にOffsite-Tuning (OT)とその派生手法（FedOT, FedBiOT など）は、サーバー側のプロプライエタリな LLM をクライアントに直接送信せず、軽量なアダプター（Adapter）のみをクライアントで学習させることで IP とプライバシーを保護します。
しかし、著者らの分析によると、OT ベースの手法には以下の根本的な性能ボトルネックが存在します：

表現能力の限界: クライアント側で学習されるアダプターが軽量すぎるため、LLM のバックボーンが持つ高度な知識や構造的な情報を十分に捉えきれない。
性能ギャップ: 中央集権的な微調整（CentSFT）と比較して、性能が大幅に劣化する。

1.2 解決すべき課題

FedProxy は以下の 3 つのサブ問題を解決する必要があります：

効率的かつ安全なモデル表現: 完全な LLM を送信せず、クライアントのリソース制約に適合しつつ、微調整に十分な能力を持つコンパクトなプロキシモデルを生成する。
異質性認識の連合最適化: クライアント間のデータ分布の偏り（異質性）やパラメータ更新の競合（干渉）を軽減し、ロバストなグローバルモデルを構築する。
学習不要な知識融合: 学習済みのプロキシモデルの知識を、元の LLM に再学習なしで効率的に統合する。

2. 提案手法：FedProxy のアーキテクチャ

FedProxy は、**プロキシ Small Language Model **(SLM)を中核とした 3 段階のアーキテクチャで構成されます。

2.1 フェーズ 1: サーバー主導による LLM の圧縮（LLM Compression to Proxy SLM）

手法: サーバーは、公開データセット（例：Alpaca）を用いて、プロプライエタリな LLM（ $f_\theta$ ）を構造化プルーニング（構造化剪定）により圧縮し、単一のプロキシ SLM（ $f_\phi$ ）を生成します。
**ブロック重要度 **(Block Influence, BI) 各トランスフォーマーブロックの重要性を「ブロック影響度（BI）」スコアで評価し、重要度の高いブロックのみを残して圧縮します。これにより、タスクに依存しない推論能力と指示追従能力を保持したまま、モデルサイズを大幅に削減します。
役割: このプロキシ SLM は、すべてのクライアントが共有する「高忠実度のセマンティックな容器」として機能し、クライアント側での学習を可能にします。

2.2 フェーズ 2: 干渉軽減を伴う連合集約（Federated Aggregation with Interference Mitigation）

データ異質性によるパラメータ干渉（負の相互作用）を解決するため、H-TIES（Heterogeneity-aware TIES-merging）とPCR（Parameter-Level Conflict-Aware Client-Side Regularization）という 2 つの戦略を採用します。

サーバー側分析:
- 各クライアントのタスクベクトル（更新分）を計算し、クライアント間の類似度（コサイン類似度）を分析。
- 異質性係数（ $h_k$ ）: 特定のクライアントが他のクライアントとどれだけ異なるか（アウトレイヤーかどうか）を測定。
- パラメータ競合スコア（ $C_d$ ）: 各パラメータ次元において、クライアント間で更新の符号（正負）が対立している度合いを計算。
**クライアント側正則化 **(PCR)
- サーバーから送られた競合スコア $C_d$ を利用して、ローカル学習の損失関数に正則化項を追加します。
- 競合が激しいパラメータではグローバルモデルからの乖離を許容し、合意が得られているパラメータではグローバルモデルへの整合性を強制します。
**サーバー側集約 **(H-TIES)
- 異質性適応スパース化: 異質性が高いクライアントの更新はスパース化（保持率を低下）させ、干渉を減らします。
- 重み付け競合解決: TIES-merging の原理に基づき、正負の更新を分離し、優勢な符号を持つ更新のみを重み付き平均してマージします。これにより、パラメータの打ち消し合いを防ぎます。

2.3 フェーズ 3: 学習不要な「プラグイン」知識融合（Training-Free "Plug-in" Knowledge Fusion）

手法: 連合学習で収束したプロキシ SLM の重みを、元の LLM の対応するレイヤーに直接上書き（パラメータ置換）します。
特徴:
- 追加の学習や推論時のオーバーヘッド（遅延）が発生しません。
- プロキシ SLM が LLM のサブネットワークとして設計されているため、アーキテクチャ的な整合性が保たれています。
- これにより、クライアントから得られた知識が即座に LLM の能力として反映されます。

3. 主要な貢献

FedProxy フレームワークの提案: IP 保護、プライバシー、性能のトリレマを解決する包括的なフレームワーク。プロキシ SLM を介した 3 段階パイプラインを構築。
H-TIES と PCR の開発:
- H-TIES: 異質性を認識した集約戦略。パラメータレベルの競合を分析し、スパース化と重み付けマージを行うことで、異種タスク間での干渉を効果的に軽減。
- PCR: クライアント側での競合認識正則化により、ローカル学習段階から干渉を抑制。
高性能な実証結果: 広範な実験により、OT ベースの手法を大幅に凌駕し、中央集権的な微調整（CentSFT）に近い性能を達成することを示した。

4. 実験結果

4.1 実験設定

ベースモデル: LLaMA2-7B, Mistral-7B
データセット: QA タスク（OBQA, ARC, CQA など）と GLUE ベンチマーク（SST2, MRPC など）。
シナリオ:
- 同質タスク: 4 クライアントが同一データの異なる分割を持つ（IID）。
- 異質タスク: 8 クライアントがそれぞれ異なるデータセットを持つ（Non-IID）。
ベースライン: ZeroShot, CentSFT, OT, FedOT, FedBiOT。

4.2 主要な結果

性能の向上:
- 同質タスク: FedProxy（50% 圧縮）は、FedOT に対して QA で 11.7%、GLUE で 22.1% 絶対精度を向上させました。CentSFT の性能の約 90% を達成。
- 異質タスク: 性能差はさらに顕著で、FedOT に対して QA で 12.6%、GLUE で 20.1% 向上。CentSFT の 91.3%（QA）および 89.6%（GLUE）の性能を達成。
コストと性能のトレードオフ:
- 初期通信コストは FedOT と同等（圧縮されたプロキシ SLM の転送）。
- 反復通信コストとクライアント計算コストは FedOT よりも高い（より大きなプロキシ SLM を学習するため）が、その投資に見合う大幅な性能向上が得られています。
アブレーション研究:
- H-TIES と PCR の両方を除去すると性能が大幅に低下し、両者の相補的な重要性が確認されました。
- プロキシ SLM のアーキテクチャ自体が、OT のアダプター構造よりも本質的に優れていることが示されました。
- 圧縮率 50% が性能とリソース効率のバランスとして最適でした（70% 圧縮では性能が低下）。

5. 意義と結論

FedProxy は、LLM の連合微調整において、**「プロプライエタリなモデルを保護しつつ、高品質な適応を実現する」**という長年の課題に対する新たな基準（ベンチマーク）を確立しました。

技術的意義: 単なるアダプター学習ではなく、「圧縮されたプロキシ SLM」を学習対象とすることで表現能力の限界を突破し、さらに「異質性認識マージ」によりデータ偏りを克服しました。
実用性: 学習不要な知識融合（プラグイン）により、推論時の遅延を増加させずにモデルをアップデートできるため、リソース制約のある環境やリアルタイム性が求められる応用において極めて有用です。
将来展望: 圧縮率と性能のバランス、大規模クライアント数へのスケーラビリティ、および長期にわたる知識融合による忘却（Catastrophic Forgetting）の回避など、さらなる研究の余地が残されていますが、FedProxy は安全かつ高性能な連合 LLM 適応の道筋を明確に示しました。

この研究は、大規模言語モデルの民主化とプライバシー保護を両立させるための重要なステップであり、産業応用における連合学習の現実的な可能性を大きく広げるものです。