🤖 machine learning

FedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated Learning

FedTopoは、グローバルな知識を絶対的な特徴量ではなく関係レベルのクラス・トポロジーとしてエンコードすることで、ヘテロジニアスな連合学習における非整列な表現空間の課題に対処し、多様なクライアント・アーキテクチャ間での推論オーバーヘッドなしに、信頼性の高い知識転送と一貫した性能向上を可能にします。

原著者： Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

公開日 2026-07-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

誰もがスマートフォン、スマートウォッチ、そして家庭用ロボットを使い、それらが互いに学習して賢くなっていく世界を想像してみてください。ただし、個人の写真やメッセージを一切共有することなくです。これが**フェデレーテッド・ラーニング（連合学習）**の夢です。すべてのデータを一つの巨大で脆弱なデータベースに集める代わりに、学習はデバイス上で直接行われます。デバイスは、自分が学んだことについての小さな「更新情報」だけを中央サーバーに送り、サーバーはそれらを混ぜ合わせることで、より賢い「グローバルな脳」を作り上げます。

しかし、一つ問題があります。誰もが同じハードウェアを持っているわけではないということです。強力なスーパーコンピュータを持つデバイスもあれば、微小で省電力なチップを持つデバイスもあります。かつての機械学習では、全員が全く同じ「脳の構造（アーキテクチャ）」を使用しなければなりませんでした。もしあなたのスマートフォンの脳が隣人のものと違っていたら、お互いの更新内容を理解することができなかったのです。それは、英語で書かれた本を、全く異なる文字や文法規則を使う言語に翻訳しようとするようなもので、意味が失われてしまいます。この論文は、このような不一致のあるデバイスたちが協力しようとする、混沌とした現実に対処するものです。

問題点：リンゴとオレンジを平均化しようとすること

この論文の著者たちは、FedTopoという手法を通じて、不一致のあるデバイスたちが共に学ぶのを助けようとする既存の手法が、「四角い杭を丸い穴に打ち込もうとしている（無理なことをしようとしている）」ことに気づきました。現在の手法の多くは「プロトタイプ」を共有しようとします。例えば、各デバイスが自分自身の特徴空間における「猫」がどのような見た目であるかのスナップショットを取り、それをサーバーに送るとします。するとサーバーは、これらすべてのスナップショットを平均化して「完璧な猫」を見つけ出そうとします。

しかし、ここに落とし穴があります。デバイスごとにアーキテクチャ（脳）が異なるため、「猫」という言葉が、あるスマホでは「ぼやけた塊」に見え、別のスマホでは「鋭い幾何学的な形状」に見えるかもしれません。ぼやけた塊と鋭い形状を平均化しようとしても、より優れた猫ができるわけではなく、全員を混乱させる「ひどい塊」が出来上がるだけです。この論文は、デバイスがあまりにも異なっている場合、これらの絶対的な座標（数学的空間における「猫」の正確な位置）を一致させようとすることは敗北への道であると主張しています。

解決策：座標ではなく、地図を共有する

「猫」が宇宙のどこに位置するかについて合意する代わりに、FedTopoは「物事が互いにどのように関係しているか」を共有することを提案します。次のように考えてみてください。

あなたと友人が、それぞれ異なる地図を持って街をナビゲートしているとします。あなたの地図では図書館は「公園の北」にありますが、友人の地図では「丘の上」にあります。「北」と「丘の上」は、二人にとって異なる意味を持つため、簡単に地図を統合することはできません。

しかし、皆さんは「関係性」については合意できます。「図書館は、空港よりも公園に近い」という点では一致できるはずです。これは関係性であり、座標ではありません。

FedTopoは、各デバイスが自身のクラス（分類）の「関係性マップ（トポロジー）」を構築することで機能します。これは「クラスAは座標(5, 10)にある」と言うのではなく、「クラスAはクラスBと非常に似ているが、クラスCとは大きく異なる」と言うものです。デバイスは、自身のローカルな脳の中で、「猫」が「犬」に対して「トラック」に対してどの程度似ているかを計算します。

仕組み：信頼できるメッセンジャー

このプロセスは、異なるノートを持つ探偵たちが謎を解く過程に似ています。

ローカルな探偵活動: 各デバイスは自身のデータを見て、クラスがどのように関係しているかを把握します。「おや、私の『猫』と『犬』は少し似ているけれど、『猫』と『トラック』は全く別物だ」といった具合です。デバイスはこの関係性マップをサーバーに送ります。
信頼のフィルター: サーバーは、一部のデバイスには「トラック」の写真が極めて少ない可能性があることを知っています。そのため、「トラック」が「猫」とどう関係しているかという意見が不確かな場合があります。FedTopoは、メッセージの重みを決めるために特別な「信頼度スコア」を使用します。データが多いデバイスの関係性マップは重視されますが、データが極めて少ないデバイスの不安定な推測は無視されます。
グローバルな地図: サーバーは、これらの重み付けされた関係性マップを統合し、単一の、極めて信頼性の高い「グローバル関係性マップ」を作成します。
教訓: このグローバルな地図はデバイスに送り返されます。これにより、デバイスが学習する際、単に手元にある画像を見るだけでなく、グローバルな地図を参照して、どのクラス同士が「紛らわしく似ているか」を確認できるようになります。そして、その特定の紛らわしいペアに対して集中的に練習を行い、スキルを研ぎ澄ませるのです。

得られた結果

著者らは、3つの異なるデータセット（CIFAR-10, CIFAR-100, Tiny-ImageNet）を用い、8種類の全く異なるニューラルネットワーク・アーキテクチャ（単純なCNNから複雑なResNetまで）を使用してこのアイデアをテストしました。また、データが不均等に分布している（あるデバイスは猫しか持たず、別のデバイスはトラックしか持たないなど）混沌とした状況をシミュレートしました。

結果は明白でした。FedTopoは一貫して他の手法を上回りました。

CIFAR-10データセットにおいて、標準的な不均等設定で**87.38%**の精度に達し、次に優れた手法を明確な差で引き離しました。
さらに困難な「病理的（pathological）」な設定（デバイスが持つクラス数が極めて少ない設定）においても、**86.36%**を記録し、再びトップに立ちました。
CIFAR-100やTiny-ImageNetのような、より大規模で困難なデータセットにおいても同様に優れた成果を出しました。

決定的なのは、この手法が非常に効率的であることです。巨大なモデルファイルをやり取りする必要はありません。関係性のテーブル（10クラスの問題に対して、アップロード用にわずか110パラメータ、ダウンロード用に200パラメータ）を送るだけです。さらに、デバイスが実際に使用される際の（推論時の）追加コストはゼロです。なぜなら、関係性マップはデバイスが学習速度を上げるための学習フェッチ（トレーニングフェーズ）でのみ使用されるからです。

結論

FedTopoは、デバイス同士が知識の正確な「座標」について合意できない場合でも、アイデアの間の「関係性」について合意することで、共に学ぶことができることを証明しました。数学的な空白の中にクラスがどこに位置するかではなく、クラス同士がどのように関係しているかに焦яすることで、多様なデバイスがプライベートなデータを中央集権化することなく、より賢く、より堅牢な集合知を構築できるのです。これは、たとえ全員が少し異なる言語を話していたとしても、共に学ぶためのよりスマートな方法なのです。

技術要約: FedTopo

問題提起

連合学習（Federated Learning, FL）は、生のデータを中央に集約することなく、分散したデータサイロ間で共同トレーニングを行うことを可能にする。しかし、標準的なFLはクライアント間で同一のアーキテクチャを使用することを前提としているが、これは計算リソースやデプロイメントの制約が異なる場合には非現実的であることが多い。**モデル異種混合型FL（Model-heterogeneous FL）**は、クライアントが異なるバックボーンアーキテクチャを使用することを許可することで、この問題に対処する。

モデル異種混合型FLにおける核心的な課題は、非整合な表現空間間でのグローバルな知識の転送である。既存のパラダイムは、以下の方法で知識を共有している：

部分的パラメータ共有: 整合したパラメータ空間と互換性のあるアーキテクチャを必要とする。
知識蒸留（Knowledge Distillation）: 予測を整列させるために、共有された出力空間または補助的な公開データを必要とする。
プロトタイプ共有: クラスごとのプロトタイプ（特徴量座標）を交換する。

これら3つのパラダイムはすべて、絶対的な空間（重み、ロジット、または特徴量座標）において知識をエンコードしており、それらはクライアント間で整列される必要がある。異種のバックボーンの下では、同じ次元の特徴量がクライアント間で異なる意味的因子をエンコードする場合がある。その結果、プロトタイプやパラメータを直接平均化すると、信頼できないグローバル知識が得られ、ローカルな学習を誤った方向へ導いてしまう。

手法: FedTopo

著者らは、絶対的な座標を共有するのではなく、**関係レベルのクラス・トポロジー（位相）**を共有することを提案するフレーム、FedTopo（Federated Topology-guided Learning）を提案する。FedTopoは、「クラスは特徴空間内のどこに位置するか？」と問うのではなく、「クラスはクライアントのローカル空間内で互いにどのように関係しているか？」と問う。

本フレームワークは、以下の3つのステージで動作する。

1. 関係レベルのトポロジー構築（クライアント側）

各クライアント $k$ は、独自のプライベートデータを用いてローカルな異種混合モデルを訓練する。

プロトタイプ抽出: クライアントは、ローカルデータセットに存在するクラスのプロトタイプ $p_{k,c}$ （平均特徴表現）を計算する。
関係行列の構築: プロトタイプをアップロードする代わりに、クライアントはローカルな関係行列 $R_k \in [0, 1]^{C \times C}$ を計算する。行列の要素 $R_k(c, c')$ は、クラス $c$ とクラス $c'$ のプロトタイプのコサイン類似度を表し、 $[0, 1]$ に再スケールされている。
統計量: クライアントは、これらの関係に対する統計的支持を定量化するために、クラスサンプル数 $n_k$ を記録する。
アップロード: 生のプロトタイプや特徴座標はローカルに保持され、関係行列 $R_k$ と統計量 $n_k$ のみがアップロードされる。

2. 信頼性を考慮したグローバル・トポロジー集約（サーバー側）

サーバーは、ローカルな関係をグローバルなトポロジー $R_g$ と信頼性行列 $S_g$ へと集約する。

マスキング: バイナリマスク $M_k$ により、特定のクライアントで観測されていないクラスのペアを除外する。
信頼性による重み付け: 重み $w_k(c, c')$ は、2つのクラスのサンプル数の調和平均に基づいて計算される。サンプル数が少ない関係は、重みが低く設定される。
集約: グローバルな関係 $\tilde{R}_g$ は、有効なローカル関係の信頼性加重平均となる。
信頼性行列: $S_g$ は、各グローバルな関係のペアを支持する証拠の相対的な量を追跡する。
平滑化: ラウンド間の変動を抑えるため、指数移動平均（EMA）が $R_g$ に適用される。
ブロードキャスト: サーバーは $(R_g, S_g)$ をクライアントにブロードキャストする。

3. トポロジー誘導型ローカル学習（クライアント側）

クライアントは、特徴空間を整列させることなく、グローバルなトポロジーを使用してローカルな決定境界を鋭利にする。

ガイダンスの選択: 正解ラベル $y$ を持つ訓練サンプルに対し、クライアントは（ $R_g$ に基づき） $y$ とトポロジー的に最も類似しており、かつ（ $S_g$ に基づき）最も信頼性の高い上位 $q$ 個の負のクラスを選択する。
ロジット変調: これら選択された負のクラスのロジットは、係数 $\gamma$ によって増加される。
損失関数: ローカルな損失は、標準的なクロスエントロピー損失と、正解クラスをこれらの「困難な」負のクラスから区別できない場合にペナルティを与える補助項を組み合わせたものである。
推論: グローバルなトポロジーは訓練時のみ使用される。推論時には、クライアントは元のローカルモデルを使用するため、推論オーバーヘッドはゼロである。

主な貢献

関係レベルの知識共有: FedTopoは、グローバルな知識をパラメータ、ロジット、またはプロトタイプ座標ではなく、クラス関係トポロジーとして共有する最初のフレームワークである。これにより、知識共有の前提を「クライアント間の整合性」から「クライカル内の一貫性」へと緩和している。
信頼性を考慮した集約: 疎なデータや弱い支持によって生じる信頼性の低い関係を減衰させるメカニズムを導入し、グローバルなトポロジーを非IIDデータ分布に対して堅牢にしている。
トポロジー誘導型学習: 特徴空間の整列を必要とせずに、グローバルなトポロジーを利用して混乱を招く負のクラスを強調する、新しい訓練目的関数を提供している。
効率性: 低い通信コスト（ $O(C \times d)$ ではなく $O(C^2)$ でスケーリング）と推論オーバーヘッドなしを実現しながら、最先端の性能を達成している。

実験結果

著者らは、CIFAR-10, CIFAR-100, Tiny-ImageNet において、8種類の異種バックボーン（CNNからResNet-152まで）を用い、Dirichlet および 病理的（pathological） な非IID設定下でFedTopoを評価した。

性能: FedTopoは、3つの知識共有パラダイム（パラメータ、蒸留、プロトタイプ共有）のすべてのベースラインを一貫して上回った。
- CIFAR-10 (Dirichlet $\alpha=0.1$ ) では、FedTopoは 87.38% の精度を達成し、最良のベースライン（FedSCEの86.18%）を1.2ポイント上回った。
- CIFAR-100 (Pathological) では、59.30% を達成し、最良のベースライン（FedMRLの57.45%）を1.85ポイント上回った。
堅牢性: モデルの異種性とデータの歪みが大きくなるにつれて性能差が拡大しており、関係レベルのトポロジーが絶対的な座標よりも転移しやすいことを示している。
アブレーション研究: いずれかのコンポーネント（信頼性重み付け、Top-q選択、欠損考慮マスキング、またはEMA）を削除すると性能が低下し、フルデザインの必要性が確認された。
コスト: CIFAR-10において、FedTopoは1ラウンドあたりアップロードに110個、ダウンロードに200個のパラメータしか必要とせず、これはプロトタイプベースの手法（5,120個）よりも大幅に少ない。また、訓練時のFLOPsへの影響は無視できる程度であり、推論時のFLOPsはゼロである。

意義と主張

論文は、FedTopo が共有される知識の性質を根本的に変えることで、モデル異種混合型FLに対するより堅牢なソリューションを提供すると主張している。絶対的な座標の整列（これは異種バックボーンの下では失敗する）から、相対的な関係の一貫性（これは異なる特徴空間間でも維持される）へとシフトすることで、アーキテクチャの共有や補助データの必要性を排除し、効果的な協調を可能にしている。

著者らは、このアプローチが以下を実現することを強調している：

プロトタイプ共有に内在する「信頼できないグローバルプロトタイプ」問題を回避する。
データフリーな設定（公開補助データが不要）でも効果的に動作する。
ローカルモデルが既に強力な場合でも、ポジティブな転移を実現する。
低い通信および計算オーバーヘッドを維持し、リソース制約のあるエッジデバイスへの実用性を高めている。

結論として、関係レベルのトポロジーは、異種混合型FLにおけるグローバルな知識の優れた担い手であり、既存のパラダイムには欠けている転移性、堅牢性、および効率性のバランスを提供すると述べている。今後の展望として、マルチモーダルおよびオープンセットへの拡張が示唆されている。