🤖 machine learning

HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning

本論文は、タスクの分割、クライアントのデータ分布、およびタスクのシーケンスを切り離すことで、手法の性能が異なるヘテロジニティ設定間でどのように変化するか、またそれが平均的な指標によってどのように隠蔽され得るかを明らかにする、再現可能な評価を可能にする連合継続学習のためのヘテロジニティ認識型ベンチマークライブラリであるHEROを紹介する。

原著者： Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

公開日 2026-07-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、異なる部屋にいて、異なる教科書を使い、異なるスピードで学習している膨大な数の学生たちに、一人の教師として教えようとしていると想像してください。これが**連合継続学習（Federated Continual Learning: FCL）**の世界です。目標は、個々の生徒のプライベートなノートブックを一度も見ることなく、すべての生徒から学ぶことができる、賢い「スーパー教師」モデルを訓練することです。しかし、ここには落とし穴があります。生徒たちのレッスンは時間の経過とともに変化し続けるのです。ある日は猫について学び、次の日は犬、その次はロケットについて学びます。教師は、ロケットを学びながらも、猫のことを覚えていなければなりません。しかも、生徒たちは世界中に散らばっています。

長い間、これらの「スーパー教師」をテストしようとする科学者たちは、「リンゴとオレンジを比較する」ようなゲームをしてきました。ある研究者は100枚の画像データセットでテストし、別の研究者は1,000枚の画像でテストし、ある者は全員が同じ順序で学習するように設定し、別の者は混沌とした状況で学習させることもありました。これでは、ある手法が本当に賢いのか、それとも単にテストが簡単だったために運が良かっただけなのかを判断することは不可能でした。

そこで登場したのが、HERO（Federated Continual Learningのためのヘテロジェニティ（不均一性）を考慮したベンチマーク・ライブラリ）です。HEROを、すべてのスーパー教師が走らなければならない巨大で、完璧に調整された障害物コースだと考えてください。研究者が自分勝手でバラバラなトラックを作るのではなく、HEROが彼らのためにトラックを構築し、全員が全く同じ障害物に直面するように保証するのです。

3つの魔法のつまみ

この論文の主な発見は、これまでのテストでは、3種類の異なるトラブルが1つの大きな混乱の中に混ざり合っていたということです。HEROはこれらを分離し、モデルの何が壊れるのかを正確に特定するために、3つの独立した「つまみ」として切り分けました。

「誰が何を貰うか」のつまみ（クライアント・データ・スキュー）: ピザパーティーを想像してください。全員がすべてのトッピングを均等にもらえるなら簡単です。しかし、もしある生徒はペパロニだけ、別の生徒はマッシュルームだけ、そして第三の生徒は奇妙なミックスをもらうとしたらどうでしょう？これがクライアント・データ・スキューです。論文では、これを制御するために $\alpha$ という数値を使用しています。高い $\alpha$ （例えば100.00）は、全員が公平な分け前をもらえることを意味します。低い $\alpha$ （例えば0.10）は、分け目が極端に不均衡であることを意味します。
「いつ誰が動くか」のつまみ（タスク・オーダー・ミスマッチ）: リレーレースを想像してください。同期されたレースでは、全員が第1レグ、次に第2レグ、次に第3レグを一緒に走ります。しかし、混沌としたレースでは、生徒Aは第1レグ、次に第3レグ、次に第2レグを走り、生徒Bは第2レグ、第1レグ、第3レグの順に走ります。これがタスク・オーダー・ミスマッチです。論文では、これを制御するために $\rho$ という数値を使用しています。 $\rho$ が0.00であれば、全員が完璧に足並みを揃えて走ります。 $\rho$ が1.00であれば、全員が自分自身の混沌としたリズムで走っています。
「メニューの内容」のつまみ（タスク・スプリット）: これは、どのトピック（「猫」や「犬」など）が各レッスンを構成するかを決定します。

これらを分離することで、HEROは研究者にこう問いかけることを可能にします。「このモデルが失敗したのは、データが不均一だからなのか、それとも生徒たちがレッスンの順番に混乱しているからなのか？」

大きな驚き：平均スコアは嘘をつく

論文では、CIFAR-100（100種類の画像カテゴリのデータセット）とTinyImageNet（より小規模な100種類の画像カテゴリのデータセット）を用いて大規模な実験を行いました。彼らは多くの異なる「スーパー教師」の手法をテストしました。

ここで大きな事実が明らかになりました。平均スコアは悲劇を隠してしまう可能性があるということです。

「イージー（容易）」な設定（データが公平で、全員が同じ順序で学習する場合）では、FedCBDRという手法がスターでした。それは最高の平均精度を記録しました。しかし、研究者が混沌（データを不均衡にし、順序を混ぜる）を強めると、FedCBDRは崩れ始めました。

一方で、TagFedやLGAといった他の手法は、イージーな設定では最高とは見えませんでしたが、ハードな設定においては最もタフな生存者でした。彼らは、「最も困難なデータと奇妙なスケジュールを持つ」下位10%の生徒たちが完全に脱落することを防ぎました。

論文では、これらを以下の3つの特定のスコアで測定しました。

最終平均精度 (AFA): クラスの平均。
平均忘却量 (AF): 教師が古いレッスンをどれだけ忘れたか。
下位10%クライアント精度 (B10): 最も状況の悪い生徒たちがどれほど上手くいったか。

結果は、ある手法が高いAFAを持ちながら、ひどいB10を持つ可能性があることを示しました。それは、トップの生徒たちがA+を取っている一方で、下位10%の生徒たちがクラスに落ちこぼれている学校のようなものです。平均値だけを見ていれば、その学校は素晴らしいと思われてしまうでしょう。HEROは、真実を知るために下位10%を見るように私たちに強制します。

グラフ実験：単なる画像ではない

HEROが画像のためだけのものではないことを証明するために、著者らは分子（化学構造）に関するデータセットであるOGB-MolPCBAでこれを試みました。モデルは新しい「種類の」分子を学ぶのではなく、見た目が異なる（異なるスキャフォールドを持つ）異なる「グループの」分子から学ぶ必要があります。

彼らは、分子を5、15、または25の異なるドメインにグループ化することでこれをテストしました。ドメインをより小さく、より特異的なものにするにつれて（ドメイン数を増やすにつれて）、モデルの性能は悪化しました。「平均精度（AP）」は低下し、「忘却」は増加しました。これは、HEROのインターフェースが画像だけでなく、グラフや化学物質に対しても機能することを証明しました。

この論文が否定したもの

この論文は、単一の「リーダーボード」スコアでこれらのモデルを判断できるという考えに対して、明確に反対しています。彼らは、単純で同期されたテストで勝利した手法が、現実の世界が乱雑になったときに大きく敗北することを示しました。また、「平均的なパフォーマンス」だけで十分であるという考えも否定しています。手法が真に堅牢（ロバスト）であるかどうかを知るためには、最も弱いクライアントのパフォーマンスを確認しなければなりません。

確信度はどの程度か？

著者たちは、単なる推測ではなく、実際に測定したため、自分たちの発見に非常に自信を持っています。彼らは、結果が単なる運によるものではないことを確認するために、異なるランダムシードを用いて実験を5回実行しました。彼らは、CIFAR-100のイージー設定における精度として、53.91 ± 1.53のような数値を報告しており、結果がどれほど変動したかを正確に示しています。

彼らは、「ジョイント・ハード（共同・困難）」の設定（ $\alpha = 0.10$ かつ $\rho = 1.00$ ）において、最良の手法であるTagFedがCIFAR-100で42.83のAFAを達成した一方で、イージー設定の勝者であるFedCBDRは39.74まで低下したことを明らかにしました。これらは、示唆ではなく、測定された事実です。

まとめ

HEROは、AIモデルのための新しい種類のジムのようなものです。モデルが平坦で空っぽのトラックを走り、全員が速そうに見える場所ではなく、HEROは彼らを丘や風、そして足場の不安定なトラックへと送り込みます。それは、平坦なトラックで最も速く見えるモデルが、泥の中でつまずくモデルである可能性があることを教えてくれます。「誰が何を貰うか」と「誰がいつ動くか」を分離することで、HEROは私たちが、乱雑で予測不可能な現実世界に真に対応できるAIを構築するのを助けてくれるのです。

技術要約：HERO – 非均質性を考慮したフェデレーテッド継続学習のためのベンチマーク・ライブラリ

1. 問題提起

フェデレーテッド継続学習（FCL）は、分散されたクライアントが、過去に獲得した知識を保持しながら非定常なデータストリームから学習するという課題に取り組んでいる。しかし、この分野は深刻な「ベンチマークのギャップ」に直面している。既存の評価手法は、研究者がデータセット、タスク分割、クライアントのデータ分布、タスクシーケンス、モデルバックボーン、メモリ制約、および報告ルールといった複数の変数を同時に変更してしまうため、比較が困難である。その結果、ある手法が優れているように見えるのは、その手法が堅牢であるためではなく、より有利な、あるいは非均質性が低いプロトコル下で評価されたためである可能性がある。現在の評価では、手法がクライアントのデータ歪みに耐性があるのか、タスクシーケンスの不一致に耐性があるのか、あるいはドメインシフトに耐性があるのか、それとも単に同期された容易な設定下で良好なパフォーマンスを示すだけなのかを区別できていない。

2. 手法：HEROフレームワーク

著者らは、ストリーム構築、手法の実行、および結果の報告を統一するように設計された、非均質性を考慮したベンチマークライブラリであるHEROを導入する。コアとなる設計思想は、従来の先行研究では混同されがちであった**「結合された3つの選択肢」の分離**である：

タスク分割 (Task Split): どのクラスまたはドメインが各タスクを構成するかを決定する。
クライアントデータ分割 (Client Data Split): 各クライアントが各タスクに対して受け取るデータ分布を決定する。
クライアントタスクシーケンス (Client Task Sequence): 各クライアントがタスクに遭遇する順序を決定する。

ストリーム構築:
HEROは、以下の要素を持つベンチマークストリーム $B(\xi, \alpha, \rho)$ を生成する：

$\xi$ は再現性を保証するためのシードである。
$\alpha$ はディリクレ分布 ( $pt,c \sim \text{Dir}_K(\alpha \mathbf{1})$ ) を通じてクライアントのデータ歪みを制御する。 $\alpha$ の値が低いほど、より強い歪み（Non-IIDデータ）が生じる。
$\rho$ はタスク順序の不一致を制御する。これは、個々のクライアントのタスクシーケンスが共有された参照順序 $\pi^*$ からどの程度逸脱しているかを定義する。 $\rho$ の値が高いほど、より非同期で不一致なタスクシーケンスとなる。

本ライブラリには3つのティアが含まれる：

HERO-Core: CIFAR-100およびTinyImageNetを用いた画像ベースのフェデレーテッド・クラス増分学習（FCIL）に焦点を当てた、主要な比較可能ベンチマーク。
HERO-Portability: インターフェースの拡張性をテストするためのケーススタディとして、グラフベースの分子データを用いたOGB-MolPCBAにおけるドメイン増分学習（Domain-IL）の設定を提供する。
HERO-Extended: 将来的な利用のために、追加のデータセットコンストラクタと手法の実装を格納する。

指標:
HEROは、パフォーマンスの異なる側面を捉えるために3つの主要な指標を報告する：

最終平均精度 (Final Average Accuracy: AFA): 全体的な最終パフォーマンスを測定する。
平均忘却 (Average Forgetting: AF): 旧タスクにおける性能低下を測定する。
下位10%クライアント精度 (Bottom-10% Client Accuracy: B10): パフォーマンスの低い下位10%のクライティングにおける精度を測定し、非均質性に対する堅牢性を強調する。
グラフベースのポータビリティ研究では、平均適合率 (Average Precision: AP) および AP-forgetting が使用される。

3. 主な貢献

本論文は、以下の4つの具体的な貢献を行う：

HEROライブラリ: ストリーム構築と手法の実行を分離し、再現性を確保するために固定されたストリーム、構成、および報告スクリプトを公開する、統一された非均質性考慮型ベンチマークライブラリ。
分離型ストリームジェネレーター: タスク分割、クライアントデータ分割、およびクライアントタスクシーケンスを隔離し、研究者がクライアントのデータ歪み ( $\alpha$ ) とタスク順序の不一致 ( $\rho$ ) を独立して制御および検証できるようにするジェネレーター。
HERO-Coreベンチマーク: 共有ストリーム、制御された非均質性設定、および代表的な手法のプールを備えた、CIFAR-100およびTinyImageNetに基づく高密度な画像ベースのFCILベンチマーク。
ポータビリティのデモンストレーション: スキャフォールドによってグループ化された分子ドメインが予測タスクを変更することなく分布シフトを生み出すOGB-MolPCBAのケーススタディを通じて、HEROのインターフェースがグラフベースのDomain-ILにも拡張可能であることを示す。

4. 実験結果

著者らは、代表的なFCL手法（例：FedAvg, GLFC, TagFed, LGA, FedCBDR）を、「Easy」（同期・均衡）から「Joint-Hard」（高歪み・高不一致）に至る $\alpha$ - $\rho$ グリッドにわたって評価した。

手法の挙動の分散: 手法のパフォーマンスは、非均質性の設定に強く依存する。「Easy」設定で優位に立つ手法（例：FedCBDR）が、必ずしも高非均質性下でも最も安定しているわけではない。例えば、TagFedやLGAは、クライアントのデータ歪みとタスク順序の不一致が増大するにつれて、特にB10に関して、より競争力のある結果を示す。
平均精度 vs. 下位クライアントのパフォーマンス: 平均精度（AFA）は、困難なクライアントにおける脆弱なパフォーマンスを隠蔽してしまう可能性がある。FedCBDRはしばしば高いAFAを達成するが、TagFedやLGAは、非均質設定において優れた**下位10%クライアント精度（B10）**を示しており、これはパフォーマンスの低いクライアントに対する保護が優れていることを示唆している。
明確な失敗モード: 本研究は、クライアントのデータ歪みとタスク順序の不一致が異なる失敗パターンを引き起こすことを明らかにしている。
- クライアントのデータ歪み ( $\alpha$ ): 主にB10を低下させる。これは、困難なクライアントがデータの不均衡によって不当に影響を受けることを示している。
- タスク順序の不一致 ( $\rho$ ): 主に平均忘却（AF）を増大させる。これは、不一致なシーケンスがより多くの時間的干渉を生み出すことを示唆している。
ポータビリティ: OGB-MolPCBAの調査において、スキャフォールド・ドメインの粒度（より細かいドメイン）を上げることは、平均適合率を低下させ、忘却を増大させた。グラフベースの手法（POWER, MOTION）はFedAvgを上回り、HEROのインターフェースが画像ベースのFCILを超えて、分布シフトを伴うストリームを記述できることを裏付けた。

5. 意義と主張

本論文は、HEROがFCLにおける制御された比較可能な評価の欠如に対処することを主張している。非均質性のソースを分離することで、研究者は以下が可能になる：

手法が、単なる一般的な「非均質」設定ではなく、特定の種類の困難（歪みか不一致か）に対して堅牢であるかどうかを判断すること。
単一のグローバルなリーダーボードは不十分であり、手法のランキングは特定の非均質性構成に基づいて大きく変化することを明らかにすること。
平均的な指標が隠してしまう、いわゆる「ロングテール」のクライアントにおける失敗を露呈させること。
画像ベースのFCICと互換性のない設定を混ぜることなく、評価プロトコルを非ビジョン領域（グラフなど）へ拡張すること。

著者らは、HEROが一度限りの実験プロトコルではなく、累積的で再現可能、かつ設定に応じたFCL評価をサポートするための再利用可能なライブラリとして設計されていることを強調している。また、HEROは手法の前提条件を文書化するものではあるが、形式的なプライバシー分析やデプロイメントレベルの検証に代わるものではないことも明記している。