🤖 machine learning

HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning

本文介绍了 HERO，一个面向联邦持续学习的异构感知基准库，它通过解耦任务划分、客户端数据分布以及任务序列，实现了可复现的评估，从而揭示了不同方法性能如何随不同的异构设置而变化，并可能被平均指标所掩盖。

原作者： Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个规模巨大的班级，所有的学生都分布在不同的房间里，使用不同的教科书，并且以不同的速度学习。这就是**联邦持续学习（Federated Continual Learning, FCL）**的世界。目标是训练一个聪明的“超级教师”模型，它能从所有学生那里学习，但永远不会看到他们的私人笔记本。但问题在于，学生的课程内容一直在变化。今天他们学习猫，明天学习狗，后天学习火箭。老师必须在学习火箭的同时，还能记住关于猫的知识，而这些学生遍布全球。

长期以来，试图测试这些“超级教师”的科学家们一直在玩一场“苹果比橘子”的游戏。一位研究者可能在 100 张图片的数据集上进行测试，而另一位可能在 1,000 张图片上测试；或者一位让所有学生按相同的顺序学习，而另一位则让他们在混乱中学习。这使得人们无法判断一种方法是真的聪明还是仅仅运气好，因为测试难度太低了。

于是有了 HERO（面向联邦持续学习的异质性感知基准库）。把 HERO 想象成一个巨大的、经过完美校准的障碍赛场，每一位超级教师都必须通过它。HERO 不再让研究人员自行构建混乱的赛道，而是为他们构建统一的赛道，确保每个人面对的障碍完全一致。

三个神奇的旋钮

该论文的核心发现是，之前的测试将三种不同类型的麻烦混杂在了一起，变成了一个大乱炖。HERO 将它们拆解并分离为三个可以调节的“旋钮”，让你看清究竟是什么导致了模型的崩溃：

“谁得到什么”旋钮（客户端数据偏斜/Client Data Skew）： 想象一场披萨派对。如果每个人都得到包含所有配料的等量切片，那就很简单。但如果一个学生只得到了意大利香肠，另一个只得到了蘑菇，而第三个得到的是奇怪的混合物呢？这就是客户端数据偏斜。论文使用了一个称为 $\alpha$ 的数值来控制它。高 $\alpha$ 值（如 100.00）意味着每个人分到的份额很公平；低 $\alpha$ 值（如 0.10）意味着切片的分配极其不均。
“谁在何时进行”旋钮（任务顺序失配/Task-Order Mismatch）： 想象一场接力赛。在同步进行的比赛中，所有人一起跑第一棒，然后是第二棒，最后是第三棒。但在混乱的比赛中，学生 A 先跑第一棒，然后是第三棒，最后是第二棒；而学生 B 先跑第二棒，然后是第一棒，最后是第三棒。这就是任务顺序失配。论文使用了一个称为 $\rho$ 的数值来控制它。如果 $\rho$ 为 0.00，所有人都在完美的步调下运行；如果 $\rho$ 为 1.00，每个人都在自己的混乱节奏中奔跑。
“菜单上有什么”旋钮（任务划分/Task Split）： 这决定了每节课的主题（比如“猫”或“狗”）由哪些内容组成。

通过分离这些因素，HERO 让研究人员能够追问：“这个模型失败是因为数据不均匀，还是因为学生对课程顺序感到困惑？”

大惊喜：平均分会撒谎

该论文使用 CIFAR-100（一个包含 100 个图像类别的数据集）和 TinyImageNet（一个较小的 100 类图像数据集）进行了大规模实验。他们测试了许多种不同的“超级教师”方法。

这里有一个重大的揭示：平均分会掩盖灾难。

在“简单”设置下（数据公平且所有人按序学习），一种名为 FedCBDR 的方法表现最为出色，它拥有最高的平均准确率。但只要研究人员调高混乱程度（使数据不均且顺序交错），FedCBDR 就会开始崩溃。

与此同时，像 TagFed 和 LGA 这样的其他方法在简单设置下看起来并不出众，但它们却是最顽强的幸存者。它们成功保护了“底端 10%”的学生（即那些面临最难数据和最怪异日程的学生）不至于彻底失败。

论文使用三个特定的指标进行了衡量：

最终平均准确率 (AFA)： 班级的平均水平。
平均遗忘度 (AF)： 老师忘记旧课程的程度。
底端 10% 客户端准确率 (B10)： 最差的学生表现如何。

结果显示，一种方法可以拥有很高的 AFA，但 B10 却极差。这就像一所学校，顶尖学生拿 A+，但底层的 10% 学生却不及格。如果你只看平均分，你会以为这所学校非常优秀。HERO 迫使你去观察底端 10% 的情况，以揭示真相。

图形实验：不仅仅是图片

为了证明 HERO 不仅仅适用于图片，作者在 OGB-MolPCBA（一个关于分子结构的数据集）上进行了尝试。模型不再是学习新的“类型”的分子，而是要从不同的“组”分子中学习，这些分子看起来各不相同（例如不同的骨架）。

他们通过将分子分为 5、15 或 25 个不同的域来进行测试。随着他们将分组变得更小、更具体（增加域的数量），模型的表现变得越来越差。“平均精度”（AP）下降，“遗忘”现象增加。这证明了 HERO 的接口适用于图数据和化学数据，而不仅仅是图像。

论文驳斥了什么

论文明确反对仅用单一的“排行榜”分数来评判这些模型的观点。他们展示了在简单的同步测试中获胜的方法，在现实世界变得混乱时可能会惨败。他们也驳斥了“平均性能”就足够的观点；你必须检查最弱客户端的表现，才能知道一种方法是否真正具有鲁棒性。

我们有多确定？

作者对他们的发现非常有信心，因为他们不是在凭空猜测，而是在进行测量。他们使用不同的随机种子运行了 5 次实验，以确保结果并非偶然。他们报告了类似 CIFAR-100 在简单设置下准确率为 53.91 ± 1.53 的数据，清晰地展示了结果的波动范围。

他们发现，在“联合困难”（Joint-Hard）设置下（即 $\alpha = 0.10$ 且 $\rho = 1.00$ ），表现最好的方法（TagFed）在 CIFAR-100 上的 AFA 为 42.83，而简单设置下的获胜者（FedCBDR）则跌至 39.74。这些都是经过测量的事实，而非仅仅是建议。

总结

HERO 就像是 AI 模型的一种新型健身房。与其让它们在平坦、空旷的跑道上奔跑，让它们看起来都很快，HERO 会把它们放在有坡度、有风、且地面不平整的赛道上。它告诉我们，在平坦赛道上看起来最快的模型，可能正是那个在泥泞中摔倒的模型。通过将“谁得到什么”与“谁在何时进行”分离，HERO 帮助我们构建出真正能够应对复杂、不可预测的现实世界的 AI。

技术摘要：HERO —— 一个面向异构性的联邦持续学习基准库

1. 问题陈述

联邦持续学习（Federated Continual Learning, FCL）旨在解决分布式客户端在学习非平稳数据流的同时，如何保留已获取知识的挑战。然而，该领域存在显著的“基准测试差距（benchmark gap）”。现有的评估方法难以进行比较，因为研究人员通常会同时改变多个变量：数据集、任务划分、客户端数据分布、任务序列、模型骨干网络、内存限制以及报告规则。因此，一种方法之所以表现优异，可能并非由于其鲁棒性，而是因为它是在更有利或异构性较低的协议下进行的评估。目前的评估往往无法区分一种方法究竟是对客户端数据偏斜（client data skew）、任务序列失配（task-sequence mismatch）还是领域偏移（domain shifts）具有鲁棒性，抑或是仅在同步且简单的设置下表现良好。

2. 方法论：HERO 框架

作者引入了 HERO，这是一个旨在统一流构建（stream construction）、方法执行和结果报告的异构性感知基准库。其核心设计理念是将以往工作中通常混淆的三个耦合选择进行分离：

任务划分（Task Split）： 决定哪些类别或领域构成每个任务。
客户端数据划分（Client Data Split）： 决定每个客户端在每个任务中接收到的数据分布。
客户端任务序列（Client Task Sequence）： 决定每个客户端遇到任务的顺序。

流构建（Stream Construction）：
HERO 生成基准流 $B(\xi, \alpha, \rho)$ ，其中：

$\xi$ 是确保可复现性的种子。
$\alpha$ 通过狄利克雷分布（ $pt,c \sim \text{Dir}_K(\alpha \mathbf{1})$ ）控制客户端数据偏斜。较低的 $\alpha$ 值会导致更强的偏斜（非 IID 数据）。
$\rho$ 控制任务顺序失配（task-order mismatch）。它定义了单个客户端任务序列相对于共享参考顺序 $\pi^*$ 的偏差。较高的 $\rho$ 值会导致更异步且失配的任务序列。

该库包含三个层级：

HERO-Core： 主要的可比较基准，侧重于基于图像的联邦类增量学习（FCIL），使用 CIFAR-100 和 TinyImageNet。
HERO-Portability： 测试接口向其他设置的扩展能力，具体是一个针对 OGB-MolPCBA（基于图的分子数据）的领域增量学习（Domain-IL）案例研究。
HERO-Extended： 存储额外的训练集构造器和方法实现，供未来使用。

指标：
HERO 报告了三个主要指标，以捕捉性能的不同方面：

最终平均准确率（Final Average Accuracy, AFA）： 衡量最终的整体性能。
平均遗忘度（Average Forgetting, AF）： 衡量在旧任务上的性能下降。
底端 10% 客户端准确率（Bottom-10% Client Accuracy, B10）： 衡量表现最差的 10% 客户端的性能，从而突出对异构性的鲁棒性。
对于基于图的迁移性研究，使用了**平均精度（Average Precision, AP）**和 AP 遗忘度。

3. 核心贡献

本文做出了四个具体的贡献：

HERO 库： 一个统一的、面向异构性的基准库，将流构建与方法执行分离，并发布固定的流、配置和报告脚本以确保可复现性。
解耦的流生成器： 一个能够隔离任务划分、客户端数据划分和客户端任务序列的生成器，允许研究人员独立地控制和检查客户端数据偏斜 ( $\alpha$ ) 和任务顺序失配 ( $\rho$ )。
HERO-Core 基准： 一个基于 CIFAR-100 和 TinyImageNet 的密集型图像 FCIL 基准，具有共享流、受控的异构设置以及具有代表性的方法池。
迁移性演示： 通过 OGB-MolPCBA 的案例研究表明，HERO 接口可以扩展到基于图的 Domain-IL，其中通过支架分组（scaffold-grouped）的分子领域在不改变预测任务的情况下创造了分布偏移。

4. 实验结果

作者在从“简单”（同步、平衡）到“联合困难”（高偏斜、高失配）的 $\alpha$ - $\rho$ 网格上评估了代表性的 FCL 方法（例如 FedAvg, GLFC, TagFed, LGA, FedCBDR）。

方法行为差异： 方法的性能高度依赖于异构性设置。在“简单”设置下占优的方法（如 FedCBDR）在高度异构环境下并不一定保持最稳定。例如，随着客户端数据偏斜和任务顺序失配的增加，TagFed 和 LGA 变得更具竞争力，特别是在 B10 指标方面。
平均值 vs. 底端客户端性能： 平均准确率 (AFA) 可能会掩盖弱势客户端的表现。虽然 FedCBDR 通常能获得较高的 AFA，但 TagFed 和 LGA 在异构设置下展示了更优越的底端 10% 客户端准确率 (B10)，表明它们能更好地保护表现较差的客户端。
不同的失效模式： 研究表明，客户端数据偏斜和任务顺序失配会导致不同的失效模式。
- 客户端数据偏斜 ( $\alpha$ )： 主要降低 B10，表明困难的客户端受数据不平衡的影响不成比例。
- 任务顺序失配 ( $\rho$ )： 主要增加平均遗忘度 (AF)，表明失配的序列会产生更多的时序干扰。
迁移性： 在 OGB-MolPCBA 研究中，增加支架领域粒度（更细的领域）降低了平均精度并增加了遗忘度。基于图的方法（POWER, MOTION）优于 FedAvg，证实了 HERO 接口可以描述超越图像类 FCIL 的分布偏移流。

5. 重要性与主张

本文声称 HERO 解决了 FCL 中缺乏受控、可比较评估的问题。通过分离异构性的来源，HERO 使研究人员能够：

确定一种方法是对特定类型的难度（偏斜 vs. 失配）具有鲁棒性，还是仅仅对通用的“异构”设置具有鲁棒性。
揭示单一的全局排行榜是不充分的；根据特定的异构性配置，方法的排名会发生显著变化。
暴露通过平均指标所掩盖的“长尾”客户端的失败情况（通过 B10）。
将评估协议扩展到非视觉领域（如图），而不会将不兼容的设置混合到单个评分中。

作者强调，HERO 被设计为一个可重用的库，旨在支持累积的、可复现的以及感知设置的 FCL 评估，而非一次性的实验协议。他们明确指出，虽然 HERO 记录了方法的假设，但它并不取代正式的隐私分析或部署层面的验证。