Native Byzantine-Robust Aggregation for Trustworthy Federated Learning: A C++20 Evaluation of Krum, Multi-Krum, Trimmed Mean, and Coordinate-wise Median
本文提出并评估了一种用于联邦学习的高性能 C++20 实现，该实现涵盖了拜占庭鲁棒聚合算法（Krum、Multi-Krum、修剪平均值和中位数），并通过严谨的正当性检查与基准测试证明，将显式的拜占庭假设与数值防御型原生系统设计相结合，能够在保持对抗性更新鲁棒性的同时，显著加速聚合过程。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一群陌生人试图共同解决一个复杂的谜题，但他们身处不同的房间，无法看到彼此手中的碎片。他们只能向一位中央领导者发送关于自己进展的描述。这就是现代计算方法——联邦学习（federated learning）的本质，即许多设备在从不共享私有数据的情况下，共同训练一个共享的人工智能。当每个人都公平参与时，这个系统运行得非常完美，但它面临着一个关键的弱点：如果其中一个陌生人在撒谎怎么办？一个受损的设备可能会发送完全错误的描述，这并非因为它坏了，而是因为它具有恶意，旨在破坏最终答案。在这种情况下，仅仅信任大多数人是不够的，因为少数坏人就能把整个团队带偏。科学家面临的挑战是构建一个能够识别这些骗子并忽略其错误建议的系统，从而确保即使在某些参与者试图积极破坏过程的情况下，最终结果依然值得信赖。
研究人员早已知道如何通过特定的规则在数学上过滤掉这些坏人，但将这些规则转化为快速、可靠的软件一直是一个难题。沃罗涅日国立森林技术大学的 Md Shahanur Islam Shagor 进行的一项新研究解决了这个问题，他构建了一个用于运行这些安全检查的高速引擎。该团队并没有发明一种新的过滤坏数据的方法；相反，他们利用一种旨在实现速度和安全的现代编程语言，将四种现有的、广为人知的识别骗子的策略从底层进行了重构。他们的目标是证明这些安全机制可以运行得足够快，以至于在现实世界的应用中具有实用价值，同时还要确保它们绝不会意外接受损坏或危险的输入。
研究人员专注于处理坏数据的四种特定策略。前两种被称为 Krum 和 Multi-Krum，其原理是测量每个人的更新与其他所有人之间的距离。如果一个人的更新与群体差异巨大，系统就会将其识别为离群值，并选择最一致的人，或者对少数最一致的人进行平均。另外两种策略——修剪平均值（trimmed mean）和逐坐标中位数（coordinate-wise median）——则是通过单独观察谜题碎片的每一个部分来工作的。它们在计算平均值之前，会丢弃每一个部分中最高和最低的数值，或者仅仅选取中间值，从而有效地忽略那些可能试图扭曲结果的极端离群值。虽然这些数学思想已被广泛理解，但研究人员想看看当它们被实现为能够与当今使用的人工智能海量软件系统协同运行的原生计算机程序时，表现如何。
为了测试他们的工作，团队创建了一个受控模拟环境，其中十个虚拟客户端尝试在二十五个轮次中训练一个模型。在此模拟中，有两个客户端被设定为恶意攻击者。一名攻击者试图完全扭转进展的方向，而另一名则通过注入随机的高方差噪声来淹没系统，旨在使数学计算陷入混乱。尽管这些试图破坏过程的激进尝试，系统仍成功地引导模型走向了正确的目标。在二十五轮之后，模型当前位置与真实目标之间的距离已缩减至起始位置的不到百分之五。这一结果在 Multi-Krum 方法、修剪平均值和中位数法中均成立，证明了这些既定的规则确实可以在受控环境下抵御百分之二十的攻击率。
然而，这项研究中最令人惊讶的部分不仅在于这些安全规则有效，还在于它们与标准软件工具相比运行得有多快。研究人员测量了处理包含一千个参数和十万个参数的更新所需的时间。对于像 Krum 和 Multi-Krum 这样的基于距离的方法，新的原生代码速度显著提升。在处理一千个参数时，新代码比标准工具快了两倍以上；当规模增长到十万个参数时，速度提升了三倍以上。这种加速之所以发生，是因为新代码可以利用计算机的处理器同时处理许多计算，并以极高的效率执行复杂的距离检查。
然而，对于其他方法来说，情况却有所不同。涉及排序数字以寻找中间值的修剪平均值，并没有随着新代码的使用而变快。事实上，在较小规模下，它甚至比标准工具更慢；而在较大规模下，它仅能勉强与标准工具持平。这一发现至关重要，因为它表明仅仅用更快的语言重写代码并不一定会让一切都变快。用于排序数字的标准工具已经过高度优化，以至于定制程序很难超越它们。研究人员发现，速度优势完全取决于正在进行的具体数学运算；对于某些任务，新引擎是一个巨大的飞跃，而对于另一些任务，它则无法提供任何收益。
该研究还强调，速度不能以牺牲安全性为代价。新系统采用了“失效关闭”（fail-closed）的设计原则，这意味着如果输入数据混乱、数据缺失或配置不可能实现，系统会直接拒绝运行，而不是产生一个潜在危险的结果。它会检查不可能出现的情景，例如攻击者数量过多超过了参与者总数，并立即拒绝这些请求。它还确保没有任何奇怪的、未定义的数字能够溜进系统从而破坏最终的模型。这种严格性确保了系统的可靠性，即使这意味着拒绝一个不够谨慎的系统可能会尝试处理的请求。
最终，这项工作证明了构建可信的人工智能系统需要平衡安全性和性能。研究人员表明，创建一个既在数学上严密又在计算上高效的防御恶意攻击者的鲁棒机制是可能的，但前提是设计必须针对特定方法进行定制。研究结论指出，不存在一种适用于所有安全问题的单一“快速”解决方案。相反，工程师必须为特定的任务选择合适的工具，并理解某些安全规则在处理不同规模的数据和性质的计算时，其运行速度会有所不同。通过将严格的安全检查与高性能计算相结合，我们可以构建出不仅聪明而且足够强大、足以在现实世界中被信任的联邦学习系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。