Communication-Efficient Byzantine-Robust Federated Conformal Prediction via Partial Model Sharing

想象一个巨大的、协作式的艺术项目，数百名艺术家（被称为“客户端”）正试图共同完成同一幅杰作，但他们绝不会向彼此展示私人的素描本。他们向一个中央画廊馆长（“服务器”）发送微小的更新，由馆长将它们混合在一起以完善最终的画作。这就是联邦学习（Federated Learning）。

但这里有一个转折：其中一些艺术家其实是捣蛋鬼，或者是“拜占庭（Byzantine）”代理。他们不仅仅是画得不好，而是恶意的破坏者。他们可能会在训练阶段通过发送狂乱、混乱的笔触来毁掉画作，或者在“校准（calibration）”阶段（即决定最终预测中允许多少不确定性的阶段）欺骗画廊馆长，让馆长误以为画作非常完美，而实际上它已经一团糟了。

这篇论文介绍了一个名为 PRISM-FCP 的新框架（即：针对联邦共形预测的局部共享与基于统计边际的鲁棒校准）。你可以把它想象成一个聪明的安全系统，它通过两种方式阻止破坏者，同时还节省了大量的精力和带宽。

双重防御机制

1. “局部共享”之盾（从源头阻止破坏）
通常情况下，在这些协作项目中，每位艺术家都会向画廊馆长发送他们最新的完整素描。如果一个破坏者发送了一大块混乱的红色油漆，这块油漆会被完全混合进去，从而毁掉整批作品。

PRISM-FCP 改变了规则。艺术家不再发送整个素描，而是只发送他们随机选择的 30% 的参数（想象一下，不是发送全部 50 笔触，而只发送其中的 15 笔触）。

• 神奇之处： 如果一个破坏者试图注入大量的“毒素”（噪声），随机选择的过程就像一个筛子。因为破坏者不知道哪些 30% 会被选中，他们的毒素会被稀释。论文表明，如果共享比例为 $M/D$（其中 $M$ 是共享部分，$D$ 是总数），攻击的能量会被削减。在实验中，当共享比例为 0.3 时，攻击的力量被显著降低了。
• 结果： 最终的模型受到的“污染”更少。因为模型更干净，其预测更加准确，且“预测区间”（预测周围的安全余量）不需要为了保证安全而变得过于宽大。

2. “直方图”侦探（在终点线捕捉破坏者）
即使有了第一道盾牌，一些捣蛋鬼仍可能溜进来，或者试图干扰最后的安全检查。在校准阶段，艺术家会提交“非一致性得分（nonconformity scores）”（基本上就是他们的预测错得有多离谱）。破坏者可能会撒谎说：“我表现得完美无缺！”（以此让安全余量过窄），或者说：“我表现得太糟糕了！”（以此让安全余量过宽）。

PRISM-FCP 使用了一个巧妙的技巧：艺术家不再发送原始得分，而是发送一个直方图（显示其误差分布的柱状图）。

• 侦探工作： 服务器会观察这些图表。诚实的艺术家，其图表看起来会非常相似。而破坏者的图表则会显得很奇怪，且远离群体。
• 过滤机制： 系统根据一个客户端的图表与其他人之间的距离计算出一个“恶意得分”。它会识别出表现最差的前 20 名违规者（在 100 个客户端的网络中），并在计算最终安全边际之前将他们踢出去。

论文说了什么（以及没说什么）

作者进行了广泛的模拟实验来测试其效果。

• 好消息： 在包含 20 个破坏者的 100 个客户端测试中，PRISM-FCP 成功地将预测覆盖率保持在目标值 90% 左右。
• 效率优势： 与一种尝试过滤破坏者但发送完整数据的标准方法（称为 Rob-FCP）相比，PRISM-FCP 生成的预测区间要窄 1.2 倍。这意味着预测更加精确，且没有牺牲安全性。
• 权衡： 他们测试了不同的共享比例。当共享数据仅为 25%（$M/D = 0.25$）时，区间最为紧凑（在实际数据集测试中约为 64.09 K）。随着共享数据的增加，区间会略微变宽，但系统依然保持鲁棒。

论文明确排除或反对的观点：

• 没有过滤机制的标准联邦共形预测（FCP）： 论文表明，如果不进行过滤，破坏者可以彻底破坏系统。在“覆盖率攻击（coverage attacks）”中，标准 FCP 会使区间比必要宽度扩大 4.4 倍；而在“效率攻击（efficiency attacks）”中，它会将覆盖率降至 87.5%（未达到 90% 的目标）。
• 认为训练和校准是分离的观点： 论文认为，你不能只修复训练而忽略校准，反之亦然。一个糟糕的训练阶段会让校准阶段更难防御。PRISM-FCP 的独特之处在于它是端到端地解决问题的。

我们的可靠程度如何？

论文对其模拟实验非常有信心。

• 他们在合成数据（人工生成的数字）和名为 UCI Superconductivity 的真实数据集（包含 21,263 个样本和 81 个特征）上进行了测试。
• 在真实世界测试中，无论面对何种类型的攻击（效率攻击、覆盖率攻击和随机攻击），PRISM-FCP 都能稳定达到 90.0% 的覆盖率。
• 他们甚至针对一种名为 ALIE（A Little Is Enough，意为“一点点就够了”）的“隐蔽型”攻击进行了测试，这种攻击试图通过模仿正常行为来隐藏自己。PRISM-FCP 表现出色，在仅使用 20% 通信带宽的情况下，仍能保持接近标称值的覆盖率。

然而，论文也提到了一些局限性。目前的数学证明是建立在线性回归模型之上的。虽然他们测试了一个神经网络（一个拥有 4,929 个参数的 3 层 MLP）且效果良好，但深层的理论保证在处理线性情况时最为强力。他们还提到，如果破坏者变得具有“完全自适应性”（即他们学会了随机共享模式并改变策略来击败它），目前的保证可能需要进一步完善。

总结

PRISM-FCP 就像是一个聪明且高效的艺术项目安全卫士。通过只让人们展示工作的随机切片（局部共享），它在毒素扩散前将其稀释。然后，通过比较每个人误差图表的“形状”（直方图），它能识破谎言并将他们踢出局。其结果是？一个更安全、更精准的预测系统，即使在 20% 的团队成员试图破坏项目时，也能保持 90% 的安全保障，且不会浪费带宽。