FedQHD: Closed-Form Function-Space Federated Reinforcement Learning

想象一群朋友试图共同学习如何玩一款复杂的电子游戏。他们各自拥有独特的控制器（不同的硬件），并且由于隐私规定或网络缓慢，无法共享实际的游戏画面（原始数据）。相反，他们希望分享彼此“学到的内容”，以便更快地提升游戏水平。

这就是联邦强化学习试图解决的问题。但有一个棘手之处：如果每个人的学习方式不同，简单地平均他们的“大脑设置”（就像混合两种不同的食谱），往往会导致一团糟，对任何人都无效。

本文介绍了FedQHD，这是一种让这些朋友协作的新方法，能够避免上述混乱。以下是其工作原理，使用简单的类比说明：

1. 问题：混合苹果和橙子

在大多数现有方法（称为"FedAvg"）中，服务器试图对每个人的神经网络设置取平均值。

• 问题所在：如果朋友 A 使用“蓝色”大脑，朋友 B 使用“红色”大脑，平均设置就像试图混合蓝色和红色颜料以得到紫色，但随后发现朋友 C 需要绿色颜料。由于他们的内部结构不匹配，数学计算会崩溃。
• 旧有的修复方法：一些方法试图通过让“老师”反复“提问”学生，直到他们达成一致，从而强迫他们统一。这非常缓慢，就像老师每天逐一批改试卷一样。

2. 解决方案：“通用翻译器”（超维计算）

FedQHD 通过给每个人配备一个通用翻译器（称为超维编码器）来改变游戏规则。

• 工作原理：与其学习复杂且混乱的内部规则，每个人都将游戏状态（屏幕画面）翻译成一个巨大的、固定的随机数字列表（称为“超向量”）。
• 神奇之处：一旦游戏状态被翻译成这个列表，找出最佳行动就变成了一个简单的线性数学问题（就像在点之间画一条直线）。
• 为何有效：因为现在的数学变成了直线，你可以完美地平均结果而不会破坏任何东西。这就像每个人都同意使用一种特定的方言，无论母语如何，“左”始终意味着“左”。

3. 两种场景

场景 A：所有人使用相同的翻译器（同构）

如果所有朋友使用完全相同的翻译器，服务器只需对他们各自的“最佳行动”列表取平均值。

• 结果：这是即时且完美的。这完全等同于旧的"FedAvg"方法，但速度快得多，因为它不需要进行复杂的来回计算。这是一种“闭式”解，意味着你只需一个简单公式即可得到答案，无需猜测。

场景 B：所有人使用不同的翻译器（异构）

这是 FedQHD 大放异彩的地方。如果朋友 A 的翻译器使用 1,000 个数字，而朋友 B 的使用 5,000 个数字呢？

• “锚点”策略：服务器选择一组特定的游戏情境（称为锚点），例如“汽车从悬崖坠落”或“杆子平衡”。
• 教师：服务器询问每位朋友：“在这些特定情境下你会怎么做？”并将他们的答案取平均值，从而创建一个全局教师。
• “单次”翻译：不需要漫长乏味的训练过程，每位朋友只需利用这个全局教师，通过一个快速的数学技巧（称为岭回归），将教师的建议翻译成他们自己特定的翻译器格式。
• 类比：想象一位厨师（服务器）通过品尝每个人的汤，制定出一份完美的汤谱。服务器不是要求每位厨师重新学习烹饪，而是给他们一张“翻译卡”，上面写着：“如果你想要我的汤味，请添加 2 勺你特有的香料。”这只需一步即可完成。

4. 为何更优（“联邦差距”）

本文证明，当你将全局教师转换为本地格式时，会损失一点点信息。他们称之为联邦差距。

• 他们将此误差分解为三个部分：
  1. 不匹配：翻译器之间的差异程度。
  2. 条件性：“锚点”情境对游戏的覆盖程度。
  3. 偏差：为保持稳定性而进行的微小数学调整。
• 最佳点：他们发现，如果你拥有足够多的“锚点”情境（具体来说，锚点数量多于翻译器的大小），误差就会停止增长，并保持在非常低且可预测的水平。

5. 结果

作者在四个经典控制任务（如平衡杆或降落宇宙飞船）上测试了该方法。

• 性能：FedQHD 的表现与缓慢、复杂的方法相当，甚至更好。
• 速度：它显著更快。因为它使用简单的数学公式，而不是繁重缓慢的神经网络训练循环，所以能在几分钟内完成任务，而不是数小时。
• 效率：即使朋友们拥有不同大小的翻译器，系统也能平稳运行，无需强迫它们大小一致。

总结

FedQHD 是一种智能方法，使 AI 代理能够在不共享私有数据的情况下共同学习。

• 它利用“随机特征”翻译器，将复杂的学习转化为简单的数学问题。
• 它利用基于特定测试用例（锚点）构建的“全局教师”。
• 它通过一个即时、单一的数学步骤，将该教师翻译成每个代理的独特风格。
• 其结果是一个快速、准确且即使所有人硬件不同也能正常工作的系统。