Sign-Symmetry Learning Rules are Robust Fine-Tuners

想象一下，你正在教一个机器人识别猫、狗和汽车。几十年来，训练这些数字大脑的金标准是一种被称为“反向传播”（Backpropagation）的方法。你可以把它想象成一位严苛且追求完美的教练，他观察机器人的每一个动作，精确计算到极其微小的数值，然后将精确的修正信号传回机器人的整个神经系统。这种方法效果极佳，让机器人变得聪明且高效。然而，这位教练有一个致命弱点：如果有人在猫的照片上偷偷撒上一粒几乎看不见的微尘，机器人可能会突然大喊：“这是一台烤面包机！”这就是所谓的“对抗性攻击”（adversarial attack），也是让人们难以信任人工智能进入现实世界的重大问题。科学家们长期以来一直试图寻找一种不同的教学方式，即模仿我们人类大脑真实的学习方式——使用更粗糙、更具生物特性的信号，而不是完美的数学。但这些“具有生物合理性”的方法通常会让机器人变得更笨、更慢，因此大多数人选择了放弃。

现在，一个研究小组决定尝试一种聪明的混合方法。他们问道：“如果我们用严厉的教练来教授机器人基础知识，然后改用更粗糙、更具生物特性的教练来进行最后的润色呢？”在他们的新研究中，他们先使用标准的完美方法对神经网络（机器人的大脑）进行预训练。然后，在结束训练时，他们没有继续使用那位严厉的教练，而是使用了被称为“符号对称性”（Sign-Symmetry）的规则。这些规则就像是一位只关心误差方向（向上或向下，向左或向右）而不在乎精确大小的教练。他们不需要知道每个连接的具体权重，只需要知道该往哪个方向推一把。研究人员发现，这种“更粗糙”的最后润色并没有让机器人在识别事物方面变得更笨。事实上，它让机器人变得异常强韧。当攻击者试图用那些微小的、肉眼难辨的微尘来欺骗机器人时，使用符号对称性规则的机器人几乎纹丝不动，而完全由严厉教练训练出的机器人则会迅速崩溃。事实证明，通过不再如此痴迷于完美的精度，机器人变得更难被愚弄了。

粗糙润色的故事

让我们深入了解这是如何运作的。研究人员最初的想法是，严厉的教练（反向传播）非常擅长打下坚实的基础。这就像学骑自行车时，有辅助轮提供完美的平衡数据。但一旦你学会了骑车，也许你就不再需要那些完美的传感器了。团队采用了预训练模型——即已经学会使用标准方法识别图像的神经网络——并利用符号对称性规则给它们进行了一次“微调”训练。

这些规则有几种不同的变体，比如 uSF（均匀符号一致反馈）、frSF（固定随机幅值符号一致反馈）和 brSF（批次随机幅值符号一致反馈）。你可以把它们理解为给机器人施加“推力”的不同方式。与其说：“你在左边偏离了 0.043 个单位”，符号对称性教练只会说：“嘿，你向左倾斜了，往右推！”它忽略了精确的数字，只关注误差的符号（正或负）。

团队在两个主要任务上测试了这些方法：图像分类（辨别图片内容）和基于哈希的图像检索（从庞大的数据库中寻找相似图片）。他们使用了像 AlexNet、VGG-16 和 ResNet-18 这样的流行机器人大脑，并在 CIFAR-10、MS-COCO 和 ImageNet 等著名数据集上进行了测试。

结果令人惊喜且激动人心。在单纯比拼“聪明程度”方面，经过符号对称性微调的机器人与完全由严厉教练训练的机器人一样出色。在某些情况下，它们甚至表现得更好！例如，在带有 AlexNet 大脑的 CIFAR-10 数据集上，符号对称性方法的 Top-1 准确率达到了 93.75%，超过了标准教练的 90.62%。在带有 ResNet-18 大脑的 ImageNet 数据集上，它们也达到了与标准教练持平的 87.5% 准确率。这里的关键结论是：通过在最后阶段切换到更粗糙的教练，你并不会损失任何智能。

真正的魔法发生在测试这些机器人如何应对麻烦时。研究人员对它们发起了“对抗性攻击”。这些攻击就像是数字黑客试图通过在图像中添加微量噪声来欺骗机器人。他们使用了两种攻击方式：FGSM 和 PGD。这些是“白盒”攻击，意味着黑客完全了解机器人的思考逻辑，并利用这些知识精心设计了完美的诡计。

当黑客攻击那些仅由反向传播训练的标准机器人时，这些机器人很快就崩溃了。随着黑客增加噪声（用 $\epsilon$ 表示），标准机器人的准确率大幅下降。在 ImageNet 数据集上，当噪声水平达到 0.5 时，标准机器人的准确率几乎降至 0%。它被彻底欺骗了。

然而，经过符号对称性微调的机器人却像坚韧的旧靴子一样。它们并没有崩溃。即使面对同样的重度噪声，它们也能很好地保持准确率。在 ResNet-18 的实验中，标准机器人与符号对称性机器人之间的差距巨大——在受到攻击时，准确率差异有时高达 71.88%。标准机器人的曲线像石头坠落一样直线下降，而符号对称性机器人的曲线下降得非常平缓，就像一个滑梯。这表明，由于符号对称性规则不依赖于完美的精确梯度，黑客无法轻易计算出完美的诡计来欺骗它们。这就像是在尝试撬开一把锁，但锁芯略显松动且具有随机性，完美的钥匙不再奏效了。

团队还检查了这些机器人是否容易受到“黑盒”攻击的影响，即黑客不知道机器人如何思考，只是尝试随机的诡计。在这种情况下，符号对称性机器人的表现与标准机器人一样好。这是一个至关重要的细节：这意味着机器人并没有变得整体更弱，它们只是变得在面对依赖内部数学逻辑的黑客时，变得特别难以被欺骗。

研究人员还观察了“哈希”任务，这就像是通过将书封转化为简短且唯一的代码来整理图书馆。他们在这里发现了类似的结果。当受到 HAG 和 SDHA 等方法的攻击时，标准机器人的性能（以平均检索精度 mAP 衡量）大幅跳水。例如，在 ImageNet 上，标准机器人在高噪声水平下的 mAP 降至约 12%，而符号对称性机器人仍保持在 40% 左右。

其中最有趣的发现是，名为 frSF（固定随机幅值符号一致反馈）的方法似乎是所有方法中最稳定且表现最好的。它在不同的机器人大脑和数据集上始终能稳住阵脚。

那么，这一切意味着什么？论文指出，我们不必在“聪明”和“强韧”之间做选择。我们可以两者兼得。通过使用严厉、完美的教练来打下基础，然后切换到粗糙、具有生物特性的教练来进行最后的润色，我们就能得到一个既聪明又难以被欺骗的机器人。作者提出，这种“符号对称性”方法可以成为让 AI 更安全、更可靠的一种新途径，尤其是在我们无法承受被愚弄后果的情况下。他们承认，还需要更多工作来观察这种方法在更大、更复杂的系统上的表现，但初步结果是一个强烈的暗示：大自然那种粗犷且充满磨炼的学习方式，或许正是让我们这些数字大脑变得真正强大的秘密武器。