Local Synaptic Rules Can Implement a SIGReg Gradient Without Backpropagation

大脑在没有老师的情况下学习的秘密配方

想象一下，你正在尝试学习一门新语言，但你没有老师、没有教科书，甚至没有词典。你面前只有流动的声音和图像。你是如何弄明白“dog”（狗）和“puppy”（小狗）是相关的，或者“cat”（猫）和“bark”（吠叫）是不搭调的？这就是人类大脑学习方式的核心奥秘。与现代计算机不同——现代计算机通常需要海量的标注数据集（比如数百万张贴有“猫”或“狗”标签的照片）以及一种被称为“反向传播”的复杂、重数学计算的过程来纠正错误——大脑似乎能够利用纯粹的经验流进行即时学习。

科学家们长期以来一直怀疑，大脑使用两种特定的局部规则来实现这一点。第一种类似于一种“时间规则”：如果一个神经元在另一个神经元之前触发，它们就会变成更亲密的朋友；如果顺序反转，它们就会渐行渐远。第二种是“平衡规则”：神经元不断检查自身的活动水平并进行调整，以保持在健康的范围内，防止它们变得过于狂热或陷入沉默。大问题在于：这两种简单的局部规则是否真的能承担起现代人工智能的重任？具体来说，它们能否教会一台计算机在没有任何标签或全局误差信号的情况下理解世界？这正是马丁·安德鲁斯（Martin Andrews）在这篇论文中探讨的谜题。

论文的重大发现：一种生物学意义上的“自监督”机器

论文证明了，如果你将这两种生物学规则——脉冲时间依赖可塑性（STDP）和稳态可塑性（Homeostatic Plasticity）——结合起来，你将得到一台学习方式与一种名为 SIGReg 的先进现代 AI 方法完全相同的机器。

为了理解其中的奥妙，让我们来看看这个故事中的角色：

1. 编码器（大脑的主层）： 想象一组接收输入流的神经元，比如一段猫在走路的视频。
2. 闪光灯神经元（探测器）： 这是第二组神经元，它们充当一个固定的、随机的“闪光灯”，照向主层神经元。它们不进行学习，只是测量主层的活动情况。把它们想象成一组随机的过滤器，用来检查主层神经元的放电是否处于平衡且有趣的状态。
3. 两种规则：
   • 时间规则 (STDP+)： 该规则观察时间的流动。如果时间 $t$ 的“猫”图像后紧跟着时间 $t+1$ 的“猫”图像，那么为第一个图像放电的神经元会受到第二个图像放电神经元的“击掌鼓励”。这就像是在说：“嘿，你们两个是朋友，因为你们同时出现了！”这建立了一种时间连续性的感觉。
   • 平衡规则 (稳态性)： 该规则观察“闪光灯”神经元。如果一个闪光灯神经元的放电过于频繁（方差过高）或过少，它会向主层神经元发送一个逆向信号说：“调低一点”或“大声一点”。如果两个闪光灯神经元经常一起放电（协方差），它们会发送一个信号来停止这种相关性。这迫使主层神经元分散其信息，以免它们全都说着同样的话（这是一个被称为“维度坍缩”的问题）。

“顿悟”时刻：
论文表明，当你同时运行这两条规则时，数学逻辑完美契合。 “时间规则”推动网络去学习随时间保持不变的事物（比如猫在移动时依然是猫），而“平衡规则”推动网络组织其信息，使每个神经元都承担独特的工作。两者结合在一起，执行了与复杂的 AI 算法 SIGReg 完全相同的数学步骤，而 SIGReg 正是旨在无需标签即可学习有用表征的算法。

论文证明了什么（以及没能证明什么）：
作者不仅是靠直觉猜测，他们通过数学推导和模拟实验证明了这种等价性。

• 证明： 他们展示了由 STDP 和稳态性引起的权重变化，在他们的特定模型中，在数学上等同于 SIGReg 目标函数的梯度（改进的方向）。这证明了一个具有生物学合理性的设置可以在不需要全局误差信号或反向传播的情况下实现这一目标，尽管这并不意味着在所有语境下这些都是学习的唯一方式。
• 模拟结果：
  • 在一个包含 450 个样本的合成任务中，当数据以有序块的形式呈现时（就像一部电影，同一个场景会持续播放一段时间），网络的类别分离能力显著优于随机情况，达到了 2.49 的聚类分离得分。当相同的数据被随机打乱后，得分保持在 0.83 左右。这证明了网络仅从时间的顺序中学习，而不是从任何隐藏标签中学习。与随机基准相比，有序呈现将分离度提高了约三倍。
  • 在著名的 MNIST 数据集（手写数字）上，仅使用这些规则训练（训练期间没有反向传播，也没有标签）的两层网络，在通过一个简单的线性探测器进行测试时，达到了 87.3% 的准确率。这是一个非常强大的结果，表明该机制可以端到端地运作。

关于 STDP 抑制作用的澄清：
论文明确研究了 STDP 的“抑制”部分（即当时间关系不对时削弱连接的部分）。研究发现，虽然这条规则在理论上对于强制非负权重（类似于生物投影步骤）是必要的，但其本身会使学习变得不稳定。在模拟中，如果不使用特定的补偿机制，仅使用抑制规则会导致准确率大幅下降（降至 59.3% 或 69.6%）。作者认为这并不是因为该规则无效，而是因为模型缺少一类特定的抑制性中间神经元（如篮状细胞/basket cells），这些神经元是维持系统稳定所必需的。这被留作未来研究的一个重要领域。

给好奇青少年的启示：
这篇论文是生物学与人工智能之间的桥梁。它表明，大脑可能不需要一个复杂的、中心化的“误差纠正”系统来学习。相反，它可能只需要两个简单的局部习惯：“跟随那些在正确时间出现的伙伴”以及“确保你们不要都在做完全相同的事情”。通过结合这些习惯，大脑可以仅仅通过观察世界随时间展开的过程，自然而然地发现世界的结构——比如识别出猫就是猫。作者们已经证明，这不仅仅是一个诗意的比喻；这是一个可以通过模拟和证明的数学现实。