Equilibrium Propagation with Predictive Learning in Leaky Integrate-and-Fire Spiking Neural Networks

本文提出了一种适用于漏积分发放脉冲神经网络的生物可解释平衡传播框架,该框架采用预测性学习规则替代脉冲时序依赖可塑性,在实现与反向传播相当的竞争性图像分类精度的同时,展现出独特且更持久的隐藏层活动模式。

原作者: Kubo, Y.

发布于 2026-05-21
📖 1 分钟阅读☕ 轻松阅读

原作者: Kubo, Y.

原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明

想象一下,你正在尝试训练一支由微型生物计算机(称为脉冲神经网络)组成的团队来识别图片,比如区分猫和狗。通常,为了训练这些计算机,科学家会使用一种称为反向传播的方法。把反向传播想象成一位严厉、自上而下的经理:他审视最终的错误,精确计算出每一位员工对该错误的具体贡献,然后沿原路向下发送具体的指令以进行修正。虽然这种方法在计算机上行之有效,但它并不符合真实大脑的工作方式,因为真实的神经元并没有一位“经理”向整个网络发送全局指令。

本文介绍了一种更自然的方式来训练这些网络,称为平衡传播(EP)

类比:“小组围圈”与“经理”

与其让经理发送指令,不如想象神经元团队像一群人围在一起围圈共同解决谜题:

  1. 设置:神经元就像房间里的人。他们有一个目标(正确识别图像)。
  2. “自由”状态:首先,他们观察图片并做出最佳猜测。他们彼此交流,但此时没有人受到纠正。
  3. “钳制”状态:接着,有人向小组正确的答案耳语。神经元会略微调整其内部状态以匹配这一真相。
  4. 学习:神经元比较它们在“自由”状态下的表现与“钳制”状态下的表现。这两个时刻之间的差异告诉它们如何调整连接,以便下次做得更好。

这种方法被称为平衡传播,因为神经元在学习发生之前会达到一种平衡(均衡)状态。这更像真实大脑的学习方式:就在当下,通过比较你预期会发生的事情与实际发生的事情来进行学习。

新转折:预测性学习

研究人员将这种“小组围圈”方法应用于一类特定的神经元,称为**漏积分发放(LIF)**神经元。你可以把这些神经元想象成漏水的桶。水(信号)流入,如果桶装得足够满,它就会“溢出”(发放脉冲),向下一个人发送消息。如果桶没装满,水就会漏掉,消息也就丢失了。

本文的重大创新在于这些神经元如何学习“溢出”。他们没有使用一种称为STDP的常见规则(这就像在说:“如果我刚在你之前发放脉冲,我就是你的朋友;如果我在你之后发放,我就不是”),而是使用了一种预测性学习规则

把这想象成一位天气预报员

  • 神经元不断尝试预测下一个信号是什么。
  • 如果它们预测正确,它们就保持平静。
  • 如果它们感到意外(预测错误),它们就会调整其“漏水性”或溢出的难易程度,以便下次更好地预测。
  • 这与预测编码的理念一致,即大脑的主要工作是不断猜测未来,并且只在遇到意外时才进行学习。

他们发现了什么?

该团队在三个著名的图像数据集(MNIST、KMNIST 和 Fashion-MNIST)上测试了这种新的“预测性围圈”系统,这些数据集就像是图像识别的标准测试。

  1. 行之有效:他们的新系统(EP+LIF)获得的分数几乎与传统的“经理”系统(BP+LIF)一样高。这证明了你不需要自上而下的经理也能获得出色的结果;局部的、预测性的围圈同样有效。
  2. 不同的习惯:当他们仔细观察神经元的行为时,发现它们的“性格”存在差异:
    • 传统经理系统(BP)使神经元非常安静且高效。它们只在绝对必要时才发放脉冲,形成一种稀疏(稀疏)的活动模式。
    • **新的预测系统(EP)**让神经元保持更活跃和持久。它们保持“清醒”并彼此交流更长的时间。

结论

本文表明,你可以使用一种更符合自然生物学(预测和围圈)而非僵化工程(反向传播)的方法来训练先进的类脑计算机网络。虽然新方法产生的神经元比传统方法更爱“聊天”且不那么“稀疏”,但它达到了同样的高精度。这表明大脑可能利用这种基于预测和平衡的技巧来学习,而通过模仿这些特定习惯,我们可以构建出更好的人工智能。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →