🤖 AI

Learning in Deep Networks under Dale's Constraint

本文介绍了一种符合戴尔约束（Dale's constraint）的生物学合理神经架构，该架构通过使用双非负通道来表示混合符号的贡献，使得局部赫布学习（Hebbian learning）能够在无需混合符号信号的情况下，在 Tiny ImageNet 等基准测试上达到反向传播级别的性能。

原作者： Roy Abel, Shimon Ullman

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Roy Abel, Shimon Ullman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，大脑就像一座繁忙、高速运转的城市，数以十亿计的信使（神经元）不断地向彼此大声传递信息，以解决问题、识别面孔并记住你最喜欢的歌曲。几十年来，计算机科学家一直试图构建像这样工作的“人工大脑”，并使用一种被称为“反向传播”（backpropagation）的强大工具来教导它们。你可以把反向传播想象成一位走在教室里的名师，正对着每个学生耳语，精确地告诉他们犯了多少错误以及如何修正。但问题在于：真实的生物神经元比我们的数字模拟要严格得多。在真实的大脑中，一个神经元要么是“啦啦队”（兴奋性），大喊“冲啊！”；要么是“阻拦者”（抑制性），大喊“停下！”。它不能同时既是两者，也永远不能喊出一个负数。这就是所谓的戴尔定律（Dale's Law）。此外，神经元只能以正向速率放电；它们无法发送出“负向放电”。

这给科学家们制造了一个巨大的谜题：如果大脑的信使只能通过喊“冲”或“停”来交流，且永远无法携带负数，大脑又是如何有效地学习的呢？标准的计算机学习依赖于负数来告诉一个神经元：“你走错方向了，回头吧！”如果你试图用一种需要“负向耳语”的方法去教导一个只理解“正向呐喊”的大脑，整个系统就会崩溃。本文正是在应对这一难题，探讨我们是否可以构建一种既尊重大脑严苛规则，又能像最优秀的计算机那样快速学习的系统。

作者罗伊·阿贝尔（Roy Abel）和西蒙·乌尔曼（Shimon Ullman）提出了一个受人类眼睛运作方式启发出的巧妙解决方案。他们引入了一种被称为**“开-关”（On-Off）模型**的新型神经架构。他们并没有试图强迫一个神经元喊出一个负数（这在生物学上是不可能的），而是使用一对神经元来代表一个单一的概念。想象一对双胞胎：一个是“开”双胞胎，当情况比预期更“多”时，他会感到兴奋；另一个是“关”双胞胎，当情况比预期更“少”时，他会感到兴奋。如果“开”双胞胎在大声呐喊，说明这个概念是正向的；如果“关”双胞胎在呐喊，说明这个概念是负向的；如果两者都保持安静，则说明该概念为零。通过使用这些配对，网络可以在从不违反“神经元只能正向放电”这一规则的前提下，表示正值和负值。

论文表明，这种“开-关”系统可以像标准计算机模型一样出色地学习。研究人员从数学上证明，如果网络设置得当，这对“呐喊的双胞胎”可以像传统的“负数方法”一样准确地将误差信息向后传递。这就像一场接力赛，接力棒不是由单个跑者传递，而是由两个在相反赛道上奔跑的跑者传递；两人的速度差异会准确地告诉下一个跑者该怎么做。

当他们在真实的图像识别任务上测试这个想法时，结果令人惊喜。在一个涉及对200个不同类别图像进行分类的标准测试——Tiny ImageNet上，他们的“开-关”模型达到了**42.31%**的准确率。这与那些难以扩展到此水平的、受生物启发的方法相比，有了显著的飞跃。更有趣的是，他们的模型击败了拥有相同神经元数量的标准计算机网络，这表明这种“开-关”式的思维方式不仅对生物学友好，它可能是一种更聪明、更高效的信息处理方式。

这项研究表明，大脑在学习复杂任务时，并不需要打破自身的规则。相反，它可能利用这些互补的兴奋性和抑制性信号来完成繁重的工作。虽然该模型仍然需要大量的神经元（为了表示相同的信息，大约需要标准网络两倍的数量），但作者指出，大脑实际上拥有的反馈连接大约是前馈连接的两倍，因此这种“额外成本”可能正是大自然已经在支付的代价。最终，这项工作表明，有效的学习可以从看起来非常接近真实大脑的机制中产生，证明了你不需要靠“神奇的负数”来教会机器如何观察世界。

技术摘要：受 Dale 定律约束下的深度网络学习

问题陈述
深度学习已成为系统神经科学的主要框架，然而标准的反向传播算法面临着显著的生物学合理性障碍。一个核心障碍是 Dale 定律（Dale's constraint）：生物神经元要么是纯兴奋性的，要么是纯抑制性的，突触不能改变符号。此外，神经元活动（放电率）本质上是非负的。标准的反向传播依赖于有符号的激活值、有符号的误差信号以及不受符号约束的突触权重来传播梯度。现有的具有生物学合理性的学习模型（例如预测编码、反馈对齐）往往无法在满足 Dale 定律和非负活动性的同时，恢复精确的梯度更新。具体而言，许多模型允许神经元表示混合符号的值，或者依赖于违反局部突触约束的全局误差信号。

方法论
作者提出了一种全新的神经架构和学习规则，该架构严格遵守 Dale 定律和非负活动性，同时支持类反向传播的学习。

开关型（On-Off）神经回路基元：
- 其核心构建模块是一个由兴奋性和抑制性神经元组成的小型回路基元。
- 该基元将两个非负输入（ $x_1, x_2 \ge 0$ ）映射到两个非负输出通道，分别记为 $y^+$ （On）和 $y^-$ （Off）。
- 该回路实现了一个“软”差值运算。如果 $x_1 > x_2$ ，则 On 通道激活；如果 $x_2 > x_1$ ，则 Off 通道激活。
- 一个有符号的量 $d = x_1 - x_2$ 并非由单个混合符号神经元表示，而是通过一对非负通道来表示：正向差值被编码在 $y^+$ 中，而负向差值则以相同的幅度编码在 $y^-$ 中。在同一时刻，最多只有一个通道处于激活状态（或者如果差值低于阈值，则两者皆为零）。
网络架构：
- 通过使用此类 On-Off 基元替换标准深度网络中的每个混合符号神经元来构建标准深度网络。
- 网络通过两个流进行运行：
  - 自底向上（BU）： 使用 On-Off 基元计算前馈激活。
  - 自顶向下（TD）： 传播用于学习的反馈信号。对于每一个 BU 基元，都有两个对应的 TD 基元（分别对应 BU 的 On 通道和 Off 通道）。
- TD 流同样使用成对的非负通道来表示正向和负向的突触更新。
局部赫布（Hebbian）学习规则：
- 学习由一种结合了突触前 BU 活动与成对 TD 反馈信号的局部赫布更新驱动。
- 对于具有突触前活动 $x_j$ $x_{j}$ 的突触，其更新由两个 TD 通道决定：
  - 正向 TD 通道（ $\bar{\partial}_i$ ）中的活动驱动赫布式的权重增加。
  - 负向 TD 通道（ $\partial_i$ ）中的活动驱动赫布式的权重减少。
- 有效的更新为 $\Delta W_{ij} = \eta x_j (\bar{\partial}_i - \partial_i)$ 。
- 至关重要的是，突触权重 $W_{ij}$ 本身具有固定的符号（兴奋性或抑制性），但其幅度根据两个非负 TD 信号之间的差异进行更新。

理论分析
作者提供了一个理论证明，表明在特定条件下，这种局部学习方案可以精确地恢复反向传播的更新：

假设： BU 网络由线性操作后接 ReLU 非线性构成，且 BU 和 TD 权重是对齐的（对称）。
机制： TD 传播满足与反向传播误差信号（ $\delta_l$ ）相同的递归关系。具体而言，两个非负 TD 通道之间的差值（ $\bar{\partial}_l - \partial_l$ ）在向后传播时，其行为与标准反向传播中的有符号误差信号 $\delta_l$ 完全一致，并受到 ReLU 导数（对应于激活的 BU 通道）的门控。
结果： 因此，局部赫布更新 $\eta (\bar{\partial}_l - \partial_l) h_{l-1}^T$ 在数学上等价于梯度下降更新 $-\eta \frac{\partial L}{\partial W_l}$ 。

实验结果
该模型在图像分类基准测试上进行了评估：

受控实验（MNIST, Fashion-MNIST, CIFCIF-10）：
- 对称赫布模型（即 BU 和 TD 权重对齐的模型）实现了与相同有效宽度下的标准反向传播训练网络相当的测试准确率。
- “弱对称”（存在噪声对齐）和“学习基元”权重的变体也表现良好，这表明该架构对不完美的对齐具有鲁棒性，并且不需要固定的单位幅度内部权重。
- On-Off 模型优于同等规模的标准 ReLU MLP，这表明成对通道的表示法提供了超越单纯增加神经元数量的计算优势。
扩展性（Tiny ImageNet）：
- 在更具挑战性的 Tiny ImageNet 基准测试（200 个类别）中，采用局部赫布学习的 On-Off 模型实现了 42.31% 的 Top-1 准确率。
- 该结果显著优于近期的生物启发基准模型，如自对比前向前向（SCFF, 35.7%）以及宽度匹配的标准卷积基准（35.58%）。
- 结果表明该架构能够有效地扩展到更深的卷积网络中。

意义与主张
本文声称解决了长期以来在受 Dale 定律约束的网络中实现有效信用分配（credit assignment）的矛盾。

生物学合理性： 该模型证明了有符号的学习信号可以从结构化的非负神经群体（On/Off 通道）的相互作用中产生，而无需要求神经元发出负向脉冲或突触改变符号。这符合视网膜和视觉皮层中存在 On-Off 通道的生物学证据，也符合近期关于向量化树突反馈的研究发现。
计算效能： 与“生物约束必然导致性能下降”的假设相反，On-Off 架构不仅能达到而且通常会超过同等规模的标准“原生”网络。作者认为，成对通道的表示法提供了一种高效的视觉特征编码方式（例如，互补的边缘极性或目标-背景对比度），在提供生物学真实性的同时，也带来了计算优势。
局限性： 作者承认该模型并非一个完整的皮层学习生物模型。它需要比标准网络多出一倍的神经元（或通道），并且依赖于 BU 和 TD 路径的对齐，尽管他们展示了这种对齐并不需要完全精确。

总之，这项工作为 Dale 定律约束下的网络提供了一种具体的、类似于反向传播的学习机制，弥合了基于梯度的学习的计算能力与生物神经电路物理约束之间的鸿沟。

技术摘要：受 Dale 定律约束下的深度网络学习

类似论文