🤖 machine learning

Diffusing Blame: Task-Dependent Credit Assignment in Biologically Plausible Dual-Stream Networks

本文介绍了一种具有生物学合理性的双流架构，该架构利用带有模运算误差路由的误差扩散以及任务特定的创新，在严格遵守戴尔原则（Dale's principle）的同时，在 MNIST、CIFAR-10 和连续强化学习任务上实现了强劲的性能。

原作者： Yutaro Yamada, Luca Grillotti, Rujikorn Charakorn, Sebastian Risi, David Ha, Robert Tjarko Lange

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Yutaro Yamada, Luca Grillotti, Rujikorn Charakorn, Sebastian Risi, David Ha, Robert Tjarko Lange

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：一种“生物学式”的 AI 教导法

想象一下，你正在试图教一个机器人如何识别图片或在房间里行走。通常，我们使用一种叫做**反向传播（Backpropagation）**的方法来教机器人。你可以把它想象成一位严厉的老师，这位老师拥有一张关于机器人整个大脑的完美、神奇的地图。当机器人犯错时，老师会观察这张地图，沿着错误一路追溯到导致错误的那个特定神经元，然后告诉那个精确的神经元：“你做错了，把它修好。”

问题在于： 真实的生物大脑（比如我们的大脑）并不是这样工作的。在自然界中，神经元要么是“兴奋性”的（推动系统前进），要么是“抑制性”的（将系统向后推），它们绝不会两者兼具。此外，一个脑细胞并没有一张关于整个大脑的神奇地图，来让它知道该如何精确地修复自己的错误。

论文的目标： 研究人员想要构建一种像真实大脑一样学习的 AI（遵循“戴尔原则”，即保持兴奋性和抑制性细胞分离），但同时仍能有效地学习解决难题，比如识别照片中的猫或在崎岖地形上行走。

解决方案：“双流”工厂

为了模拟大脑，研究人员构建了一个双流网络（Dual-Stream Network）。想象一个有两个独立传送带并排运行的工厂：

“前进”传送带（兴奋性）： 这些工人只负责向前推动事物。
“停止”传送带（抑制性）： 这些工人只负责向后拉或减慢速度。

最终的结果是两条传送带之间的差值。如果“前进”传送带用力推动而“停止”传送带很弱，机器就会向前移动。如果“停止”传送带很强，它就会抵消掉这种运动。这确保了网络中的每一个连接都是严格的正值（要么是推，要么是拉），就像真实的大脑一样。

学习技巧：“误差扩散”

在标准 AI 中，“老师”会向制造错误的精确神经元发送一条特定的修正信息。而在这种新系统中，“老师”并不知道精确的路径。相反，他们向房间里大喊一声通用的误差信号。

研究人员使用了一种被称为**模运算误差路由（Modulo Error Routing）**的聪明路由系统。想象一个邮件收发室，每个包裹（误差信号）都被盖上了编号。工厂里的每个工人（神经元）都有一个特定的编号。当一个包裹到达时，它会发送给编号与印章匹配的工人。

为什么这很重要： 这是一种粗略的猜测，而不是完美的地图。这就像是在说：“嘿，你们这些穿红衣服的人，你们可能跟那个错误有关，”而不是指着某一个特定的人。这种方式在生物学上是合理的，因为它不需要大脑拥有一张关于自身布线的完美地图。

结果：效果如何？

团队在两类任务上测试了这个“类脑”AI：

1. 识别图片（分类任务）

测试内容： 识别手写数字（MNIST）和复杂的物体，如汽车或狗（CIFAR-10）。
结果：
- 在简单的测试（数字）中，准确率为 96.7%。
- 在困难的测试（物体）中，准确率为 61.7%。
代价： 为了让它在困难测试中奏效，他们必须发明三个特殊的“辅助轮”：
1. 可调 Sigmoid 宽度： 这可以看作是调节工人的敏感度。在简单测试中，你需要宽的敏感度；在困难测试中，你需要窄的敏感度。
2. 平衡误差信号： 有时“前进”传送带会对某种类型的物体过度兴奋。他们必须教会系统平衡这种兴奋，以免忽略其他物体。
3. 非对称起始： 他们让“前进”工人比“停止”工人拥有更多的初始能量。
惊喜之处： 研究人员发现，适用于简单测试的方法在困难测试上失效了，反之亦然。 需要数字测试的“辅助轮”对图片测试毫无用处，而图片测试需要的“辅助轮”对数字测试也同样没用。这证明了“一招鲜吃遍天”并不适用于类脑学习。

2. 学习移动（强化学习）

测试内容： 教导虚拟机器人（如半机械猎豹或人类机器人）如何在不摔倒的情况下行走。
结果： “类脑”AI 学会走路的效果几乎与标准的“神奇地图”AI 一样好。它在半机械猎豹或人类机器人等任务中表现出了竞争力。
区别： 与图片测试不同，这个“类脑”AI 不需要那些特殊的“辅助轮”（比如可调敏感度）来学习走路。它只需要核心的双流结构即可。

总结

这篇论文表明，你可以构建出既尊重生物学规则（分离“推”和“拉”神经元）又能学习复杂任务的 AI。

然而，最重要的发现是，生物学习并不是一种单一、固定的配方。 你需要用来识别猫的工具，与你需要用来学习走路的工具是完全不同的。如果你只在一种简单的任务上测试你的 AI，你可能会认为你找到了完美的解决方案，但它在面对更难的任务时可能会彻底失败。

研究人员还指出，这种“类脑”AI 有时会犯更多错误，或者稳定性不如标准 AI，但这为构建更像我们大脑的计算机打开了大门，这最终可能会带来更高效、更鲁棒的机器。

技术摘要：生物合理双流网络中的责任扩散

问题陈述

生物神经回路遵循 Dale 原理，即每个神经元要么是纯兴奋性的，要么是纯抑制性的，并释放相同的神经递质于所有突触。相比之下，标准的人工神经网络（ANN）使用具有任意符号的权重，这种简化虽然促进了通过反向传播进行高效的信用分配，但缺乏生物学保真度。此外，反向传播需要“权重传输问题”——即反向传递过程必须使用前向权重矩阵的精确转置，而这在已知生物机制中并无支持。

虽然存在几种具有生物合理性的替代方案（例如，反馈对齐、直接反馈对齐、预测编码），但大多数未能强制执行 Dale 原则，允许任意权重的符号。**误差扩散（Error Diffusion, ED）**是一种局部学习规则，其更新取决于突触前活动、突触后导数和全局误差符号，天然地与 Dale 原则兼容。然而，以往的 ED 实现仅限于二分类或像 MNIST 这样简单的任务。本研究解决的核心挑战在于：一个符合 Dale 原则的架构是否能在监督分类（包括 CIFAR-10 等复杂任务）和强化学习（RL）两类任务中均实现具有竞争力的性能，以及任务相关因素如何影响这些约束下的信用分配。

方法论

双流架构

作者采用双流架构来从结构上强制执行 Dale 原则。每一层都被分为**兴奋性（ $p$ ）和抑制性（ $n$ ）**两条流。

前向传递： 每个流的预激活值使用四个非负权重矩阵（ $W_{pp}, W_{np}, W_{nn}, W_{pn}$ ）进行计算。跨流连接（ $W_{np}, W_{pn}$ ）在结构上是抑制性的（被减去），而所有可学习参数保持非负。
参数开销： 与等宽的单流网络相比，该设计需要约 $4\times$ 的参数量。

误差扩散（ED）更新规则

ED 不通过反向传播误差，而是将全局输出误差信号直接路由至隐藏单元。

模运算误差路由（Modulo Error Routing）： 为了将 ED 从二分类扩展到多分类，作者引入了模运算误差路由。每个隐藏单元 $i$ 被分配一个固定的输出通道 $r(i) = i \mod C$ （其中 $C$ 是输出维度）。单元 $i$ 的学习信号对应于其分配通道的误差分量。
更新机制： 权重更新与突触前活动及路由后的突触后驱动（由激活导数调制的误差信号）的乘积成正比。这避免了权重传输和随机反馈矩阵，而是依赖于隐藏单元与输出维度之间的一种结构化对应关系。

特定领域的创新

论文引入了三种针对分类设置（MNIST, CIFAR-10）的具体创新，以解决在 Dale 约束下进行多类学习时的特有失效模式：

层特定 Sigmoid 宽度： 为了对抗由 Sigmoid 门控误差扩散带来的梯度消失问题（观察到从输出到第一隐藏层有 $25\times$ 的衰减），作者在更深的层中使用了更宽的 Sigmoid 激活函数（ $\alpha_i$ ）。
以批次为中心的类别误差信号： 对于 10 类分类，原始的一对多（one-vs-all）误差可能会受到强烈的类别偏移影响。作者减去了小批次的均值，以确保误差信号为零均值，从而防止类别通道受到统一的抑制或兴奋。
非对称初始化： 隐藏层的兴奋性权重以 $1.5\times$ 规模初始化，抑制性权重以 $0.5\times$ 规模初始化（预期比例为 3:1），而输出层使用对称初始化以避免饱和。

强化学习扩展（ED-PPO）

对于强化学习任务，双流架构与**近端策略优化（PPO）**相结合。

策略网络和价值网络均采用双流 MLP 结构。
与分类设置不同，RL 扩展使用 ReLU 激活和 RMS 归一化，省略了分类特有的创新（Sigmoid 宽度、批次中心化）。
误差信号根据输出通道（针对策略）或广播（针对标量价值网络）路由至隐藏单元。

核心贡献

可扩展的 Dale 合规架构： 一种双流 ED 架构，能够保持非负权重，并在监督分类（MNIST, CIFAR-10）和连续控制 RL（Brax, Craftax）上实现具有竞争力的性能。
任务相关的信用分配： 消融实验表明，架构组件的相对重要性在不同任务之间发生了反转。在 MNIST 上，层特定 Sigmoid 宽度至关重要；而在 CIFAR-10 上，以批次为中心的误差信号是主导因素。这揭示了信用分配的瓶颈会随任务难度发生性质上的转移。
跨领域评估： 证明了 ED-PPO 在运动任务（Ant, Humanoid, HalfCheetah）上的表现与基于反向传播的 PPO 和直接反馈对齐（DFA）相当，并且在复杂的开放式探索任务 Craftax 上优于 DFA。

结果

分类性能

MNIST： 提出的 ED 达到了 96.7% 的准确率，与 DFA 基准（97.6%）相当。
CIFAR-10： 提出的 ED 达到了 61.7% 的准确率。虽然低于 DFA（69.1%），但这较之“种子”ED（11.6%）以及之前的纯前馈 ED 尝试有了显著提升。
消融反转： 在 MNIST 上移除层特定宽度会导致准确率骤降至 25.3%，而移除批次中心化误差的影响微乎其微（-0.3%）。相反，在 CIFAR-10 上，移除批次中心化误差会导致准确率大幅下降至 13.8%，而移除宽度虽然也会导致显著下降（-15.1%），但程度较轻。

强化学习性能

运动控制（Brax）： ED-PPO 表现出竞争力。在 HalfCheetah 上，其表现显著优于标准 BP-PPO（5494 对比 3520），并与 DFA-PPO 持平。在 Ant 上，它与两种 PPO 变体持平。在 Humanoid 上，它虽落后于 BP-PPO，但仍具竞争力。
开放式探索（Craftax）： ED-PPO 获得了 20.9 的得分，显著优于 DFA-PPO（19.8），并接近 BP-PPO（27.0）。这表明，在复杂的开放式环境中，ED 的结构化路由可能比 DFA 的随机反馈更具鲁棒性。
方差： ED-PPO 在某些环境中表现出比 BP-PPO 更高的方差，这表明粗略的误差路由引入了随机性。

事后分析

梯度衰减： 观察到从输出到第一隐藏层的代理梯度出现了 $25\times$ 的衰减，这解释了使用更宽 Sigmoid 宽度的必要性。
涌现的 E/I 平衡： 尽管采用了 3:1 的非对称初始化，训练仍使隐藏层趋向于近乎平衡的 E/I 比例（ $\sim1:1$ ），且深层表现出轻微的抑制性主导。这模拟了生物学中的稳态机制。
隐式稀疏性： 非负权重底限诱发了显著的稀疏性，高达 68.8% 的抑制性连接被剪枝至底限，这表明存在结构性的容量瓶颈。

意义与主张

论文声称，生物合理的学习规则并不一定是单一的；一个共享的架构核心（双流 ED）可以通过适当的领域特定组件来支持多样化的任务需求。

生物合理性 vs. 性能： 本研究证明，强制执行 Dale 原则并不排除在复杂任务上的学习，尽管这会带来性能代价（例如 CIFAR-10 上的准确率差距以及 RL 中的方差）。
任务相关瓶颈： MNIST 与 CIFAR-10 之间消融重要性的反转强调了单基准测试评估可能会掩盖关键的设计权衡。在简单任务上能稳定学习的设计，在复杂任务上可能并不适用。
涌现的自组织： 观察到网络在没有显式稳态机制的情况下自组织为平衡的 E/I 比例，这表明在 Dale 约束下的梯度驱动学习可以复制生物自组织现象。
硬件启示： 非负权重的约束与新兴的神经形态基质（如光子或模拟硬件）高度契合，在这些硬件中，物理元件自然地编码非负量，而符号由群体身份决定。

作者总结道，虽然目前与不受限的反向传播之间仍存在准确率差距，但双流 ED 框架提供了一条通往超越简单基准、具备生物真实学习能力的有效路径，并为如何在生物约束下进行信用分配提供了新的见解。