⚡ electrical engineering

Ubiquity of Emergent Hebbian Dynamics in Regularized Learning

本文表明，正则化学习中的 L2 权重衰减在接近稳态时，能够普遍诱导突触更新中出现涌现的赫布（Hebbian）或反赫布（anti-Hebbian）对齐现象，从而产生一种模仿真实赫布可塑性的特征，并使对神经学习机制的解释变得复杂化。

原作者： David Koplow, Tomaso Poggio, Liu Ziyin

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： David Koplow, Tomaso Poggio, Liu Ziyin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：大脑的“思考”方式像计算机吗？

几十年来，科学家们一直在争论大脑是如何学习的。

旧观点： 大脑使用一种简单的、局部的规则，即赫布学习（Hebbian learning）。那句名言是：“在一起放电的神经元，会连在一起。” 如果两个脑细胞同时激活，它们之间的连接就会增强。这被视为一个纯粹的生物学局部过程。
计算机观点： 人工智能（AI）使用梯度下降法（一种通过计算整个系统的误差来修正错误的复杂数学方法）进行学习。这需要对问题有一个“全局”的视角，而许多科学家认为大脑无法做到这一点，因为它缺乏一个中央“误差信号”。

因为我们在大脑中看到了“赫布”模式（即事物同时发生时连接增强），许多人便假设大脑一定是在使用简单的局部规则，而不是像 AI 那样进行复杂的全局优化。

本论文提出了一个棘手的问题： 如果我们观察到一种赫布模式（当事物同时发生时连接增强），这是否能证明大脑正在使用简单的赫布规则？或者，一个复杂的全局学习系统（如 AI）是否可能会在无意中看起来像是在使用赫布规则？

答案是： 这可能是一个巧合。论文表明，复杂的学习系统经常在并不实际使用赫布规则的情况下，模拟出赫布行为。

主要发现：“拔河”类比

作者提出，这种看起来像是生物学规则的现象，实际上是两种相反力量之间平衡的结果。想象一下在湿滑斜坡上的拔河比赛。

1. 扩张力（学习信号）

在脑力和 AI 中，都有一种力量试图让连接变得更强或根据新信息改变连接。

在 AI 中，这是梯度（减少误差的方向）。
在大脑中，这是学习信号（神经元放电）。
类比： 想象一名徒步旅行者试图爬上山丘。他们正在向前推进，试图扩张他们的路径。

2. 收缩力（权重衰减）

在 AI 中，我们使用一种叫做 L2 权重衰减（L2 Weight Decay） 的技术。这是一种惩罚机制，不断尝试缩小模型中的数值（权重），以保持其微小并防止其变得过于狂暴。

类比： 想象这名徒步旅行者也被一根沉重的锚拴住了，这根锚不断向后拉扯他们，试图缩小他们的路径。

结果： “涌现”的赫布模式

论文从数学上证明了，当这两种力量达到平衡时（当徒步旅行者停止向上或向下移动，而是停留在原地时），前向的推力（学习）必须与连接本身的方向一致。

隐喻： 想象你正在推动一个沉重的箱子（连接）穿过地板。同时，你也被一根绳子（权重衰减）向后拉。为了保持在原地，你的推力必须与箱子原本面对的方向完美对齐。
令人惊讶的是： 这种对齐看起来完全就像“赫布”规则（增强连接）。但这并不是因为大脑决定使用赫布规则；而是因为平衡力量的数学逻辑迫使系统呈现出这种形态。

关键要点： 你可以在一个实际上正在进行复杂全局误差修正的系统中，观察到“赫布”模式。这种模式是一种涌现的特征（emergent signature），而不一定是底层的机制。

转折：噪声产生了相反的结果（反赫布）

论文还研究了噪声（Noise）（随机性）。

在大脑中，始终存在电噪声。在 AI 中，数据处理过程中存在随机性（例如随机梯度下降）。
类比： 想象徒步旅行者现在正处于一个非常多风、暴雨交加的日子里。风（噪声）正将他们随机地吹来吹去。
结果： 如果风足够强，它会将徒 hiker 推向连接的相反方向。这产生了一种**反赫布（Anti-Hebbian）**模式（即当事物同时发生时，连接反而减弱）。

权衡关系：
论文发现了一个简单的“临界点”：

强权重衰减 + 低噪声 = 看起来像赫布（增强）。
弱权重衰减 + 高噪声 = 看起来像反赫布（减弱）。

这解释了为什么我们在大脑中既能看到赫布模式，也能看到反赫布模式。这可能不是两种不同的生物学规则；它可能只是同一个学习系统在面对不同水平的噪声和稳定性时的反应。

这为什么重要（根据论文观点）

不要草率下结论： 仅仅因为科学家在脑科学实验中测量到了“赫布”模式，并不代表证明了大脑正在使用简单的局部规则。它可能是一个复杂的全局学习系统（如反向传播）在平衡其力量时产生的现象。
共存性： 大脑可能在同时使用复杂的全局学习和简单的局部规则。这种“涌现”的赫布特征使得区分两者变得更加困难。
需要新的实验： 我们需要设计能够区分“真实的”赫布规则与这种由平衡力量引起的“伪”赫布规则的实验。

一句话总结

论文认为，“在一起放电的神经元，会连在一起”这一模式可能并不是一种基本的生物学定律，而是一个数学上的副作用——每当任何学习系统（无论是生物还是人工）试图在其学习驱动力与保持稳定性（防止过度增长）之间取得平衡时，都会发生这种情况。

技术摘要：正则化学习中涌现的赫布动力学的普遍性

问题陈述

计算神经科学中的一个核心问题是：观察到的赫布（Hebbian）或反赫布（anti-Hebbian）突触更新是否唯一暗示了底层的赫布计算。传统上，生物学习被视为由局部、基于相关性的规则（如脉冲时间依赖可塑性，STDP）驱动，而人工智能则依赖于全局、基于梯度的优化（如随机梯度下降，SGD）。人们通常认为，大脑中存在赫布特征是反对全局误差驱动优化的证据，因为梯度下降被认为需要非局部的误差信号。

本文探讨了一个可识别性问题：观察到赫布/反赫布结构的突触更新是否必然意味着一种机制性的赫布学习规则？作者认为答案是否定的。他们认为，在接近平稳状态时，正则化和噪声可以作为正则化梯度学习的副产品，从而产生赫布和反赫布特征，而无需显式的赫布机制。

研究方法

作者结合理论分析和实证验证，展示了正则化和噪声如何与学习信号相互作用，从而产生类赫布动力学。

理论框架

平稳性与权重衰减： 作者分析了学习规则在平稳点（收敛）附近的行为。他们考虑了一个通用的权重更新规则 $\Delta W = g(x, \theta) - \gamma W$ ，其中 $g(x, \theta)$ 是任意学习信号（例如梯度）， $\gamma W$ 代表 L2 权重衰减。
对齐推导： 通过假设系统接近平稳状态（ $E[\Delta W] \approx 0$ ），他们推导出期望的学习信号 $E[g(x, \theta)]$ 必须近似等于 $\gamma W$ 。由于赫布更新方向与 $W h_a h_a^\top$ 成正比（其中 $h_a$ 是突触前活动），且在标准假设下（如等范数表示）， $W$ 与该方向正相关，因此学习信号在数学上被迫与赫布方向对齐。
噪声与反赫布动力学： 作者通过引入随机噪声扩展了分析。他们表明，学习信号中的强随机扰动（噪声）可以诱导反赫布对齐。他们推导出了一个相边界，在该边界处，噪声强度（ $\sigma^2$ ）与权重衰减（ $\gamma$ ）之间的平衡决定了系统表现出赫布还是反赫布特征。具体而言，当噪声占主导地位时，对齐变为负向（反赫布）；当权重衰减占主导地位时，对齐变为正向（赫布）。

实证验证

作者通过各种任务、架构和学习规则验证了其理论主张：

任务： CIFAR-10 分类和合成非线性回归（学生-教师模型）。
架构： 具有各种激活函数（ReLU, Tanh, Sigmoid）的多层感知器（MLP）以及 Transformer。
学习规则： 标准 SGD、Adam、直接反馈对齐（DFA）以及一个“RandomNN”结构（一种非学习的、确定性的随机误差信号）。
指标： 主要指标是学习信号（或完整更新）与理论赫布更新方向（ $h_b h_a^\top$ ）之间的余弦相似度（Frobenius 内积）。

核心贡献

涌现的赫布机制： 本文确立了 L2 权重衰减在平稳状态附近，会普遍驱动许多更新规则的学习信号成分与赫布方向对齐。这种对齐程度随权重衰减强度的增加而单调增加。
涌现的反赫布机制： 作者证明了足够强的随机噪声可以翻转这种特征，从而诱导反赫布对齐。这创造了一个可预测的权衡以及基于噪声与权重衰减之比的相边界。
跨规则的普遍性： 该现象被证明独立于具体的学习算法。它出现在 SGD、Adam、DFA 甚至是不进行传统学习的“RandomNN”中，前提是存在权重衰减。
瞬态动力学： 研究识别出赫布对齐并不局限于最终的平稳状态。在训练早期会出现一个“初始对齐峰值”（取决于初始化和学习率），并且单个神经元在稳态训练期间会在赫布和反赫布阶段之间发生振荡。

结果

权重衰减相关性： 在分类和回归任务中，增加权重衰减一致地导致学习信号与赫布更新之间更高的正向对齐。这一趋势在不同的激活函数和网络深度下均成立。
噪声权衡： 在回归任务中，增加噪声强度会降低赫布对齐，并最终诱导反赫布对齐。这两个机制之间的相边界遵循二次关系（ $\gamma \propto \sigma^2$ ），与理论预测相符。
RandomNN 验证： 即使是一个使用纯随机、非学习更新模型的模型，在应用权重衰减时也会表现出赫布对齐，这证实了该效应是正则化约束的属性，而非学习算法本身的属性。
泛化能力： 论文指出，具有最佳泛化性能的解通常表现出较低的平均赫布或反赫布对齐，这表明“最优”状态位于这两个极端之间。

意义与主张

作者将这项工作定位为对神经生理数据解释的一种警示，而非对经典赫布理论的替代。

对生物数据的重新解释： 突触测量中存在赫布或反赫布特征，并不唯一证明大脑使用了机制性的赫布规则。这些特征可以是受控于稳态机制（如权重衰减）和噪声的全局优化过程（如梯度下降）的涌现属性。
共存性： 作者认为，机制性赫布可塑性与涌现的赫布动力学可以共存。研究结果使解释突触测量变得复杂化，促使设计能够区分真正的赫布计算与源自正则化的涌现特征的实验。
理论桥梁： 这项工作在机器学习优化动力学与生物可塑性之间提供了理论联系，表明“扩张与收缩力量的平衡”（赫布扩张 vs. 稳态收缩）是治理生物系统和人工系统稳定性的一个普遍原则。

文章总结道，虽然大脑中可能确实存在真实的赫布过程，但正则化学习中涌现的赫布动力学的普遍性表明，仅仅观察到此类模式不足以作为排除生物系统中全局误差驱动学习机制的证据。