🧬 biology

Self-orthogonalizing attractor neural networks emerging from the free energy principle

本文证明，自正交吸引子神经网络在将自由能原理应用于随机动力系统时自然涌现，从而产生具有生物学合理性的多层贝叶斯主动推断动力学，该动力学在无需显式施加学习规则的情况下即可优化预测准确性与模型复杂度。

原作者： Tamas Spisak, Karl Friston

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Tamas Spisak, Karl Friston

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象你的大脑（或一台智能计算机）是一座庞大而繁忙的城市。在这座城市里，有数百万名微小的工人（神经元）在不停地相互交谈。通常，我们认为这些工人需要一位老板来告诉他们该做什么，或者需要一位老师来教导他们如何学习。但这篇论文提出了一个不同的观点：这座城市会自我组织。

作者 Tamas Spisak 和 Karl Friston 使用了一个名为“自由能原理”的大概念来解释这种自我组织是如何发生的。请将“自由能”理解为一种“惊讶”的度量，而不是电池。如果城市不断对发生在外部的事情感到惊讶（比如突如其来的风暴或一座新建筑），它就处于高“自由能”状态。为了生存并保持稳定，城市希望将这种惊讶最小化。

以下是这篇论文如何解释这座自我组织城市的魔力，将其分解为简单的概念：

1. “自我组织”的城市

想象一群鸟。没有一只鸟是告诉其他鸟往哪里飞的领导者。相反，每只鸟只是遵循简单的局部规则（靠近邻居，避免碰撞）。然而，整个鸟群却作为一个美丽、协调的整体移动。

这篇论文指出，大脑的工作方式也是如此。它不需要一个中央程序员来设定其学习规则。相反，网络中的每一个微小部分都试图通过预测邻居的行为来减少自身的“惊讶”。当每个人都在局部这样做时，一种全局模式就会涌现出来。这些模式被称为吸引子。

类比： 将吸引子想象成丘陵地貌中的山谷。如果你在山坡上的任何地方滚动一个球（一个想法或记忆），它自然会滚入最近的山谷并停留在那里。大脑为它识别的事物（如一张脸或一个单词）创造了这些“山谷”。

2. 魔法技巧：“自正交化”

这篇论文中最令人兴奋的发现是这些“山谷”（吸引子）是如何排列的。

通常，如果你教计算机识别两个相似的事物（比如字母"O"和"Q"），它可能会感到困惑，因为这些模式看起来太像了。但这篇论文表明，大脑的自我组织系统会自然地将这些模式推开，直到它们变得正交。

类比： 想象你在一个黑暗的房间里有一组手电筒。

糟糕的组织： 你将所有手电筒都指向同一个点。光束重叠，很难分辨哪束光是哪束。
正交组织： 论文指出，大脑会自动调整手电筒的角度，使它们指向完全不同的方向（就像 X、Y 和 Z 轴）。它们不会重叠。

通过这样做，大脑创建了一个“清晰”的世界地图。它学会以一种不相互混淆的方式存储记忆。这使得它在泛化方面极其出色——如果你看到一个稍微模糊的"O"，大脑确切地知道应该滚入哪个“山谷”，因为"O"山谷与"Q"山谷完美区分。

3. 无需老师的学習

这座城市是如何学习这些模式的？论文描述了一个简单、自动发生的局部规则：

赫布学习（“是”规则）： 如果两个工人经常交谈，他们会靠得更近。
反赫布学习（“否”规则）： 如果工人们已经在解释正在发生的事情，他们就会停止相互强化，以避免冗余。

类比： 想象一群朋友试图描述一部电影。

如果两个朋友说了同样的话，他们就会停止重复（以节省能量）。
如果一个朋友说了一些其他人没有预测到的新内容，他们就会关注它。
随着时间的推移，这群人创造了一个完美的、无冗余的电影摘要，其中每个朋友都贡献了拼图中的独特一块。这就是网络学会高效运作并避免“灾难性遗忘”（学习新事物时忘记旧事物）的方式，因为“山谷”组织得如此井井有条，以至于它们不会相互碰撞。

4. 梦境与序列

论文还展示了当数据按特定顺序出现（如一个故事或一串数字）时会发生什么。

随机数据： 网络构建稳定、静态的“山谷”（如识别一张脸）。
序列数据： 网络在“山谷”之间构建路径。

类比： 如果你教网络序列"1、2、3"，它不仅仅存储三个独立的山谷。它建造了一个滑梯，自然地"1"山谷流向"2"山谷，然后流向"3"山谷。即使你关掉灯（移除输入），网络也能独自“做梦”或“重演”这个序列，自动从 1 滚到 2 再到 3。这就是大脑可能学会按顺序行走、说话或记住故事的方式。

5. 这对人工智能和大脑为何重要

论文声称，这不仅仅是一个有趣的数学技巧，而是自然运作的基本方式。

对于大脑： 它解释了大脑为何如此稳健。即使你拥有嘈杂、模糊的输入（比如在雾中看到一张脸），大脑的“山谷”组织得如此井井有条，以至于它仍然能猜出正确的答案。它还解释了为什么我们在学习新事物时不会忘记旧记忆——“山谷”被完美地分隔开了。
对于人工智能： 当前的人工智能通常需要大量数据和具体指令才能学习。这篇论文表明，如果我们构建遵循这些自我组织规则的人工智能，它可能更高效地学习，更好地处理噪声，并在不需要人类不断重新训练的情况下更长久地记住事物。

总结

简而言之，这篇论文认为，你不需要用复杂的规则来编程大脑或智能人工智能。如果你只是给它一个简单的目标——最小化惊讶——它就会自然地自我组织成一个高效的系统。它将创建独特、不重叠的记忆（正交吸引子），像故事一样学习序列，甚至独自“做梦”以强化所学内容。

技术摘要：基于自由能原理涌现的自正交吸引子神经网络

问题陈述
吸引子动力学是复杂系统（包括大脑）的基础，作为记忆、决策和运动控制的机制。然而，在理解此类自组织吸引子网络如何从第一性原理中涌现，而无需显式施加学习或推理规则方面，存在一个基础性缺口。传统模型通常依赖于特设的学习规则（如赫布学习、对比散度），这些规则缺乏从支配生物系统的热力学或推理约束中进行的统一推导。本文旨在解决从自由能原理（FEP）推导自适应自组织的需求——即网络不仅作为吸引子系统运行，还通过局部相互作用“自我构建”。

方法论
作者通过将自由能原理应用于随机动力系统的“通用划分”，具体利用深度特定划分（deep particular partitions）的概念，形式化了吸引子网络的涌现过程。

理论框架：
- 深度特定划分： 系统将分解为“子粒子”（微观单元）的层级结构，每个子粒子拥有内部状态（ $\sigma_i$ ）、感觉状态（ $s_{ij}$ ）和主动状态（ $a_{ij}$ ）。这些子粒子通过马尔可夫毯与外部状态分离，确保条件独立性（ $\sigma_i \perp \sigma_j | s_{ij}, a_{ij}$ ）。
- 生成模型： 内部状态被建模为具有先验偏置的连续伯努利变量（截断指数分布）。子粒子之间的耦合由权重矩阵 $J$ 定义。
- 变分自由能（VFE）最小化： 核心推导假设，为了持续存在，系统必须最小化变分自由能。这种最小化在每个节点（子粒子）处针对其内部状态和耦合局部执行。
动力学推导：
- 推理： 针对内部状态最小化 VFE 产生随机更新规则。状态的期望值遵循朗之万函数（S 形激活函数），由先验偏置与来自邻居的加权输入之和驱动。这导致了连续状态随机霍普菲尔德网络的行为。
- 学习： 针对耦合（权重）最小化 VFE 产生局部学习规则。该规则采取对比更新的形式： $\Delta J_{ij} \propto \sigma_i \sigma_j - \hat{\sigma}_i \sigma_j$ 。第一项是赫布式的（基于相关性的增强），第二项是反赫布式的（基于预测误差的抑制）。关键在于，该规则不需要单独的“钳制”和“自由运行”阶段（不同于对比散度），而是使用瞬时相关性。
模拟协议：
- 作者在 Python 和 JAX 中实现了推导出的规则。
- 模拟 1–2： 在相关模式（手写数字图像）上进行训练，以测试在不同精度（逆温度）和证据强度下的正交化和泛化能力。
- 模拟 3： 在序列数据上进行训练，以测试非对称耦合和序列动力学的涌现。
- 模拟 4： 通过“自由运行”（零偏置）自发活动测试对灾难性遗忘的抵抗力。
- 模拟 5： 评估高达 50,000 个节点的扩展性和记忆容量。
- 模拟 6： 应用于 Olivetti 人脸数据集（4096 个节点），以测试在自然主义、高维数据上的性能。

主要贡献

自组织规则的推导： 本文证明，包括其学习和推理动力学在内的吸引子网络，是从应用于深度特定划分的自由能原理中自然涌现的，从而消除了对外部施加学习规则的需求。
涌现的自正交化： 一个核心发现是，推导出的学习规则内在驱动网络趋向近似正交的吸引子表示。通过同时最小化模型复杂度（冗余）和预测准确性，网络惩罚重叠的吸引子。这产生了一组高效跨越输入子空间的吸引子，类似于“投影神经网络”（Kanter-Sompolinsky），后者提供最大记忆容量。
统一的推理与学习： 该框架将推理和学习统一为变分自由能最小化的两个侧面。推理更新状态以匹配证据，而学习更新耦合以最小化未来的惊奇，所有这些都发生在连续学习机制中，同时发生。
玻尔兹曼机的泛化： 推导出的网络泛化了传统的玻尔兹曼机。
- 对于随机数据，它们收敛于对称耦合（类玻尔兹曼）。
- 对于序列数据，它们发展出反对称耦合，产生具有螺线管（旋转）流的非平衡稳态（NESS）动力学。这使得网络能够在不改变底层能量景观稳态分布的情况下，学习和回忆时间序列（异宿循环）。
对灾难性遗忘的鲁棒性： 动力学的随机性质允许网络在自由运行阶段自发地“重放”吸引子。这种活动加强了现有吸引子，防止在引入新数据时丢失已学习的表示，从而有效缓解灾难性遗忘。

结果

正交基形成： 模拟证实，当在相关输入上进行训练时，网络的吸引子变得近似正交（例如，将相关性从 $r=0.77$ 降低到 $r=-0.19$ ）。这种正交化在中等精度的“平衡机制”中最为有效。
泛化： 正交化的吸引子使网络能够通过结合准正交基状态来泛化到未见过的数据（单样本学习），在从噪声输入重建的任务中优于标准霍普菲尔德网络。
序列学习： 当呈现序列数据时，耦合矩阵发展出显著的反对称分量。这使得网络能够在没有外部输入的情况下，由沿等能轮廓的概率流驱动，自发生成学习到的序列（1→2→3→...）。
扩展性与容量： 该网络展示了远超经典霍普菲尔德界限（ $\sim 0.14N$ ）的记忆容量，由于涌现的正交化，接近投影网络极限（ $K \approx N$ ）。运行时扩展性被确认为 $O(N^2)$ ，与解析复杂度一致。
人脸识别： 在 Olivetti 人脸数据集上，该网络通过将噪声感觉证据与基于吸引子的学习先验相结合，成功从严重受损的输入中重建身份，展示了鲁棒的贝叶斯推理。

意义与主张

本文声称提供了一种统一理论，用于连接神经科学与人工智能的自组织吸引子网络。

对于神经科学： 这些发现为生物神经网络为何可能表现出赫布/反赫布可塑性、自发活动和正交表示提供了规范性解释。它表明，大脑在不进行显式编程的情况下执行主动推理并维持稳定记忆的能力，源于最小化自由能的基本指令。正交吸引子的涌现被提议为 FEP 驱动系统的特征，可能在大规模脑数据（如静息态网络）中可检测到。
对于人工智能： 该框架为反向传播和对比散度提供了一种原则性替代方案。它通过自发动力学实现了持续学习并抵抗灾难性遗忘。推导出的学习规则计算高效（无需自由运行阶段），并自然支持序列学习和泛化。
理论意义： 这项工作提出，耦合矩阵分解为对称分量（感知/能量最小化）和反对称分量（行动/规划/螺线管流），可能反映了与自由能原理双重目标更深层的形式对应关系。

作者对局限性保持谦逊态度，承认 $O(N^2)$ 的内存占用在没有稀疏近似的情况下对非常大的网络是禁止的，并且当前的模拟仅限于单层架构。他们建议未来的工作应探索分层深度划分，并在热力学或忆阻器硬件上实现，以利用更新的局部随机性质。