🧬 biology

Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry

该论文提出了一种基于层间激活互信息最大化的生物可解释监督学习框架，通过坐标下降优化和均方误差损失，构建了模拟多室锥体神经元与侧抑制神经元的网络结构，并巧妙利用目标函数的两种等价形式解决了前向与反向传播路径中权重对称性的难题。

原作者： Bariscan Bozkurt, Cengiz Pehlevan, Alper T Erdogan

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Bariscan Bozkurt, Cengiz Pehlevan, Alper T Erdogan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

这篇论文介绍了一种名为**“相关信息最大化”（CorInfoMax）**的新方法，旨在让计算机神经网络的学习方式更像我们的大脑，同时解决传统人工智能（AI）中一个巨大的“生物学悖论”。

为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“两个互相猜谜的邻居”**。

1. 传统 AI 的尴尬：完美的“双胞胎”难题

传统的 AI 训练方法叫**“反向传播”（Backpropagation）。你可以把它想象成一个极其严格的老师，他在批改试卷（输出结果）后，拿着标准答案，一层一层地原路返回**，告诉每个神经元哪里错了，该怎么改。

这里有个巨大的生物学漏洞：
在真实的大脑里，神经元之间传递信号（向前看）和接收反馈（向后看）是两条完全不同的路。但是，传统的反向传播算法要求这两条路必须使用完全相同的“权重”（就像要求你向前走的每一步和向后走的每一步，必须踩着完全一样的脚印，连鞋印深浅都要一样）。

比喻： 这就像要求你在森林里向前跑时留下的脚印，必须和后来有人拿着你的脚印模具，精准地倒着走回去时留下的脚印一模一样。这在生物学上几乎是不可能的，因为大脑没有这种“镜像对称”的硬件。

2. 新方案：两个邻居的“猜谜游戏”

这篇论文提出的新方法，不再依赖那个“完美的镜像老师”，而是让网络里的每一层神经元变成两个互相猜谜的邻居。

邻居 A（前向层）： 负责接收信息，并尝试预测下一层邻居会看到什么。
邻居 B（后向层）： 接收上一层的信息，并尝试预测上一层看到了什么。

核心玩法（相关信息最大化）：
这两个邻居的目标是**“互相理解”**。他们通过不断调整自己的“猜测规则”（也就是神经网络的权重），让彼此的预测越来越准，直到他们之间的信息流动达到最顺畅、最紧密的状态。

比喻： 想象你在和一个朋友玩“传声筒”游戏。
- 传统方法：必须有一个上帝视角的裁判，拿着完全一样的剧本，同时告诉你们俩怎么改。
- 新方法：你们俩面对面坐着。你猜他下一句要说什么，他猜你上一句说了什么。如果你们猜对了，就击掌庆祝（信息最大化）；如果猜错了，就各自调整自己的说话方式。久而久之，你们不需要那个“上帝裁判”，也不需要完全一样的剧本，就能默契地配合。

3. 为什么这更像大脑？（三个关键突破）

A. 不需要“镜像对称”的权重

这是最大的突破。因为“前向预测”和“后向预测”是两个独立的任务，就像两个人互相猜谜，你不需要用和你朋友完全一样的大脑结构来猜他。

比喻： 你猜朋友想吃什么，可能用“他昨天吃了什么”作为线索；朋友猜你想吃什么，可能用“你今天心情如何”作为线索。你们的线索（权重）可以完全不同，但依然能达成默契。这就解决了“权重对称”这个困扰科学界几十年的难题。

B. 像真实的神经元一样有“树突”

论文设计的网络结构，模仿了真实大脑中**“多室神经元”**（Pyramidal Neurons）的样子。

比喻： 传统的 AI 神经元像个简单的灯泡，亮或不亮。而新模型里的神经元像一棵大树：
- 树根（基底树突）： 接收来自下面的输入（前向信号）。
- 树梢（顶端树突）： 接收来自上面的反馈（后向信号）。
- 树干（细胞体）： 负责整合这些信息并做出反应。
  这种结构让信息可以在树的不同部位独立处理，非常符合生物学的发现。

C. 引入“抑制性邻居”

为了不让信息泛滥，网络中还加入了**“侧向抑制神经元”**（Interneurons）。

比喻： 就像在一个热闹的房间里，如果大家都大声说话，谁也听不清。这时候需要一个“管理员”（抑制神经元），当大家声音太大时，他出来让大家安静一点，或者只让最重要的声音传出去。这帮助网络提取出最精华的特征，而不是杂乱无章的噪音。

4. 结果怎么样？

作者在 MNIST（手写数字）、Fashion-MNIST（衣服图片）和 CIFAR-10（复杂物体）等数据集上进行了测试。

结果： 这种“猜谜式”的学习方法，虽然不需要那个完美的“镜像老师”，但它的考试成绩（准确率）和传统 AI 方法不相上下，甚至在某些情况下更好。
意义： 这证明了大脑可能真的不需要那种“完美对称”的机制也能高效学习。它为我们理解大脑如何学习，以及未来如何设计更节能、更智能的芯片（类脑芯片）提供了新的蓝图。

总结

这篇论文就像是在说：

“别再用那种要求‘前后脚印完全一致’的笨办法教 AI 了。让我们像大脑一样，让每一层神经元都变成独立的预测者，通过互相猜测和修正来学习。这样，我们既不需要魔法般的‘镜像对称’，也能让 AI 变得像生物一样聪明、灵活且真实。”

这就好比从**“拿着标准答案死记硬背”进化到了“在互动中互相启发”**，是人工智能向生物智能迈出的重要一步。

这是一份关于论文《Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry》（互相关信息最大化：一种无需权重对称性的生物可解释监督深度学习神经网络方法）的详细技术总结。

1. 研究背景与问题 (Problem)

尽管反向传播算法（Backpropagation, BP）在训练大规模人工神经网络方面取得了巨大成功，但其**生物可解释性（Biological Plausibility）**一直受到强烈批评。主要存在以下两个核心难题：

权重对称性问题 (Weight Symmetry Problem)：传统反向传播要求前向传播（输入到输出）和反向传播（误差从输出到输入）使用完全相同的突触权重（即 $W_{forward} = W_{backward}^T$ ）。然而，在生物神经系统中，前向和反馈路径在物理上是分离的，实验证据表明大脑不太可能拥有这种精确的“权重传输”机制。
神经元模型的简化：传统人工神经元过于简化，忽略了生物神经元（如锥体神经元）的多隔室结构（如胞体、基底树突、顶树突）以及树突处理在信用分配（Credit Assignment）中的关键作用。

现有的许多生物可解释框架（如预测编码、平衡传播）虽然尝试解决这些问题，但往往仍隐含权重对称性，或者需要额外的假设（如白化约束）来规避该问题。

2. 方法论 (Methodology)

作者提出了一种基于互相关信息最大化 (Correlative Information Maximization, CorInfoMax) 的新框架，作为描述生物神经网络中信号传播（前向和反向）的规范性方法。

核心思想

该框架的目标是最大化相邻层激活信号之间的互相关互信息 (Correlative Mutual Information, CMI)，并结合均方误差（MSE）损失函数来拟合监督标签数据。

关键机制

双向预测网络与权重不对称性：
- CMI 有两种等价但不同的数学表达形式。作者利用这两种形式，分别构建前向预测网络（从 $r^{(k)}$ 预测 $r^{(k+1)}$ ）和反向预测网络（从 $r^{(k+1)}$ 预测 $r^{(k)}$ ）。
- 前向权重 $W_{ff}$ 和反向权重 $W_{fb}$ 是通过最小化各自方向的预测误差独立优化的。
- 结果：由于优化目标不同，前向和反向权重自然变得不对称 ( $W_{ff} \neq W_{fb}^T$ )，从而从根本上解决了权重对称性问题，无需人为强制对称或引入白化约束。
多隔室神经元结构的涌现：
- 通过对 CorInfoMax 目标函数进行梯度上升优化，并施加多面体约束（如非负性 $0 \le r \le 1$ $0 \leq r \leq 1$ ），推导出的网络动力学方程自然地对应于三隔室锥体神经元模型：
  - 胞体 (Soma, $u^{(k)}$ )：整合输入并产生输出。
  - 基底树突 (Basal Dendrites, $v_B$ )：接收来自前一层的前向输入。
  - 顶树突 (Apical Dendrites, $v_A$ )：接收来自后一层的反馈输入以及来自侧向连接的输入。
- 侧向连接与自突触：为了最大化层的无条件熵（促进信息压缩和稀疏表示），网络中涌现出侧向抑制（由 SST 中间神经元 $i^{(k)}$ 介导）和自突触（Autapses）。
学习动力学：
- 采用平衡传播 (Equilibrium Propagation, EP) 策略，包含两个阶段：
  - 自由相 (Free Phase, $\beta=0$ )：网络仅根据输入和内部动力学运行。
  - 推挤相 (Nudged Phase, $\beta>0$ )：引入标签信号（推挤信号），调整网络状态以匹配目标。
- 权重更新基于这两个阶段神经活动的对比（Contrastive Learning），利用局部学习规则（Hebbian 和 Anti-Hebbian 更新）来更新前向、反馈和侧向权重。

3. 主要贡献 (Key Contributions)

解决了权重对称性难题：通过利用 CMI 的两种不同表达形式，自然地导出了前向和反向预测路径，使得前向和反馈权重在优化过程中独立演化，无需权重传输，提供了生物可解释的解决方案。
规范性推导生物结构：从信息论目标出发，无需预先假设网络结构，自然推导出了包含多隔室锥体神经元、侧向抑制中间神经元和自突触的复杂网络架构，这与神经科学实验发现高度一致。
双向信息流：框架同时优化前向和反向预测误差，促进了自下而上和自上而下的双向信息流，增强了学习过程。
性能验证：在 MNIST、Fashion-MNIST 和 CIFAR-10 等数据集上的实验表明，CorInfoMax 网络的性能与其他生物可解释算法（如 EP, CSM, PC）相当甚至更优，且接近标准反向传播（BP）的性能。

4. 实验结果 (Results)

数据集：MNIST, Fashion-MNIST, CIFAR-10 (以及 CIFAR-100 的扩展实验)。
对比基线：与平衡传播 (EP)、对比相似度匹配 (CSM)、预测编码 (PC)、反馈对齐 (Feedback Alignment) 以及标准反向传播 (BP) 进行了对比。
准确率表现：
- 在 MNIST 上，CorInfoMax 达到了约 97.6% - 97.7% 的测试准确率，与 BP (98.27%) 和 PC (98.17%) 非常接近，优于 EP (97.61%)。
- 在 CIFAR-10 上，CorInfoMax 达到了 51.86% 的准确率，优于 EP (49.28%) 和 CSM (40.79%)，略低于 BP (53.96%)。
权重不对称性验证：通过计算前向权重矩阵与反向权重矩阵转置之间的夹角，实验结果显示该角度稳定在 60-90 度 之间（远非 0 度），证实了前向和反馈权重确实是不对称的。

5. 意义与结论 (Significance)

理论突破：该工作为“大脑如何进行监督学习”提供了一个强有力的规范性解释。它表明，无需假设大脑拥有精确的权重传输机制，仅通过最大化层间的相关信息和局部学习规则，即可实现高效的深度监督学习。
架构启示：推导出的网络结构（多隔室神经元、侧向抑制、自突触）为构建更真实的类脑计算模型和神经形态硬件（Neuromorphic Hardware）提供了理论蓝图。
未来潜力：虽然目前主要关注监督学习，但该方法论具有扩展到无监督和自监督学习领域的潜力。此外，基于局部规则的特性使其非常适合在低功耗的神经形态芯片上实现。

总结：这篇论文通过引入互相关信息最大化原则，成功构建了一个既符合生物物理约束（无权重对称性、多隔室神经元）又具备强大监督学习能力的深度学习框架，弥合了人工神经网络优化与生物神经机制之间的鸿沟。