🧬 biology

Quantifying information stored in synaptic connections rather than in firing activities of neural networks

本文提出了一种理论框架，该框架量化存储于突触连接分布而非神经元发放活动中的信息，并推导出互信息的解析近似式，揭示了突触间的协同相互作用以及连接性与群体活动在学习与记忆中的双重性。

原作者： Xinhao Fan, Shreesh P Mysore

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinhao Fan, Shreesh P Mysore

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

以下是用通俗语言和创意类比对该论文的解读。

核心思想：图书馆与图书管理员

想象一座巨大的图书馆。长期以来，研究大脑（以及计算机大脑）如何工作的科学家们一直专注于图书管理员。他们观察图书管理员如何喊叫、低语或四处走动（这就像神经元“放电”或发送信号）。他们发现，图书管理员的行为能告诉我们图书馆此刻正在做什么。

但本文提出了一个不同的问题：书架上的书呢？

作者认为，真正的“记忆”并不在于图书管理员的喊叫，而在于书籍的排列方式（即突触连接）。如果你重新排列书籍，即使没有人正在阅读它们，图书馆所“知道”的内容也会发生改变。

在此之前，我们缺乏一个良好的数学工具来精确衡量这种书籍排列中究竟存储了多少信息。本文构建了这样一个工具。

实验：“赫布”网络

为了验证他们的想法，作者创建了一个简化的大脑模型，称为赫布网络。

类比：想象一张巨大的网，由连接成千上万个点（神经元）的绳索组成。
规则：当两个点同时活跃时，它们之间的绳索会变得更紧或更松。这就是“赫布”规则：“一起放电的细胞，连接在一起。”
数据：他们设想图书馆接收不同的“故事”（数据模式）。每个故事都会轻微改变绳索的松紧度。

目标是计算：如果我们观察这些绳索的松紧度，我们能恢复多少原始故事？

主要发现

1. “拥挤房间”效应（分布式编码）

发现：随着你向图书馆添加越来越多的故事，任何单根绳索关于特定故事所包含的信息量都会减少。
类比：想象你试图在拥挤的房间里记住一位特定朋友的脸。

如果房间里只有两个人，你可以轻松地说：“那根绳索连接的是你的脸。”
如果房间里有 100 个人，那根同样的绳索现在成了连接所有人的杂乱绳结的一部分。它再也无法清晰地承载某一个人的画面了。
结论：大脑并不使用“一根绳索，一个记忆”的系统。相反，每一根绳索都承载着每一个记忆的微小、模糊的片段。信息是分布在整个网络中的。

2. 群体的力量（协同作用）

发现：这是最令人惊讶的部分。如果你一起观察一组绳索，它们告诉你的信息多于它们各个部分信息的简单总和。
类比：想象一群人试图描述一部电影。

甲说：“很暗。”
乙说：“很吵。”
如果你只是把这些加起来，得到的是“又暗又吵”。
但如果你一起听他们描述，你会意识到他们描述的是一部恐怖电影。这种组合创造了一种新的含义，这是任何单独一人所不具备的。
结论：突触作为一个团队运作。这种“协同作用”意味着整个网络比其单个线路的总和更聪明。作者发现，即使观察大组连接（在他们的模拟中多达 20 个），这种团队合作效应依然成立。

3. 我们能存储多少？

发现：本文计算了一个网络基于其大小能存储多少“故事”（记忆）。
类比：如果你把图书馆的规模扩大一倍（增加更多书架），你存储书籍的数量不仅仅是翻倍。因为书籍会相互作用并共享空间，你实际上可以存储超过两倍的数量。

数学表明，如果你扩大网络规模，存储容量的增长速度会略快于网络规模本身的增长。

为什么这很重要（根据论文）

这是一个新视角：它提供了一种基于结构（线路）而非仅仅是活动（放电）来衡量记忆的方法。
不仅仅是“一根线”：它证明了你不能只看一个连接来理解记忆。你必须观察整体（群体）。
解释了“协同作用”：它提供了数学证明，表明连接组协同工作，创造出任何单个连接本身都不存在的信息。

他们未声称的内容

这是一项理论数学研究。

他们没有在真正的人脑或患者身上进行测试。
他们没有声称这将立即治愈阿尔茨海默病或今天就能制造出更好的 AI 机器人。
他们没有说这适用于每一种类型的脑网络（他们使用了一种特定的简化模型，称为“致密赫布网络”）。

总结

不要把大脑想象成只有开关闭合（放电）时才播放音乐的收音机，而要把它想象成一座巨大而复杂的雕塑。雕塑的形状（连接）承载着记忆。本文发明了一把新的尺子，用来测量这座雕塑的形状中隐藏了多少“故事”，并发现这座雕塑比我们想象的更具协作性和效率。

以下是论文《量化存储于突触连接而非神经网络发放活动中的信息》的详细技术总结。

1. 问题陈述

虽然信息论长期以来被用于量化神经元（包括生物和人工神经元）发放活动中编码的信息，但在直接量化存储于突触连接分布（权重）中的信息方面，仍存在显著的理论空白。

当前局限： 现有方法要么提供宽松的界限（例如，通过机器学习中的噪声注入），要么依赖通过神经发放模式间接推断突触编码（例如，在霍普菲尔德网络中将总存储容量除以突触数量）。
核心挑战： 与具有明确数据映射的神经发放不同，突触权重源于学习过程，是隐式产生的。这使得推导数据模式与权重分布之间互信息的闭式解析表达式在数学上变得不透明。
目标： 建立一个理论框架，以解析方式量化数据模式与突触连接集合之间的香农互信息（MI），从而超越“发放活动”视角，转向“连接性”视角。

2. 方法论

作者提出了一个基于执行自联想记忆任务的稠密连接赫布网络的框架。

模型设置：
- 数据： $N$ 个独立的 $d$ 维数据模式 $\{x_1, ..., x_N\}$ 被建模为多元对数正态分布。这一选择反映了生物神经元群体中观察到的重尾统计特性。
- 网络： 一个全连接网络，其中突触权重 $w_{ij}$ 由赫布学习规则确定：
  $w_{ij} = \sum_{k=1}^{N} x_i^k x_j^k$
- 目标： 计算一组突触权重 $w$ 与特定数据模式 $x_l$ 之间的互信息 $MI(w; x_l)$ 。
解析推导：
- 近似： 由于对数正态变量之和没有闭式分布，作者采用了Fenton-Wilkinson 近似。该方法通过匹配前两个矩（均值和方差），将对数正态变量之和近似为单个对数正态变量。
- 单个连接： 他们推导了概率分布 $p(w_{ij})$ 和条件分布 $p(w_{ij}|x_l)$ （这是排除模式 $l$ 后的和的移位版本）。
- 集合： 该框架从单个连接扩展到连接对和任意 $n$ 元组连接。权重对数的联合分布被近似为多元高斯分布。
- 公式： 作者推导出了以下情况的互信息闭式解析表达式：
  1. 单个连接 ( $MI(w_{ij}; x_l)$ )。
  2. 连接对 ( $MI((w_{ij}, w_{mn}); x_l)$ )。
  3. 大小为 $n$ 的任意集合 ( $MI(w; x_l)$ )。
- 关键洞察： 互信息仅取决于特定突触集合中涉及的数据模式的统计参数（均值和协方差），使得结果在总网络规模方面具有上下文不变性。

3. 主要贡献

首个突触信息解析框架： 该论文提供了数据与突触权重集合之间香农互信息的首个闭式解析近似，无需模拟神经动力学。
分布式编码的验证： 结果在数学上证实了信息是分布在整个网络中的；随着存储模式数量的增加，存储在单个连接中的信息量减少。
协同作用的发现： 该框架揭示了突触连接表现出协同相互作用。突触集合编码的信息大于单个突触编码的信息之和 ( $E[MI_{ensemble}] > n \times E[MI_{single}]$ )。
新的容量缩放定律： 通过分析网络规模、集合大小与存储模式之间的关系，作者推导出了赫布网络容量的新缩放定律，这与传统的基于霍普菲尔德网络限制不同。

4. 关键结果

作者通过三组具有不同协方差结构（可交换、随机和随机）的仿真验证了其理论。

数据模式数量 ( $N$ ) 的影响：
- 单个连接（或集合）关于特定模式编码的信息随着存储模式总数 ( $N$ ) 的增加而减少。
- 缩放： $MI \sim N^{-1.0 \text{ 至 } -1.2}$ 。这证实了新模式会稀释现有连接的信息容量，支持分布式编码原则。
集合大小 ( $n$ ) 的影响：
- $n$ 个连接集合编码的总信息量随着 $n$ 的增加而增加。
- 缩放： $MI \sim n^{1.1}$ 。
- 协同作用： 关键在于，随着集合大小的增长，每个连接的平均信息量 ($MI/n$) 增加。这表明连接以协同方式共同工作；整体大于部分之和。这种协同作用在至少 20 阶相互作用中均被观察到。
网络容量缩放：
- 通过将集合大小 $n$ 与网络维度 $d$ 相关联（其中 $n \approx d^2/2$ ），并假设每个模式分量具有线性信息需求，作者推导了相对于网络规模 $d$ 的总存储容量 $P$ （模式数量）：
  $P \sim d^{1.2}$
- 这表明稠密赫布网络具有超线性存储容量，高于通常基于检索动力学引用的霍普菲尔德网络的线性 ( $P \sim d$ ) 或次线性 ( $P \sim 0.14d$ ) 限制。作者认为这代表了存储容量（上限），而检索容量较低，因为读出阶段存在信息损失。

5. 意义与启示

理论转变： 该研究将范式从通过“脉冲”分析神经编码转变为通过“权重”分析，为学习和记忆如何在物理上实现提供了互补的视角。
生物学相关性： 研究结果支持了生物学原则，即记忆并非定位于特定的“祖母细胞”或突触，而是分布且协同地存在于神经集合中。
机器学习应用：
- 剪枝： 这表明仅基于单个权重的孤立信息内容来剪枝神经网络是具有误导性的，因为权重的贡献是依赖于上下文且具有协同性的。
- 可解释性： 该框架提供了一种工具，用于量化特定电路基序中的信息存储，从而可能使“黑盒”深度学习模型更具可解释性。
- 架构设计： 这意味着连接的结构排列（基序）在信息存储效率中起着关键作用。
鲁棒性： 作者证明，他们的结论（分布式编码、协同作用、容量缩放）对 Fenton-Wilkinson 方法引入的近似误差具有鲁棒性，因为它们依赖于定性趋势而非精确数值。

总之，该论文为理解突触连接中的信息存储建立了严格的数学基础，揭示了神经网络通过协同的、分布式的相互作用存储信息的效率，高于仅通过发放率视角所理解的水平。