技术摘要：表达性神经元循环网络中的缩放定律与权衡

问题陈述

皮层神经元是复杂的多时间尺度处理器，能够进行超越简单点对点非线性的非线性整合。相比之下，主流机器学习（ML）主要依赖极其简单的单元（例如标准感知机或 LSTM），这一默认设置继承自早期的神经网络理论。虽然计算神经科学已将单神经元模型细化为包含丰富的内部动力学和结构化的树突整合，而机器学习则通过加宽网络和堆叠层来扩展性能，但这两个领域在很大程度上是沿着不同的轴线演化的。

本文探讨的核心规范性问题是：固定的参数预算 $P$ 应如何在单元数量 $N$、每单元有效复杂度 $k_e$ 和每单元连接数 $k_c$ 之间进行最优分配？ 当前的机器学习缩放定律主要关注模型规模、数据和计算量，但关于每单元复杂度的缩放研究仍 largely 未被探索。作者认为，一旦探测单元数量、单元复杂度和连接度之间的权衡曲面，假设简单单元是显然最优的默认设置这一观点可能是有缺陷的。

方法论

ELM 网络架构

为了研究这一权衡，作者引入了ELM 网络，这是一种由**表达性泄漏记忆（ELM）**神经元构建的循环架构。该设计允许独立调整 $N$、$k_e$ 和 $k_c$，同时在多个数量级上保持训练稳定。

• ELM 神经元：一种循环单元，具有以下特征：
  • 结构化突触整合：输入经过加权、分组到分支中并求和。
  • 非线性内部计算：分支激活和衰减的记忆状态通过多层感知机（MLP）处理。
  • 多时间尺度记忆：具有可学习时间尺度的记忆单元泄漏整合。
  • 时间高通滤波：在线性记忆读出之前减去线性记忆读出的指数移动平均（EMA），随后进行 ReLU 激活，以稳定训练并过滤慢速振荡。
• 网络结构：由一个宽循环隐藏层（包含 ELM 神经元）组成，后接一个更简单的前馈读出层和一个线性输出投影。
• 预算定义：总参数预算定义为 $P = N(k_e + k_c)$，其中 $k_e$ 代表内部神经元参数（MLP 权重、读出权重），$k_c$ 代表连接参数（突触权重）。

实验设置

作者在两个性质不同的基准测试上评估了该模型：

1. SHD-Adding：一个神经形态基准测试，涉及将编码为时空脉冲模式的口语数字进行求和。
2. Enwik8：使用维基百科前 $10^8$ 字节的字符级语言建模任务。

实验涉及在三个数量级的可训练参数范围内，对 $N$、$k_e$（通过记忆单元 $d_m$ 和 MLP 深度/宽度）以及连接度（$k_c$）进行扫描。

理论框架

为了解释经验权衡，作者提出了一个封闭形式的信息论模型，将神经层视为一组噪声信道。

• 有效表示信息（$I_{rep}$）：定义为任务相关信号与噪声层输出之间的互信息。
• 关键假设：
  1. 信号和噪声服从高斯分布。
  2. 功率律信号协方差谱（$\lambda_i \propto i^{-\beta}$），其中 $\beta$ 捕捉神经元间的冗余度。
  3. 每神经元噪声随复杂度 $k_e$ 以幂律衰减，直至饱和至下限（$\sigma_n^2 \propto \max((\gamma k_e)^{-\alpha}, q_\infty)$），其中 $\alpha$ 捕捉时空整合的表达性。
  4. 固定预算 $P$ 在 $N$ 个神经元中分配。
• 推导公式：
  $$I_{rep}(k_e) = \frac{1}{2} \sum_{i=1}^{P/(k_e+k_c)} \log_2 \left( 1 + s(k_e) i^{-\beta} \right)$$
  其中 $s(k_e)$ 是依赖于 $k_e$ 的信噪比。

主要结果

1. 单调缩放与非平凡权衡

• 独立轴：当单独缩放 $N$、$k_e$ 或连接度（$k_c$）时，性能呈单调提升。
• 固定预算权衡：在固定参数预算下，$N$ 和 $k_e$ 之间的权衡出现了一个清晰且非平凡的最优解。
  • 神经元过少或神经元过于简单的网络表现不佳。
  • 该最优解非常尖锐，特别是在使用二值脉冲代理时。
• 预算偏移：随着总预算 $P$ 的增加，最优配置向更多神经元和更复杂神经元的方向偏移（例如，当预算翻四倍时，从 $N=512, d_m=15$ 偏移至 $N=1024, d_m=25$）。

2. 连接度与循环性

• 连接度：增加突触数量（$d_s$）可提高性能。一旦存在足够的前馈连接，额外的性能提升几乎完全由循环连接驱动。
• 循环比例：更大的网络倾向于更高比例的循环连接（$\rho_{rec}$）。
• 复杂度与连接度：在神经元复杂度和连接度之间分配参数，会在约 $N_{rec}$ 个连接处产生最优解。

3. 理论验证

• 信息论模型在定性上复现了经验缩放形状，包括最优解的位置及其随预算的偏移。
• 参数可解释性：
  • $\alpha$（噪声衰减指数）与时空整合设置（例如 $l_{mlp}$、$\tau_{max}$）相关。单神经元基准测试上的经验测量证实了误差随 $k_e$ 呈幂律降低。
  • $\beta$（谱衰减指数）与连接度相关。连接度降低会增加 $\beta$（更高的冗余度），从而使最优解向更大的神经元偏移。
• 将理论与七个消融实验的实验数据进行联合拟合，获得了 $r=0.98$ 的皮尔逊相关系数，拟合参数与独立测量结果相符。

4. 缩放配方

结构化的超参数搜索确定了一个简单的缩放配方，该配方在两个数据集上均追踪了经验帕累托前沿：

• $d_m \sim \sqrt{N_{rec}}$
• $d_{mlp} = 2d_m$
• $d_{tree} = 2d_{mlp}$
• $d_{branch} = d_{tree}$
  该配方激进地扩展了每神经元连接度，这与 $\beta$ 的理论重要性一致。

意义与主张

本文声称提供了一个规范性视角，审视皮层对复杂时空整合器的依赖。通过证明在预算约束下简单单元默认设置并非显然最优，该工作表明：

1. 复杂的每单元机制是循环计算中一种预算高效的 design choice。
2. 单元数量与单元复杂度之间的权衡受基本信息论原则支配：每神经元信噪比饱和和跨神经元冗余。
3. 一旦探索完整的权衡曲面，机器学习中的“简单单元”默认设置可能是次优的。

作者明确指出局限性：该框架抽象掉了具体的网络拓扑和优化动力学；假设（如功率律谱）仅为近似成立；以及使用参数数量作为预算代理并未直接捕捉代谢成本，限制了直接的生物学可解释性。尽管如此，该工作建立了一个稳健的模型系统，用于研究表达性神经元中的缩放，并为理解架构权衡提供了一个紧凑的理论框架。