🤖 machine learning

How Long Does Infinite Width Last? Signal Propagation in Long-Range Linear Recurrences

本文推导了线性循环模型中信号传播的精确有限宽度公式，以识别三种不同的深度 - 宽度缩放机制，揭示了有限宽度效应随深度累积的速度快于前馈网络，并导致当循环深度超过 $\sqrt{n}$ 量级时无限宽度近似失效。

原作者： Mariia Seleznova

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Mariia Seleznova

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创造性类比对论文《无限宽度能持续多久？》的解释。

核心问题：“大”到什么程度才算“足够大”？

想象你正在尝试预测天气。为了获得完美的预报，你可能会设想一个拥有无限个传感器的世界，这些传感器测量着每一个空气分子。在这个“无限”的世界里，数学是清晰、可预测且易于求解的。这就是科学家所称的无限宽度极限。

长期以来，研究神经网络（AI 大脑）的研究人员一直依赖这种“无限传感器”的概念。他们假设，如果一个网络足够宽（拥有足够的神经元），它的行为就与这个完美的无限模型完全一致。

问题在于： 真实的 AI 模型并非无限的。它们拥有有限数量的神经元。这篇论文提出了一个简单但至关重要的问题：循环神经网络（RNN）能有多深，直到“无限”数学停止生效，而“真实、有限”的数学开始接管？

背景设定：回声走廊

要理解这篇论文，我们需要关注一种特定的 AI 模型，称为线性循环单元（LRU）。

类比： 想象一条长长的走廊，一端有一个麦克风，另一端有一个扬声器。你低声说出一句话（输入）。扬声器播放出来，麦克风将其拾取，稍微放大，然后再次播放。这个过程周而复始。
深度（ $t$ ）： 这是声音在走廊中循环的次数。
宽度（ $n$ ）： 这是房间里麦克风和扬声器的数量。“宽”房间有成千上万个；“窄”房间只有几个。

在“无限”世界（成千上万个麦克风）中，声音的行为完全可预测。但在“有限”世界（一个小房间）中，声波会撞击墙壁，相互干扰，产生奇怪的回声。这篇论文研究的正是这些奇怪的回声何时开始破坏预测。

信号传播的三个区域

作者发现，信号（声音）的行为取决于深度（循环次数）与宽度（神经元数量）之间的关系。他们发现了三个截然不同的区域：

1. 安全区（次临界机制）

规则： 如果循环次数远小于神经元数量的平方根（ $t \ll \sqrt{n}$ ）。
发生的情况： 信号的行为完全符合“无限”理论的预测。它是稳定的。“无限”数学仍然是对现实的完美描述。
隐喻： 你正走过一个巨大、空旷的体育场。即使你喊叫几次，声音也不会产生奇怪的回声，因为体育场太大了。在这里，“无限”模型完美适用。

2. 临界点（临界机制）

规则： 当循环次数接近神经元数量的平方根时（ $t \approx \sqrt{n}$ ）。
发生的情况： 这是“无限”数学失效的时刻。信号开始以旧理论无法预测的方式增长或变化。信号能量开始显著放大。
隐喻： 你现在处于一个较小、拥挤的房间里。你喊叫几次，回声突然开始累积。声音变得越来越大，并不是因为你喊得更用力，而是因为房间的大小恰好适合回声堆积。“无限”模型声称声音应该保持平静，但在现实中，它正变得混乱。

3. 爆炸区（超临界机制）

规则： 当循环次数远大于神经元数量的平方根时（ $t \gg \sqrt{n}$ ）。
发生的情况： 信号失控。它呈指数级增长。“无限”理论在这里完全无用。
隐喻： 你身处一个狭小、狭窄的壁橱里。你喊叫一次，声音反弹得如此快、如此猛烈，以至于产生震耳欲聋的轰鸣。信号爆炸了。

重大发现：循环网络与前馈网络

这篇论文对循环网络（回声走廊）和前馈网络（一排人传递球）进行了令人惊讶的比较。

在直线中（前馈）： 你可以将球传递给很多人，直到“有限”效应（比如球掉落）成为问题之前，都需要很长时间。“无限”数学能长时间有效。
在循环中（循环）： 因为相同的权重矩阵（同一组规则）被反复使用，误差和有限宽度效应快得多地累积起来。

关键发现： 论文证明，对于循环网络，当深度达到宽度的平方根（ $\sqrt{n}$ ）时，“无限”数学就会停止工作。对于其他类型的网络，这种情况发生得要晚得多（与完整宽度 $n$ 成正比）。

这对 AI 设计为何重要

这篇论文专门研究了Glorot 初始化，这是一种设置神经网络起始数值的标准方法。

旧观念： 基于“无限”理论，Glorot 初始化应该使信号永远保持稳定，无论序列有多长。
新现实： 论文表明，在长程循环模型中，一旦序列长度达到那个“临界机制”（ $\sqrt{n}$ ），Glorot 初始化就会变得不稳定。信号将爆炸，导致 AI 失败。

一句话总结

这篇论文证明，在循环 AI 模型中，我们赖以生存的“完美无限”数学比我们想象的更早失效——具体来说，当序列长度达到网络规模的平方根时，信号就会爆炸，迫使我们重新思考如何构建这些模型。

技术摘要：长程线性递归中的信号传播

问题陈述

理解神经网络中的信号传播是解决阻碍深度架构训练的信号消失/爆炸问题的基础。虽然现有的理论框架严重依赖无限宽极限（ $n \to \infty$ ），其中平均场近似产生了可处理的信号统计量，但这些理论往往无法捕捉在有限宽度下运行的现实网络的行为。

这一差距对于专为长程序列任务设计的递归模型（如线性递归单元和状态空间模型）尤为尖锐。在这些模型中，相同的权重矩阵 $W$ 在时间步 $t$ 上被重复应用。本文探讨的核心问题是：当递归深度 $t$ 与宽度 $n$ 共同增长时，无限宽近似能保持多长时间的准确性？ 具体而言，在何种深度尺度下，有限宽效应会累积到足以使标准初始化方案（如 Glorot）和无限宽预测失效？

方法论

本文分析了以方差为 $1/n$ 的独立同分布（i.i.d.）适当复高斯条目初始化的线性递归模型。所考虑的模型包括：

线性递归单元（LRU）： $h^{(t)} = Wh^{(t-1)} + x^{(t)}$
线性递归网络（RNN）： $h^{(t)} = Wh^{(t-1)}$ （无序列输入， $h^{(t)} = W^t x^{(0)}$ ）

作者将信号能量定义为隐藏状态归一化后的期望平方范数：
$S_{n,t} = \frac{1}{n}\mathbb{E}[\|h^{(t)}_{LRU}\|^2], \quad Q_{n,k} = \frac{1}{n}\mathbb{E}[\|h^{(k)}_{RNN}\|^2]$

理论推导

为了推导精确的有限宽公式，作者结合了随机矩阵理论和组合分析：

迹矩约化： 将信号能量简化为有限宽迹矩 $\frac{1}{n}\mathbb{E}[\text{tr}((W^k)^* W^k)]$ 的评估。
Wick 展开： 利用复高斯变量的 Wick 定理，将迹矩展开为对置换 $\sigma \in S_k$ 的求和。
组合计数： 每个置换的贡献由应用 Kronecker delta 约束后“自由索引”（无约束等价类）的数量决定。该计数被证明恰好对应于特定置换交换子 $[\tau^{-1}, \tilde{\sigma}^{-1}]$ 中的循环数，其中 $\tau$ 是一个长循环。
精确公式： 利用关于随机置换循环数的已知结果（特别是与 Hultman 数和 Dubach 工作的关系），作者推导出了涉及上升和下降阶乘的 $S_{n,t}$ 和 $Q_{n,k}$ 的精确闭式表达式。

主要贡献

1. 精确的有限宽公式

本文提供了针对复高斯初始化的有限宽线性递归中信号传播的首个精确闭式公式。这些公式（定理 2.1）适用于深度和宽度的任意联合缩放，超越了标准的无限宽极限。

2. 三种缩放机制的识别

利用精确公式，作者根据深度（ $t$ 或 $k$ ）与宽度（ $n$ ）之间的关系，刻画了控制信号传播的三种不同机制：

次临界机制（ $t, k = o(\sqrt{n})$ ）：
- 无限宽近似保持准确。
- 信号能量表现为 $Q_{n,k} \to 1$ 和 $S_{n,t} \sim t+1$ 。
- 标准 Glorot 初始化保持稳定。
- 在此机制下，递归和前馈信号传播在渐近意义上是不可区分的。
临界机制（ $t, k \sim c\sqrt{n}$ ）：
- 出现了与无限宽预测不可忽略的偏差。
- 出现了一个非平凡的联合缩放极限。
- 对于 RNN： $Q_{n,k} \to \frac{2}{c^2}\sinh(\frac{c^2}{2})$ 。
- 对于 LRU： $S_{n,t} \sim \sqrt{n} \int_0^{\tilde{c}} \frac{2}{x^2}\sinh(\frac{x^2}{2}) dx$ ，其随缩放参数呈指数增长。
- 意义： 这确定了 $\sqrt{n}$ 是 Glorot 初始化在长程线性递归中变得不稳定的精确阈值。
超临界机制（ $t, k \gg \sqrt{n}$ ）：
- 有限宽效应占主导地位，导致信号爆炸。
- 在次线性范围（ $\sqrt{n} \ll t \ll n$ ）内，信号增长随深度呈指数级： $S_{n,t} \sim \frac{n^2}{t^3} \exp(\frac{t^2}{2n})$ 。
- 不存在有限的联合缩放极限；信号迅速发散。

3. 递归与前馈架构的区别

本文证明，有限宽效应在递归模型中的累积速度远快于前馈网络。

在前馈网络中，当深度与宽度呈线性缩放（ $L \sim cn$ ）时，有限宽修正变得显著。
在递归网络中，这些效应在平方根尺度（ $t \sim c\sqrt{n}$ ）下即可见。
这解释了为什么递归模型在经验上比前馈模型更容易出现不稳定性，而这一区别在标准的无限宽理论中是不可见的。

结果与验证

理论极限： 推导出的公式精确量化了无限宽近似的崩溃。它们表明，标准初始化方案虽然在无限宽意义上是稳定的，但一旦递归深度超过 $\sqrt{n}$ 尺度，就无法稳定信号。
实数与复数权重： 虽然主要结果是针对复数权重（现代 SSM 中常见）推导的，但本文确立了实高斯权重表现出更大的信号能量（ $Q^R_{n,k} \ge Q_{n,k}$ ），这意味着为复数权重推导的不稳定性阈值也适用于（并且对实数权重而言是保守的）实数权重。
数值验证： 蒙特卡洛实验证实了理论预测。在各种宽度和深度下，经验信号能量与推导出的临界分布（例如临界机制中的 $\sinh$ 函数）高度吻合。

意义与主张

本文声称对“无限宽近似在递归模型中能持续多久”这一问题提供了明确的答案。其主要贡献包括：

** pinpointing 崩溃尺度：** 它确立了无限宽理论在 $t \sim \sqrt{n}$ 处崩溃，这一尺度远小于前馈网络相关的 $t \sim n$ 尺度。
解释经验不稳定性： 它为为什么标准初始化（Glorot）在现代长程线性递归（如 LRU 和 SSM）中不稳定提供了理论解释，从而解释了实践中所需的重新缩放策略。
定性差异： 它强调了由同一权重矩阵的重复应用所驱动的递归和前馈架构之间信号传播的根本定性差异。

作者指出，他们的结果特定于随机初始化的线性递归。他们承认，将这些发现扩展到非线性激活、结构化非高斯初始化（最先进模型中常见）以及训练动态（特征学习机制）仍然是未来工作的开放方向。