🔢 mathematics

A Counterexample to Fourier Alignment in Single-Neuron Modular Addition

本文通过构建一个反例，证明了在单神经元模块化加法中傅里叶对齐（Fourier alignment）假设的失效，在该反例中，一个最初处于激活状态的 ReLU 神经元变得永久失活，且其傅里叶能量在所有非零频率类中均匀分布，这一现象在高斯初始化下发生的概率为正，并在各种训练约定和近似方法中持续存在。

原作者： Gautam Neelakantan Memana

发布于 2026-08-06

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Gautam Neelakantan Memana

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

神经元的歌唱之谜

想象一个庞大的数字管弦乐团，其中的每一位乐手都是一个微小的、简单的开关，被称为“神经元”。这些开关本身并不会演奏复杂的交响乐；它们只是倾听一些音符，判断声音是否足够大，然后向下一组乐手喊出一个数字。当你将数百万个这样的开关连接在一起时，你就得到了一个神经网络——一个能够学习识别猫、翻译语言或解决数学问题的机器。但谜题在于：一个由如此简单的部分组成的机器，究竟是如何理解复杂规则的呢？

科学家们一直在研究一种非常棘手的数学游戏，叫做“模加法”（modular addition）。这就像一个只有特定小时数（比如 5 或 7）的时钟，当达到顶端时会循环。如果你在一个 5 小时的时钟上，在 4 点的基础上增加 3 个小时，你得到的不是 7，而是 2。神经网络在学习这个游戏方面表现得非常出色。事实上，当研究人员观察解决这个问题的网络内部时，他们发现了一些神奇的现象：神经元似乎开始以特定的音乐音符，即“频率”来“歌唱”。看起来，网络正在自我组织成一个合唱团，每个歌手都选择了一个特定的音符来精通，然后共同创造出完美的和谐，以解决这个数学难题。这种观点认为，单个神经元会自然而然地稳定在仅仅一个“频率”上以履行其职责，这成为了一个流行的理论。它暗示着训练这些网络就像是在调频收音机，以寻找那个唯一的完美电台。

反例：当合唱团陷入沉默

这篇由 Gautam Neelakantan Memana 撰写的论文对这一音乐理论提出了质疑，并说道：“等一下。情况并不总是如此。”作者提出了一个巧妙的反例——一个特定的场景，在这种场景下，流行的“单频率对齐”理论完全失效了。

把流行的理论想象成一条规则，它说：“如果你训练一个神经元去解决这个时钟数学问题，它最终会选择一个特定的音乐音符并永远坚持下去。”论文表明，这条规则并不是自然法则。相反，作者构建了一个非常特定的初始设置，使神经元表现出两种令人惊讶的行为，从而违背了“单音符”规则。

首先，神经元可能会直接死亡。想象一位歌手，起初声音洪亮，但随着指挥（训练算法）试图修正他的音高，这位歌手变得非常沮丧，以至于完全停止了歌唱。在数学世界中，这意味着神经元的内部“闸门”关闭了，它不再对任何输入做出反应，并冻结在一种沉默的状态中。当这种情况发生时，数学证明该神经元的“能量”并没有集中在某一个音符上。相反，它均匀地分布在歌曲中每一个可能的音符上。这就像一个歌手，他没有击中一个高音，而是哼唱着一种平淡的、静态的噪音，其中包含了同时存在的每一个频率的微小成分。

其次，论文展示了一种情况：神经元保持活跃，但却陷入了仅仅记忆数学表中单个条目的状态。它并没有学习时钟的通用规则，而是学会了只针对一组特定的数字（比如“3 加 4”）给出正确答案，并忽略其他所有内容。即使在这种“记忆”状态下，数学也证明了神经元的焦点仍然分布在所有频率上，而不是仅限于一个。

作者证明了这些“糟糕”的结果并非只是罕见的意外。它们发生在很大范围的初始条件下。如果你随机选择一个神经元设置的起点，确实存在一个正向的概率，使其最终进入这些无法选择单一频率的状态。这意味着，训练过程并不会强迫神经元成为单音符专家。我们看到的“单音符合唱”只是实验中的一种可能结果，而不是一个保证的结果。

论文还检查了这是否会发生在不同类型的训练规则下。它表明，即使我们改变计算“死亡”状态的数学方式（即使用不同的数学惯例来处理开关恰好关闭的情况），或者使用更平滑版本的开关，神经元仍然可能陷入这些多频率、非对齐的状态。即使我们使用标准的、循序渐进的计算机方法（梯度下降）来训练网络，神经元也可能在仅仅一步之后就冻结，永远无法找到那个完美的单音符。

因此，核心结论是：虽然神经网络可以学习使用单一频率来解决模加法问题，但它们并不必须这样做。训练过程具有足够的灵活性，可以让一个神经元死亡，或者陷入记忆单个事实的状态，从而留下其内部结构混乱且分布在许多频率之中的状态。“单音符合唱团”是一种可能的结果，但它并不是宇宙允许的唯一结果。

技术摘要：单神经元模加法中傅里叶对齐的反例

问题陈述
本文探讨了关于训练模运算神经网络（这一任务对于理解“grokking”和算法泛化至关重要）的表示论性质的一个特定问题。具体而言，它研究了 [Cla26d] 中提出的问题：在针对循环群 $\mathbb{Z}/p\mathbb{Z}$ （其中 $p \ge 5$ 为素数）的加法进行精确全表交叉熵训练时，一个单 ReLU 神经元的归一化参数向量 $(u, v, w)$ 在初始激活的条件下，是否必须收敛到由单个非零实傅里叶类（即特定的频率 $\zeta$ 及其共轭 $-\zeta$ ）所支撑的方向。之前的两层网络理论工作表明，单个神经元倾向于选择单频率傅里叶特征，不同频率根据初始谱强度进行竞争。本文旨在确定这种“单频率对齐”是否为最简单模型（即单神经元）训练动力学的必然结果。

方法论
作者采用严谨的解析方法，使用 Clarke 微分包含（Clarke differential inclusions）来模拟连续时间训练动力学，以处理 ReLU 激活函数在零点处不可微的问题。其方法论包括：

构建特定的初始条件： 作者定义了一组初始参数，其中恰好有一个输入门（对应输入 $(0,0)$ ）是激活的，而所有其他门都严格处于非激活状态（预激活值为负）。
动力系统分析： 他们分析了交叉熵损失的梯度流。通过利用对称性，他们将高维系统简化为一个受控于激活门预激活值和输出权重的低维常微分方程（ODE）。
不变性分析： 作者识别了一个与输出权重差异和输入预激活相关的守恒量（或具有特定单调行为的量）。这使得他们能够证明，激活门的预激活值会在有限时间内线性下降至零。
Clarke 轨迹选择： 当预激活值达到零时，作者利用 Clarke 广义导数框架。他们证明了通过选择将 ReLU 在零处的导数设为 0（一种标准的自动微分约定），轨迹会进入一个“死亡”状态，此时所有梯度消失，参数冻结。
傅里叶谱分析： 作者计算了冻结参数向量的傅里叶能量分布。他们表明，极限方向是一个标量倍数的中心点质量向量，该向量将其能量均匀地分布在所有非零实傅里叶类上。

核心贡献与结果

反驳单频率对齐： 本文为 [Cla26d] 中提出的问题提供了否定解。作者构建了一个反例，其中归一化的参数收敛到一个不支持于单个傅里叶类的极限；相反，其傅里叶能量均匀分布在所有 $p-1$ 个非零频率类中。对于 $p \ge 5$ ，任何单个类中的能量占比为 $2/(p-1)$ ，严格小于 1。
有限时间死亡与冻结： 该反例表明，单个神经元可以在有限时间内达到完全不活跃的状态（“死亡 ReLU”）。一旦死亡，参数就会冻结在由初始条件和导致死亡的动力学所决定的极限值。
鲁棒性与概率： 该反例并非孤立的人为产物。
- 它在开集初始条件下成立，这意味着在标准高斯初始化下，它以正概率发生。
- 附录 A 强化了这些结果，表明：
  - 该现象对于来自开集初始条件的每一个 Clarke 轨迹都成立（消除了对特定轨迹选择的需求）。
  - 该现象在采用 $\text{ReLU}'(0)=0$ 的约定下依然存在。
  - 它在 ReLU 的光滑死区近似函数（对于 $z \le 0$ 为零的 $C^\infty$ 函数）下依然成立。
  - 它在固定步长的全批次梯度下降中也存在，其中神经元会在单步内死亡。
持续激活的反例： 附录还提出了一个“持续滑动”的轨迹，其中神经元保持激活状态（一个门保持正值），但归一化权重仍然收敛到多频率极限，即使在没有神经元死亡的情况下也未能实现单频率对齐。

意义与主张
本文声称，单频率或单语义（monosemantic）的傅里叶结构并不是训练单神经元进行模加法的普遍结果。

失效机制： 这种失效源于两种常见的机制：神经元死亡（进入死区）或神经元保持激活但实际上是在“记忆”单个表项（即 $(0,0)$ 的情况）而非学习通用算法。持续轨迹体现了与 grokking 相关的“记忆到泛化”二分法中的“记忆”侧。
局限性： 作者明确指出，其结果依赖于激活函数中存在精确死区的假设。对于处处正值的激活函数（如 softplus），问题仍然开放，因为在这种情况下无法发生“死亡”机制。
背景： 本研究澄清了虽然傅里叶结构在解空间中是存在的，但训练动力学并不强制选择单一频率。研究结果区分了单神经元模型与在更宽网络（例如 [MEO+24] 中宽度 $m \ge 4(p-1)$ 的情况）中观察到的多频率选择机制。

总而言之，本文确立了“单频率对齐在模加法训练中是必然”的假设是错误的，并提供了一个具体的反例，在该反例中，极限方向在傅里叶类意义上是最大程度非纯粹的。

神经元的歌唱之谜

反例：当合唱团陷入沉默

技术摘要：单神经元模加法中傅里叶对齐的反例

类似论文