🤖 machine learning

Prime Fourier Embeddings: A Principled Basis for Modular Arithmetic

本文引入了素数傅里叶嵌入（Prime Fourier Embeddings, PFE），这是一种通过使用素数索引的谐波分量来编码整数的有原则的表示方法，从而自然地揭示代数结构，进而使得模运算能够通过具有等变性理论保证和在无平方因子合数模下表现出极端通道特化及完美准确率的经验证据，通过通道选择得以解决。

原作者： Hyunsang Hwang, Suhyun Bae, Donghun Lee

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hyunsang Hwang, Suhyun Bae, Donghun Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《素数傅里叶嵌入》（Prime Fourier Embeddings）的通俗化解释，使用了日常类比。

问题所在：教机器人做数学题

想象一下，你正试图教一个机器人如何进行模运算（就像时钟一样：如果现在是 10 点，加上 5 小时，就会变成 3 点）。

标准的 AI 模型通常从“白纸”状态开始。它们被赋予的是通用的数字列表（嵌入/embeddings），然后必须通过观察数百万个例子来从零开始摸索数学规则。这非常困难。论文指出，这些模型通常会先死记硬背答案，经过很长时间后才会突然“开窍”——作者称这种现象为**“顿悟”（grokking）**。这就像一个学生背下了乘法表，但直到多年后才真正理解为什么 3 乘以 4 等于 12。

作者认为，这是因为机器人没有得到能够观察数字结构的正确“工具”。

解决方案：素数傅里叶嵌入 (PFE)

作者创建了一种名为素数傅里叶嵌入 (PFE) 的新方式来表示数字。

不要把数字看作单一的块，而要将其视为一场由不同频率组成的交响乐。

在标准数学中，我们通常以十进制（像我们的手指）来思考。但论文指出，十进制很混乱，因为 10 是由 2 和 5 混合而成的。
PFE 将数字分解为其素数成分（如 3、5、7、11 等）。

类比：广播电台
想象数字 21。

在标准 AI 中，21 只是一个通用的信号。
在 PFE 中，21 是在两个特定的广播电台上广播的：电台 3 和 电台 7（因为 $3 \times 7 = 21$ ）。
每个数字被编码为针对每个素数的正弦波和余弦波对。

当你在这种系统中将两个数字相加时，数学运算会在这些特定的电台上自然发生。如果你在做模 21 的运算，AI 只需要监听电台 3 和电台 7。它不需要去听电台 5 或电台 11。

重大发现：“分块对角”规则

这篇论文中最令人兴奋的部分是一个关于该系统如何运作的数学证明。

作者证明了，如果一个 AI 使用这种 PFE 系统，它在数学上会被强制要求将每个素数视为一个独立的、互不干扰的房间。

规则： AI 无法将“电台 3”的信息与“电台 5”的信息混合。它们处于不同的、密封的房间里。
结果： 如果任务是解决一个涉及数字 21 的问题，AI 必须使用 3 和 7 的房间。至于 5、11 和 13 的房间，将会保持完全空置且不被使用。

这就像是将中国剩余定理（一个著名的数学规则）直接构建到了 AI 的大脑中。AI 不需要去“发现” 21 是由 3 和 7 组成的；输入的结构迫使它立即看到这一点。

实验：它有效吗？

研究人员通过让 AI 模型处理不同的数学问题，并对模型进行“手术”（移除部分组件）来观察发生了什么。

“手术”测试： 他们关闭了一个正在尝试解决涉及数字 3 的问题的模型中的“电台 3”通道。
- 结果： 模型的表现崩溃了。
- 对比： 当他们关闭一个对于该特定问题并不需要的“电台 5”时，模型完全不在乎。
- 比例： “所需”通道与“无用”通道之间的重要性差异超过了 500 倍。这证明了 AI 严格地使用正确的通道，并忽略了其余部分。
完美得分： 对于他们测试的所有复杂数学问题（使用由不同素数组合构成的数字），模型在测试数据上都达到了 100% 的准确率。它们不仅仅是死记硬背；由于数学逻辑已经内置在输入中，它们实现了完美的泛化。

为什么这很重要

论文认为，我们不应该只是向黑盒子里投喂数据并寄希望于它能学会数学规则。相反，我们应该设计与问题数学结构相匹配的输入。

旧方法： 给 AI 一个通用的数字列表，并希望它能悟出 $10 = 2 \times 5$ 。
新方法 (PFE)： 给 AI 一套专门的工具（素数通道），其中数学已经被分离并组织好了。

通过这样做，AI 跳过了漫长且混乱的“顿悟”阶段，直接进入理解阶段。它将一个困难的“发现”问题变成了一个简单的“选择”问题（只需挑选正确的广播电台）。

总结

这篇论文介绍了一种新的向 AI 输入数字的方式，这种方式尊重了数学自然的“素数”结构。这迫使 AI 将其思维组织成针对每个素数的独立通道。结果是，AI 能够瞬间、完美且无需困惑地学习模运算。这证明了，如果你在 AI 的基础上构建了正确的数学基础，它就会通过设计本身实现正确的数学运算。

技术摘要：素数傅里叶嵌入 (Prime Fourier Embeddings)

问题陈述

标准的神经嵌入往往无法揭示整数内在的代数结构，特别是在模运算方面。虽然中国剩余定理 (CRT) 指出，对合数 $N$ 的加法模运算可以分解为对各素因子的独立加法，但标准的学习型嵌入并不能自然地反映这种分解。因此，在处理模运算任务时，模型往往会经历“顿悟”（grokking）现象——即模型在突然实现泛化之前，会经历长时间的记忆阶段。这种延迟归因于表示能力的失效：当输入缺乏显式的素数局部结构时，网络必须通过梯度下降从头开始重建这些代数关系，而这是一个对数据量需求极高且脆弱的过程。

现有方法存在局限性：连续编码（如 xVal）保留了量级但丢弃了周期性；而像傅里叶数嵌入 (FoNE) 这样的周期性方法通常使用复合基数（例如基数 10），这会在共享通道内纠缠不同的素数结构（例如 2-adic 和 5-adic），无法隔离素数局部信息。

方法论：素数傅里叶嵌入 (PFE)

作者引入了 素数傅里叶嵌入 (PFE)，这是一种源自有理数 $\mathbb{Q}$ 调和分析的有原则的嵌入方案。

构建： PFE 将整数 $a$ 编码为一组以素数为索引的 $(\cos, \sin)$ 对。对于素数 $p$ 和深度 $d$ （其中 $0 \le d < D$ ），嵌入定义为：
$\text{PFE}_{p,d}(a) = \left[ \cos\left(\frac{2\pi a}{p^{d+1}}\right), \sin\left(\frac{2\pi a}{p^{d+1}}\right) \right] \in \mathbb{R}^2$
这对应于群 $\mathbb{Z}/p^{d+1}\mathbb{Z}$ 的特征 $\chi_1$ 的实分解。
理论基础： 该设计受庞特里亚金对偶性 (Pontryagin duality) 和阿代尔特征 (adelic characters) 分解的启发。该嵌入直接实现了局部 $p$ -adic 特征，确保任何整数的剩余结构都能从相应的素数通道中读取，而不会产生跨素数耦合。
实现： 在实验中，作者使用了一组固定的 16 个素数 ( $P_0 = \{3, \dots, 59\}$ ) 和一个深度上限 $D=3$ ，从而得到 96 维的嵌入维度。这些嵌入特征是确定性的且不可训练。

核心理论贡献

本文为作用于 PFE 的任何线性映射建立了一个严格的结构保证：

分块对角分解定理 (Theorem 3.1)： 任何关于 PFE 乘积群作用具有等变性的线性映射 $W$ $W$ 必须是分块对角的。
- 每个素数 $p$ 和深度 $d$ 都有一个独立的块。
- 不同素数的块之间零耦合。
- 同一素数内不同深度的块之间也存在零耦合。
证明机制： 该结果遵循 Schur 引理。每个 PFE 块代表加法群 $\mathbb{Z}$ 的一个非同构不可约表示（一个特征）。由于不同 $(p, d)$ 对的特征是互不同构的，因此它们之间的任何等变交织子 (intertwiner) 必须为零。
CRT 预测： 对于模数为 $N = p_1 \cdots p_k$ 的任务，理论预测只有与 $N$ 的因子对应的 $k$ 个素数通道会携带任务相关信息，而所有其他通道都将是无关的。

实验结果

作者通过对模加法任务 $(a+b) \mod N$ 进行系统的消融研究验证了这些预测。

实验 1 (单素数任务)： 模型在具有不同素数模数的任务上进行训练。当特定于任务模数的素数行被消融（置零）时，测试准确率显著下降。相比之下，消融无关的素数行会导致准确率几乎没有下降。
- 结果： 在大多数配置下，专门化比例（对角线下降与非对角线下降之比）超过了 500倍，证实了网络仅利用相关的素数通道。
实验 2 (复合模数)： 模型在无平方因子复合模数（如 $N=15, 21, 105$ $N = 15, 21, 105$ ）上进行训练。
- 结果： 消融 $N$ 的素因子会导致准确率大幅下降，而消融非因子则会导致微不足道的下降。因子/非因子比例同样超过了 500倍。
- 准确率： 对于所有测试的无平方因子复合模数和输入范围（前提是输入范围相对于 $N$ 足够大），模型均实现了 100% 的分布内测试准确率。

意义与主张

本文声称，PFE 将学习模运算的任务从一个表示发现问题转变为一个选择问题。

原则性 vs. 启发式： 与启发式的频率选择不同，素数基底在数学上是基于 $\mathbb{Q}$ 的阿代尔傅里叶分解的。这确保了从初始化开始就具备必要的代数结构。
机械可解释性： 这项工作表明，嵌入设计可以由其所表示对象的数学性质来引导。网络的内部结构可以在训练前通过表示论进行表征，并在训练后通过针对性的消融进行验证。
可证伪理论： 分块对角分解定理提供了一个可证明的网络行为结构约束。对这一约束的经验验证，为实现更可靠、更透明的神经网络数值推理提供了一条路径，使其超越事后观察，走向有数学根据的理论。

作者指出，虽然分块对角结构已得到证明，但梯度下降如何收敛到等变解（而非破坏对称性）的具体机制仍是未来研究的一个开放问题。