🤖 machine learning

Numbers Already Carry Their Own Embeddings

该论文引入了阿德尔算术运算保持嵌入（Adelic operation-preserved embeddings, AOE），这是一种无需训练、即插即用的表示方法，通过捕捉数字的实数与 p 进数特征来保持其代数结构，从而在组合基准测试中实现完美准确率，并为人工智能中的“数字问题”提供了一种原则性的解决方案。

原作者： Suhyun Bae, Donghun Lee

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Suhyun Bae, Donghun Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一台计算机如何理解数字。目前，大多数 AI 模型将数字视为书中的文字。如果你输入“7”，计算机看到的并不是一个量，而是一个由像素组成的特定形状，或者是一个代表字母“7”的代码。这就像试图通过仅仅研究页面上字母“A”的形状来理解“七个苹果”的概念。计算机必须通过阅读足够的例子来“猜”出数学规则（如加法或乘法），这往往会导致错误。

这篇论文提出了一种全新的教学方式，即基于这样一个理念：数字本身就已经携带了关于其行为方式的指令。

以下是他们解决方案的简单拆解，称为 AOE（阿代尔运算保持嵌入，Adelic Operation-preserved Embeddings）：

1. 问题所在：“字符串”陷阱

现在的 AI 模型会将数字切碎成微小的、任意的碎片（例如将“123”拆分为“1”、“2”和“3”）。它们丢失了数字之间自然的联系。这就像试图通过观察歌词中的单个字母来理解一首歌，而不是去聆听它的旋律。AI 必须从头开始重新学习数学，这既困难又容易出错。

2. 解决方案：“通用身份证”

作者建议给每个数字一张特殊的“身份证”，以捕捉其真实的数学身份。他们称之为阿代尔嵌入（Adelic Embedding）。

请不要仅将一个数字看作一个单一的数值，而要将其看作一个拥有两个截然不同身份的人：

“真实”自我： 这是你在计算器上看到的数字（例如 1.4）。
“模”自我： 这是该数字在通过不同质数（如 2, 3, 5 等）的视角观察时所呈现出的“签名”。

类比：
想象你正在试图识别一名嫌疑人。

旧方法： 你只看他的脸（真实值）。这很容易把一个人误认为另一个人。
新方法 (AOE)： 你不仅看他的脸，还看他的指纹、声音模式和 DNA。即使他的脸部特征发生了变化，他的“数学 DNA”（模签名）也永远不会撒谎。

在这个系统中，像 7/5 这样的数字不仅仅是“1.4”。当你通过数字 2 的“透镜”观察时，它是一个特定的数字模式；通过数字 3 的“透镜”观察时，又是另一种模式，以此类推。

3. 为什么有效：“即插即用”的魔力

最棒的部分在于，这并不需要 AI 回到学校重新学习一切。

无需训练： 数学规则已经内置在身份证中了。计算机不需要去猜测加法或乘法的规则；这张身份证本身就完美地保留了这些规则。
即插即用： 你可以将这种新的身份证系统直接放入任何现有的 AI 模型（如 Transformer）中，就像更换一个更好的电池一样。无需重建整个引擎。

4. 结果：解决“数字问题”

作者在一组非常困难的数学谜题上测试了该方法，这些谜题被称为代数组合数学数据集（Algebraic Combinatorics Dataset）。这些不是简单的“2+2”问题，而是涉及模式、形状和抽象结构的复杂、研究级谜题。

结果： 使用这种特殊身份证（AOE）的 AI 在每一项测试中都击败了标准 AI。
亮点： 在一项名为**“编织模式”（Weaving Pattern）**的极难任务中，新的 AI 达到了 100% 的准确率。即使是以前表现优异的现有大型模型，也未能完美解决这一难题。

5. 局限性（代价）

论文诚实地说明了几个局限性：

复杂度： 创建这些特殊的身份证需要更多的计算能力和时间（大约比旧方法慢 4 到 5 倍），因为计算机必须为每个数字计算所有这些额外的“指纹”。
范围： 目前，这对于有理数（分数）非常有效。作者承认，他们目前还没有找到处理无理数（如 Pi）或复数的方法。

核心总结

该论文认为，我们把数字当作文本对待的时间太长了。通过赋予数字一种尊重其真实数学本质（结合其真实值与模“指纹”）的表示形式，我们可以让 AI 在无需扩大模型规模或延长训练时间的情况下，变得更擅长数学。这是一种直接向计算机诉说“数学语言”的方式。

技术摘要：阿代尔算子保持嵌入 (Adelic Operation-Preserved Embeddings, AOE)

问题陈述
尽管大型语言模型（LLM）在数学推理方面取得了里程碑式的进展，但一个根本性的瓶颈依然存在：“数字问题”。目前的架构主要通过字节对编码（BPE）等分词方案将数字视为字符序列。这种方法将数值拆分为任意的子词单元，剥离了定义数字的内在加法和乘法关系。因此，模型表现出脆弱的推理能力、不一致的泛化能力，以及在需要算术精度的任务中出现的系统性错误。虽然先前的尝试探索了连续嵌入或逐位位置编码，但这些方法通常依赖于模型在训练过程中隐式重新发现数学规则的希望，而非直接嵌入这些规则。

方法论：阿代尔算子保持嵌入 (AOE)
作者提出了 AOE，这是一种基于代数数论的无需训练的表示方法。AOE 不对数字进行分词，而是在**阿代尔空间（Adele space）**内构建嵌入，该空间将实数线与有理数的 $p$ -进补（ $p$ -adic completions）统一起来。

数学基础： 该构造利用阿代尔环（ $\mathbb{A}_\mathbb{Q}$ ），将一个有理数 $q$ 表示为一个包含其实值（ $a_\infty$ ）及其针对一组选定素数的 $p$ -进展开（ $a_p$ ）的元组。
结构保持： 通过设计，这种表示在坐标维度上保持了代数结构。对于任何有理数 $q_1, q_2$ $q_{1}, q_{2}$ ：
- $A(q_1 + q_2) = A(q_1) \oplus A(q_2)$
- $A(q_1 \cdot q_2) = A(q_1) \otimes A(q_2)$
  这里， $\oplus$ 和 $\otimes$ 表示在连接后的实数向量与 $p$ -进向量上的逐坐标运算。
嵌入构造： 为了生成有理数 $q = n/m$ $q = n / m$ 的嵌入：
1. 实数分量： 在实数线上表示为一个长度为 $N$ 的向量。
2. $p$ -进分量： 对于一组固定的素数，计算 $N$ 位 $p$ -进展开。这涉及使用 Hensel 引理通过迭代地将模 $p$ 的解提升到模 $p^N$ ，从而求解同余方程 $mx \equiv n \pmod{p^N}$ 。
3. 拼接： 将实数向量与截断的 $p$ -进向量进行拼接，形成形状为 $(n_p + 1) \times N$ 的张量，其中 $n_p$ 是选定的素数数量。
集成： AOE 是架构无关且即插即用的。它取代了 Transformer 中的标准嵌入层，使用预先计算好的阿代尔张量。为了保持结构信息，添加了一个轻量级的二维位置编码，用于编码序列位置、素数索引和数字索引。

核心贡献

提出 AOE： 一种具有代数基础且无需训练的表示方法，它直接尊重数值结构，而无需针对特定任务进行重新训练。
解决“数字问题”： 本研究将 AOE 视为解决数值表示瓶颈的有原则的补救措施，为克服基于 Token 方法的局限性提供了路径。
经验验证： 作者证明了配备 AOE 的 Transformer 在代数组合数学基准测试中优于标准基准模型，在以往模型失败的任务中实现了完美准确率。

实验结果
作者在代数组合数学数据集 (ACD) 上评估了 AOE，这是一个旨在进行代数组合数学研究级猜想的基准测试。实验将标准的 Transformer 基准（使用可训练的 nn.Embedding 和正弦位置编码）与配备 AOE 的 Transformer（使用固定的、预计算的阿代尔张量）进行了对比。

性能： 在六个分类任务（包括格路径、拟阵变形类和 Schubert 多项式）中，配备 AOE 的模型始终优于基准模型。
显著成就： AOE 模型在 Weaving Patterns 基准测试（针对 $n=6$ 和 $n=7$ ）中达到了 100% 的准确率，而该任务中基准模型的准确率仅为约 53%，且在历史上一直令大规模语言模型难以攻克。
泛化： 改进程度从适度提升（如格路径）到剧烈跳跃（如 Schubert 多项式和拟阵变形类）不等，较低的测试损失表明模型具有更好的校准性。
效率： 虽然由于预计算和二维位置编码的存在，AOE 引入了计算开销（训练速度大约慢 4–5 倍），但其性能提升是在没有增加可学习参数量的情况下实现的；事实上，基准模型的参数量更多。

意义与主张
论文指出，数字本身包含了其表示所需的结构。通过 AOE 使这种结构显性化，神经模型可以在符号数学任务上达到甚至超越大型语言模型的可靠水平。

作者认为，AI 推理的未来取决于嵌入对象本身的数学结构，而非仅仅是描述它们的语言。AOE 作为一个概念验证，证明了代数数论的思想可以作为即插即用的组件应用于神经架构中，这为将符号严谨性与神经可扩展性结合起来提供了一条路径。

作者承认的局限性

范围： 由于阿代尔环的定义，当前框架仅限于有理数 ( $\mathbb{Q}$ )。将此框架扩展到无理数、复数或超越常数需要新的理论工具。
超参数： 素数的选择和数字精度目前是启发式且手动的；需要更具自适应性的策略以提高效率。
计算成本： 与标准嵌入相比，预计算和二维位置编码显著增加了训练时间。