🤖 machine learning

The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models

本文揭示了大语言模型的算术错误源于被称为“等原始和轨迹”（Iso-Raw-Sum Trajectory）的连续潜空间内的“几何滑动”，并提出了一个噪声量化模型来解释神经噪声如何破坏进位传播，进而提供了一个用于检测和纠正此类失效的几何框架。

原作者： Liuyuan Wen, Xun Zhu, Lihao Huang, Wenbin Li, Yang Gao

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Liuyuan Wen, Xun Zhu, Lihao Huang, Wenbin Li, Yang Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大谜团：为什么聪明的 AI 模型在简单数学面前会失灵？

想象一位才华横溢的学生，他能写出复杂的文章，也能解决逻辑难题，但偶尔会在简单的加法问题上出错，比如把 $123 + 392 + 136$ 算成 $652 $而不是$ 651$。这就是论文开篇提到的“悖论”：大语言模型（LLMs）擅长高层推理，但在处理基础数学时却异常脆弱，经常出现“差一错误”（即结果只差了一个数字）。

研究人员想要知道：错误是在计算机大脑内部的哪个环节发生的？ 是模型对数字感到困惑，还是仅仅在最后一步出了点小差错？

发现： “数字高速公路”（几何结构）

为了寻找答案，研究人员观察了模型的“残差流”（residual stream，即信息传输的内部高速公路）。他们使用了一种叫做 UMAP 的技术，将模型极其复杂、庞大的 3D（或 3000 维）思维图谱压缩成了一张人类可见的 2D 图片。

他们发现，模型的内部数学运算并非杂乱无章的数据堆，而是一个高度有序的几何景观：

数字盆地（城市）： 想象十个巨大的、深邃的山谷或“盆地”，分别代表数字 0 到 9。如果模型正在思考“5”，它的内部状态就会处于“5 号谷底”深处。
进位纤维（道路）： 在每个谷底内部，都有一些隐形的“道路”或“纤维”穿行其中。这些道路代表了进位（即当你计算 $7+7=14$ $7 + 7 = 14$ 时，向下一列进的那个 1）。
- 一条路是为“进位 0”准备的。
- 另一条路是为“进位 1”准备的。
- 第三条路是为“进位 2”准备的。

类比： 把模型的数学过程想象成一列火车在特定的轨道上行驶。“轨道”是原始总和（Raw Sum，即你当前正在相加的数字之和）。“车站”是数字（0–9）。而“车票”则是进位（Carry）。

核心概念：等原始和轨迹（IRST）

论文中提出了一个特定的结构，称为等原始和轨迹（Iso-Raw-Sum Trajectory, IRST）。

它是什么： 一条连接不同数字谷底的连续、蜿蜒的路径。
它是如何运作的： 如果你正在相加的数字总和为特定数值（例如 11），模型的内部状态会沿着一条单一且连续的线移动。随着“进位”从 0 变为 1 再变为 2，模型会沿着这条线平滑地滑动，从“1 号谷底”移动到“2 号谷底”，再到“3 号谷底”。
深刻见解： 模型并不是在数字之间随机跳跃，而是在一条平滑且连续的导线上滑动。

问题所在：“几何滑动”

那么，模型为什么会出错呢？

研究人员提出，模型在大多数时候其实是在正确地进行计算，但在它必须决定停在哪个“车站”（数字）的那一瞬间产生了困惑。

类比： 想象模型是一辆沿着平滑道路（IRST）行驶的汽车。这条路恰好经过两个城镇（数字 1 和数字 2）之间的边界。
噪声： 汽车的引擎带有微小的“静电”或震动（神经噪声）。
滑动： 当汽车正好位于两个城镇的交界处时，那一点点震动就会把汽车推向错误的城镇。
- 如果它本该停在“城镇 1”，噪声会将它推入“城镇 2”（高估/幻觉）。
- 如果它本该停在“城镇 2”，噪声会将它推回“城镇 1”（低估/泄漏）。

论文将此称为几何滑动（Geometric Slippage）。数学逻辑是存在的，但由于内部噪声的存在，其“决策边界”变得模糊不清。

“噪声量化”模型

作者用一个名为**噪声量化模型（Noisy Quantization Model）**的理论将其形式化。

连续势能： 模型不仅仅是以整数（0, 1, 2）进行思考。它思考的是一种连续的“压力”或“势能”（例如 1.4, 1.51, 1.9）。
阈值： 为了输出最终答案，模型必须将这个连续的数字向下取整（量化）为最接近的整数。
误差： 如果连续数值是 1.9，而噪声增加了微小的数值，它可能会跨越阈值达到 2.0，导致模型输出“2”而不是原本应有的“1”。

他们发现，当“压力”处于两个整数之间时（如 1.9 或 2.1），错误发生得最为频繁，呈现出一种“浴缸形”的误差分布：在边缘处错误率高，在中间处错误率低。

“探针”的魔力

研究中一个非常酷的发现是关于**探针（Probes）**的。探针是一种简单的工具，通过观察模型的内部状态来尝试猜测它在想什么。

惊喜之处： 即使模型输出了错误的答案（例如，它说“2”但正确答案是“1”），探针也可以观察内部状态并正确判断：“嘿，模型实际上知道答案是 1，而且它也知道进位是 0。”
解释： 因为模型的内部状态是一个平滑的连续景观，所以“真相”与“错误”在几何上是紧挨着的。探针之所以能看到隐藏在“错误”中的“真相”，是因为它们在几何位置上非常接近。这就像看到一个人站在篱笆的错误一侧，但你依然能准确知道他原本打算站在哪一侧。

解决方案：“双流一致性”

既然模型在内部已经“知道”了正确答案，只是在最后关头滑了一下，研究人员构建了一个修复方案。

第一流（局部）： 一个工具负责检查即时的数学运算（当前列的求和）。
第二流（全局）： 一个工具负责检查“压力”（来自前一步的进位势能）。
检查机制： 如果模型的输出与这两个工具所显示的一致性不符，系统就会介入。它会强制模型输出符合数学逻辑的数字。

结果： 这种方法显著降低了错误率，且无需重新训练模型。它证明了模型的“大脑”一直持有正确的信息，它只是需要一个微小的推力来确保自己留在正确的几何线的一侧。

总结

模型： LLM 通过在几何景观中沿着平滑、连续的路径（纤维）滑动来进行数学运算。
错误： 当内部“静电”将模型的思维推过界限，进入错误的数字谷底时，错误便发生了。
真相： 即使模型给出了错误答案，正确的答案仍然隐藏在其内部状态中，只是位置略有偏移。
修复： 通过检查内部“压力”是否与局部数学运算相匹配，我们可以捕捉到这些滑动并实时纠正它们。

论文的结论是，LLM 数学能力的脆弱性并非源于缺乏知识，而是由决策边界处的噪声引起的几何不稳定性。

技术摘要：加法的形状：大语言模型中算术的几何结构

1. 问题陈述

尽管大语言模型（LLMs）在复杂的数学推理基准测试（如 GSM8K、MATH）中取得了高性能，但在基础算法原语（特别是多位数加法）方面表现出令人惊讶的脆弱性。存在一个核心悖论：模型通常在内部编码了正确的信息，却无法将其输出，且随着操作数数量的增加，频繁出现“差一错误”（off-by-one errors）。以往的研究试图通过符号操作或几何表示来建模这些行为，但将内部激活几何结构与特定输出失败（如进位传播错误）联系起来的具体机制仍不明确。此外，虽然轻量级探针可以从失败的模型中解码出地面真值（ground truth），但允许真值与幻觉在单个激活向量中并存的几何结构尚未得到充分阐明。

2. 研究方法

作者研究了执行 10 位数三项加法的 LLM 的细粒度内部表示。该研究采用了一种结合了降维、探测和因果干预的多维度方法：

数据集与设置： 使用 Qwen3-4B 模型，作者构建了一个包含 10,000 个加法问题的数据集。他们从每个生成的数字位置（主要关注代表性的中间位置 $p=4$ ）提取隐藏状态向量 ( $h_p^{(L)}$ )。
几何可视化： 使用基于余弦距离的 UMAP（均匀流形近似与投影）将高维激活空间投影到 2D 空间。可视化过程包含了用于提供语义参考的数字标记（0–9）的固定“锚点”向量。
探测框架： 在残差流激活上训练轻量级探针（逻辑回归、MLP），以解码各种离散和连续变量，包括地面真值数字、模型输出、输入进位、原始总和（Raw Sum）以及一个新定义的连续变量——“进位潜力”（Carry Potential）。
因果转向（Causal Steering）： 为了验证几何假设，作者定义了在识别出的轨迹上的稳定质心之间的转向向量，并通过对激活进行干预来观察生成的标记变化。
推理时纠错： 提出了一种双流一致性检查方法，通过强制要求解码的局部（Raw Sum）信号与全局（Carry Potential）信号之间保持逻辑对齐，从而检测并纠正错误。

3. 关键发现与贡献

A. 等原始和轨迹 (Iso-Raw-Sum Trajectory, IRST)

主要的几何发现是等原始和轨迹（IRST）。作者发现算术表示是按层次结构组织的：

宏观骨架： 表示被聚类成十个不同的“数字盆地”（digit basins），这些盆地围绕着语义锚点（0–9）分布。
微观纹理： 在每个盆地内部，空间根据输入进位状态 ( $c_p \in \{0, 1, 2\}$ ) 被分层为平行的纤维（fibers）。
轨迹定义： IRST ( $T_r$ ) 是连接所有共享相同原始总和 ( $r_p$ ) 的内部状态的连续流形。这些轨迹充当穿过相邻数字盆地的连续“线索”。例如，一个 $r_p=1$ 的轨迹会随着输入进位的增加，连接对应于输出数字 1、2 和 3 的稳定节点。

B. 算术错误即几何滑动

算术错误并非被视为随机噪声，而是被表征为几何滑动（Geometric Slippages）。

正确预测密集地聚集在数字盆地内的稳定节点周围。
当激活向量沿着 IRST 向相邻盆地或纤维的过渡区漂移时，就会发生错误。
这种漂移表现为“差一错误”，即模型混淆了相邻的进位状态（例如，将 $c_p=0$ 与 $c_p=1$ 混淆），导致表示从一个数字盆地滑动到相邻的一个。

C. 噪声量化模型

为了解释这些轨迹的连续性，作者提出了噪声量化模型（Noisy Quantization Model）：

连续进位潜力 ( $\Phi$ )： 模型内部估计一个连续的“进位潜力”，代表了源自上下文的进位信号的推力或动量。离散的地面真值进位是该潜力的整数下取整（ $c_p = \lfloor \Phi \rfloor$ ）。
量化失败： 模型的内部估计受到神经噪声 ( $\epsilon$ ) 的干扰。当噪声将感知到的潜力 ( $\hat{\Phi} = \Phi + \epsilon$ ) 推向整数量化阈值时，就会发生错误。
浴缸型误差分布： 该机制预测了一种周期性的“浴缸”误差分布，其中误差率在整数边界附近（亚稳态）激增，而在半整数值处消失（鲁棒平台）。经验数据证实了这一模式，从而可以估计模型的内部认知噪声水平（对于三项加法， $\sigma \approx 0.05$ ）。

D. 探针多样性的几何起源

论文提供了一个几何学解释，说明了为什么轻量级探针可以同时从单个向量中解码多种不同的信号（地面真值、模型输出、进位）。这种“探针多样性”是流形拓扑可分性的直接函数。Raw Sum 的高可分性和 IRST 纤维的结构化特性，使得探针能够解耦共存的潜在信号，即使在最终输出错误的情况下也是如此。

E. 推理时自我纠错

为了验证潜在正确信号的保留情况，作者引入了双流一致性协议：

解码局部计算流（Raw Sum）和全局上下文流（Carry Potential）。
检查模型的输出是否与来自潜力邻域的任何可能的进位保持一致。
如果不一致，则通过将状态投影回正确的流形纤维来覆盖输出 Logits。
该方法显著提升了性能（例如，将 Qwen3-4B 的 Token 准确率从 86.26% 提高到 89.56%），证实了即使在离散 Token 选择失败时，模型仍保留了正确的数学组件。

4. 结果

可视化： UMAP 投影揭示了清晰的层次结构，具有数字盆地和分层的进位纤维，这在不同模型（Qwen3-4B, Qwen3-8B, Gemma-3-4B-IT）和任务复杂度（三项到五项加法）中是一致的。
误差建模： 噪声量化模型以高保真度（ $R^2 \approx 0.80$ ）拟合了经验误差分布，准确预测了误差的周期性。
因果验证： 转向实验表明，沿着 IRST 方向移动表示会因果性地改变生成的数字，且靠近边界的状态比稳定状态需要更小的扰动即可发生翻转。
纠错效能： 双流一致性检查有效地纠正了几何滑动，其中大多数被纠正的错误都是“差一”案例。消融研究证实，即使输出错误，局部 Raw Sum 信号仍然保持鲁棒，从而隔离出噪声进位潜力是主要的瓶颈。

5. 意义与主张

本文声称提供了一种机械性的几何解释，用于解释 LLM 的算术失败，超越了将算术视为纯粹符号操作或离散状态转换的观点。

统一框架： 它在一个单一的几何框架下统一了探针多样性和算术脆弱性的观察，在该框架中，错误被视为流形上的连续漂移。
潜在信号保留： 它证明了即使在无法产生正确的离散输出时，LLM 通常也能维持正确的连续内部表示（进位潜力），这表明算术中的幻觉往往是量化失败而非缺乏知识。
普遍性： IRST 几何结构和噪声量化动力学在不同的模型架构和规模下均被观察到，表明了先进 LLM 中算术表示的一种收敛机制。
实际干预： 这项工作验证了基于内部一致性的推理时干预可以恢复性能，为通过稳定从连续神经思维到离散符号输出的映射来提高 LLM 可靠性提供了路径。

作者保持了谦逊，指出目前的证据结合了可视化和探测而非完整的电路级定位，并且重点主要在于加法。他们认为，基于 BPE 的具有多位数字 Token 的模型可能会存在纠缠的进位信号，这为未来的研究提出了一个前沿领域。