💬 NLP

LLMs Know More About Numbers than They Can Say

该研究发现，尽管大型语言模型在显式数值比较任务中表现不佳，但其隐藏状态中实际上编码了精确的数值量级信息，且通过微调优化这些内部表征可显著提升模型的数值推理能力。

原作者： Fengting Yuchi, Li Du, Jason Eisner

发布于 2026-02-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Fengting Yuchi, Li Du, Jason Eisner

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文揭示了一个关于大语言模型（LLM）非常有趣且反直觉的真相：它们其实“心里有数”，但嘴上却“说不清楚”。

想象一下，你有一个超级学霸，他脑子里装着整个图书馆的数学知识，甚至能瞬间心算出复杂的科学数据。但是，如果你让他大声说出答案，他可能会结结巴巴，甚至给出一个完全错误的答案。

这篇论文就是研究这个“心里明白”和“嘴上糊涂”之间的巨大反差。

1. 核心问题：学霸的“失语症”

研究人员发现，当让 AI 比较两个数字大小时，如果这两个数字长得一样（比如都是普通数字 580 和 570），AI 答得非常好。

但如果数字长得“不一样”呢？比如一个是科学计数法（5.7 × 10²），一个是普通数字（580）。

心里想： AI 其实完全知道 5.7 × 10² 就是 570，它知道 580 比 570 大。
嘴上说： 当被直接问“哪个更大？”时，很多 AI 却只能猜对一半（50%），甚至不如随机乱猜。

这就好比一个精通多国语言的外交官，脑子里知道“苹果”在英语里是"Apple"，但在被要求用英语说“苹果”时，他却卡壳了，或者脱口而出“香蕉”。

2. 秘密武器：读心术（探针技术）

既然 AI 嘴上不说，那它脑子里到底有没有这个数呢？研究人员发明了一种“读心术”，叫做探针（Probing）。

什么是探针？ 想象 AI 的大脑是由一层层神经元组成的。研究人员在这些神经元里插了一个小小的“监听器”（线性分类器）。
发现了什么？
- 听大小： 只要监听 AI 处理数字时的“脑电波”（隐藏状态），就能非常精准地还原出这个数字到底有多大。在合成数据上，还原误差只有 2.3%！
- 听比较： 甚至不需要还原具体数字，只要监听 AI 处理完两个数字后的“脑电波”，就能直接判断出“哪个更大”，准确率高达 90% 以上。

结论： AI 的脑子里确实有一个清晰的“数字地图”，它完全知道这两个数谁大谁小。

3. 为什么“心里明白”却“嘴上糊涂”？

既然脑子里有答案，为什么输出时却错了？

研究人员发现，AI 的“思考过程”和“说话过程”之间存在脱节：

早期层（思考区）： AI 的早期神经网络层已经很好地编码了数字的大小和比较关系。
晚期层（说话区）： 当信息传递到最后一层准备生成文字时，这种清晰的“数字感”被稀释了，或者被其他干扰因素（比如它太在意模仿提示词里的格式）给带偏了。

比喻： 就像一个人心里想得很清楚“我要去北京”，但在写下来时，因为太紧张或者太在意字迹好不好看，结果把“北京”写成了“上海”。他的意图是清晰的，但表达失败了。

4. 妙药方：给大脑“加把劲”（微调）

既然知道问题出在“心里想的”和“嘴上说的”没对上，研究人员尝试了一个办法：在训练 AI 说话时，顺便把“心里想”的准确性也作为考核标准。

做法： 在让 AI 学习回答问题时，不仅看它回答得对不对，还强行要求它内部的“脑电波”必须清晰地反映出数字的大小关系（通过增加一个辅助损失函数）。
效果： 奇迹发生了！经过这种“内外兼修”的训练后，AI 回答数字比较问题的准确率大幅提升（从 50%-70% 提升到了 90% 以上，有些甚至接近 100%）。

比喻： 这就像教一个学生做题。以前只让他背答案（口头输出），现在老师不仅让他背答案，还要求他在草稿纸上把计算过程写得清清楚楚。结果发现，只要草稿纸（内部表示）写对了，最终的答案（口头输出）自然就对了。

总结与启示

这篇论文告诉我们三个关键点：

AI 其实很懂数： 它们内部拥有强大的数学直觉，只是我们还没学会怎么“读取”或“引导”它们说出来。
表达是瓶颈： 很多时候 AI 犯错不是因为“不懂”，而是因为“不会说”或者“表达机制”出了问题。
改进有方向： 如果我们能优化 AI 内部的“数字感”表示，就能直接提升它解决数学问题的能力。

一句话总结：
大语言模型就像是一个肚子里有货但嘴笨的学霸。以前我们以为它数学不好，现在发现它只是不会表达。只要我们帮它把“心里的货”整理得更清晰，它就能成为真正的数学天才。

这篇论文《LLMs Know More About Numbers than They Can Say》（大语言模型对数字的了解多于它们能表达的内容）深入探讨了大型语言模型（LLMs）在跨符号数字比较（Cross-notation Numerical Comparison）任务中的能力差异。研究发现，尽管 LLM 在内部隐藏状态中编码了准确的数值大小信息，但在通过语言生成（Verbalization）回答此类问题时却表现不佳。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

核心矛盾：现有的 SOTA LLM（如 GPT-4.1）虽然能解决简单的数学计算问题，但在处理混合符号的数字比较时（例如：“哪个更大， $5.7 \times 10^2$ 还是 580？”）经常出错。
核心疑问：LLM 是否真的“知道”这些数字的大小？它们是在内部正确表示了数值，还是仅仅在模仿特定符号形式的文本模式？
具体任务：研究 LLM 在跨符号（如科学计数法 vs. 标准十进制）场景下的数值推理能力，特别是比较两个数值大小的能力。

2. 方法论 (Methodology)

作者采用**探针技术（Probing）结合微调（Finetuning）**来研究 LLM 的内部表示：

数据集构建：
- 合成数据：构建了包含 11,200 个比较问题的跨符号数据集（整数/小数 vs. 科学计数法）。
- 真实数据：从 arXiv 论文（peS2o 数据集）中提取了 5,000 个样本，包含科学文献中的真实数字。
探针实验 (Probing)：
- 回归探针 (Regression Probes)：在 Transformer 的隐藏层上训练线性回归模型，预测数字的对数大小（ $\log_2$ magnitude）。
- 分类探针 (Classification Probes)：在提示词末尾的隐藏状态上训练逻辑回归分类器，直接预测两个数字中哪一个更大（ $a > b$ ）。
- 对比对象：测试了多个 7B-8B 参数的开源模型（如 Llama-2, Llama-3, Mistral, Qwen, DeepSeek 等）以及 GPT-4.1。
微调实验 (Finetuning)：
- 为了验证内部表示与输出能力之间的因果关系，作者在微调过程中引入了辅助探针损失（Auxiliary Probing Loss）。
- 目标函数： $L_{total} = L_{LM} + \beta L_{cls}$ ，其中 $L_{cls}$ 是分类探针的交叉熵损失， $\beta$ 控制辅助监督的强度。

3. 关键发现与结果 (Key Findings & Results)

A. 内部表示 vs. 语言生成 (Internal vs. Verbal)

内部知识丰富：线性探针可以从模型的隐藏状态中高精度地提取数值信息。
- 回归精度：在合成数据上，Mistral-7B 等模型的对数大小预测中位相对误差仅为 2.3%；在真实的 arXiv 数据上约为 19.06%。
- 分类精度：线性分类器在判断两个数字大小时，准确率超过 90%（甚至在某些模型上达到 98% 以上），且随着层数加深，准确率显著提升。
语言生成失败：尽管内部知道答案，但在直接要求模型输出答案（Verbalization）时，表现极差。
- 在跨符号比较任务中，大多数 7B-8B 模型的准确率仅为 50% - 70%（接近随机猜测）。
- 即使是 GPT-4.1，虽然整体表现较好（>92%），但在数值非常接近时仍会出错。
- 结论：LLM 拥有比其语言输出能力更强的内部数值知识（"Know more than they can say"）。

B. 早期层表示与性能的相关性

研究发现，前几层（前 3 层）的探针性能（即使是较低的精度）与模型最终的语言生成准确率存在显著的正相关。
这表明早期层中数值表示的质量直接决定了模型能否成功将内部知识转化为语言输出。

C. 微调带来的提升 (Causal Link)

通过在微调过程中加入分类探针的损失（ $\beta > 0$ ），强制模型优化其内部数值表示以更好地支持比较任务。
结果：与仅使用标准语言建模损失微调相比，加入探针损失使模型的语言生成准确率平均提升了 3.22%。
对于某些模型（如 Mistral-7B 和 Qwen3-8B），这种改进甚至将准确率从 ~50-70% 提升到了 99% 以上。
意义：这证明了改善内部数值表示可以因果性地提升模型的数值推理输出能力。

4. 主要贡献 (Key Contributions)

揭示“知”与“说”的差距：首次系统性地证明了 LLM 在内部隐藏状态中线性编码了高精度的数值大小和比较信息，但这种知识无法可靠地通过语言生成提取出来。
线性编码证据：证实了不同符号（十进制、科学计数法）的数值大小在 LLM 内部是通过线性投影编码的，且这种编码在混合符号场景下依然有效。
因果验证与改进方法：通过引入辅助探针损失进行微调，成功证明了优化内部表示可以直接提升外部任务（数值比较）的性能，为提升 LLM 的“数感（Numeracy）”提供了一条新路径。
基准与代码：构建了跨符号比较数据集，并开源了相关代码。

5. 局限性与未来工作 (Limitations & Future Work)

模型规模限制：探针实验仅限于可访问权重的 7B-8B 开源模型，无法直接探测 GPT-4 等闭源大模型的内部机制。
数据分布：核心发现主要基于合成数据，在真实科学文本（arXiv）上的泛化性仍需进一步验证（尽管在 arXiv 上也观察到了类似趋势，但精度略低）。
探针的线性假设：假设线性探针足以提取信息，但在复杂真实数据中可能需要非线性探针。
上下文缺失：目前的探针仅关注数值本身的大小，未考虑单位（如米 vs. 英尺）等上下文语义，而真实的数值推理往往依赖上下文。

6. 总结与意义 (Significance)

这篇论文挑战了"LLM 缺乏数感”的简单观点，指出问题不在于模型“不知道”数字的大小，而在于模型无法有效地将内部精确的数值表示转化为语言输出。

这一发现对 LLM 的发展具有重要意义：

诊断工具：探针技术可以作为诊断模型数值能力瓶颈的有效工具。
训练策略：未来的数值推理训练不应仅关注最终的答案生成，还应关注中间表示的优化（如通过辅助任务损失）。
科学应用：对于需要处理科学文献（充满混合符号数字）的 AI 应用，通过针对性微调内部表示可以显著提升其可靠性。

简而言之，LLM 的“数感”是存在的，但被“表达障碍”所掩盖；通过针对性的微调，可以打通这一障碍。