💻 computer science

Value-Aware Numerical Representations for Transformer Language Models

本文引入了一种价值感知数值表示方法，该方法通过为标准标记输入增加一个以数值为条件的引导标记，来显式编码数值量级，从而显著提升了 Transformer 语言模型在算术和数值推理任务中的鲁棒性。

原作者： Andreea Dutulescu, Stefan Ruseti, Mihai Dascalu

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Andreea Dutulescu, Stefan Ruseti, Mihai Dascalu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Transformer 语言模型中的价值感知数值表示》（Value-Aware Numerical Representations for Transformer Language Models）的解释，通过简单的概念和日常类比进行了拆解。

问题所在：模型在数学方面是“文盲”

想象一位非常聪明的学生（AI），他读过数百万本书。这位学生擅长写故事、回答问题，甚至解决复杂的逻辑谜题。然而，一涉及到基础数学，这位学生却表现得异常糟糕。

如果你问这位学生：“9.11 是否比 9.9 大？”，他可能会自信地回答“是”。为什么？因为对这位学生来说，数字不是“量”；它们仅仅是单词。

现状是如何运作的： AI 将数字“14”视为字符序列：“1”和“4”。它把它们当作“猫”和“狗”这样的单词来对待。它并不本质地“知道”14 比 9 大。它只是根据在训练书籍中看到“14”和“9”出现在一起的频率来进行猜测。
结果： 随着数字变得越来越长或越来越复杂，AI 会感到困惑，从而犯下愚蠢的算术错误，因为它只是在猜测序列中下一个“单词”是什么，而不是在计算数值。

解决方案：“数值标签”

作者提出了一个简单但强大的修复方法。他们希望在 AI 看到数字的具体数字之前，先给它一张“小抄”，告诉它这个数字实际的“重量”或“大小”。

他们引入了一个特殊的、不可见的标签 <num>，这个标签会被放置在句子中任何数字的正前方。

旧的方法： “我有 14 个苹果。”（AI 看到的序列是：“我”、“有”、“1”、“4”、“苹果”。）
新的方法： “我有 <num> 14 个苹果。”

这里的奥秘在于：那个 <num> 标签的嵌入（内部代码）并不是一个随机的单词。它是根据数字 14 的数学逻辑计算出来的。这就像是在“14”这个词上挂了一个物理重量，让 AI 能够“感觉到”它的重量。

它是如何运作的（训练类比）

把 AI 想象成一位正在学习烹饪的厨师。

训练期间（练习厨房）：
厨师得到一份食谱，上面写着：“加入 14 克糖。”
- AI 看到标签 <num>，随后一台特殊机器会瞬间计算出 14 的精确“风味轮廓”，并将其交给厨师。
- 厨师学习到：“当我看到这种特定的风味轮廓时，我就知道‘14’到底意味着什么。”
- AI 还学会了仅通过观察句子中的前文来预测这种风味轮廓，因此即使没有那台机器，它也能更好地猜测数值的重量。
测试期间（真实的餐厅）：
厨师被要求做一道新菜。他们看到了标签 <num>，但机器不在身边，无法提供风味轮廓。
- 然而，由于他们练习得非常刻苦，厨师现在可以根据上下文“记住”14 的味道感觉起来是如何的。
- 他们利用这种内在记忆来正确理解 14 比 9 大，从而不再犯错。

标签的两种“风味”

研究人员尝试了两种不同的方式来构建这种数字的“风味轮廓”：

“固定网格”（MLP）： 想象一把带有固定刻度的尺子。你强迫每个数字都必须符合特定的网格。这种方法很简单，但如果一个数字非常长或很奇特，它可能会被“挤压”。
“灵活卷尺”（RNN）： 想象一把可以根据任何长度进行伸缩的卷尺。这种方法逐个处理数字的每一位，就像人类阅读一个长数字一样。事实证明，这种方法在处理不同大小的数字时效果略好。

结果：有效吗？

研究人员在一个专门设计用来诱导 AI 犯基础数学错误的数学考试（称为 NUPA）上测试了它们。

标准 AI： 答对率约为 68%。它在处理长数字和比较大小时表现挣扎。
“价值感知型”AI： 答对率约为 72%。
差异： 虽然 4% 听起来可能很小，但在 AI 领域，这是一个巨大的飞跃。更重要的是，新的 AI 在理解 7 位数与 3 位数之间存在巨大差异方面做得更好，而旧的 AI 在数字变长时经常会感到困惑。

为什么这很重要

目前大多数 AI 研究试图通过让 AI “思考得更深”（生成长链条推理）来解决数学问题。而这篇论文指出，问题不在于 AI 思考得不够多，而在于 AI 不知道数字“是什么”。

通过仅仅在开始阶段就直接赋予 AI 一种对数值（量级）的“感知”，他们修复了错误的根源。这就像是通过给孩子实际的积木让他们去触摸，而不是仅仅给他们看积木的照片，从而教会他们计数。

总结

问题： AI 把数字当作单词对待，导致数学错误。
修复方案： 在数字前添加一个特殊的标签，该标签携带了实际的数学“重量”。
结果： AI 在基础数学和比较运算方面变得更加可靠，且无需从头开始重新训练或使用复杂的全新架构。这是一种轻量级的升级，让 AI “看到”的是数值，而不仅仅是符号。

技术摘要：面向 Transformer 语言模型的数值感知表示法

问题陈述

基于 Transformer 的大语言模型（LLMs）虽然在复杂的数学推理基准测试中表现出强大的性能，但在处理基础数值理解和算术运算时却显得十分脆弱。研究确定的核心局限在于，标准的 LLM 将数字视为符号标记（即字符或子词序列），其嵌入（embeddings）仅通过标记共现统计进行学习。因此，模型缺乏显式的、连续的数值量级表示。这导致模型在处理需要量级比较、排序和算术的任务时会出现系统性错误，尤其是在数值输入长度增加的情况下。本文认为，当前的“推理密集型”方法（例如思维链，Chain-of-Thought）往往通过生成长中间步骤来掩盖这些根本性的弱点，但并未解决底层问题，即模型本质上并不“理解”一个数字所代表的含义。

方法论

作者提出了一种数值感知数值表示法（value-aware numerical representation），该方法通过在表面形式数字标记之前立即插入一个专门的引导前缀标记 <num>，来增强标准的标记化输入。

架构与机制

数值条件嵌入： 与标准标记不同，<num> 标记的嵌入不是固定的。相反，它是作为底层数值 $x$ 的函数 $f(x)$ 进行计算的。
- 训练阶段： 真实的数值 $x$ 是可用的。一个可学习的嵌入模块（可以是基于 MLP 的定点编码器或基于 RNN 的循环编码器）计算 $f(x)$ 。该嵌入与标准标记嵌入一起被注入到模型的输入序列中。
- 推理阶段： 真实的数值 $x$ 是不可用的。一个投影头将 <num> 标记之前的隐藏状态 $h$ 映射到嵌入空间，以近似数值化嵌入（ $proj(h) \approx f(x)$ ）。该投影嵌入用于调节后续数字标记的生成。
嵌入模块变体：
- 基于 MLP 的： 将整数部分和分数部分表示为固定长度的十进制向量，并与辅助特征（符号、位数、小数位数）拼接，通过前馈层进行投影。
- 基于 RNN 的： 使用门控循环单元（GRUs）分别处理整数部分和分数部分，从而支持变长序列和任意精度，随后与辅助特征拼接并进行线性投影。
训练目标： 为了解决训练-测试不匹配问题（即模型在训练时通过查看真实值进行“作弊”，但在推理时必须预测该值），作者采用了复合损失函数：
- 标准语言模型损失 ( $L_{LM}^{emb}$ )： 使用真实的基于数值的嵌入 $f(x)$ 来训练模型。
- 投影语言模型损失 ( $L_{LM}^{proj}$ )： 使用投影隐藏状态 $proj(h)$ 进行训练，以模拟推理条件。
- 重构损失 ( $L_{rec}$ )： 最小化投影隐藏状态与真实数值嵌入之间的余弦距离，以强制实现对齐。
- 总损失为加权和： $L = L_{LM}^{emb} + L_{LM}^{proj} + \lambda L_{rec}$ 。

核心贡献

新型编码机制： 提出了一种数值感知前缀标记，其嵌入显式地以数值为条件，实现了量级表示与表面标记化的解耦。
实证验证： 证明了该方法在旨在隔离算术能力的基准测试中表现一致提升，在相同的训练和推理条件下优于强基线模型。
架构兼容性： 该方法仅需极小的修改，可以直接应用于任何仅解码器（decoder-only）的 Transformer 架构，无需更改现有的分词器或生成机制。
开源： 发布了完整的实现，包括架构变更、训练代码和评估脚本，以支持可复现性。

实验结果

该方法在 NUPA 基准测试（Yang et al., 2024）上进行了评估，该基准测试隔离了涵盖整数、浮点数、分数和科学计数法的基本数值技能。

基线模型： 与标准 Transformer（自回归，仅使用标记）以及 Numerologic（Schwartz et al., 2024，一种使用自然语言描述量级（如位数）作为辅助输入的模型）进行了对比。
性能表现：
- 所提出的 NumValue-RNN 和 NumValue-MLP 模型分别实现了 0.724 和 0.720 的精确匹配（Exact Match）准确率，而标准 Transformer 为 0.687，Numerologic 为 0.633。
- 在所有数值格式、任务类型（算术、比较、转换）和操作数长度（最高达 7 位数）中均观察到了性能提升。
- 基于 RNN 的变体显示出略高的精确匹配得分，这归功于其处理变长序列的能力；而 MLP 变体在位数对齐和长度估计方面表现出略好的性能。
鲁棒性： 随着位数增加，所提方法与基线之间的性能差距保持稳定甚至扩大，表明其对输入规模具有更好的鲁棒性。

意义与主张

论文声称，显式编码数值是提高语言模型基本数值鲁棒性的一种有效且高效的方式。通过将量级信息直接注入输入空间，该方法解决了数值错误的根源，而非通过扩展推理链来补偿这些错误。

作者强调，他们的方法提供了一种轻量级的替代方案，可以应对推理密集型策略。他们认为，数值能力是一种独特的、需要显式表示的能力，而不仅仅是改进推理过程后的副产品。结果表明，将数字视为连续测量值而非离散符号标记，能显著增强模型对数值量级的推理能力。

作者注明的局限性：

评估是在原型层面进行的，使用从头开始在受限基准上训练的模型；结果可能无法完全反映大型预训练模型在复杂指令遵循场景下的表现。
该方法增加了训练成本，因为每个样本都需要两次前向传播（一次用于投影，一次用于解码），尽管这不会影响推理延迟。
未进行专门的超参数调优，这可能会影响绝对性能指标，但不影响相对比较结果。