💬 NLP

DEL: Digit Entropy Loss for Numerical Learning of Large Language Models

本文介绍了数字熵损失（DEL），这是一种新颖的训练目标，它将无监督熵优化重构为一种有监督的、无需距离度量的框架，以提升大语言模型在数学推理和代码生成任务中预测整数和浮点数的准确性。

原作者： Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但略显困惑的机器人做数学题。这个机器人擅长写故事和聊天，但一涉及数字，就经常把数字搞错。它可能会在答案是"13"时说成"12"，或者把"12"猜成"14"。

这篇来自香港理工大学视觉计算实验室的论文，介绍了一种教导该机器人更好地处理数字的新方法。他们将其新方法称为数字熵损失（Digit Entropy Loss, DEL）。

以下是他们利用简单类比来修复机器人数学技能的故事：

1. 问题所在：机器人的“最佳猜测”习惯

传统上，在训练这些人工智能机器人（称为大语言模型）时，我们使用一种称为**最大似然估计（Maximum Likelihood Estimation, MLE）**的方法。

类比：想象机器人正在参加多项选择题考试。MLE 告诉机器人：“只需选出你认为最可能的答案。”
缺陷：机器人太客气了。它会想：“嗯，'12'是最好的答案，但'13'和'11'也有点接近，所以我也给它们一点点概率吧。”
结果：机器人变得优柔寡断。它在数字之间徘徊，导致错误，例如在答案必须是整数时说出"12.4"，或者仅仅因为不够自信而选错了数字。

2. 旧有的修复方案：“距离”陷阱

研究人员曾试图通过添加“惩罚”系统来解决这个问题。

类比：他们告诉机器人：“如果答案是 5，而你猜了 4，那还可以，毕竟很接近。但如果你猜了 9，那就太糟糕了！”他们创建了一张地图，将数字排列在一条线上，机器人会根据其猜测与真实值的距离远近受到惩罚。
问题：论文认为这种“距离地图”是人为的。在现实世界中，数字不仅仅是直线上的点；它们是拥有各自含义的符号。有时，机器人会学到数字"2"看起来更像字母"Z"，而不像数字"3"。强迫机器人遵循严格的距离规则会让它感到困惑，并使其猜测变得要么过于僵化（锐化），要么过于模糊（扁平化）。

3. 新解决方案：“信心教练”（DEL）

作者提出了数字熵损失（DEL）。与其衡量机器人离答案有多远，不如关注机器人有多确定。

类比：想象一位教练，他不在乎你的猜测与目标之间的距离。相反，教练说：“我不在乎你是接近还是远离。我只希望你100% 确定你的答案。如果你对'5'有 90% 的把握，对'6'有 10% 的把握，那你就是在犹豫不决。我希望你对'5'有 100% 的把握，而对其他所有数字的把握为 0%。”
工作原理：
1. 监督确定性：他们教导机器人将每个数字视为一个简单的“是/否”问题。“这个数字是 5 吗？是或否？”这迫使机器人做出清晰明确的决定，而不是模糊的猜测。
2. 摒弃距离规则：他们扔掉了“距离地图”。他们让机器人根据所见数据学习数字之间的自然关系，而不是将人为制定的规则强加给它。
3. 处理小数：以前的方法将整数（如 10）和小数（如 10.5）区别对待，导致了一个“悬崖”，机器人会在此处跌倒。DEL 将整数部分和小数部分视为一个平滑、连续的流，就像一条单一的长数轴，而不是两个分离的岛屿。

4. 结果：更精准的数学

研究人员在四种不同类型的人工智能机器人（CodeLlama、Mistral、DeepSeek 和 Qwen-2.5）上，使用七个不同的数学基准测试了这位新的“信心教练”。

结果：经过 DEL 训练的机器人犯错更少。它们不仅更频繁地得到正确答案；而且当它们答错时，错误答案也更接近正确答案（例如，猜 12 而不是 13，而不是猜 50）。
视觉证据：在论文的示例中，你可以看到旧方法往往逻辑正确但最终数字错误（例如计算购物总费用时算对了逻辑，但最终的美元金额算错了）。而 DEL 方法则同时确保了逻辑和最终数字的正确性。

总结

简而言之，这篇论文指出：停止教导人工智能机器人猜测数字有多“接近”。相反，要教导它们对自己预测的确切数字绝对确定。 通过去除人为的距离规则，并专注于建立清晰、自信的预测，这些机器人在数学和代码生成方面变得更强大了。

技术摘要：大语言模型数值学习的数字熵损失

1. 问题陈述

大语言模型（LLM）在数学推理和代码生成方面已展现出显著能力，但精确的数值预测仍是一个根本性挑战。大语言模型的标准训练目标——最大似然估计（MLE）——对于数值预测而言并非最优。MLE 的“零回避”特性迫使模型为观测到的令牌分配非平凡概率，从而导致文本退化及数据空洞高估等问题。

近期基于惩罚的方法，特别是数字令牌损失（NTL）和离散距离损失（DIST2Loss），试图通过引入数值距离的归纳偏置来解决这一问题。然而，这些方法存在关键局限性：

过度锐化与过度平坦化：NTL 激进地将非目标令牌的概率抑制至接近零，造成过度锐化的分布；而 DIST2Loss 强制平滑分布，导致过度平坦化及不确定的数字预测。
依赖启发式距离：这两种方法均依赖手动定义的距离项（例如数字间的 $L_1$ 距离）。分析表明，大语言模型学习到了纠缠的表示，其中数字既作为数值也作为符号字符串（如日期、ID）发挥作用。因此，手动施加的几何先验往往与从海量语料库中学习到的语义表示相冲突。
缺乏整体感知：现有方法通常在单数字优化范式内运作，或将小数视为独立的整数，未能捕捉浮点数的连续性及全局数值结构。

2. 方法论：数字熵损失（DEL）

作者提出了数字熵损失（DEL），这是对传统无监督熵优化的重构，专为自回归数值学习而设计。该方法论建立在三个关键设计原则之上，将范式从“准则 - 距离”转变为“数字熵优化”。

A. 从准则 - 距离到熵优化

现有的数值学习方法遵循准则 - 距离公式（论文公式 4）：
$\mathcal{L}_N = \mathcal{H}(p, g) + \alpha \sum \mathcal{C}(\hat{p}) \cdot \mathcal{D}(V_d, g_t)$
其中 $\mathcal{C}$ 是准则项， $\mathcal{D}$ 是距离项。作者认为距离项 $\mathcal{D}$ 并非最优，因为它施加了可能与大语言模型学习到的数字语义结构不一致的几何先验。

B. DEL 的三个关键设计

通过数字条件概率与 BCE 实现的监督熵：
不同于以无监督方式最小化熵（这允许平凡的单热解），DEL 引入了监督准则。它利用数字条件概率（ $\hat{p}$ ）与**二元交叉熵（BCE）**的乘积。
$\mathcal{L}_{DEL} = \mathcal{H}(p, g) + \alpha \sum_{g_t \in V_d} \hat{p}(\cdot|x_{<t}) \cdot \text{BCE}(\bar{p}(\cdot|x_{<t}), y_t)$
在此， $\bar{p}$ 是基于 Sigmoid 的二元分类概率， $y_t$ 是单热标签。该公式将熵优化引导至监督模式，确保概率质量集中在目标数字上，同时避免了 NTL 恒定惩罚导致的“过度锐化”。
弃用距离项：
作者明确从损失函数中移除了距离项（ $\mathcal{D}$ ）。对数字令牌嵌入的实证分析（通过 t-SNE）显示，大语言模型中学习到的数字相似性结构并不严格遵循理想的数值距离（例如，在嵌入空间中，'0' 可能比 '1' 更接近 '8'）。通过移除距离项，DEL 避免了注入相互矛盾的几何先验，使模型能够依赖其学习到的语义表示。
泛化至浮点数优化：
为了整体处理多位整数和小数，DEL 引入了浮点数优化策略。不同于以往将小数视为独立整数（导致不连续惩罚）的方法，DEL 应用了连续惩罚函数 $u(t)$ ：
- 整数位（ $i \ge 0$ ）采用线性惩罚。
- 小数位（ $i < 0$ ）采用指数衰减。
  这确保了整数部分与小数部分之间的平滑过渡，从而实现浮点数的精确预测。

3. 主要贡献

理论分析：论文提供了深入分析，揭示最先进的数值学习方法（NTL、DIST2Loss）共享一种依赖启发式距离项的“准则 - 距离”范式，而这些项往往与大语言模型的语义表示不一致。
新颖的损失函数：提出了数字熵损失（DEL），通过将数字条件概率与二元交叉熵相结合重构数值学习，有效地以监督方式引导熵最小化。
整体数值感知：将数值学习从单数字优化扩展至浮点数优化，解决了先前工作中小数预测存在的不连续性问题。
实证验证：综合实验表明，DEL 在多种架构和基准测试中均优于 MLE、MixCE、EMO、NTL 和 DIST2Loss。

4. 实验结果

作者在七个数学推理基准（GSM8K、MATH、SVAMP、SimulEq、AQuA、SAT、MMLU）上，使用四种代表性大语言模型（CodeLlama、Mistral、DeepSeek-Math 和 Qwen-2.5）对 DEL 进行了评估。

整体准确率：DEL 在所有模型架构和基准测试中均持续取得最高的平均准确率（mACC）。例如，在 Qwen-2.5-7B 模型上，DEL 实现了 70.6 的 mACC，优于基线 MLE（68.3）和次优方法 DIST2Loss（69.2）。
数值距离：DEL 显著降低了预测值与真实值之间的数值距离（平均绝对误差），即使在无显式距离项的情况下也展示了更精确的数值生成能力。
熵分析：与增加数字熵（不确定性）的 DIST2Loss 以及导致分布过度锐化的 NTL 不同，DEL 保持了对数字不确定性的“温和”优化，在确定性与灵活性之间取得了平衡。
消融研究：实验证实，移除距离项并引入浮点数优化对性能提升至关重要。具体而言，向 DEL 添加距离项会降低性能，验证了弃用该距离项的决定。

5. 意义与主张

论文主张，**数字熵损失（DEL）**通过解决基于启发式距离方法的局限性，代表了大语言模型数值学习的重大进步。

范式转变：该工作认为，数值学习应从手动定义的几何先验（距离项）转向基于熵的优化，以尊重模型学习到的语义表示。
可靠性：通过实现数值令牌的高度确定性生成，DEL 成为大语言模型在需要定量分析和逻辑推理的下游任务中可靠部署的前提。
适度范围：作者承认，虽然 DEL 提高了数值生成准确率，但它仅在令牌级别运作，尚未联合建模复杂的数学运算（如加法、乘法）或全局数值语义。他们将 DEL 定位为数值生成的基础性改进，而非数学推理所有方面的完整解决方案。

总之，本文提出了 DEL 作为一种稳健且理论扎实的现有数值损失函数替代方案，证明了移除人工距离约束并针对监督熵进行优化，能在数学推理和代码生成任务中产生更优越的性能。