The Effect of Scripts and Formats on LLM Numeracy
本文揭示了大型语言模型在处理欠代表性脚本或格式中的数值表达式时，准确率会出现显著下降，但同时也表明了针对性的提示策略可以有效缓解这一差异。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位才华横溢的学生，他几乎读遍了世界上所有的书。这位学生是数学高手，能够瞬间解决复杂的加法和乘法问题。但问题在于：这位学生只见过用我们英语中使用的标准方式书写的数字（例如 1, 2, 3）。
这篇论文探讨的是，当你要求这位超级聪明的学生使用他们不太熟悉的“语言”或“风格”来做数学题时，会发生什么。
核心发现：“脚本税”（The "Script Tax"）
研究人员发现，当我们把标准数字替换成其他脚本——比如 १, २, ३（天文德瓦那里文）或 ۱, ۲, ۳（波斯-阿拉伯文）时——这位学生的数学能力大幅下降。
可以这样理解：如果你要求一位厨师烹饪一份完美的牛排，他可以轻松做到。但如果你递给他一份他读不懂语言编写的食谱，或者告诉他要用勺子而不是刀来切洋葱，他可能会掉落食材或烧焦牛排。厨师仍然知道如何烹饪，但格式搞混了他们。
论文将这种现象称为**“脚本税”**。这是 AI 因为看到不同形状的数字而支付的代价。尽管数学问题本身完全相同（例如，“5 + 5”），但如果数字不是以标准的英语风格呈现，AI 出错的概率会增加 66% 到 87%。
为什么会发生这种情况？
论文指出了两个主要原因：
- “训练饮食”： AI 在来自互联网的海量文本中进行训练。其中的大部分文本使用标准的英语数字。这就像这个学生只吃过苹果；当突然给他一个梨时，他不知道该如何正确地咀嚼它。
- “Token（标记）”问题： AI 并不像人类那样阅读单词；它将文本分解成被称为“token”的小块。
- 标准数字（如 123）可能是一个或两个 chunk（块）。
- 某些其他脚本会将同一个数字分解成许多细小、令人困惑的碎片。
- 论文发现，一个数字被分解成的“块”越多，AI 做数学题就越困难。这就像是在解一个拼图，而有人把原本 10 块的大拼图剪成了 100 块细小的碎片。
好消息：我们可以通过“提示”来修复它
研究人员不仅发现了问题，还找到了帮助学生的方法。他们尝试了不同的提问方式（称为“提示工程”）：
- 仅仅礼貌地询问： “请解决这个问题。” -> 依然失败。
- 告诉他们这是哪种语言： “这是用泰语写的。” -> 依然失败。
- 给一张“小抄”（映射/Mapping）： 向 AI 展示一个列表，如“这个符号代表 1，那个符号代表 2。” -> 有所改善，但不完美。
- “魔术技巧”（少样本提示/Few-Shot Prompting）： 这是最终的赢家。研究人员先给了 AI 几个例子。
- 示例 1： “这是一个泰语问题：1 + 1 = 2。这是答案。”
- 示例 2： “这是另一个例子……”
- 现在： “解决这一个。”
通过先向 AI 展示一些如何处理这些奇怪数字风格的例子，它的表现大幅飙升。这就像是在正式测试前，先给学生展示几道新语言的练习题。突然之间，他们就能完美地完成数学题了。
格式化的转折
论文还研究了数字是如何分组的。在美国，我们这样写大数字：1,000,000（每三位一个逗号）。在欧洲，他们可能会写成 1.000.000（点号）或 1 000 000（空格）。
AI 也被这些风格搞混了。它能完美处理美国风格，但在处理欧洲风格时却很吃力。有趣的是，AI 经常将这些数字格式与 IP 地址（例如 192.168.1.1）混淆，而这些 IP 地址在它的训练数据中很常见，但并不是数学题。
底线结论
论文得出结论，这些 AI 模型并不是“不擅长数学”。它们实际上非常擅长逻辑。问题在于它们是脆弱的。它们高度依赖于看到按照其受训方式呈现的特定、熟悉的数字形式。
如果你想让 AI 用不同的语言或不同的数字风格为你做数学题，你不能只是直接询问。你必须给它一点“提示”：先给它展示几个例子，或者准确解释这些符号是如何运作的。一旦你这样做，那笔“脚本税”就会消失，数学题又变得简单易行了。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。