想象一下你正在教一个机器人解谜题。在人工智能的世界里，这些机器人被称为“大语言模型”（LLMs）。它们就像是超级热情的学生，读遍了图书馆里的几乎每一本书。它们以能够编写故事、调试代码，甚至解决那些看起来像是高中教科书级别的数学题而闻名。但问题在于：仅仅因为一个学生能在模拟测试中拿到“A”，并不意味着他真正理解了游戏规则。如果把测试稍微改变一点点——比如增加一个额外的数字或重新排列单词——这个学生可能会突然陷入恐慌，并以一种奇怪且不可预测的方式失败。科学家们称之为“脆弱性”（brittleness）。这就像一座纸牌屋，看起来完美无缺，直到一阵微风吹过。

为了理解为什么会发生这种情况，研究人员观察了这些模型是如何“学习”新技能的。通常，我们希望它们像人类一样学习：循序渐进，在进入下一级之前建立坚实的基础。例如，在学习加法时，人类会学习从最后一位（个位）开始，处理任何“进位”（当一个数字太大无法放在一个位置时），然后移动到十位、百位等等。这是一种逻辑性的、层级化的思维方式。但如果机器人学习规则的顺序完全不同呢？如果它先学习了那些巨大的、可怕的数字，然后再学习小的数字，或者试图同时学习所有内容呢？这篇论文通过研究这个谜团，利用简单的数学谜题来观察这些数字大脑究竟是如何成长其技能的，揭示了它们可能正在走一条看起来像是在学习、但其实并不等同于人类理解的捷径。

---

破碎的拼图：AI 如何倒着学习数学

在这项研究中，威斯康星大学麦迪逊分校的研究人员决定不再靠猜想，而是开始观察。他们训练了小型、简单的 AI 模型（称为 Transformer），让它们在合成算术任务上进行练习——基本上就是让它们反复练习加法和乘法。但研究人员并没有仅仅检查它们最后是否得到了正确答案，而是以慢动作观察学习过程，逐位观察。他们想看看这些模型究竟是如何弄明白规则的。

他们的发现有点像在观察一个孩子尝试穿鞋：先从系鞋带开始，然后再去琢磨脚趾该放哪里。研究人员发现，这些 AI 模型学习数学的方式与人类完全不同。它们并不从底部（个位）开始向上推进，而是经常先学习最高位数字。

想象一下你在把四个大数字加在一起。人类会看个位列，把它们加起来，把多出来的部分进到十位，以此类推。然而，AI 最初似乎完全忽略了个位。它专注于千位和百位，完美地学习了这些数字，而个位却仍然一团糟。这就像模型在还没搞清楚一堆东西里到底有多少个单件物品之前，就试图先猜出这堆东西的总量。研究人员将这种现象称为**“破碎的组合性”（shattered compositionality）**。这意味着模型正试图搭建一座纸牌屋，但它把屋顶叠在了地面上，并寄希望于地基稍后能赶上来。

“相关性”捷径

为什么一个超级聪明的 AI 会做出如此愚蠢的行为？论文指出，答案在于 AI 如何看待它的训练数据。人类通过理解“因”和“果”来学习数学：“如果我把这两个‘1’加在一起，我就得到了一个‘10’，所以我必须进一个‘1’。”然而，AI 似乎是在玩一场“统计匹配”的游戏。它观察数据并询问：“哪些数字通常出现在一起？”

研究人员发现，答案中的最高位数字通常与输入数字中的最高位数字有着强烈的联系，无论低位数字发生了什么。这是一个强大且易于识别的模式。AI 首先抓住这个容易的模式，因为它是在数据中最明显的信号。这就像一名侦探看到了嫌疑人的车，就立刻认定嫌듭有罪，仅仅因为对方有一辆红色的车，而忽略了所有其他的线索。AI 先学习“红车”规则（高位数字），是因为这是最容易找到的相关性。只有在掌握了高位数字之后，它才会尝试去搞清楚低位数字那些混乱、复杂的规则。

为了证明这一点，研究人员进行了一项“破坏”实验。他们对训练数据进行了处理，将千位数字打乱，使其变成随机数。突然间，AI 完全无法学习低位数字了。它卡住了。这证明了 AI 并不是按照逻辑顺序学习数学规则的；它是在依赖高位数字来解锁剩余的谜题。没有了高位数字，整个学习过程就会崩溃。

并行学习的混乱

当 AI 尝试同时学习多种技能时，问题变得更加棘手。在诸如排序数字或比较数字的任务中，AI 会尝试并行学习不同的规则。这就像一个学生试图同时学习骑自行车、玩杂耍和弹钢琴。有时，这些技能会互相干扰。

研究人员发现，当 AI 同时学习这些技能时，会产生“混合错误”（mixing errors）。想象一下你在整理一份名单。人类会先检查名字的长度，然后检查第一个字母，再检查第二个字母。然而，AI 可能会感到困惑。它可能会取一个名字的首字母和另一个名字的尾字母，并将它们缝合在一起，变成一个全新的、毫无意义的词。论文称之为“混合错误”。这就像一位厨师，他已经分别学会了切洋葱和切胡萝卜，但当被要求做沙拉时，他却不小心把洋葱扔进了胡萝卜碗，把胡萝卜扔进了洋葱碗，创造出了一种奇怪的、无法食用的混合物。

这种并行学习创造了一个脆弱的系统。如果你要求 AI 解决一个与它在训练中看到的略有不同的问题——比如在列表中增加一个数字——它往往会崩溃。它所并行的技能开始互相冲突，模型产生的答案就是一个混乱的输入集合。

规模更大或更聪明能解决问题吗？

你可能会想：“好吧，也许这些小模型只是糊涂了。那么那些我们在新闻里看到的巨大、超强大的 AI 模型呢？或者如果我们给它们一个像人类那样写下想法的‘草稿本’（scratchpad）呢？”

研究人员也测试了这一点。他们训练了更大的模型（高达 1 亿个参数），甚至在这些数学任务上对一个庞大的预训练模型（Pythia-1B）进行了微调。他们还尝试给模型提供一个“草稿本”，让模型在给出最终答案之前，先写出数学问题的步骤。

结果如何？没有任何变化。

即使是巨大的模型，也会按错误的顺序学习数字。即使是带有草稿本的模型，仍然优先考虑高位数字，并在低位数字上挣扎。草稿本有助于模型更快地得到正确答案，但并没有修复底层的学习风格。模型仍然是在采取“相关性捷径”，而不是学习真正的、循序渐进的数学逻辑。这表明，仅仅让 AI 变得更大或给它更多工具，并不会自动让它像人类一样思考。“破碎的组合性”似乎是这些模型如何从数据中学习的一个根本性特征，而不仅仅是特定小型模型的漏洞。

总结

这篇论文描绘了一幅 AI 图像：它能力惊人，但在本质上与我们不同。它可以解决看起来像人类数学的问题，但它是用一套不同的内部规则在运作。它并没有遵循逻辑性的、循序渐进的算法，而是在遵循一张统计模式的地图。当这些模式完美时，AI 表现出色。但当模式发生轻微偏移时——当问题稍有不同或数据变得混乱时——AI “破碎”的学习风格会导致它跌跌撞撞。

研究人员并不是说 AI 有缺陷或没用。他们是说，我们需要了解它如何学习，以便更好地信任它。如果我们希望 AI 在现实世界中可靠（现实世界中的问题很少是完美的，且数据总是在变化），我们需要弄清楚如何教它建立稳定的、类人的层级结构，而不是让它在混乱的并行冲刺中学习。在此之前，当我们要求这些数字学生解决一个与他们练习过的题目稍有不同的问题时，我们可能必须保持谨慎。