Nothing from Something: Can a Language Model Discover 0?
本文研究了语言模型是否能够独立发现“零”的概念，发现虽然 GPT-2 规模的模型无法仅通过标准算术来泛化这一概念，但它们可以通过极少的示例来学习它，且这一过程因先前的语言预训练而显著加速。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人做数学题，但有一个非常严格的规则：机器人永远不允许看到数字零。 你向它展示了成千上万个问题，比如“2 + 3 = 5”或“9 - 4 = 5”，但你从未让它遇到任何答案为零的问题，或者在等式中包含零的情况。
核心问题是：如果你随后要求机器人解决像“5 - 5 = ?”这样的问题，它会神奇地推导出答案是“0”吗？
研究人员想要观察现代人工智能（特别是像 GPT-2 这样的语言模型）是否能像人类儿童最终理解“无”的概念一样，自主完成这种“逻辑飞跃”。
以下是研究结果的拆解，通过简单的概念进行说明：
1. “盲点”实验
研究人员训练了两类机器人：
- “纯数学”机器人： 这个机器人只接触数学问题。
- “说故事”机器人： 这个机器人在开始学习数学之前，先阅读了数百万页的故事、新闻和对话（语言预训练）。
结果： 当他们测试这两个机器人在涉及零的问题（这些问题是它们从未见过的）时，两者都完全失败了。
尽管“说故事”机器人曾在故事中读到过“无”、“空”或“零”这些词，但它无法将这些词与数学问题“5 - 5”联系起来。这就像是给了某人一本写满了“冰”之定义的字典，却在没见过雪的情况下要求他们堆一个雪人；他们只是不知道如何应用这个概念。
2. “魔力少样本”教学
接下来，研究人员尝试了一种不同的方法。他们给了机器人一个极小的提示。他们仅通过极少数混合在训练中的零的例子（例如，在 10,000 个问题中仅展示 64 次“5 - 5 = 0”），来向它们展示零。
结果： 这改变了一切。
- 机器人突然非常快速地学会了零的概念。
- “说故事”机器人（具有语言训练能力的那个）学得快了一倍，比“纯数学”机器人快得多。它只需要大约减少 50% 的例子就能达到相同的得分。
类比： 把这想象成学习一种新乐器。
- “纯数学”机器人就像一个从未接触过乐器的人；他们需要从头开始学习每一个音符。
- “说故事”机器人则像是一个已经懂得如何识谱并理解节奏的人。当他们终于拿起这件新乐器时，他们不需要被教导什么是音符；他们只需要被展示零在指板上的位置。语言训练为他们提供了一个“脚手架”或心理阶梯，帮助他们攀登到新概念的高度。
3. 零是特殊的吗？
研究人员想知道，零仅仅是一个难以学习的奇怪数字，还是这是一个普遍问题。他们通过隐藏其他数字（如 1、2 或 9）而不是零来测试机器人。
结果： 零确实是学习难度最大的数字之一，与数字 9 并列。
- 为什么是 9？ 在数学中，9 是特殊的，因为它是导致你需要“进位”到下一位的数字（比如 5 + 5 = 10）。
- 为什么是 0？ 它是数轴的边缘。
- 中间的数字： 像 4 或 5 这样的数字对于机器人来说更容易猜对。研究人员认为这是因为 4 和 5 有许多“邻居”（3, 6, 2 等），机器人已经见过这些邻居。而零和 9 位于“边缘”，因此它们较少的邻居无法帮助机器人猜测它们可能是什么。
总结
这篇论文并不是声称 AI 即将自主发明新的数学。事实上，它表明 AI 目前非常不擅长“发现”新概念，如果这些概念不在其训练数据中。
然而，它也展示了一线希望：语言有帮助。 如果一个 AI 拥有强大的语言基础，那么在给予少量示例时，它学习新数学概念的速度会大大加快。这表明，虽然 AI 目前还不能仅凭自身“思考”就从无到有地实现新发现，但语言作为一个强大的工具，可以在新发现最终被引入时，帮助它跨越那道鸿沟。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。