LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure
本文介绍了 LITTLELEARNER，这是一个拥有 50 亿参数的语言模型，通过在经过精心策划的、包含 880 亿标记（token）的美国小学水平资料语料库 LITTLECURRICULUM 上进行训练，旨在创建一个发育受限的沙盒，从而能够对模型如何在明确定义的课程边界内获取并使用知识进行受控研究。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个超级聪明的机器人如何思考。通常情况下，我们会给这些机器人喂食海量的、混乱的互联网信息大餐——新闻文章、科幻小说、数学教科书以及随机的网络论坛吐槽，全部混杂在一起。这就像是在试图学习如何烤蛋糕的同时，有人在旁边一边大声喊着重金属歌曲的歌词，一边背诵元素周期表。因为机器人尝遍了所有东西，所以很难准确判断它到底是从哪一部分食物中学到了什么。它学会解数学题，是因为它真的理解了数学，还是仅仅因为它记住了某个网站上的答案？
为了破解这个谜团，科学家们需要一种控制机器人“饮食”的方法。他们想知道：如果我们只让机器人吃“小学阶段”的食物，它会永远保持儿童水平吗？或者我们以后能否通过特殊的训练技术来诱骗它成为天才？这篇论文正是关于构建这样一个受控的饮食方案，并观察当我们尝试突破机器人的原始菜单来扩展其大脑时，会发生什么。
小学习者项目：严格饮食下的机器人
研究人员创建了一个名为 LittleLearner 的特殊项目。你可以把它想象成一个人工智能的“沙盒”或“游乐场”，但有着极其严格的规则。他们没有让 AI 吞噬整个互联网，而是构建了一个定制菜单，名为 LittleCurriculum。这个菜单包含整整 880 亿个单词，但有一个限制条件：它严格限定在美式学校幼儿园到五年级所教授的材料范围内。
为了制作这个菜单，他们并没有靠直觉猜测。他们使用了一个多步骤的过滤过程，就像一位极其严厉的图书管理员。首先，他们检查了单词的“年龄”，以确保它们不会过于深奥。接着，他们使用智能计算机程序阅读文本，并判断内容是否对一个 10 岁的孩子来说太难。最后，他们使用了一个“符号过滤器”来搜寻并剔除任何看起来像高中代数或微积分的数学符号和公式。最终的结果是一个纯净、干净的、仅包含小学水平知识的数据集。
在这样严格的饮食下，他们训练了一个新的 AI 模型，叫做 LittleLearner。这是一个拥有 50 亿参数的模型（对于机器人来说是一个中等规模的大脑），它只见过 K–5（幼儿园至五年级）的教材。它知道什么是重力（它会让物体向下掉），知道猫是哺乳动物，也知道如何计算 8 + 6。但它从未见过高中物理方程或量子力学思想实验。
大测试：我们能骗过机器人吗？
这个项目的真正魔力在于，由于研究人员完全掌握了机器人到底“吃了什么”，因此他们可以进行公平的实验，观察是否能在以后教会它新知识。他们提出了三个大问题：
让机器人变得更大会有帮助吗？
他们训练了不同规模大脑（0.6 亿、13 亿和 50 亿参数）版本的 LittleLearner。- 结果： 让机器人变得更大，确实有助于它更好地掌握小学阶段的内容。更大的大脑只是让它在已有的知识上变得更高效。然而，当他们用 8 年级数学（这完全超出了它的饮食范围）来测试它时，更大的机器人并没有变得更聪明。它们撞到了天花板。更大的大脑并不能神奇地赋予它从未吃过的知识。
我们可以通过“后期训练”让它学习高级知识吗？
“后期训练”（Post-training）就像是在机器人完成正规学业后给它进行一次速成班培训。他们尝试利用一种叫做“强化学习”（即机器人通过给出正确答案来获得奖励）的技术，教 LittleLearner 处理高级数学问题。- 结果： 即便给机器人喂食了高级题目，它也无法学会。它在原本已掌握的内容上表现得稍好了一些，但在处理超出范围的新内容时完全失败了。这就像试图教一个只懂加法的孩子通过看一张更难的练习册来学会微积分；他们只会感到困惑。
我们可以使用“语境学习”（In-Context Learning）来提供帮助吗？
这是指在提问之前，先给机器人几个例子（比如说：“这是解决问题的步骤……现在轮到你了”）。- 结果： 给机器人提供示例确实能让它在处理小学问题时表现得稍微好一点，但对于解决 8 年级的问题，这完全不起作用。机器人无法仅仅通过观察它从未见过的例子，就“解锁”出新的推理能力。
总结：菜单才是最重要的
这篇论文的主要发现是对 AI 界的一次现实提醒。它表明，预训练的饮食是最重要的。如果一个机器人的饮食仅限于小学知识，那么它就会停留在那样的边界内。你无法通过让它变得更大、给它进行速成班培训，或者给它看一些例子，来轻易地诱骗它成为物理或高等数学专家。
论文显示，机器人的“能力天花板”是由它最初接受训练的内容决定的。当研究人员询问 LittleLearner 关于“薛定谔的猫”（一个著名的量子物理实验）的问题时，机器人并没有说“我不知道”。相反，它编造了一个关于一只长着两张脸的猫的故事。它试图利用自己拥有的简单逻辑去解释一个它从未见过的概念，从而产生了一个看似自信实则错误的答案。
这并不意味着 AI 坏掉了；这意味着我们终于有了一种清晰的方法来研究 AI 是如何学习的。通过使用 LittleLearner 和 LittleCurriculum，科学家们现在拥有了一个受控的游乐场。他们可以停止猜测机器人知道什么，转而开始精确测试当规则明确时，机器人是如何学习新技能的。事实证明，如果你想让一个机器人成为天才，你可能从一开始就得喂它天才级别的食物。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。