What Kind of Language is Easy to Language-Model Under Curriculum Learning?
本研究探讨了课程学习——一种基于发展动机、涉及从简单到复杂句子排序的训练场景——如何显著改变语言模型的归纳偏置及其复现语言类型学模式的能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教机器人学习一门新语言。你拥有一个巨大的句子库，但你可以用两种不同的方式来教它们：
- 随机打乱：你将所有句子扔进一堆，让机器人完全随机地挑选。它可能刚看到一句短句子“猫坐着”，紧接着就遇到一段关于量子物理的冗长且令人困惑的段落。
- “课程”方法：你像人类教师一样行事。你从最简单、最短的句子开始（“猫坐着”）。一旦机器人掌握了这些，你就过渡到稍长一点的句子（“猫坐在垫子上”），只有在那之后，你才引入复杂、冗长的段落。这被称为课程学习（Curriculum Learning, CL）。
这篇论文的研究人员想知道：用这种“循序渐进”的方式教机器人，是否会改变它觉得哪些语言容易学、哪些语言难学？
实验：一个由人造语言构成的世界
为了验证这一点，科学家们没有使用英语或日语等真实语言，而是构建了96 种不同的“人造语言”。
你可以把这些语言想象成不同的词汇排列规则手册。有些规则手册规定“狗咬人”（主 - 谓 - 宾结构），而另一些则规定“人咬狗”（宾 - 谓 - 主结构）。有些规则在现实世界中非常普遍，而另一些则极其罕见，甚至人类根本无法自然地使用它们说话。
他们使用随机打乱方法和课程方法，在这些人造语言上训练了三种类型的“大脑”模型（RNN、LSTM 和 Transformer）。
大惊喜：教师改变了学生的“口味”
研究人员发现了一些相当意想不到的事情。
在之前的研究（机器人随机学习）中，机器人似乎拥有一种与真实世界语言相符的自然“偏好”。它们发现人类实际使用的词序更容易学习。这就好比机器人的大脑天生就倾向于人类语言。
然而，当他们切换到课程方法（先教短句）时，这种自然偏好发生了改变。
- 类比：想象一个天生热爱数学的学生。如果你强迫他们从非常简单的算术开始，然后再进入代数，他们可能会开始讨厌数学，或者以他们以前未曾有过的方式感到困惑。学习材料的顺序改变了他们对这门学科的态度。
- 结果：通过“循序渐进”的课程训练的机器人，实际上变得更不符合真实人类语言的运作方式。与随机学习时相比，它们发现常见的人类词序不再那么容易学习。在某些情况下，课程反而让它们更喜欢那些罕见、奇怪的词序，而不是常见的词序。
这意味着什么？
这篇论文表明，如何教语言模型与教什么同样重要。
- “偏好”并非固定不变：人工智能模型具有内置的“类人”偏好的观点，可能只是我们通常训练它们（随机训练）的方式所造成的一种错觉。如果我们改变训练计划，使其更像儿童的学习方式（从简单到复杂），这种偏好就会消失甚至反转。
- 儿童与机器人：人类是通过从小处开始学习的。如果我们想知道人工智能是否真的像人类一样理解语言，我们就不能只是向它抛洒随机数据。我们需要观察它如何处理“课程”。
- “容易”的语言取决于方法：对于人工智能来说，不存在一种单一的“最容易”的语言。一种通过随机打乱容易学习的语言，如果你从短句开始教，可能会变得很难学。
核心结论
该论文得出结论：人工智能模型的“学习偏好”并非固定特征。它对学习情境高度敏感。通过引入一个简单的“从短句开始”的规则，研究人员表明，人工智能对某些语言结构的偏好会发生变化，有时使其变得更不像人类学习者，而更像一个经过特定时间表训练的机器。
他们并非在断言这对构建更好的聊天机器人是好是坏；他们只是指出，训练模型的“配方”会改变最终成品的“口味”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。