Putting Transformer Theories to the Test
本文通过将七种关于 Transformer 能力的正式理论的预测与一系列任务及实验结果进行映射对比，评估了这些理论，发现没有任何单一理论能完全解释观察到的行为，并强调了需要一个整合了软注意力、动态内容依赖检索以及可学习性的新框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能飞速发展的世界中，一种被称为“Transformer”的特定类型的计算机程序已成为最先进语言系统背后的引擎，也是像ChatGPT这样的人工智能聊天机器人背后的核心技术。这些程序并不像人类那样思考，但它们在识别文本模式、预测句子中的下一个词以及解决复杂谜题方面表现得异常出色。由于它们在实践中表现得如此之好，科学家们多年来一直致力于构建数学地图，以精确描绘这些程序能做什么以及不能做什么。这些地图，或者说理论，就像是不同的蓝图。有些蓝图认为这些程序仅限于执行简单的任务，而另一些则声称它们几乎可以处理任何事情。问题在于，这些蓝图经常相互矛盾。一个可能认为某项工作对机器来说太难了，而另一个则坚持认为它很容易。如果缺乏一种将这些相互竞争的地图与现实进行对比的方法，就很难知道哪一个是正确的，或者未来如何构建更好的机器。
一个研究小组决定通过将这些理论视为必须在现实世界中进行测试的科学假设，来解决这场争论。他们收集了目前用于描述 Transformer 能力的最著名的七种理论，并将它们置于广泛的具体任务中进行测试。这些任务范围很广，从简单的计数问题、逻辑谜题到追踪句子的结构以及在连接网络中导航。研究人员不仅观察纸面上的数学公式；他们还构建了这些程序的小型定制版本，并从头开始训练它们，以观察它们是否真的能解决这些问题。他们还测试了当今正在使用的庞大的、预训练好的语言模型，以观察当程序变得更大、更复杂时，规则是否会发生变化。
结果揭示了一个令人惊讶的事实：没有任何单一理论能够解释全貌。当研究人员将七种理论的预测与程序的实际表现进行对比时，他们发现这些理论往往与现实以及彼此之间都存在分歧。例如，几种理论预测程序在统计一段长文本中特定符号出现的次数时会遇到困难。然而在实验室中，程序轻松学会了这项任务，甚至可以将学到的知识应用到比训练时更长的列表中。相反，其他理论预测程序能够解决复杂的算术问题，但程序却始终无法学会，即使给予了大量的训练数据。这种不匹配表明，这些理论遗漏了关于程序实际运作方式的关键细节。
该研究确定了导致理论与现实不符的两个主要原因。首先，许多理论假设程序通过一次只关注一个信息片段（就像聚光灯挑选单个词一样）来进行决策。实际上，程序使用一种更柔和、更灵活的方法，允许它们同时融合来自文本许多不同部分的信息。这种灵活性让它们能够完成那些僵化的理论认为不可能完成的任务。其次，一些理论假设程序在每一步都能进行无限次的计算，这使得它们看起来比实际情况更强大。这些理论预测程序可以解决复杂的图论问题，但实验表明程序遇到了瓶颈，无法学会必要的步骤。研究人员发现，一个程序学习某项任务的能力，往往不在于其原始动力的大小，而在于它是如何被教导以及其内部记忆是如何组织的。
其中一个最引人注目的发现是，程序的规模和训练历史至关重要。为实验专门构建的小型程序与日常应用中的巨型预训练模型的行为表现截然不同。有时，小型模型学会了大型模型无法解决的任务，而有时大型模型在小型模型失败的地方取得了成功。这表明，这些系统的能力不仅取决于其设计，还取决于它们所接收的海量数据以及用于训练的具体方法。那些只关注程序架构而忽略数据和学习过程的理论，无法预测这些结果。
最终，论文得出结论，要真正理解这些强大的工具，科学家需要一种新型的理论。这种新的框架必须考虑到程序融合信息的灵活方式、其局部计算的限制，以及学习过程的关键作用。它还必须解释为什么有些程序能很好地泛化到新情况，而另一些则不能，而这种差异通常是由它们学习记忆单词顺序的具体方式驱动的。通过展示没有单一的现有地图能覆盖整个领域，研究人员提供了一条清晰的前行之路。他们创建了一套新的基准，并对这些机器内部究竟发生了什么有了更清晰的理解，为构建既强大又可预测的下一代人工智能奠定了坚实的基础。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。