The Grammar of Transformers: A Systematic Review of Interpretability Research on Syntactic Knowledge in Language Models
本项涵盖 337 项研究的系统综述得出结论，基于 Transformer 的语言模型编码了显著的句法知识，尤其在形式化现象和英语方面表现突出，但在跨语言泛化及句法 - 语义接口方面存在局限，同时凸显出亟需开展更多机制性且多样化的研究，以全面理解其底层计算过程。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个巨大的、超级聪明的机器人，它几乎读遍了互联网上的每一本书。你向它提问，它能完美作答。但这里有个大谜团：这个机器人真的理解语法规则，还是仅仅擅长根据它以前见过的模式来猜测下一个词？
这篇题为《Transformer 的语法》的论文，就像一份庞大的侦探报告。作者们不仅阅读了一两篇研究，而是收集了337 篇不同的研究论文，并审视了3000 多条微小证据（如测试分数和实验），以回答上述问题。
以下是他们发现的简要说明：
1. 机器人确实懂语法（但并不完美）
将机器人的大脑想象成一座图书馆。研究人员发现，机器人确实学到了大量的语法规则。
- “简单”内容：机器人非常擅长形式规则，比如确保动词与主语一致（例如，“那只猫跑"vs. “那只猫跑"）。这就像一个完美背诵了乘法表的学生。
- “困难”内容：当语法与意义交织在一起时，机器人会更吃力。例如，理解复杂句子中“他”指代谁，或者否定在棘手语境中如何运作。这就像那个学生能做数学题，但如果应用题写成谜语，他就会感到困惑。
2. “仅限英语”的偏见
研究人员注意到，他们收集的证据存在一个巨大问题。
- “仅限英语”俱乐部：想象一场烹饪比赛，其中 10 位评委里有 9 位只说英语，且只品尝来自一个特定国家的菜肴。这就是该领域的现状。几乎所有研究都只在英语上测试了机器人。
- “富语言”与“贫语言”的差距：机器人在拥有大量数字工具和数据的语言（如英语、西班牙语或法语）上表现要好得多。对于数字支持较少的语言，机器人的语法能力会显著下降。这就像机器人是一位对城市很熟悉的游客，因为它有一张好地图，但在没有地图的乡村却会迷路。
3. 我们如何测试机器人（三种工具）
论文解释说，科学家使用三种主要方法来检查机器人是否懂语法：
- “行为”测试：这就像期末考试。你给机器人一个句子，问：“这是正确的吗？”如果它对正确的句子说“是”，对错误的句子说“否”，它就通过了。
- “探针”测试：这就像 X 光。科学家查看机器人的大脑（其内部层），看看其中是否存储了特定的“语法文件”。他们发现，机器人的“中间层”通常是语法知识所在的地方。
- “机制”测试：这是最先进的工具。它就像把机器人拆开，看看在处理句子时具体是哪些齿轮（神经元）在转动。问题在于？大多数研究只是观察齿轮转动（观察性），而不是真正拆下一个齿轮来看看机器人是否会坏掉（干预性）。我们知道语法在哪里，但尚未完全理解它是如何工作的。
4. 机器人的“超能力”与其“阿喀琉斯之踵”
- 超能力：机器人似乎拥有一种通用的“语法感”。如果它擅长一种语法规则，通常也擅长其他规则。它不仅仅是在背诵特定的句子；它似乎学习了一个通用系统。
- 阿喀琉斯之踵：机器人严重依赖其接收到的数据。如果数据混乱或语言罕见，机器人的表现就会崩溃。此外，论文指出，虽然机器人在英语语法方面表现出色，但我们不知道它是否像人类一样理解语法，还是仅仅在使用巧妙的捷径。
核心结论
论文得出结论：是的，这些人工智能模型确实学到了非平凡（非常真实）数量的语法。 它们不仅仅是随机猜测者。然而，我们对它们如何做到这一点的理解仍然有些模糊，因为：
- 我们主要在英语上测试它们。
- 我们主要关注“是什么”（结果），而不是“怎么做”（内部机制）。
- 我们尚未标准化测试，以便公平地比较不同语言。
作者们 essentially 在说：“我们已确认机器人能讲语法这门语言，但我们需要停止仅在英语上测试它，开始更深入地研究其大脑如何工作，并为尚未探索的语言绘制更好的地图。”
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。