原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，将像 DeepSeek-V3 这样的大型语言模型（LLM）比作一座巨大的多层图书馆。在这座图书馆里，你输入的每一个句子在穿过建筑物的不同楼层（层）时，都会被转换成一个独特的高维“指纹”（向量）。
这篇论文提出的核心问题是：这座图书馆是如何组织这些指纹的？ 具体来说，它是将句子的“结构”（语法）与句子的“含义”（语义）分开存放，还是将它们全部混合在一个巨大的冰沙里？
以下是研究人员发现的简要说明：
1. “平均”技巧（寻找核心）
研究人员意识到，如果你有一堆语法结构相同的句子（例如，“猫坐着”、“狗跑了”、“鸟飞了”），它们共享一个共同的“骨架”。
- 类比：想象拍摄 100 个戴着完全相同类型帽子的人的照片。如果你将所有这些照片平均叠加，人脸会模糊不清，但帽子会变得超级清晰锐利。
- 方法：他们在数学上进行了这样的操作。他们选取具有相同语法结构的句子，将其指纹取平均值，从而创建一个“语法质心”（纯粹的语法帽子）。他们对具有相同含义但用词不同的句子也做了同样的处理，以创建一个“语义质心”（纯粹的含义帽子）。
2. “减法”测试（移除帽子）
一旦拥有了这些“纯粹”的语法和含义向量，他们便尝试从原始句子指纹中移除它们。
- 类比：想象你有一张戴着帽子的人的照片。如果你从照片中数字化地减去“帽子”向量，帽子就会消失。如果照片中的人依然清晰可辨，说明帽子是一个独立的层级；如果人脸也随之消失，则说明帽子和脸是混合在一起的。
- 结果：当他们从句子中减去“语法帽子”时，该句子就失去了与其他具有相同语法的句子进行匹配的能力。当他们减去“含义帽子”时，它就失去了与含义相同的句子进行匹配的能力。
- 结论：这证明了模型以线性方式编码语法和含义。它们就像食谱中可以数学分离的不同成分，而不是发生化学反应后融合成新物质的混合物。
3. “平面图”发现（事物的居所）
这座图书馆有许多楼层。研究人员发现，语法和含义生活在不同的楼层。
- 语法（Syntax）：这就像地基和较低的楼层。它从一开始就存在，并一直保持一致直到顶层。模型几乎立即就能掌握句子的结构。
- 含义（Semantics）：这就像中间的楼层。当句子进入图书馆时，模型首先查看单词和结构（低楼层）。然后，随着句子移动到中间，模型弄清楚它实际上意味着什么。当它到达最顶层（模型在此生成答案）时，含义依然存在，但重点已转向生成输出。
- 类比：想象阅读一本书。首先，你识别字母和单词（语法）。然后，在段落的中间，你理解了故事（含义）。你不需要重新识别字母来理解故事，但你确实需要字母才能开始。
4. 单行道（不对称性）
这是最有趣的部分：这种分离并非完全对等。
- 语法是独立的：如果你从句子中移除“含义”，“语法”依然保持完好无损。即使去除了血肉，骨架依然屹立不倒。
- 含义是依赖的：如果你从句子中移除“语法”，“含义”会变得有些不稳。它不会完全消失，但会变得难以识别。
- 类比：想象一座房子。如果你移除家具（含义），房子的结构（语法）依然清晰地是一座房子。但是，如果你移除墙壁和屋顶（语法），家具（含义）就只是地上的一堆杂物；很难看出它原本应该是什么。
总结
这篇论文表明，在这些巨型 AI 模型中：
- 语法和含义是 distinct（distinct）：它们是分开编码的，而不是混乱地混合在一起。
- 它们是线性的：你可以从数学上“减去”其中一个。
- 它们存在于不同的位置：语法无处不在（尤其是早期），而含义在模型处理的中间阶段达到峰值。
- 语法是坚固的基础：你可以剥离含义而不破坏语法，但剥离语法会使含义难以维系。
这表明，尽管这些模型仅仅是通过预测下一个词来训练的，但它们自然发展出了一种结构，这种结构非常类似于人类语言学家对语言运作方式的看法：一个支撑含义层的结构框架。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。