Context Is King: How In-Context Specification Shapes the Geometry of Concepts
本文表明，大语言模型中概念的几何结构是由上下文规范动态决定的，而非由固定的预训练先验决定，并且这种结构具有能够清晰地覆盖这些先验并因果性地利用所施加几何结构的特性，而这种能力仅在较大的模型中显现。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图理解一个巨大的、超级聪明的机器人是如何思考的。长期以来，科学家们一直认为在这个机器人的大脑内部，有一个巨大的、永恒不变的事实图书馆。如果你问起星期几，机器人就会从它的书架上取出一个预先制作好的、完美的圆圈，其中周一总是挨着周二。如果你问起月份，它会取出另一个圆圈。这个想法表明，机器人的大脑就像一张静态的地图，在它被制造出来后就永远固定了，等待着在有人提问时进行查阅。
但如果这个图书馆并不像我们想象中那样僵化呢？如果机器人不仅仅是在查阅地图，而是根据你刚才对它说了什么，实时地“画”出一张新地图呢？这就是科学家们正在探讨关于“大语言模型”（这些巨型 AI 机器人的高级名称）的核心问题。他们想知道：机器人的世界观是一个永久存储的事实，还是一个随对话而变化的灵活形状？理解这一点有助于我们弄清楚这些机器人是真的“知道”某些事物，还是仅仅极其擅长遵循当下的规则。
这篇论文的大发现：“语境为王”法则
Zenity 的一个研究团队决定用一个有趣且带点恶作剧色彩的实验来测试这个想法。他们提出了一个简单的问题：如果你告诉机器人一个关于世界运作方式的完全虚构的规则，它会相信你，还是会坚持它之前学到的知识？
他们使用了像 Gemma 和 Qwen（这些是上述机器人的高级版本）这样的模型，并给了它们一个“重新定义”的日历。想象一下，你告诉机器人：“嘿，忘掉你所知道的一切。在这个新世界里，唯一的有效顺序是星期三，然后是周一，最后是周五。”他们并没有给机器人任何学习示例；他们只是将这个规则作为一个事实陈述了出来。
令人震惊的结果： 机器人不仅假装遵守这条规则，它实际上还“重构”了自己的大脑以匹配它。
当研究人员观察机器人“内心”（具体来说，是它在回答之前的数学模式）时，他们发现了惊人的现象。机器人不仅仅是说出了“星期三、周一、星期五”这些词。它实际上在脑海中将这些日期的概念排列成了一个符合新规则的新形状。
- 旧观点： 机器人拥有一个固定的日期圆圈。
- 新观点： 机器人即时画出一个新形状。如果你告诉它们日期是一个圆圈，它们就形成一个圆；如果你告诉它们是一个直线，它们就形成一条线；如果你告诉它们是一个家族树，它们就变成一棵树。
论文称之为**“语境为王”（Context is King）**。最重要的不是机器人过去学到了什么（它的“预训练先验”），而是你现在告诉它什么（“语境规范”）。机器人的大脑非常灵活，当你给出一个强大的新规则时，它构建的新形状会主导原有的存储结构。旧的地图并没有永远消失；它仍然真实地存储在权重中，但一旦语境与其发生冲突，机器人就会切换到使用这个由语境定义的、新的地图。
他们是如何证明的（“魔术戏法”）
为了确保机器人不仅仅是在装模作样，研究人员进行了一个“因果修补”（causal patching）实验。这就像一个魔术戏法，你通过交换两个角色的“大脑”来观察会发生什么。
- 他们告诉机器人那个奇怪的新顺序。
- 他们把代表“周一”的“大脑信号”与代表“星期三”的信号进行了交换。
- 他们问机器人：“周一之后是什么？”
如果机器人只是在查阅一份存储的列表，它会感到困惑或给出错误的答案。但因为机器人已经根据你的规则构建了一个新地图，它根据新地图进行了回答。它说出了周一之后的日子，即便此时“周一”表现得就像是“星期三”。这证明了机器人确实在使用它刚刚构建的新形状，而不是在背诵旧的事实。
难点在于：取决于机器人的规模
这里有一个转折：并非所有的机器人都能做到这一点。研究人员发现，这种完全重绘世界地图的能力在很大程度上取决于机器人的规模。
- 大模型（如 Gemma-31B 和 Qwen-27B）： 这些是超级聪明的机器人。它们能听懂你的新规则，覆盖旧地图，并画出一个完美、清晰的新形状。在直接、简单的提示下，它们能以近乎完美的准确度遵循新顺序（在测试中达到了 100% 的成功率）。然而，即使对于这些大模型，如果任务变得更难（例如在新的顺序中进行多次跳转）或者允许它们在没有严格指令的情况下进行“自由形式”的思考，其表现也会下降。
- 小模型（如 Gemma-2B 或 Qwen-4B）： 这些是较年轻、较小的模型。它们能听到规则并尝试画出新形状，但过程很混乱。这就像是用颤抖的手试图画一个完美的圆。它们可能抓住了大致的想法，但无法完全放下旧的记忆。有时，它们甚至会感到困惑并退回到旧的思维方式，或者根本无法构建出一个可用的地图。
论文指出，“构建”一个新形状对于即使是小型机器人来说也是容易的，但完美且清晰地“使用”那个形状则是一种只有规模才能带来的技能。这就像一个孩子可以学习一个新游戏，但只有大师才能完美无误地玩转它。
这对未来意味着什么
这项研究改变了我们看待 AI 的方式。它表明这些模型并不拥有一个锁定在体内的、单一且固定的“世界观”。相反，它们对世界的理解是流动的。它就像一只变色龙，不仅能改变颜色以匹配背景，还能匹配你正在讲述的故事。
如果你告诉一个能力强大的 AI 世界是平的，它可能会暂时按照世界是平的来进行思考。如果你告诉它星期几是一个家族树，它就会构建一棵树。AI 内部的“真相”不是一个静态的事实，而是一个在此时此刻发生的计算过程，由对话塑造。
研究人员谨慎地表示，他们并不确切知道机器人是如何从零开始构建这些形状的，或者它是否只是在重新排列旧的家具。但有一点是明确的：机器人正在倾听你的话，并且它正在改变自己的想法以匹配你的故事。你提供的语境就是国王，而机器人则是它那变幻莫测、随形而变的忠诚臣民。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。