Testing History Dependence Between In-Context and In-Weights Learning
本研究表明，尽管训练顺序（从不同方向趋向平衡混合物）会在上下文学习与权重内学习机制的强度上产生瞬时的、可衡量的差异，但它并不会导致小型 Transformer 中出现持久的滞后现象或根本不同的因果电路组织。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在教一个机器人讲笑话。你可以用两种方式来教它。首先，你可以在它开口说话前给它看几个例子，就像桌上的一张参考表。机器人阅读这张参考表，并根据它此时此刻看到的内容推导出笑话的笑点。这被称为上下文学习（In-Context Learning）。这就像机器人在临场发挥。第二种方式是，你与机器人进行数小时的练习，直到它把这些笑话记住了，甚至不需要那张参考表。这些笑话现在已经硬编码到了它的脑子里。这就是权重内学习（In-Weights Learning）。
长期以来，科学家们一直在思考：如果你给机器人完全相同的参考表和练习组合，它是否总是以完全相同的方式解决问题？或者，它是如何到达那里的过程是否重要？它是先通过记忆，然后学会阅读参考表吗？还是先阅读参考表，然后才记住笑话？这个问题涉及历史依赖性（history dependence）。在物理学世界中，这类似于滞后现象（hysteresis）——就像一块磁铁，即使在你停止拉力后，它依然记得被拉动的方向。如果机器人的大脑具有滞后性，那么它当前的状态不仅仅取决于它现在看到了什么，还取决于它到达那里的路径。这很重要，因为如果人工智能模型也是如此，我们可能无法仅通过观察它们当前的数据来预测它们的行为；我们需要知道它们的整个训练历史。
这篇论文使用了一个受控的小型机器人（一个微型人工智能模型），并对其进行了一项特定的测试，以观察它是否具有这种“路径记忆”。研究人员设计了一个游戏，机器人必须猜出一个秘密代码。有时，代码取决于当前句子中给出的线索（参考表），有时则取决于机器人很久以前学到的规则（硬编码记忆）。他们训练了两个完全相同的机器人副本以达到游戏中的同一个点，但他们通过不同的路径到达那里。一个副本首先专注于硬编码规则，然后慢慢转向参考表。另一个副本则首先专注于参考表，然后慢慢转向硬编码规则。
研究人员发现，当两个机器人到达完全相同的点时，它们的表现并不完全一样。那个从“硬编码”一侧过来的机器人，比从“参考表”一侧过来的机器人，更有可能使用参考表。这就像是那个从规则开始的机器人，即使现在正看着同样的线索，仍然有一点点“困”在那种思维模式中。这种差异是真实且可衡量的：在特定的量表上，两者的行为差距约为 0.098 点，并且这种情况在他们进行的五次不同训练实验中都发生了。
然而，这种对路径的记忆是非常短暂的。研究人员让机器人在该点继续训练了一段时间。仅仅经过 25 个步骤后，差异就开始反转并消失。到 100 个步骤时，两个机器人的表现几乎完全一致。“路径轨迹”的幽灵已经消散了。
为了理解为什么会发生这种情况，科学家们观察了机器人的大脑内部。他们发现，两个机器人都在使用完全相同的内部组件来解决问题。它们并没有切换到不同的“电路”或新的思维方式。相反，那个从“硬编码”一侧过来的机器人，只是稍微调高了它读取参考表部分的“音量”。这是一种暂时的音量提升，而不是电路结构的永久改变。
因此，这篇论文表明，虽然人工智能模型可以短暂地记住它们是如何到达某一点的，但这并不是一种会让它们永远陷入不同状态的永久性“滞后”循环。这更像是一种瞬间的滞后，一种最终会平息下来的快速过冲。这项研究表明，要真正理解人工智能的行为，你需要观察它的即时历史，但你不必担心它会仅仅因为训练方式的不同而永远陷入某种奇怪的状态。模型最终会赶上进度并忘记路径，只专注于目的地。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。