想象一个这样的世界：计算机不再仅仅是遵循严格的食谱，而是能够在对话过程中实时学习。这就是大语言模型（LLM）的领域——它们是那些能够创作故事、解决数学问题并与我们聊天的工具背后的超智能 AI 大脑。通常情况下，为了教给这些 AI 一项新技能，科学家必须深入计算机的底层代码并调整其内部设置——这有点像是在重新连接机器人的大脑线路。但最近，人们发现了一个迷人的现象，叫做“上下文学习”（In-Context Learning）。事实证明，这些模型只需通过阅读你在聊天提示词中给出的示例就能学习，而无需更改其任何一行代码。这就像是一个学生，不需要花一整周时间复习备考，仅仅因为你在考试开始前给他看了几道练习题，他就突然完美地理解了教材内容。

更令人惊讶的是，研究人员发现，如果你给这些模型提供它们之前回答的示例以及一个“分数”（比如成绩或评分），它们就可以利用这些反馈来即时改进下一个回答。这就像是 AI 在说：“噢，刚才那个故事得了 6/10 分？我明白我错在哪了；让我再试一次，目标是拿到 10 分。”但这里有一个巨大的谜团：一台机器究竟是如何仅通过阅读一个分数就实现“学习”的？它内部有一个秘密老师吗？还是它只是在瞎猜？来自 COLM 2026 会议的一篇新论文深入探讨了这个问题，试图弄清楚是什么样的隐藏数学魔力促成了这一切。

这篇论文的核心发现：AI 的秘密“奖励”肌肉

这篇题为《作为隐式策略梯度的上下文学习》（In-Context Learning as Implicit Policy Gradient）的论文提出了一种巧妙的解释，说明了这些 AI 模型如何利用分数来变得更好。作者 Masahiro Kaneko 和 Timothy Baldwin 指出，当 AI 阅读其过去回答及其得分列表时，它不仅仅是在记忆这些内容。相反，它正在秘密执行一种数学技巧，这种技巧看起来与强化学习中一种著名的学习方法——**策略梯度（Policy Gradient）**完全一致。

为了理解这一点，请想象 AI 是一位试图烹饪完美菜肴的厨师。

• 旧方法（监督学习）： 通常，如果你想让厨师做得更好，你会展示一张完美菜肴的照片（“输入”）和完美的食谱（“输出”）。他们通过模仿自己做出的东西与被告知要做的东西之间的差异来进行学习。
• 新方法（基于分数的上下文学习）： 在这种新场景下，厨师并没有完美的食谱。相反，他有一份清单，记录了昨天做的菜，并且每道菜都有一个美食评论家的评分（例如，“这碗汤是 4/10 分，但这个蛋糕是 9/10 分”）。厨师看着这份清单并决定：“我下次做菜应该更像那个蛋糕的味道，而不是那碗汤的味道。”

论文证明了 AI 的内部机制——自注意力机制（Self-Attention）——扮演着一个超级聪明的计算器角色，会对这些过去的“菜肴”进行加权。事实证明，AI 的注意力机制可以从数学上“抓取”高分的示例并将其拉近到当前的思维过程，同时将低分的示例推开。这就像 AI 有一只磁性的手，它能根据分数只捡起那些“好”的答案，并利用它们来引导自己的思考方向。

数学魔力：AI 如何“抓取”好答案

作者表明，这不仅仅是运气好，而是这些模型构建方式中的一种结构性特征。他们提供了一个“概念验证”，表明如果你以特定的方式设置 AI 的内部权重（其大脑内部的旋钮和拨盘），注意力机制就会变成一个奖励加权聚合器（reward-weighted aggregator）。

这里有一个类比：想象 AI 是一个正在参加考试的学生。

1. 输入： 学生看到了一份过去的题目列表以及他们在这些题目上的得分。
2. 注意力机制： 这是学生的大脑在决定关注哪些过去的示例。
3. 魔力： 论文显示，可以配置 AI 的大脑，使其对一个过去示例的“关注度”与其获得的得分直接成正比。如果一个示例得了高分，AI 就会给予大量注意力。如果得分很低，AI 几乎不会瞥它一眼。

作者证明了这个过程在数学上与 REINFORCE 方法是完全相同的，而 REINFORCE 是教导 AI 智能体实现奖励最大化的标准方法。简单来说，AI 正在根据分数计算一个“梯度”（移动的方向），有效地在说：“将我的内部状态向高分示例移动。”

安全网：为什么 AI 不会变得疯狂

这篇论文最令人兴奋的部分之一是，它还解释了为什么这个学习过程是安全且稳定的。在 AI 训练的世界里，如果你过度推动一个模型去改变，它可能会忘记之前掌握的所有知识，或者开始做出奇怪、毫无意义的回答。这被称为“分布偏移”（distribution shift）。

作者证明，由于 AI 只观察有限数量的示例（一个“上下文”），且分数是受限的（它们不能无限高或无限低），因此 AI 行为的变化也是受限的。他们推导出了一个数学极限，类似于“置信区域”（trust region），这保证了 AI 的新回答不会与旧回答太不一样。这就像过山车上的安全护栏：AI 被允许加速和转弯以寻找更好的答案，但数学确保它永远不会脱离轨道飞出去。

实验展示了什么

为了确保这不仅仅是一个漂亮的理论，作者在世界上最强大的 AI 模型上进行了测试，包括 Llama-3、Olmo-3、Qwen-3、GPT-4o 等。他们运行了实验，给模型提供带有分数的自身输出列表，并观察发生了什么。

以下是他们的发现：

• 分数至关重要： 当他们打乱分数（给一个坏答案高分，给一个好答案低分）时，AI 的行为发生了彻底改变。这证明了 AI 确实在阅读数字，而不仅仅是文本。
• “关注度”与分数匹配： 他们观察了 AI 的大脑内部，发现“注意力权重”（AI 对每个示例的关注程度）与分数强相关。分数越高，AI 对该示例的关注就越多。
• 它运作起来就像强化学习： 当他们将 AI 的行为与传统的强化学习算法（它显式地计算梯度）进行比较时，AI 移动的方向几乎是完全一致的。AI 正在进行同样的数学运算，只是它并没有被明确告知这样做。
• 随着时间推移而进步： 当他们让 AI 进行迭代操作（生成答案 $\rightarrow$ 获得分数 $\rightarrow$ 生成更好的答案 $\rightarrow$ 获得更高的分数）时，模型在数学推理和提示词优化等任务中的表现持续提升。

这意味着什么（以及它并不意味着什么）

论文非常谨慎地说明了它并未声称的内容。它并没有说 AI 在以人类的方式“思考”或“理解”。它也没有说 AI 在后台运行着一个复杂的优化程序。相反，它表明 AI 的架构通过其注意力机制自然地实现了一种优化形式。

作者强调，这是一种“结构性对应”（structural correspondence）。这意味着即使 AI 并不是在“试图”这样做，其数学逻辑也是成立的。他们还指出，他们的证明依赖于一些简化的假设（如线性注意力），但他们在真实、复杂的模型上的实验表明，这种行为在实践中同样成立。

简而言之，这篇论文解开了关于 AI 模型如何在不改变代码的情况下从反馈中学习的谜团。它揭示了当 AI 观察一份“好”与“坏”的示例列表时，它利用其注意力机制在数学上将自己拉向那些“好”的示例，从而有效地执行了策略梯度更新。这是复杂学习行为如何从简单、设计良好的数学结构中涌现出来的绝佳案例，它将 AI 变成了一个能够从自己的成绩中学习的自我进化型学生。