🤖 machine learning

Can In-Context Learning Support Intrinsic Curiosity?

本文研究了上下文学习是否可以取代用于内在好奇心驱动数据选择的高昂梯度更新，并证明了尽管在一般的马尔可夫决策过程中无法实现无偏的学习进度估计，但在主动学习和贝叶斯实验设计等非时序场景中，这种估计是可行且有效的。

原作者： Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名侦探，正在试图破解一个从未见过的房间里的谜团。你有一个笔记本（你的“世界模型”），你在上面记录下你认为正在发生的事情。为了更好地破解谜团，你需要决定下一步该看哪里。

你应该盯着一个随机闪烁的灯泡，还是去检查一个可能藏有线索的锁着的盒子？

这篇论文探讨的是：能否让一个超级聪明的 AI 学会变得好奇，并挑选出正确的观察对象，而不需要不断地重写自己的大脑？

以下是利用简单的类比对他们发现进行的拆解。

1. 旧方法：“重写大脑”问题

传统上，为了教会 AI 变得好奇，研究人员使用了一种叫做“学习进度”（Learning Progress）的方法。

核心思想： AI 观察某样东西，更新它的脑子（重写它的笔记本），然后检查：“在我观察它之后，我对它的理解是否变好了？”如果是，它会获得一个“好奇心奖励”。
问题所在： 为了做到这一点，AI 必须停下来，在自己的脑海中运行复杂的数学模拟来更新大脑，然后再检查结果。这就像你试图学习一门新语言，却在说每一句话之前都要停下来重写一遍整本词典。对于大型 AI 模型来说，这太慢、太昂贵的。

2. 新工具：“上下文学习”（即时先知）

作者使用了一种特殊的 AI 类型（类似于现代聊天机器人背后的技术），它具有**上下文学习（In-Context Learning, ICL）**能力。

类比： 想象一位读遍了图书馆所有书籍的天才。你不需要教他任何新知识。相反，你只需要递给他几页故事（“上下文”），他就能立刻知道接下来的剧情。他不需要重写大脑；他只需利用你给他的故事来进行预测。
目标： 我们能否利用这个“即时天才”来告诉我们的智能体（Agent）该看什么，而不需要智能体停下来重写大脑？

3. 重大发现：这取决于房间

论文证明了这种“即时天才”的技巧在某些情况下有效，但在另一些情况下会失效。

❌ 陷阱：“嘈杂的电视机”（通用环境）

在一个混乱、复杂的世界里（比如一个通用的视频游戏），即时天才会被欺骗。

类比： 想象房间里有一台播放着静电噪音的电视机。一个简单的好奇心系统会说：“哇，那台电视真不可预测！我通过盯着它获得了巨大的奖励！”
结果： AI 会永远坐在静电噪音前，学不到任何有用的东西。论文证明，在这些混乱的世界中，你无法轻易地通过“即时天才”来让它忽略噪音并专注于真正的线索。如果不进行昂贵的大脑更新，数学逻辑就无法成立。

✅ 成功：“受控实验室”（贝叶斯实验设计）

然而，在一种特定的实验环境下（比如你正在进行一系列实验，如测试不同的药物或破解密码），这个技巧运作得非常完美。

类比： 想象你在一个实验室里，你丢下一个球，观察它的落点。这里的“噪音”（风、颠簸）与“线索”（重力）是分离的。
结果： 作者创建了一种衡量好奇心的新方法（称为 $r_{sum}$ ），它使用了这个“即时天才”。
- 它会问：“如果我没有看到这个特定的线索，我对实验剩余部分的预测会变差多少？”
- 如果答案是“很多”，AI 就知道它找到了一个关键线索。
- 如果答案是“没多少”，那它只是噪音。

4. 实验：测试理论

团队在三个不同的“房间”中测试了这一点：

制图师（高斯过程）： 尝试绘制一张平滑的崎岖地形图。
- 结果： 旧方法（盯着噪音看）惨败。新方法（ $r_{sum}$ ）成功地忽略了那些崎岖、多噪的部分，专注于平滑且重要的部分。
破译者（摩斯密码/猜颜色游戏）： 试图猜出一个秘密的颜色代码。
- 结果： 当他们加入“邪恶”的随机噪音时，旧方法变得混乱并开始随机玩耍。新方法则保持了完美的破译能力。
炼金术士（炼金术）： 试图弄清楚哪些药水能把石头变成其他石头。
- 结果： 同样，新方法忽略了虚假的、随机的反应，并学会了真实的规则。

核心结论

论文声称，上下文学习可以支持“内在好奇心”，但前提是你处于一个受控的实验设置中。

它的作用： 它允许 AI 在无需每秒都停下来重新训练大脑的情况下，搞清楚哪些数据是有价值的收集对象。
它避免了什么： 它避免了 AI 被随机混沌所分心的“嘈杂电视机”问题。
局限性： 它最适合于 AI 正在运行一系列独立的实验（就像实验室里的科学家），而不一定适用于在混乱、连续的世界中航行的场景（比如视频游戏或自动驾驶汽车，至少目前还不是这样）。

简而言之：他们找到了一种利用“预读”技巧来激发 AI 好奇心的方法，但目前这是一种属于实验室科学家的超能力，而非荒野探险家的技能。

技术摘要：上下文学习能否支持内在好奇心？

问题陈述
有效的机器学习不仅依赖于对数据的建模，还依赖于数据的自动选择，这一过程通常被称为“内在好奇心”（intrinsic curiosity）。内在好奇心的理论金标准是贝叶斯信息增益（Bayesian Information Gain, BIG），它衡量了从一次观测中获得的关于环境潜在参数（ $\theta$ ）的预期信息量。然而，计算 BIG 通常是难以处理的（intractable），因为它需要在假设空间上进行显式的贝叶斯推理。

经典的替代方案，如学习进度（Learning Progress, LP），根据世界模型在获取新数据后预测能力的提升来奖励智能体。虽然在理论上是合理的，但传统的 LP 实现需要在每个轨迹步骤都对世界模型进行昂贵的梯度下降更新内循环。这种计算瓶颈使得 LP 在大规模序列模型中难以实现。这项工作的核心问题是：上下文学习（In-Context Learning, ICL）——即序列模型作为一种摊销的、无需更新的预测器——是否可以作为一种可行的世界模型，通过近似 BIG 来高效地计算内在好奇心奖励，而无需显式的参数更新。

方法论
作者将该设定形式化为一个贝叶斯自适应马尔可夫决策过程（BAMDP），其中策略 $\pi_\phi$ 与从先验 $p(\theta)$ 中采样的环境进行交互。目标是使用一个冻结的、预训练的序列模型 $\rho$ （一个上下文学习器）的预测误差，来最大化互信息 $I(s_t; \theta | h_t)$ (BIG)。

作者提出了三种源自 $\rho$ 的内在奖励类型：

惊异度（Surprisal, $r_{sur}$ ）： 观测值的负对数似然， $-\log \rho(s_t | h_t)$ 。
描述长度减少（Description Length Reduction, $r_{dl}$ ）： 如果当前的转移被包含在模型的上下文中，其对数似然的提升；这在理论上需要对后验进行反事实更新。
累加未来改进（Summed Future Improvement, $r_{sum}$ ）： 一种新型奖励，衡量如果当前状态被观测到与被掩盖时，未来所有步骤预测误差改进的级数和。其定义为：
$r_{sum}^t := \sum_{t'=t+1}^T [\log \rho(s_{t'} | h_{t'}) - \log \rho(s_{t'} | h_{t' \setminus t})]$
其中 $h_{t' \setminus t}$ 表示掩盖了 $s_t$ 后的历史记录。

作者进行了理论分析，以确定这些奖励在一般 BAMDPs 与受限的**贝叶斯实验设计（Bayesian Experimental Design, BED）**设置（即给定动作和潜在参数时，转移是条件独立的，例如主动学习）中，是否能无偏地估计 BIG。

核心贡献

一般 BAMDPs 中的理论极限：
作者证明，对于一般的 BAMDPs，任何通过上下文学习器接口实现的有限时界奖励，都不可能是 BIG 的无偏估计量。
- 惊异度 ( $r_{sur}$ ) 被证明受到**偶然熵（aleatoric entropy）**的偏差影响（即“嘈杂电视”问题/noisy TV problem），它会奖励不可预测的噪声而非可学习的结构。
- 学习进度 ( $r_{dl}$ ) 通常无法通过 ICL 实现，因为它需要修改模型的后验分布，这超出了冻结序列模型的标准预测接口范围。
- 累加改进 ( $r_{sum}$ ) 是可实现的，但存在持久的**“溯因”偏差（abductive bias）**（即当前状态与下一个观测值之间无法由 $\theta$ 解释的耦合关系）以及一个仅在轨迹长度 $T \to \infty$ 时才会消失的残差项。
在贝叶斯实验设计（BED）中的积极结果：
在 BED 设置下（其中 $p(s_t | s_{t-1}, a_{t-1}, \theta) = p(s_t | a_{t-1}, \theta)$ ），结构性障碍消失了：
- $r_{sum}$ 中的溯因偏差消失，使其成为 BIG 的渐近无偏估计量（当 $T \to \infty$ 时）。
- $r_{dl}$ 可以通过反事实动作承诺（重用动作）来实现，并随着 $t \to \infty$ 收敛至 BIG，其偏差受限于 Jensen 间隙（Jensen gap）。
- 作者确立了在 BED 设置下， $r_{sum}$ 和 $r_{dl}$ 分别提供 BIG 的下界和上界。
实证验证：
实验在三个环境中进行：高斯过程（GP）函数估计、猜数字游戏（Mastermind）（破译代码）以及炼金术（Alchemy）（规则发现）。
- 噪声鲁棒性： 在这些环境的噪声变体中，使用 $r_{sur}$ 训练的策略表现显著下降，由于“嘈杂电视”问题，其表现往往比随机基准线还要差。
- 性能： 使用 $r_{sum}$ 和 $r_{dl}$ 训练的策略成功学会了忽略偶然噪声并专注于认识不确定性（epistemic uncertainty），实现了与使用特定任务奖励 ( $r_{task}$ ) 训练的策略相当甚至更优的性能。
- 模型效率： 实验表明，预训练序列模型（先验拟合网络/Prior-Fitted Networks）可以有效地近似这些奖励所需的复杂贝叶斯先知（oracles），验证了使用 ICL 进行内在好奇心的可行性。

意义与主张
本文声称提供了首次关于使用上下文学习器时，基于预测的内在奖励与贝叶斯信息增益之间关系的严谨理论特征化。研究表明，虽然由于固有的偏差和接口限制，ICL 无法完美复制一般序列决策过程中的 BIG，但它成功支持了 BED 设置下的内在好奇心。

其意义在于展示了一条计算高效的路径，通过绕过昂贵的基于梯度的世界模型更新来实现驱动式探索。通过证明 $r_{sum}$ 和 $r_{dl}$ 在特定且相关的设置（如主动学习）中可以渐近地恢复 BIG，这项工作表明，大型序列模型可以作为数据收集策略的有效“世界模型”，使智能体能够在没有明确任务定义或参数更新的情况下实现最优探索。作者保持了谦逊，指出将此扩展到具有时间结构的通用 BAMDPs 仍是一个开放性挑战，需要进一步的架构或方法论创新。