🤖 machine learning

Continuous Latent Contexts Enable Efficient Online Learning in Transformers

本文表明，为 Transformer 配备连续潜在上下文令牌可使其高效实现加权多数和 Q 学习等在线学习算法，从而使小型模型在长期自适应任务上显著优于规模大得多的语言模型。

原作者： Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在通过观察四位专家玩一场新游戏来学习。每一轮，专家们都会做出猜测，然后你会得知谁猜对了。你的目标是通过找出哪位专家最可靠，从而随着时间的推移做出尽可能好的猜测。

本文探讨的是如何教导**AI 模型（特别是"Transformer"）**高效地进行此类学习，而无需在每次获取新信息时重写其整个“大脑”（参数）。

以下是他们发现的分解，使用了简单的类比：

1. 问题：具有“短期记忆”的 AI

标准的大型语言模型（LLM）擅长审视长对话并预测接下来的内容。这被称为“上下文学习”。然而，当游戏持续很长时间（数百轮）时，这些模型就会陷入困境。它们往往会忘记大局，或者被过去猜测的巨大数量搞得晕头转向。它们的表现就像一个试图仅通过查看最后几句话来记住 100 页故事的人，而不是在脑海中保持一个持续的摘要。

2. 解决方案：“连续草稿纸”

作者提出赋予 AI 一种特殊工具：连续潜在上下文令牌（Continuous Latent Context Tokens）。

旧方法（离散令牌）： 想象 AI 试图通过写下“专家 A 很好”或“专家 B 很差”这样的词语来记分。这占用大量空间且容易变得杂乱无章。
新方法（连续令牌）： 想象 AI 拥有一个微小的、看不见的草稿纸，它可以在上面写下非词语的数字。它可以像混合颜料一样将这些数字融合在一起。
- 它不再写下“专家 A 的可靠性为 80%"，而是持有一个代表该 80% 可靠性的单一、平滑的“颜色”。
- 当新的一轮发生时，它不需要写下一句新话。它只需微妙地调整草稿纸上的颜色来更新分数。

这个“草稿纸”是紧凑的（占用空间极小）且持久的（它伴随 AI 从一轮过渡到下一轮）。

3. 证明：教导 AI 数学

研究人员不仅希望这能奏效，他们还通过数学证明了这一点，并训练了一个小型 AI 来执行此操作。

加权多数算法（Weighted Majority Algorithm）： 他们表明，有了这个草稿纸，一个微小的 AI 可以完美地模仿一种用于追踪专家可靠性的著名数学算法。这就像给 AI 配备了一个计算器，可以瞬间自动更新每位专家的“信任分数”。
Q 学习（视频游戏类比）： 他们还教导 AI 玩一个简单的视频游戏（马尔可夫决策过程）。在这个游戏中，AI 必须学习哪些动作能带来最佳奖励。
- 通常，AI 需要一个巨大的表格来记住每个可能动作的价值。
- 有了连续草稿纸，AI 将整个“价值表”存储为几个融合的数字。它可以在每次移动后瞬间更新策略，就像人类玩家从经验中学习一样。

4. 惊喜：小型 AI 与巨型 AI

论文中最令人惊讶的部分是关于“前沿”模型（如 DeepSeek-V3 和 Qwen-3-14B 等庞大、强大的 AI）的实验。

设置： 他们要求这些巨型 AI 玩专家猜测游戏。
结果：
- 没有草稿纸： 巨型 AI 挣扎不已。它们依赖短期记忆（例如“上一个人是对的，所以我也猜那个”），在长序列中表现不佳。
- 有了草稿纸（“笔记”）： 研究人员允许巨型 AI 在每一轮后写一个简短的“笔记”来总结它们学到的内容。
- 结果： 当允许巨型 AI 写这些笔记时，它们的性能突飞猛进。它们开始表现得像作者构建的那个数学上完美的小型 AI。

关键点： 巨型 AI 并不天生知道如何写好笔记。必须提示它们这样做。当它们这样做时，它们意识到总结过去（例如“专家 A 的准确率为 90%"）比仅仅记住原始历史要好得多。

5. 结论

该论文认为，连续潜在上下文（这种不可见的、融合数字的草稿纸）是让 AI 在长期学习中变得高效的关键。

小型 AI + 草稿纸： 可以完美且高效地学习复杂的在线策略。
巨型 AI + 草稿纸： 可以突然在长期决策方面变得强大得多，甚至超越那些没有这种“状态”机制的更大模型。

简而言之，该论文表明，为了让 AI 真正擅长随时间学习，我们不应仅仅让模型变得更大；而应该给它们一种更好的方式来保留所学内容的摘要，使用“连续”的内部状态，而不仅仅是一长串词语。

技术摘要：连续潜在上下文使 Transformer 能够实现高效的在线学习

问题陈述

大语言模型（LLMs）展现出强大的上下文学习能力，能够在不更新参数的情况下从标记示例中推断预测器。然而，许多交互式场景需要在线决策，即模型必须根据反馈在长期的多轮交互中不断适应。有效的在线学习需要维护所学信息的紧凑表示（即算法状态），以指导未来的决策。

标准的思维链（CoT）提示通过离散 token 表示中间推理过程，对于复杂且长视野的任务，这可能会变得过长而不切实际。关于连续思维链（如 COCONUT）的最新研究表明，连续潜在状态可以在词汇 token 的“叠加态”中携带信息，从而可能提供更紧凑的上下文表示。本文探讨的核心问题是：连续潜在上下文 token 能否赋予 Transformer 有效实施在线学习算法的能力，具体而言，即通过将算法状态存储并更新为特征嵌入的线性组合。

方法论

本文采用理论构建与实证验证相结合的双重方法：

1. 理论构建

作者提供了配备连续潜在上下文 token 的常数深度因果 Transformer 的显式构建（遵循 COCONUT 架构），以实施两种基础的在线决策过程：

加权多数算法（WMA）：
- 机制： Transformer 在单个连续上下文向量中维护 WMA 的状态。该向量作为专家嵌入的叠加态（线性组合），其中每个专家嵌入的系数对应于该专家权重的对数。
- 操作：
  - 预测： 一个软注意力头将状态向量与专家预测键进行查询，以计算加权多数预测。
  - 更新： 收到真实标签后，状态向量通过线性注意力操作进行更新，以增加正确专家的 log-权重（乘性权重更新）。
- 结果： 该构建证明，具有 $O(1)$ 个头的常数深度 Transformer 可以精确恢复指数权重更新规则。
表格 Q 学习：
- 机制： Transformer 为马尔可夫决策过程（MDPs）实施在线表格 Q 学习。Q 表被编码为一组连续上下文 token，其中每个 token 代表 Q 表的一行（按动作索引），作为状态嵌入的叠加态。
- 操作： Transformer 在每一步执行两项任务：
  1. 评估： 检索当前 Q 值以选择动作（实现 $\max_a Q(s, a)$ ）。
  2. 更新： 通过将各项写入不相交的子空间并在残差流中线性求和，计算贝尔曼更新（ $Q(s, a) \leftarrow Q(s, a) + \alpha[r + \gamma \max_{a'} Q(s', a') - Q(s, a)]$ ）。
- 结果： 研究表明，一个四层因果 Transformer 可以在每一步精确实施 Q 学习更新。

2. 实证验证

作者使用多课程目标训练了带有连续潜在上下文的小型 GPT-2 风格 Transformer，这些目标并未直接监督潜在状态。

从专家数据中无监督学习： 一个小型 Transformer（4 层，约 20 万参数）在专家预测序列上进行了训练。该模型学会了维护编码专家可靠性的潜在上下文，其性能达到了最优乘性权重算法的水平。
Q 学习的模仿学习： 一个类似的小型 Transformer 在由表格 Q 学习生成的轨迹上进行了训练。该模型学会了输出与表格贪婪策略一致的动作。线性探针证实，贝尔曼更新的组成部分（奖励、当前值、自举值）在残差流中被明确表示。
前沿 LLM 评估： 作者在交互式专家预测任务上评估了大型模型（Qwen-3-14B 和 DeepSeek-V3）。他们比较了标准协议与允许模型输出简短的无监督“笔记”以携带状态信息的协议。

关键结果

理论可行性： 本文证明，带有连续潜在上下文的常数深度 Transformer 可以通过将算法状态存储为固定数量上下文 token 中的叠加态，在理论上实现复杂的在线学习算法（WMA 和 Q 学习）。
小模型效率： 在合成在线预测任务中，训练后的小型 Transformer（4 层，20 万参数）在长序列决策任务上的表现优于显著更大且更复杂的 LLM（148 亿参数的 Qwen-3-14B 和 6710 亿参数的 DeepSeek-V3）。
潜在状态恢复： 在训练后的小型模型中，观察到注意力机制聚焦于潜在上下文 token，且线性探针成功从这些 token 中解码出算法状态（专家权重或 Q 值），证实模型学会了将上下文用作持久状态。
LLM 状态局限性： 前沿 LLM 显示出一定的适应反馈能力，但在允许输出携带状态信息的显式“笔记”时表现显著更好。然而，这些 LLM 通常依赖于线性增长的文本笔记（例如逐轮记录），而不是紧凑的状态表示。相比之下，所提出的连续潜在上下文方法无论序列长度如何，都使用恒定数量的 token。

意义与主张

本文主张连续潜在上下文为 Transformer 实施在线学习算法提供了一种简单而有效的持久状态。

算法解释： 结果支持了对连续潜在推理的算法解释，表明 Transformer 不仅可以将其上下文用作被动记忆缓冲区，还可以将其用作主动的、持久的在线学习状态，从而能够实施特定算法。
效率： 该方法强调了连续潜在表示相对于基于离散 token 的推理在需要长视野状态维护的任务中的价值。它表明，配备适当归纳偏置（连续上下文）的小型模型可以超越依赖离散 token 链进行状态跟踪的巨型模型。
局限性： 作者指出，他们的理论构建是 worst-case 最优的，而从基于梯度的自然语言数据训练中涌现出这些特定更新规则仍然是一个未解之谜。他们还承认，他们的研究仅限于简化的决策设置，向现实世界推理的泛化尚未确立。

这项工作将连续潜在推理定位为离散思维链在在线决策中可扩展性问题的潜在解决方案，为 Transformer 架构中更高效、更紧凑的状态维护提供了一条路径。