🤖 machine learning

Lifelong In-Context Learning with Transformers Requires Parametric Forms of Attention

本文认为，将上下文学习扩展到终身学习场景，需要用通过在线回归来学习键值关系的参数化注意力机制，取代标准 Transformer 中内存密集型的非参数化 Softmax 注意力，以维持恒定的内存占用，同时本文还指出了当前的局限性，并提出了旨在指导长周期 AI 智能体发展的开放性问题。

原作者： Luke McDermott, Robert W. Heath jr., Rahul Parhi

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Luke McDermott, Robert W. Heath jr., Rahul Parhi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题： “无限笔记本”陷阱

想象一下，你正试图教一个机器人成为一名终身助手。你希望它能从它所看到、听到和做的一切中学习，从它开启电源的那一刻起，直到它关闭的那一天。

目前的 AI 模型（Transformer）就像是那些能够通过你现在读给它们听的一个短篇故事来学习的优秀学生。这被称为上下文学习（In-Context Learning）。如果你说：“这里有一个规则：如果你看到红灯，就停下，”机器人会立即遵循它。

然而，这里有一个陷阱。为了记住这些规则，目前的模型使用了一种类似于不断增长的笔记本的方法。每当机器人学到一个新事实或看到一个新例子时，它就会在笔记本的新一页上写下内容。

问题在于： 随着机器人的寿命增长，笔记本会变得越来越厚。最终，这个笔记本会变得非常沉重（占用太多内存），并且阅读起来需要耗费太长时间（消耗太多计算能力），导致机器人无法正常运作。它撞上了“硬件墙”。它无法在口袋里揣着一本拥有百万页的笔记本。

提议的解决方案： “智能总结器”

作者认为，要让 AI 实现真正的终身学习，我们需要停止使用“不断增长的笔记本”，转而使用一个智能总结器（Smart Summarizer）。

与其记录每一个原始事实（例如“下午 2:00，我看到了一辆蓝色的车”），机器人应该学会将这些信息压缩进一个固定大小的精神模型中。

类比： 想象你在学习一门语言。
- 现有方法（非参数化）： 你保留一本字典，每当你学到一个新单词时，字典就会变大。最终，你无法携带这本字典。
- 新方法（参数化）： 你并不单独记忆每一个单词。相反，你学习语言的语法和模式。你的大脑（模型）大小保持不变，但它变得更擅长根据学到的规则来预测接下来的内容。

它是如何工作的：“测试时训练”

论文提出了一种构建这种“智能总结器”的具体方式。他们称之为测试时训练（Test-Time Training）。

请不要把机器人的注意力机制（即决定关注什么的那个部分）看作是一个静态的查找工具，而要把它看作是一个在老师还在讲课时就在做测试的学生。

设置： 机器人接收一段信息流（键 Key 和值 Value）。
任务： 它尝试猜测它们之间的联系。
更新： 在做出猜测后，它会立即检查自己是否正确。如果错了，它会立即调整其内部的“大脑权重”，以做得更好。
结果： 它不是通过存储“过去”来记住“未来”，而是通过更新其“当前”的理解来预测“未来”。

这使得机器人可以处理无限的信息流而永远不会耗尽内存，因为它不是在存储信息流，而是在从信息流中学习。

为什么现有的“捷径”行不通

论文指出，人们曾尝试通过使用**稀疏注意力（Sparse Attention）**来解决“不断增长的笔记本”问题。

类比： 这就像机器人决定：“我没法读完我的整个笔记本，所以我只保留最后 10 页，把我觉得无聊的页面都扔掉。”
缺陷： 这对短期任务有效，但对于终身智能体来说，这是行不通的。如果机器人把三周前写着“密码是 1234”的一页纸扔掉了，它今天就永远无法解开谜题。它需要将旧记忆合并到通用知识中，而不仅仅是删除它们。

障碍（开放性问题）

作者承认，虽然这种“智能总结器”的想法是正确的路径，但我们还没有完美的配方。他们为未来提出了三个主要问题：

目标是什么？ 机器人应该只是尝试记住精确的事实（比如相册），还是应该尝试理解事实背后的概念（比如哲学家）？论文建议我们需要教会机器人进行泛化，而不仅仅是记忆。
如何学习趋势？ 如果机器人在今天学到了某些东西，它如何确保这些知识在明天不会被覆盖？我们需要更好的方法来更新它的脑部，使其能够记住长期模式，而不仅仅是最后几秒钟。
它应该向什么学习？ 目前，机器人从简单的线性连接中学习。也许我们需要教它去寻找数据中更复杂的非线性模式，从而真正理解世界。

总结

论文认为，要让 AI 成为真正的终身伴侣，它必须停止尝试将所有内容都记在一个巨大的、不断增长的文件中。相反，它必须学会持续更新一个固定大小的大脑，以此来总结经验。这需要改变 AI “关注”的方式，将其从一个静态的图书管理员转变为一个动态的学习型学生，随着每一刻的到来而变得更加聪明，且永远不需要更多的空间。

技术摘要：基于 Transformer 的终身上下文学习

问题陈述
现代 AI 系统（主要基于 Transformer）依赖于在有限数据集上的离线训练。尽管它们通过上下文学习（In-Context Learning, ICL）展现出了“智能的火花”，但标准的 Softmax 注意力机制在终身学习方面面临着根本性的可扩展性障碍。Softmax 注意力的二次方特性要求维护一个不断增长的键值（KV）缓存，导致推理成本和内存占用随上下文长度线性增加。这使得智能体无法在固定硬件预算下处理任意长的序列（例如人类一生的 Token 流）。目前的稀疏注意力方法通过剔除 Token 来缓解这一问题，但它们无法将过去的经验合并为通用的知识或任务相关的充分统计量，因此不足以处理需要建模整个上下文的任务。

方法论与视角
本文将注意力重新定义为不仅仅是一种检索机制，而是一种执行测试时回归（Test-time Regression）的在线学习算法。

注意力即回归： 作者将注意力机制视为构建一个估计器 $m_t$ ，该估计器根据 Transformer 自身生成的自监督训练集，将键（ $k$ ）映射到值（ $v$ ）。查询（ $q$ ）充当无标签的测试点，输出则是预测的值。
非参数化 vs. 参数化：
- 非参数化（Softmax）： 标准 Softmax 注意力被识别为一种 Nadaraya-Watson 核回归估计器。它将原始的键值对作为“参数”存储，导致内存增长无界。
- 参数化： 本文提倡使用参数化形式的注意力，其中键到值的关系由一个有限维度的、可在线更新的神经网络（参数 $\theta_t$ ）来学习。这用一个固定大小的表示取代了不断增长的 KV 缓存。
测试时训练（TTT）： 提出的解决方案利用 TST，其中参数模型 $\theta_t$ 在推理阶段通过梯度下降进行更新，以最小化在传入的键值对流上的损失函数（例如 Delta 规则、Hebbian 规则或 Omega 规则）。这涵盖了线性注意力、状态空间模型（SSMs）以及快速权重编程器（Fast-weight Programmers）。

核心贡献

理论统一： 本文通过参数化测试时回归的视角，统一了多种近期的架构（线性注意力、SSM、快速权重记忆）。作者认为，这些不仅仅是 Transformer 的替代方案，更是实现终身学习的必然演进。
形式化局限性： 文中明确证明了非参数化估计器（如 Softmax）无法在固定硬件下支持终身学习，因为它们无法抽象或压缩过去的经验；它们仅仅是在回忆原始 Token。
终身 ICL 的必要条件： 作者定义了支持终身学习所需的四个必要属性：
- 具有表达能力的上下文记忆（理解概念，而非仅仅回忆 Token）。
- 每 Token 推理成本与上下文长度无关。
- 可并行更新（以利用现代 GPU/TPU）。
- 无需剔除的记忆（将过去合并入一个有界的表示中）。
识别开放性问题： 本文并未提出单一的新架构，而是将当前的差距归纳为三个关键研究方向：
- 目标设计： 如果目标不是完美记忆键值对，那么正确的在线目标是什么？本文指出正则化（如门控、权重衰减）对于防止过拟合于即时上下文并促进泛化至关重要。它强调多头线性注意力起到了一种隐式正则化的作用。
- 长程信号： 如何让在线损失函数高效地捕捉随时间变化的趋势？本文批判了瞬时更新（会导致灾难性遗忘），并指出批处理更新（滑动窗口）和辅助状态（动量、二阶优化器）是极具前景但尚未得到充分探索的方向。
- 自监督标签生成： 应如何生成键和值？本文质疑线性投影是否足够，或者是否需要非线性特征映射和更丰富的自监督任务（例如每个 Token 对应多个 KV 对），以迫使在线学习器捕获更高层级的结构。

结果与主张
本文并未展示新的经验基准或具有 SOTA 结果的具体创新架构。相反，其“结果”是理论性和分析性的：

它证明了 Softmax 注意力在数学上等价于特定的非参数化核回归，解释了其内存限制的原因。
它论证了具有多个头的线性注意力充当了正则化器，防止模型完美拟合训练数据（这对于泛化是有利的）。
它认为当前的参数化方法（如线性注意力或 SSM）是很有前景的候选方案，但由于内存容量有限、更新规则低效以及目标设计欠佳，目前仍显不足。

意义
本文的意义在于其范式转移：将注意力从一种静态的检索工具转变为一种动态的在线学习器。

它挑战了仅靠外部检索工具增强的当前 Transformer 主干网络的充分性，认为内部参数化记忆对于将情景轨迹（Episodic Traces）转化为可重用的内部结构是必不可少的。
它呼吁研究领域从自监督学习、强化学习和持续学习进行融合，以解决更新效率、记忆容量和目标设计等特定瓶颈问题。
最终，它断言，为了让 AI 智能体能够在长周期（数月或数年）内运行，它们必须采用参数化注意力机制，在保持恒定内存占用的同时，从经验中进行运行时学习。