🤖 AI

Continual Learning Bench: Evaluating Frontier AI Systems in Real-World Stateful Environments

本文介绍了持续学习基准（CL-Bench），这是首个经过专家验证、涵盖六个不同现实世界的领域，旨在将在线学习能力与先前的模型知识进行隔离，从而揭示了当前的尖端人工智能系统和专门的记忆架构在通过连续经验进行真正的提升方面仍面临困难，并且其表现往往不如朴素的上下文学习。

原作者： Parth Asawa, Christopher M. Glaze, Gabriel Orlanski, Ramya Ramakrishnan, Benji Xu, Asim Biswal, Vincent Sunn Chen, Frederic Sala, Matei Zaharia, Joseph E. Gonzalez

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Parth Asawa, Christopher M. Glaze, Gabriel Orlanski, Ramya Ramakrishnan, Benji Xu, Asim Biswal, Vincent Sunn Chen, Frederic Sala, Matei Zaharia, Joseph E. Gonzalez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文 "Continual Learning Bench (CL-BENCH)" 的解释，使用了通俗易懂的语言和日常类比。

核心理念：“学习” vs “记忆” 的测试

想象一下，你雇佣了一位新助手来帮你管理一个混乱的办公室。

旧方式： 你给他们一本厚厚的说明书（预训练），然后让他们解决一个问题。如果他们做对了，很好；如果做错了，你就直接跳到下一个问题，而不让他们从错误中学习。
新方式（持续学习）： 你想要的是一位在工作过程中变得越来越聪明的助手。如果他们在周一搞错了文件归档系统，他们在周二应该修正自己的思维模型，这样就不会再犯同样的错误。

问题在于：我们如何知道这个助手是真的在学习，还是仅仅凭借已有的知识在进行极其高明的猜测？

这篇论文介绍了 CL-BNECH，这是一个旨在测试 AI 系统是在从日常经验中真正学习，还是仅仅依赖其原有的脑力。

1. 游乐场：六种不同的“游戏”

为了测试这些 AI 助手，研究人员构建了六个不同的“房间”（领域），每个房间都设计成了一个规则在开始时并未写明的谜题。你必须通过实际操作来摸索规则。

可以将这些房间看作是 AI 必须完成的不同工作：

数据库侦探： AI 必须向一个神秘数据库提问。起初，数据表的名称很奇怪，数字是以“分”而不是“元”为单位。AI 必须学会这些特性，以便在之后能用更少的提问来获取信息。
扑克玩家： AI 与拥有固定、可预测习惯的对手玩扑克。AI 必须学会识别“哪种”对手正在玩，并调整策略以赢取更多钱。
销售预测师： AI 预测家具的销量。数据每周都在变化（不同的商店、不同的产品），但其中隐藏着模式（例如“椅子在夏天卖得更好”），AI 必须发现这些模式。
代码修复员： AI 必须修复软件中的漏洞。不同的项目有不同的规则。AI 应该学会如何在处理项目 A 时寻找错误，从而更快地修复项目 B。
信号猎人： AI 监听无线电波。有些信号出现又消失。AI 必须记住哪些信号存在，即使它们目前处于静默状态，以免误以为它们已经永久消失。
疾病追踪者： AI 分析医学研究报告。每项研究对同一事物的称呼都不同。AI 必须学会这些术语之间的转换，以获得更全面的患者生存状况图景。

转折点： 在这些游戏的进行过程中，规则会发生变化（比如数据库迁移或出现了新对手）。一个聪明的学习者应该能察觉到变化并进行调整。而一个“笨”的学习者则会固守旧规则并最终失败。

2. 计分卡：他们真的学到了吗？

研究人员意识到，仅仅看最终得分是不够的。一个超级聪明的 AI 可能仅仅因为天生极其聪明而获得高分，而不是因为它学到了新东西。

因此，他们发明了一个 “增益”（Gain）指标。

类比： 想象两名跑步者。
- 跑步者 A（无状态/Stateless）： 跑完一场比赛后，忘掉所有经历，然后从头开始跑第二场完全相同的比赛。
  면서 跑步者 B（有状态/Stateful）： 跑完比赛，记住了路径，然后再次跑同样的比赛。
- 增益： 如果跑步者 B 仅仅是稍微快了一点，说明他们没学到什么；如果跑步者 B 快了非常多，说明他们确实掌握了这条路线。

CL-BENCH 准确测量了“具有记忆能力的”AI 比起“会遗忘的”AI 快了多少。这有效地将学习能力与原始智力区分开来。

3. 令人震惊的结果：“简单的记录员”胜出

研究人员使用不同的记忆系统测试了目前最先进的 AI 模型（即“前沿”模型）：

“超级大脑”（原生 ICL）： 仅仅将整个对话历史保留在聊天窗口中。没有使用特殊的记忆技巧。
“文件柜”（Mem0, ACE 等）： 试图像人类文件系统一样进行总结、存储和检索特定记忆的系统。
“便签本”（Notepad）： 一种强制要求 AI 写笔记的系统。

结果：
那个 “简单的记录员”（保留整个聊天历史）的表现实际上比那些复杂的专用记忆系统更好。

原因： 那些花哨的记忆系统经常会产生混乱。它们可能会“记住”错误的东西，或者会陷入旧有的观念中无法自拔，即便规则已经改变，它们也拒绝更新观点。
失败模式： AI 经常会对即时过去的情况产生“过拟合”。如果它在第 10 个问题上犯了错，它会盲目地将同样的错误应用到第 11 个问题上，即使上下文已经发生了变化。它很难做到说：“等等，那个旧规则在这里不再适用了。”

底线是： 即便是现今最顶尖的 AI 系统，在持续学习方面也非常糟糕。它们擅长解决难题，但在动态环境中实现“随着时间推移而变得更聪明”方面却表现不佳。

4. 为什么这很重要

论文的结论是：我们目前正处于停滞状态。我们拥有可以解决复杂问题的 AI，但我们还没有拥有能够从长期的现实交互中学习，且不会因此感到困惑或遗忘的 AI。

CL-BENCH 是第一个证明这种差距存在的工具。它表明：

当前的 AI 系统在性能提升方面留下了大量的“上升空间”（潜力）。
添加复杂的记忆模块并不一定会解决问题；有时甚至会让情况变得更糟。
我们需要新的方法来构建能够随着周围世界的变化而进行适应、遗忘和重学的 AI。

简而言之：我们已经造出了非常聪明的 AI，但我们还没有造出优秀的“学生”型 AI。

技术摘要：持续学习基准 (CL-BENCH)

问题陈述

尽管构建能够通过连续经验进行改进的 AI 系统引起了广泛关注，但目前仍缺乏一个高质量的基准来严谨地评估这种能力。现有的语言智能体（language agents）和记忆系统评估协议主要依赖于诸如长上下文中的召回忠实度（recall fidelity）、针对先前数据的问答或离线任务准确率等代理指标。这些指标无法测试系统是否真正通过发现并利用相关任务间共享的潜在结构来进行“在线”学习。此外，目前的基准测试往往将性能提升与底层模型能力混为一谈，导致难以将真正的学习过程与预训练知识区分开来。

方法论

CL-BENCH 框架

作者引入了 CL-BENCH (Continual Learning Bench)，这是第一个旨在衡量基于 LLM 的系统是否真正通过连续经验获得改进的、经过专家验证的高难度基准。该基准涵盖了六个不同的现实世界领域：

盲谱监测 (Blind Spectrum Monitoring)： 从部分且带有噪声的扫描中映射持久的射频（RF）发射器。
代码库适配 (Codebase Adaptation)： 在两个代码库中解决 GitHub 问题，学习文件布局和测试模式。
队列研究 (Cohort Studies)： 在五个具有不同模式和偏差的不同流行病学研究中估算患者生存曲线。
数据库探索 (Database Exploration)： 针对具有模糊化模式和数据格式的未知 SQLite 数据库回答自然语言问题。
可利用扑克 (Exploitable Poker)： 对抗具有固定且可被利用策略的确定性对手。
销售预测 (Sales Prediction)： 在旋转的数据可见性和干扰列的情况下，预测商店和产品的需求。

任务设计准则

为了确保任务衡量的是“学习”而非静态能力，CL-BENCH 任务的构建必须满足三个严格的标准：

上升空间 (Headroom)： 初始性能必须远低于最大可实现性能。待学习的潜在结构（例如，模式约定、对手策略）必须是任务特定的，且无法仅通过通用的离线训练来恢复。
共享潜在结构 (Shared Latent Structure)： 任务内的实例必须共享可被发现的结构（例如，代码库布局、疾病动态），系统可以利用该结构随时间推移来提高性能。这种结构不会被显式传达，但必须从经验中推断出来。
学习机制 (Learning Mechanism)： 环境必须提供反馈回路（例如，错误消息、中间预测），使累积的经验能够转化为未来实例的可操作知识。

任务还引入了概念漂移 (concept drift)（例如，数据库迁移、对手策略变化），以测试系统是否能够适应并丢弃过时的知识，而不是盲目记忆。

验证流程

每个任务都经过严格的验证过程：

作者评审： 两名作者验证任务是否符合上述三个设计准则。
专家小组： 每项任务由 2-3 名领域专家对真实性（反映现实工作流）、可复用知识（模式在步骤间转移）和学习改进（可衡量的性能增益）进行评审。
决策： 只有在所有维度上都通过验证的任务才会被接受。

评估指标

论文引入了两个主要指标来分析性能：

奖励 (Reward)： 跨一系列实例的累积结果（例如，查询效率、预测准确率）。
增益 (Gain)： 一个旨在将学习从基础能力中分离出来的指标。它定义为系统的有状态性能 ( $r_{sf}$ $r_{s f}$ ) 与其在相同实例上进行无状态运行 ( $r_{sl}$ $r_{s l}$ ) 时的性能之差： $g_t = r_{sf,t} - r_{sl,t}$ $g_{t} = r_{s f, t} - r_{s l, t}$ 。
- 归一化增益 (Normalized Gain)： 为了允许跨任务比较，增益通过系统特定的“上升空间”（任务最大值与无状态基准之间的差值）进行归一化。

核心贡献

CL-BENCH 基准： 一套经过专家验证的、涵盖现实世界领域的六个高难度任务，专门用于将在线学习从底层模型能力中分离出来。
指标创新： 引入了 Gain 指标及其归一化变体，这使得研究人员能够区分一个系统仅仅是“强大”，还是能有效地从连续经验中学习。
实证评估： 对包括 Claude Opus 4.7、Sonnet 4.6、GPT-5.4 和 Gemini 3.1 Pro 在内的前沿模型进行了大规模评估，涵盖了多种智能体架构。

结果

通过 CL-BENCH 对前沿模型的评估揭示了当前持续学习能力的显著差距：

朴素 ICL 优于专用记忆模块： 令人惊讶的是，具有全上下文保留的上下文学习 (In-Context Learning, ICL)（不使用专门的记忆模块）的表现始终优于具有专用记忆架构的系统（如 Mem0、ACE、ICL Notepad）。例如，使用 Claude Sonnet 4.6 的 ICL 实现了最高的归一化奖励 (22.3%) 和增益 (25.4%)。
专用记忆系统表现挣扎： 专门为记忆管理设计的系统（如 ACE 或 ICL Notepad）性能往往低于朴素 ICL，尽管其成本更高，有时甚至排名垫底。
在线适配能力有限： 即便是表现最好的系统，也仅实现了 25.4% 的归一化增益。这表明当前的系统留下了大量的未实现上升空间。
失效模式：
- 过拟合： 智能体经常过拟合于即时观察，或无法在不同实例间复用知识。
- 陈旧信念 (Stale Beliefs)： 即使在收到表明错误的反馈（例如，未能检测到数据库迁移）时，系统也难以更新错误的信念。
- 塑性与稳定性 (Plasticity vs. Stability)： 通过对增益的分解发现，虽然某些系统能快速适应新的任务变体（塑性），但它们往往无法在变体之间保持有用的结构（稳定性），反之亦然。

重要性与主张

论文声称 CL-BENCH 是第一个在多样化的现实世界领域评估持续学习，并采用专家验证任务的基准，成功地将在线学习从底层模型能力中分离出来。

作者得出结论，可靠的在线适配仍然是一个开放性问题。发现朴素 ICL 优于专用记忆机制这一事实表明，目前的记忆管理和有状态智能体设计方法尚不成熟。论文认为，累积的状态往往是起到副作用而非帮助作用，因为记忆模块会引入伪泛化和陈旧信念。

作者将 CL-BENCH 定位为追踪该领域进展的基础，并为未来贡献者提出新任务提供了明确的标准。他们明确表示，CL-BENCH 目前的规模相对适中（涵盖六个领域和数十个实例），但旨在随着社区的贡献而增长，以应对构建能够真正通过连续经验进行改进的 AI 系统这一更广泛的挑战。