SE-Bench: Benchmarking Self-Evolution with Knowledge Internalization
本文介绍了 SE-Bench，这是一个通过混淆 NumPy 库来严格评估自我演进的诊断环境，它通过将知识内化与先验知识和推理复杂度相隔离，揭示了闭卷训练和自博弈在将新知识嵌入模型权重方面比开卷训练或标准强化学习更为有效。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图教一位天才学生如何使用一种全新的、完全陌生的编程语言。难点在于？这门语言的外观和行为与他们已知的语言（例如 Python 的 NumPy）完全一致，但每一个单词和命令都被打乱成了无意义的乱码。
例如，他们不能写 numpy.mean，而必须写 zwc.kocito。
这就是 SE-BENCH 的核心理念。这是由清华大学研究人员创建的一项新“考试”，旨在测试 AI 智能体是否真的能够自主学习和记忆新技能，而不是仅仅依靠猜测或作弊。
以下是他们研究发现的简要说明，使用了简单的类比：
1. 问题：“伪新”测试
当前的 AI 测试存在缺陷。如果你要求 AI 使用一个新库来解决数学问题，AI 可能只是在回忆其训练数据（就像学生在考试前背熟了教科书）。或者，如果 AI 失败了，你无法确定是因为它忘记了该库，还是因为数学问题太难。
SE-BENCH 的解决方案：
研究人员创建了一个常见库 NumPy 的“打乱”版本。
- 打乱方式： 他们将每个函数重命名为随机的无意义单词（例如，
mean变成了kocito）。 - 规则： AI 不得使用原始库。它必须使用这些无意义的单词。
- 目标： 如果 AI 能够使用这些无意义单词解决问题，就证明它真正学会了新规则。如果它做不到，就说明它未能内化这些知识。
2. 三大发现
研究人员测试了不同的 AI 教学方法，发现了三个令人惊讶的事实：
A. “开卷悖论”（别让他们作弊！）
- 设置： 他们尝试了两种教导 AI 的方式：
- 开卷： AI 在学习期间和考试期间都可以查阅字典（文档）。
- 闭卷： AI 在学习期间可以查阅字典，但在参加考试前必须扔掉字典。
- 结果： 当字典被移除时，“开卷”学生完全失败了。他们实际上并没有学习材料；他们只是在查阅。
- 教训： 为了让 AI 真正学习并将知识存储在其“大脑”（内部权重）中，必须迫使它在训练更新期间不使用字典。它需要将信息压缩进自身。
B. “强化学习差距”（强化学习是传授事实的糟糕老师）
- 设置： 他们尝试使用 强化学习 (RL)，这是一种 AI 通过尝试并因正确答案获得奖励来学习的方法（就像狗学习把戏）。
- 结果： 即使采用“闭卷”方法，RL 也失败了。AI 无法学会这些新的无意义单词。
- 原因： 研究人员发现，RL 内置的“安全刹车”（称为 PPO 裁剪）阻止了 AI 做出记忆新词汇所需的大胆、剧烈的改变。这就像一位老师过于害怕让学生犯大错，导致学生永远学不会新规则。
- 教训： RL 擅长打磨行为，但在从头开始教授全新事实方面表现极差。
C. “自博弈”成功（如果方法得当，自学有效）
- 设置： 他们让 AI 生成自己的练习题并尝试解决（自博弈）。
- 结果：
- 如果他们对自博弈使用 RL，AI 失败了（0% 成功率）。
- 如果他们在 AI 自己生成的问题上使用 监督微调 (SFT)（一种更直接的教学方法），则 成功了。
- 教训： AI 可以自学新技能，但前提是“教学方法”（SFT）必须足够强大，能够将知识强行注入其大脑。RL 并不是自我进化的“万能”解决方案。
总结类比
将 AI 想象成一名正在为某门新科目的突击考试做准备的学生。
- 考试： 考试使用一种看起来像英语但单词不同的虚构语言。
- 失败： 如果允许学生在考试期间持有字典，他们能通过，但这并不意味着他们学到了任何东西。如果他们试图通过猜测并因正确答案获得“分数”（RL）来学习，他们会陷入困境，因为猜测的规则过于严格。
- 成功： 学生真正学会的唯一方法是：他们带着字典练习，但随后被强制在没有字典的情况下参加考试（闭卷训练）。这迫使他们的大脑真正记住新单词。
核心结论：
SE-BENCH 证明，为了让 AI 真正“进化”并自主学会新技能，我们需要停止让它们在训练期间依赖外部作弊条，并停止使用强化学习来教授新事实。我们需要迫使它们将知识内化记忆。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。