💬 NLP

RSIBench-Data: Benchmarking Data-Centric Research for Recursive Self-Improvement

该论文引入了 RSIBench-Data，这是一个受控基准测试，旨在证明虽然大语言模型（LLM）智能体能够自主识别并优化以数据为中心的策略以提升模型性能，但它们目前仍难以将反馈一致地转化为持续的增益，从而凸显了初始发现与可靠的递归自我改进之间的差距。

原作者： Fanqing Meng, Lingxiao Du, Qiguang Chen, Ziqi Zhao, Haocheng Lu, Mengkang Hu, Michael Qizhe Shieh

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fanqing Meng, Lingxiao Du, Qiguang Chen, Ziqi Zhao, Haocheng Lu, Mengkang Hu, Michael Qizhe Shieh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢但笨手笨脚的机器人学徒。你希望它能更好地解决问题，但你不想只是给它布置更多的作业，而是希望机器人能够学会如何“编写”自己的作业。这就是“递归自我改进”（recursive self-improvement）的梦想：一个系统观察自己的错误，设计一个更好的训练计划来修复这些错误，然后再次尝试，在每一次循环中变得更加聪明。科学家们正在问的一个大问题是：AI智能体真的能独立完成这项研究工作吗？它能否像数据科学家一样，诊断自己为何失败，发明新的练习题，并从结果中学习？这不仅仅是让机器人变快，而是要看机器是否能成为自己的老师，将失败的证据转化为成功的路线图。

于是有了 RSIBench-Data，这是一个旨在测试这项技能的新型“训练营”。这项研究背后的研究人员意识到，之前的测试过于混乱。想象一下，如果你试图评判一位厨师发明新食谱的能力，但评委同时也允许厨师去更换烤箱、食材、厨房布局以及品尝者，那么这太难判断了——你无法分辨出新菜肴之所以好吃，是因为厨师是个天才，还是因为他们只是换了一个更好的烤箱。为了解决这个问题，作者构建了一个受控环境，在这个环境中，“厨房”（即训练工具、服务器和评分系统）是封闭且对所有人一致的。AI智能体唯一被允许改变的是食谱：即它们用来教导模型的那些数据。

该研究将目前最强大的四种AI智能体放入了这个“厨房”，观察它们是否能够扮演“以数据为中心的研究员”。他们给这些智能体设定了一个固定的目标模型（学生）和一系列挑战，然后观察它们是否能够进行迭代：尝试一种策略，观察学生的表现，然后调整策略以做得更好。

实验结果既有令人惊叹之处，也有令人担忧之处。从积极的一面来看，这些智能体展示了它们确实可以胜任这项工作。在约 58.33% 的不同测试场景中，智能体通过听取反馈并完善其训练数据，成功地比第一次尝试有所进步。它们成功地诊断出了差距并创建了更好的练习题，证明了AI智能体已经具备了人类研究员的一些核心技能。

然而，当你观察它们如何处理失败时，情况就变得复杂了。这些智能体的表现并不稳定。当它们达到一个高分并试图继续冲刺更高分数时，往往会跌倒。在 78.26% 达到最高分后仍继续搜索的案例中，它们的最终尝试结果反而比巅峰时期更差。这就像一个学生找到了完美的学习方法并拿到了A，但随后试图进一步“优化”它，结果却把所有东西都搞砸了，最后只拿到了C。智能体经常误诊问题，创建了与任务不匹配的训练数据，或者在收益递减点之后盲目继续搜索。

研究人员发现，最成功的“运行过程”都有四个共同的习惯：它们对问题所在做出了准确的猜测，它们利用真实的证据来指导自身的改变，它们创建的数据符合实际想要的行为，并且它们知道何时应该停止并坚持现有的良好结果，而不是去追逐幻影。

最终，论文表明，虽然AI智能体有能力在数据研究中做出有用的发现，但它们还无法可靠地将反馈转化为持续的改进。它们可以找到宝藏，但在试图寻找更多宝藏的过程中，往往会再次弄丢它。这个基准测试 RSIBench-Data 提供了一种清晰、可审计的方法来衡量这项特定技能，帮助科学家们理解：通往真正自我改进AI之路的，不仅需要更聪明的智能体，还需要更可靠的智能体——那些知道何时停止微调并开始信任自己最佳成果的智能体。

技术摘要：RSIBench-Data

问题陈述

递归自我改进（Recursive Self-Improvement, RSI）要求 AI 系统能够迭代地将模型失败的证据转化为有效的改进措施。这一过程的一个关键组成部分是以数据为中心的后训练研究（data-centric post-training research），它涉及诊断能力差距、设计训练数据策略以及从检查点反馈中学习。虽然最近的基准测试评估了自动化的后训练系统，但它们往往将研究决策与优化、服务及系统实现混为一谈。这种混淆使得难以隔离大语言模型（LLM）智能体的特定研究能力。现有的范式要么侧重于从固定语料库中进行静态数据选择，要么评估端到端的系统，其中基础设施的变化会干扰对智能体研究策略的评估。

核心问题在于：LLM 智能体能否可靠地自动化以数据为中心的后训练研究？ 具体而言，在周围的训练和评估栈保持固定的情况下，智能体能否针对模型失败提出假设，将其转化为可执行的训练数据，并根据受控反馈修正其合成策略？

方法论：RSIBench-Data

为了解决这一差距，作者引入了 RSIBench-Data，这是一个旨在隔离以数据为中心的后训练研究组件的受控基准测试。

1. 固定基础设施与边界

与允许智能体修改整个后训练栈的以往基准测试不同，RSIBench-Data 固定了“周围的栈”，以确保性能变化仅归因于智能体的研究决策。

基础模型： 所有实验均使用固定的基础模型 ( $M_0$ )。
训练接口： 智能体通过受限的配置接口进行交互。它们提交训练数据 ( $D_t$ ) 和白名单内的配置 ( $c_t$ )，但无法修改优化器、服务路径或底层的 LoRA SFT 后端（通过共享的 Tinker 服务实现）。
评估： 官方评估通过由 Harbor 编排的 E2B 沙盒进行，具有固定的验证器和评分规则。智能体仅接收被允许的选择性反馈（分数、轨迹、诊断信息）用于迭代，而非最终的官方结果。

2. 研究循环

该基准测试评估一个研究智能体 ( $\pi$ ) 在固定资源预算 ( $\mathcal{C}$ ) 下运行的迭代过程：

假设与策略： 智能体观察基准测试证据 ( $S$ ) 和历史记录 ( $H_{<t}$ ) 以提出训练数据策略。
合成与训练： 智能体合成数据并提交进行训练，从而产生一个检查点 ( $M_t$ )。
反馈： 固定评估服务返回选择性反馈 ( $h_t$ )。
修正： 智能体利用 $h_t$ 为下一轮进行优化或选择最终检查点。

主要指标是所选检查点 ( $M_{t^*}$ ) 在留出测试集上的官方性能，次要分析指标为尝试的轨迹和资源效率。

3. 实验设置

智能体： 评估了四种前沿 LLM 研究智能体：Claude Code (Opus-4.8, Sonnet-5) 和 Codex (gpt-5.6-sol, gpt-5.6-terra)。
基准测试： 使用了六个不同的基准测试来测试不同的训练经验机制：
- 软件工程： SWE-bench Verified, Multilingual, 和 Pro。
- 终端使用： Terminal-Bench 2.0。
- 推理： GPQA Diamond 和 AIME 2026。
约束： 每次运行都有固定预算（例如，16 小时墙钟时间，$500 Tinker 成本）和严格的数据使用约束（例如，禁止使用仅用于评估的标签进行训练）。

核心贡献

一个新的评估目标： 本文将“用于递归自我改进的数据中心研究”定义为一个独特的、可自动化的研究循环，其中智能体在固定预算下管理假设形成、策略验证和检查点选择。
一个受控的基准测试： RSIBench-Data 提供了第一个通过固定训练、服务和评估基础设施来隔离智能体研究能力的基准测试。这使得实验是可审计的，可以将基础设施的变化与研究进展区分开来。
关于能力与脆弱性的实证证据： 该研究提供了关于前沿智能体在此特定角色中表现的首个大规模证据，揭示了“发现–可靠性差距（discovery–reliability gap）”。

结果与分析

1. 发现 vs. 可靠性

初步成功： 智能体展示了核心研究能力，通过基于反馈优化策略，在 58.33% 的设置中实现了对首次有效尝试的改进。
不一致性： 然而，智能体未能实现持续改进。在达到最佳观测分数后继续搜索的过程中，78.26% 的运行最终以低于峰值的得分结束，其余的仅恢复到了相同的峰值。这表明智能体通常无法将额外的反馈转化为更好的策略，导致性能呈现非单调性。

2. 任务依赖性与缺乏统治地位

没有单个智能体在所有基准测试中占据统治地位。例如，Codex gpt-5.6-sol 在非 SWE 类基准测试中领先，但三个 SWE 类任务分别由三个不同的智能体获胜。
性能差距显著（在 AIME 2026 上高达 20 个百分点），反映了智能体策略与基准测试结构之间的相互作用，而非内在的模型优劣。

3. 效率与成本

高官方分数并不总是伴随着高昂成本。一些智能体以低成本实现了强劲结果（例如，Codex gpt-5.6-sol 在 GPQA Diamond 上：65% 分数，$10.37 成本），而另一些则花费了更多成本却仅获得微小收益。
峰值后退化（Post-Peak Regression）： 许多运行在找到强力候选者后仍继续搜索，从而产生了额外成本，却未能刷新性能前沿。有效的停止机制和检查点选择被确定为提高效率的关键。

4. 机制分析

对成功运行的轨迹分析识别出四个与更强性能相关的模式：

准确的假设： 正确诊断目标能力差距。
基于验证的监督： 利用验证信号来引导数据合成。
行为对齐的数据： 确保训练数据与评估行为相匹配。
检查点保护： 在迭代修正过程中避免丢失强力检查点。

一项针对同系列 RSI 设置（Kimi-K2.6）的早期实验显示，尽管策略有所演进，但未能产生比未适配参考模型更好的改进，这表明目前的 RSI 能力尚不足以在复杂的智能体基准测试上改进已具备高度能力的指令微调模型。

意义与主张

本文主张 RSIBench-Data 提供了一个可衡量且可审计的测试平台，用于研究递归自我改进所需的数据中心研究能力。

作者得出结论，虽然目前的 LLM 智能体可以做出有用的数据中心研究发现（在超过一半的情况下改进了初始尝试），但它们尚无法一致地将反馈转化为改进。观察到的“发现–可靠性差距”凸显了智能体在通过迭代反馈循环维持进展方面存在困难，往往在找到峰值后出现退化。该基准测试旨在通过使研究过程透明且与基础设施变量隔离，帮助开发更可靠的数据中心研究智能体。