APRES: An Agentic Paper Revision and Evaluation System

本文介绍了由大语言模型驱动的 APRES 系统，该系统能在不改变核心科学内容的前提下，依据预测引用率的评估标准自动修订论文，显著提升了引用预测精度并获得人类专家的高度认可，旨在辅助而非替代人类审稿人。

要点

这篇文章介绍了一个名为 APRES 的新系统，你可以把它想象成一位超级智能的“论文健身教练”兼“未来预言家”。

为了让你更容易理解，我们把写科学论文比作拍一部电影，把同行评审（Peer Review）比作电影上映前的试映会。

1. 现在的痛点：试映会太混乱了

在科学界，科学家写完论文（拍好电影）后，需要找几位专家（影评人）来挑刺，决定这部电影能不能上映（发表）。

• 问题一：影评人太累且标准不一。 现在的顶级会议收到的论文太多，专家看不过来，导致有的专家很严格，有的很宽松，甚至同一个专家今天和明天看同一篇论文，打分都可能不一样。
• 问题二：反馈不够精准。 有时候论文本身是个好故事（科学发现很有价值），但因为讲得不好（写得乱、看不懂），就被埋没了。

2. APRES 是怎么工作的？

APRES 是一个由人工智能（大语言模型）驱动的系统，它分两步走，就像先制定评分标准，再帮作者改稿。

第一步：寻找“爆款”密码（Rubric Search）

通常，我们不知道什么样的论文未来会火（被很多人引用）。以前的标准是专家凭经验定，但经验可能不准。

• APRES 的做法： 它像一个疯狂的“试错探险家”。它让 AI 不断尝试制定各种各样的“评分表”（Rubric）。
  • 比如，它先试：“是不是标题越短越好？” -> 预测未来引用量。
  • 再试：“是不是图表越多越好？” -> 预测未来引用量。
  • 再试：“是不是逻辑结构越清晰越好？” -> 预测未来引用量。
• 结果： 经过成千上万次的尝试和计算，APRES 发现了一套最精准的“爆款密码”。这套密码能非常准确地预测一篇论文未来会被多少人引用（就像预测一部电影会不会成为票房冠军）。
  • 比喻： 这就像电影公司不再凭感觉选片，而是通过大数据分析，发现“只要前 10 分钟有反转，且主角有幽默感，票房就一定高”这样的规律。

第二步：智能“整容”手术（Paper Revision）

找到了“爆款密码”后，APRES 就变身为一位超级编辑。

• 它的任务： 拿着刚才找到的“爆款密码”，去修改作者的论文。
• 关键原则（非常重要）： 它只改“皮相”，不改“骨相”。
  • 它可以把句子改得更通顺、把逻辑理得更顺、把图表描述得更清楚（就像给电影加特效、剪掉废话、优化台词）。
  • 它绝对不能修改实验数据、科学结论或核心发现（不能把悲剧改成喜剧，不能把烂片改成神作，如果实验本身是错的，它改不了）。
• 过程： 它像打游戏一样，改一点，测一下分数，再改一点，直到分数达到最高。

3. 效果怎么样？

作者们用真实的数据测试了这个系统，结果非常惊人：

1. 预测更准了： 用 APRES 找到的新标准去预测论文未来火不火，比人类专家的传统标准准确率高了 19.6%。
2. 改得更好了： 当 APRES 修改过的论文和原版放在一起，让真正的专家（人类博士）盲选时，79% 的情况下，专家更喜欢 APRES 修改后的版本。
   • 比喻： 就像把一部原本讲得磕磕绊绊的好电影，剪辑成了流畅精彩的版本，观众（专家）一看就觉得：“哇，这才是我想看的好电影！”

4. 它的核心哲学：是助手，不是替代者

这篇文章特别强调，APRES 不是要取代人类专家。

• 人类专家的作用： 决定“这个科学发现值不值得做”、“这个实验是否造假”、“这个理论是否颠覆了认知”。这是灵魂层面的判断。
• APRES 的作用： 帮助作者把“灵魂”更好地表达出来，确保好想法不被糟糕的写作埋没。它是工具，用来“压力测试”论文，让作者在上交前把文章打磨得更亮。

总结

APRES 就像一个拥有“火眼金睛”的 AI 编辑。 它先通过大数据学会了“什么样的文章最容易被世界记住”，然后帮科学家把文章写得更好、更清晰，确保那些真正伟大的科学发现，能以最完美的姿态被世界看到。

它不改变科学真理，但它让科学真理的传播变得更加高效和清晰。

技术摘要

以下是关于论文 APRES: An Agentic Paper Revision and Evaluation System 的详细技术总结：

1. 研究背景与问题 (Problem)

科学发现的有效传播依赖于清晰的同行评审反馈。然而，当前的同行评审系统面临严峻挑战：

• 评审不一致性：不同审稿人之间的反馈差异巨大，导致作者难以获得一致的改进建议。
• 资源瓶颈：顶级会议投稿量激增，远超合格审稿人的增长，导致评审疲劳和周期延长。
• 现有 AI 工具的局限：虽然大语言模型（LLM）能提供反馈，但直接应用存在风险，如可能无意中修改核心科学主张，或偏离学术规范。
• 核心痛点：缺乏一种既能预测论文未来影响力（如引用量），又能基于此预测自动优化论文文本（提升可读性和清晰度），同时严格保持核心科学内容不变的自动化系统。

2. 方法论 (Methodology)

作者提出了 APRES（Agentic Paper Revision and Evaluation System），这是一个基于 LLM 的双阶段智能体框架。其核心思想是利用智能体搜索（Agentic Search）来发现预测指标，并据此指导论文修订。

阶段一：发现预测性评审标准 (Rubric Search)

• 目标：寻找一套能够最准确预测论文未来引用量的评审标准（Rubric），而非依赖人工定义的固定标准。
• 流程：
  1. 提议 (Propose)：一个“评审标准提议者（Rubric Proposer）”智能体生成或优化一组评审条目（Rubric items）。
  2. 评分 (Score)：一个“审稿人（Reviewer）”智能体根据该标准对论文进行打分，生成特征向量。
  3. 评估 (Evaluate)：使用**负二项回归模型（Negative Binomial Regression）**训练模型，根据评分预测论文在公开 12 个月后的实际引用量。
  4. 选择与优化 (Select & Refine)：基于预测误差（MAE），利用 MultiAIDE 搜索脚手架（基于 AIDE 和 Prompt Breeder 的改进）迭代优化评审标准，直到找到预测性能最佳的 Rubric。
• 创新点：打破了传统固定标准的限制，通过数据驱动发现真正与影响力相关的特征。

阶段二：基于发现标准的论文自动修订 (Paper Improvement)

• 目标：利用阶段一发现的“最佳 Rubric"作为目标函数，指导智能体自动修改论文文本，以提升其预测的影响力得分。
• 流程：
  1. 初始评分：使用发现的最佳 Rubric 对原始论文进行评分。
  2. 修订 (Revision)：一个“重写者（Rewriter）”智能体根据反馈提出修改建议。
     • 关键约束：采用基于 Diff 的编辑方法（搜索/替换块），明确禁止修改实验结果、表格和核心科学主张，仅优化表达方式、逻辑流和清晰度。
  3. 重评估 (Re-evaluation)：对修订后的论文重新评分。
  4. 迭代：如果分数提升，则保留新版本并继续迭代；否则回退。
• 机制：这是一个闭环系统，旨在通过优化呈现方式（Presentation）来最大化预测的引用量。

3. 关键贡献 (Key Contributions)

1. 首个集成发现与修订的系统：APRES 是第一个将“预测性评估标准的发现”与“闭环自动论文修订”相结合的方法。
2. 数据驱动的 Rubric 发现：证明了通过智能体搜索发现的评审标准，在预测未来引用量方面显著优于人类审稿人的原始评分和基于嵌入（Embedding）的基线模型。
3. 可验证的自动修订：展示了一个完全自动化的流程，能够在不改变科学内容的前提下，显著提升论文的可读性和预测影响力。
4. 实证支持：提供了大量实验证据，证明 LLM 在辅助作者进行“压力测试”和稿件优化方面的有效性，同时强调了“人在回路（Human-in-the-loop）”的重要性。

4. 实验结果 (Results)

实验基于 ICLR (2024, 2025) 和 NeurIPS (2023, 2024) 的 26,707 篇论文及其评审数据。

• 影响力预测性能：
  • 使用 APRES 发现的 Rubric 进行预测，其平均绝对误差（MAE）比次优基线（如基于 SPECTER 嵌入的 MLP 或人类评分）降低了 19.6%。
  • 人类审稿人的原始评分对预测未来引用量的效果较差（MAE 接近 5.0），而 APRES 发现的 Rubric 将 MAE 降低至 2.0 以下（使用 Gemini 2.5 Pro）。
• 论文修订效果：
  • 自动评分提升：修订后的论文在发现的标准下得分显著提高。特别是对于“边缘（Borderline）”和“明确拒稿（Clear Reject）”的论文，提升幅度最大，表明该系统能有效修复表达和逻辑缺陷。
  • 人类评估偏好：在盲测中，由 364 对论文组成的用户研究中，79% 的情况下，人类专家（具有机器学习博士学位的研究人员）更偏好经过 APRES 修订的版本，而非原始版本。
  • 一致性验证：LLM 评审委员会在论文排序上表现出比人类委员会更高的一致性（Disagreement Rate 更低），证明了其作为基准的稳定性。

5. 意义与局限性 (Significance & Limitations)

• 意义：
  • 辅助而非替代：APRES 旨在增强（Augment）而非取代人类专家。它提供了一个一致、数据驱动的基准，帮助作者在提交前“压力测试”稿件，减少因表达不清导致的误判。
  • 提升科学传播：通过优化写作风格和逻辑结构，使科学发现更容易被理解和传播，从而可能增加其实际影响力。
  • 揭示新信号：证明了存在超越传统评审标准的、与未来影响力高度相关的文本特征。
• 局限性：
  • 仅处理文本：系统目前无法处理图表（Figures），而图表对理解科学贡献至关重要。
  • 内容完整性风险：尽管有严格提示，LLM 仍可能无意中引入细微的技术不准确（如修改数值或方法描述）。
  • 对抗性攻击：系统可能受到提示注入（Prompt Injection）等攻击的影响。
  • 引用量作为代理的偏差：引用量本身存在领域偏差和操纵风险，并非完美的质量指标。

总结：APRES 提出了一种新颖的范式，利用 LLM 智能体自动发现能预测科学影响力的评估标准，并据此优化论文表达。实验表明，这种方法能显著提升论文的预测影响力和人类对其质量的偏好，为未来的科学出版和同行评审系统提供了重要的辅助工具。