🤖 AI

Position: The ML Community Must Build an AI-Augmented Peer-Review Ecosystem

本立场文件认为，机器学习界必须迫切开发一种人工智能增强型同行评审生态系统，利用大语言模型作为协作工具来应对规模化危机，同时强调需要结构化数据访问和严谨的研究议程以维护科学诚信。

原作者： Qiyao Wei, Samuel Holt, Jing Yang, Markus Wulfmeier, Mihaela van der Schaar

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Qiyao Wei, Samuel Holt, Jing Yang, Markus Wulfmeier, Mihaela van der Schaar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗化解释，使用了日常类比。

核心问题：规模大到馆员无法应付的图书馆

想象一下，机器学习（ML）的世界就像一座巨大的图书馆，科学家们每天都在提交新的“书”（研究论文）。2014年，这座图书馆收到了大约1,600本书；到2024年，这个数字爆炸式增长到了近17,500本。

问题在于：“馆员”（负责检查这些书的专家评审员）是人类。他们的人数有限，时间也有限，正面临着工作量过载的问题。因此，检查的质量正在下降：

疲劳： 馆员们感到疲惫并急于完成任务，因此可能会遗漏错误。
不一致性： 一个馆员可能给一本书打“5星”评价，而另一个馆员却因为个人差异给同一本书打“2星”。
浅层检查： 由于过于忙碌，评审有时变得流于形式，无法触及深层、重要的细节。

提议的解决方案：将 AI 作为“超级助手”

作者认为，我们无法仅仅通过快速雇佣更多的真人馆员来解决问题。相反，我们需要构建一个人类与人工智能（AI）的协作体系。

请不要把 AI 看作是抢走馆员工作的机器人，而应将其视为一个高科技副驾驶或高智商实习生，帮助人类更好地完成工作。

以下是这个“AI 副驾驶”如何帮助三个不同群体：

1. 帮助作者（书籍编写者）

类比： 想象一位在您提交初稿前阅读您的草稿的写作教练。
AI 的作用： 它会检查您的故事逻辑是否通顺、是否遗漏了重要的前序故事（引用文献）以及写作是否清晰。它扮演着“模拟评审员”的角色，告诉您：“嘿，这一段很令人困惑，”或者“你漏掉了一个关键引用，”以便您在真正的馆员看到之前进行修改。

2. 帮助评审员（馆员）

类比： 想象一位馆员拥有一把神奇的放大镜，可以瞬间发现错别字，对照巨型百科全书检查事实，并高亮显示矛盾之处。
AI 的作用：
- 事实核查： 它能快速扫描书籍，查看作者的观点是否符合已知事实。
- 代码检查： 如果书中包含计算机代码，AI 可以进行“合理性检查”，以确认代码是否真如所述在运行。
- 质量控制： 在馆员写完评审意见后，AI 可以给他们一份“成绩单”。它可能会说：“你给了低分，但没有清楚地解释为什么，”或者“你忽略了一个重大的实验缺陷。”这有助于评审员撰写更好、更一致的反馈。

3. 帮助领域主席（首席馆员）

类比： 想象一位首席馆员必须阅读关于一本书的 50 份不同评审意见，以决定是否出版。这非常令人崩溃。
AI 的作用： 它充当总结助手。它阅读所有 50 份评审，并说明：“这是接受这本书的主要论据，这是拒绝这本书的主要论据，以及他们在哪些地方存在分歧。”它帮助首席馆员更快地做出公平的决定，但最终决定权仍由首席馆员掌握。

缺失的要素：更好的数据

论文提出了一个至关重要的观点：没有好的训练数据，你就无法构建出优秀的 AI 助手。

目前我们拥有的数据就像是一段对话的转录文本，我们只能看到最终的分数，却看不到背后的推理过程。

问题： 我们知道一名评审员将分数从 5 分改成了 7 分，但我们不知道作者回复中的哪句话让他们改变了主意。
解决方案： 作者希望整个社区开始收集“更丰富”的数据。他们希望记录下思维过程：“我修改分数是因为作者澄清了 X 点。”如果没有这种关于人类如何思考和辩论的详细地图，AI 只能猜测结果，而无法学习其中的逻辑。

实验结果显示了什么

作者利用来自主要会议（ICLR）的真实数据，对这些 AI 工具的早期版本进行了测试。

好消息： AI 在寻找论文的“优点”以及总结作者在回复中的内容方面表现得相当出色。
坏消息： AI 在寻找“缺点”或精确预测人类会给出多少分方面表现挣扎。它经常会错过人类专家能捕捉到的深层、微妙的缺陷。
结论： AI 是一个有用的工具，但它还没有准备好取代人类。它需要更多的训练和更好的数据才能变得更聪明。

警示信号（风险）

作者谨慎地警告了潜在的危险：

懒惰的馆员： 如果评审员过度依赖 AI，他们可能会停止独立思考（这是一个被称为“去技能化”的过程）。
伪造的书籍： 作者可能会尝试使用 AI 编写整本书来欺骗系统。
隐私： 我们需要确保用于训练这些 AI 的数据是匿名且安全的。

核心要点

这篇论文是一份行动倡议。机器学习社区的发展速度太快，仅靠人类已无法应对。我们需要建立一个 AI 增强的生态系统，让 AI 处理繁重的体力活、事实核查和总结工作，从而释放人类去做深度的、批判性的思考。

但要实现这一点，我们需要停止将同行评审仅仅视为一个只有分数的“黑箱”，而是开始记录分数背后的推理过程。只有这样，我们才能构建出真正能够帮助我们验证科学真理的 AI。

技术摘要：机器学习社区必须构建 AI 增强型同行评审生态系统

1. 问题陈述

机器学习（ML）社区正面临着同行评审的“规模化危机”。顶级会议（如 NeurIPS, ICML, ICLR）的投稿量呈指数级增长（例如，NeurIPS 的投稿量从 2014 年到 2024 年增长了 10.4 倍），这一速度超过了合格评审人员的有限总量。这种由于 LLM 辅助写作工具而加剧的投稿激增导致了：

评审疲劳与肤浅化： 由于时间限制，评审意见往往缺乏深度或方法论上的严谨性。
不一致性： 存在较高的评审间差异，高达 23% 的接收决策可能会因为评审人的分配而发生逆转。
无效的反驳（Rebuttals）： 由于评审人员参与度降低或时间限制，作者的反驳往往无法影响最终决定。
系统性风险： 当前的人工模式威胁到了科学验证的完整性、及时性和公平性。

本文认为，如果不将 AI 集成为一个综合生态系统中的高级协作伙伴，而不仅仅是作为人类判断的替代品，机器学习社区将无法维持高质量的同行评审。

2. 方法论与提议框架

本文提出了一个全面的 AI 增强型同行评审生态系统，其中大语言模型（LLMs）作为作者、评审员和领域主席（ACs）的“副驾驶”（co-pilots）。该方法论依赖于两个支柱：开发特定的 AI 工具以及构建更丰富的底层数据基础设施。

2.1. 基础 AI 工具

该生态系统依赖于以下关键技术能力：

检索增强验证（RAV）与落地（Grounding）： 将 LLMs 连接到权威的科学知识库（如 Semantic Scholar, arXiv），以进行声明交叉验证、建议引用并确保事实的可靠性。
代码分析与可复现性： 解析方法论和源代码，以识别常见的错误、缺失的依赖项或代码与文本之间的一致性问题。
评审质量反馈（“成绩单”）： LLMs 根据标准（覆盖范围、具体性、证据、语气）分析人类撰写的评审意见，从而为评审员提供结构化的反馈。
内容溯源与真实性： 用于检测 AI 生成文本的方法（例如，通过困惑度进行统计分析、水印技术），尽管论文承认这些方法目前并不完美，仍需人类监督。
面向 AC 的决策支持： 综合多份评审意见、突出共识/分歧并标记未解决的疑虑，以协助准备元评审（meta-review）。

2.2. 关键的数据缺口

本文指出，目前的公开数据集不足以训练先进的 AI 助手，因为它们缺乏结构化的审议痕迹（deliberation traces）。目前的数据仅捕捉结果（分数），却未捕捉背后的推理过程。作者认为，开发强大的 AI 需要：

结构化的评审理由： 关于为何在反驳后改变评分的显式数据。
交互痕迹： 对话行为（澄清、让步）的语义标注，以及反驳点与特定稿件章节之间的关联。
AC 审议痕迹： 关于 AC 如何权衡冲突证据的匿名化数据。
拟议解决方案： 本文呼吁建立“主动启发式界面”（例如，通过低摩擦的提示要求评审员解释评分变化的原因）以及用于隐私保护数据收集的分层访问模型。

3. 说明性实验与结果

作者在 ICLR 2019–2025 的语料库上进行了初步实验，以展示 LLM 的潜力与局限性。

3.1. 评审组件生成

任务： 利用少样本提示（few-shot prompting），利用论文和评审意见生成优点、缺点和关键反驳点。
结果：
- 优点： 高召回率（ICLR 2025 为 0.927 ± 0.060）。
- 缺点： 较低的召回率（ICLR 2025 为 0.632 ± 0.000），表明存在“批判性思维差距”，即模型难以识别非显而易见的缺陷。
- 反驳点： 高召回率（0.911 ± 0.040）。
解读： LLMs 可以很好地总结内容，但在进行深度批判性评估方面表现欠佳，这强化了人类监督的必要性。

3.2. 评分预测

任务： 使用不同数量示例（ $n=0$ 到 $3$）的上下文学习（ICL），预测初始评分、最终评分和分数变化。
结果：
- 初始评分： 平均绝对误差较高（当 $n=2$ 时，MAE $\approx$ 2.28）。
- 最终评分： 较低的平均绝对误差（当 $n=1$ 时，MAE $\approx$ 0.67），表明在提供评审背景时，模型的表现更好。
- 分数变化预测： 仍然具有挑战性（MAE $\approx$ 0.73–0.93）。
解读： 高误差率并非归因于 LLM 的根本局限，而是由于当前公开数据集中缺乏结构化的推理数据。由于缺乏关于为何分数变化的显式痕迹，模型被迫去“猜测”结果，而非学习底层的判断逻辑。

4. 主要贡献

立场论点： 本文断言，AI 辅助同行评审是应对规模化危机的迫切基础设施任务，应从孤立的工具转向一个凝聚的生态系统。
生态系统架构： 它定义了 AI 在四个领域的具体角色：
- 评审员： 增强事实严谨性，提供用于自我提升的“成绩单”，并检测 AI 生成的内容。
- 作者： 提供提交前的反馈，模拟多样化的评审员人格，并辅助构建反驳意见。
- 领域主席（AC）： 提供决策支持、冲突高亮以及元评审起草辅助。
- 流程： 对工作流进行实例化，以捕获科学判断的因果痕迹。
数据议程： 它指出“近期的关键瓶颈”在于缺乏细粒度的、符合伦理的数据获取（即理由、审议痕迹），而非仅仅是模型架构本身。
实验基准： 它提供了 LLM 在同行评审任务中能力与局限性的初步经验证据，强调了当前公开数据与先进 AI 需求之间的差距。

5. 重要性与主张

本文声称，机器学习社区处于解决这一问题的独特地位，因为机器学习研究是投稿量极高的“极端案例”，并且已经高度数字化（数字平台、代码制品）。

人机协同（Human-in-the-Loop）： 核心主张是 AI 应当增强而非取代人类判断。人类必须保持“资深合伙人”的身份，作为科学有效性和作者身份的最终仲裁者。
社会技术挑战： 本文将同行评审的规模化问题定义为一个社会技术问题，需要对 AI 工具和基准基础设施进行原则性的共同设计。
完整性与可扩展性： 最终目标是建立一个既能保持高水平同行评审标准，又能应对指数级增长的系统，从而确保科学验证的持续完整性。
适度范围： 作者明确表示，他们并非在提议一个已部署的系统，也并非声称当前的模型已准备好进行把关。相反，他们是在呼吁开展一项研究议程，以开发使这种生态系统变得可行的必要工具、数据和伦理框架。