Position on LLM-Assisted Peer Review: Addressing Reviewer Gap through Mentoring and Feedback
本立场文件反对全自动化的人工智能评审，并主张一种以人为本的范式，即利用大语言模型作为指导和反馈工具，以培养评审专家的专业能力，并解决学术同行评审中的可持续性危机。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一场规模宏大、高风险的人才选秀，每年都有成千上万的新节目（AI 研究论文）试图登上舞台。问题在于？并没有足够的评委（审稿人）来观看所有表演，而且现有的评委们精疲力竭、不堪重负，有时甚至没有经过充分训练，无法给出公正、有帮助的反馈。这就是**“审稿缺口”（Reviewer Gap）**。
这篇论文指出，与其让机器人（AI）完全接管评审工作——这样做风险很高且往往不够准确——我们应该将 AI 作为一名私人教练，来帮助人类评委更好地履行职责。
以下是他们提议的简单拆解：
1. 问题所在：节目太多，评委太少
AI 世界的发展速度就像春天的杂草一样迅猛。学术会议正被海量的投稿所淹没。
- 容量缺口： 论文的数量实在太多了。审稿人感到疲惫，导致评审过程变得肤浅、仓促或仅仅是“走过场”。
- 质量缺口： 由于论文数量激增，会议开始要求初级研究人员（缺乏评审经验的人）来担任评委。由于缺乏培训，他们可能会误解重点或产生不公，从而形成恶性循环。
2. 旧有的（有缺陷的）想法：机器人评委
有些人建议让 AI 自动撰写评审意见。作者对此表示反对。
- 为什么？ AI 会产生“幻觉”（编造内容）、误解复杂的科学问题，或者仅仅是总结论文而无法提供真正的洞见。这就像要求计算器写诗；它可能词汇正确，但缺失了灵魂与细微之处。
- 风险： 如果我们让 AI 撰写评审意见，我们就会失去对科学至关重要的人类专家判断力。
3. 新的想法：AI 教练
与其取代评委，该论文提议使用 AI 来训练和支持人类评委。这就像运动队使用视频分析师一样。教练不亲自上场比赛，而是帮助球员发现自己的错误并提高水平。
该系统有两个主要部分：
A 部分：训练营（导师系统）
在审稿人看到真实的论文之前，他们可以在一个带有 AI 教练的“安全区”进行练习。
- 引导式识别： AI 向审稿人展示优秀与拙劣评审的案例。它会询问：“这份评审是否公平？”或“是否清晰？”以帮助审稿人学习规则。
- 精炼练习： AI 提供一份带有错误的评审草稿（例如过于笼统或刻薄）。审稿人必须对其进行修正，而 AI 会给出提示，例如：“你提到实验很差，但你并没有说明为什么。你能指出具体的实验数据吗？”
- 全模拟测试： 审稿人撰写一份完整的评审意见，AI 会根据其是否遵循规则给出详细的成绩单。
- 目标： 这不是强制性的测试。这是一个自愿的方式来获取“教练认证”，标志着审稿人已经投入时间学习如何成为一名优秀的评委。
B 部分：安全网（反馈系统）
即使是专家，在疲劳或匆忙时也会犯错。这是系统的第二部分。
- 检查： 在审稿人写完评审草稿后，AI 会在发送给作者之前对其进行扫描。
- 证据支持： 如果 AI 发现了一条模糊的评论，如“数据较弱”，它会检查论文并对审稿人说：“嘿，你提到数据较弱，但论文实际上使用了 ImageNet 数据集。如果你认为他们需要更多数据，能否明确指出应该使用哪个数据集？”
- 选择权： AI 不会强迫修改。它只是低声耳语：“这是一个让你的观点更清晰的建议。”人类审稿人决定是否采纳该建议。这确保了人类始终掌握主导权。
4. 金科玉律（评分标准）
为了确保 AI 教练知道什么是“好的评审”，论文定义了五条简单的规则：
- 忠实度（Fidelity）： 你是否如实陈述了论文的内容？（不要捏造事实）。
- 清晰度（Clarity）： 你的写作是否易于理解？（不要使用令人困惑的术语）。
- 公平性（Fairness）： 你是在评价工作本身，还是在针对个人？（不要对作者的学校或背景产生偏见）。
- 适度性（Proportionality）： 你的批评是否合理？（不要因为一个微小的拼写错误就全盘否定一篇论文）。
- 建设性（Constructiveness）： 你是否提供了解决问题的方法？（不要只说“不好”，要说“尝试这样做”）。
5. 大局观：良性循环
作者认为，这将创造一个积极的循环：
- 更好的培训 更好的评审 更好的研究 更好的 AI 更强大的评审工具。
他们认为，通过将 AI 视为导师而非替代品，我们可以在不丢失人类触感的前提下，解决优质评审不足的问题。其核心在于帮助人类成为更好的评委，而不是让机器接管法槌。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。