AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot
该论文报告了 AAAI-26 会议首次大规模部署 AI 辅助同行评审的试点成果，表明先进的 AI 系统不仅能高效生成高质量评审意见，且在技术准确性和研究建议等关键维度上甚至优于人类评审，为未来人机协同科研评估开辟了新路径。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这是一篇关于**“人工智能（AI）如何帮助人类进行科学论文评审”**的研究报告。
想象一下，你是一家顶级餐厅的“美食评论家”。每年，成千上万的新厨师（研究人员）会端上他们的招牌菜（科学论文）让你品尝。以前，只有你和你的一群人类同事（评审员）负责尝菜、打分、写评语。但现在，厨师的数量突然暴增了三倍，你们累得连筷子都拿不稳了，甚至可能因为太忙而尝不出菜里的咸淡。
这篇论文就是关于AAAI-26 会议（一个全球顶级的 AI 学术大会）做的一次大胆实验：他们请了一位不知疲倦、知识渊博的"AI 超级助手”来帮忙尝菜和写评语。
以下是这个实验的“大白话”版解读：
1. 背景：评审员“累瘫了”
- 问题：以前每年有 1.5 万篇论文投稿，现在涨到了 3 万篇。人类评审员就像被压垮的骆驼，每个人要看的论文太多，时间太紧，很难保证每篇都看得仔细、公平。
- 尝试：大家早就想试试 AI 能不能帮忙，但以前的 AI 太笨了，写的评语像“机器生成的废话”，或者只会挑小毛病，看不懂大道理。
2. 实验：AAAI-26 的"AI 评审员”大练兵
这次，AAAI-26 决定不再偷偷摸摸地试，而是光明正大地让 AI 参与评审。
- 规模：所有进入正式评审阶段的 22,977 篇 论文，每一篇都收到了一份明确标注为"AI 生成”的评语。
- 角色：AI 不是来“抢饭碗”的，它是来**当“副驾驶”**的。它不打分，不决定录用与否，只是提供额外的意见，帮助人类评审员做决定。
- 成本：非常便宜，平均每篇论文不到 1 美元（由 OpenAI 赞助）。
- 速度：不到 24 小时，AI 就写完了所有 2 万多份评语。
3. 这个 AI 是怎么工作的？（它的“独门秘籍”）
以前的 AI 就像是一个只会背书的“书呆子”，直接让它写评语，它经常胡说八道。但这次，研究人员给 AI 设计了一套**“五步走”的超级流程**，就像让一个实习生先做五个专项训练，最后再写总结报告：
- 读故事（Story）：先搞清楚这篇论文到底想解决什么问题，逻辑通不通。
- 看排版（Presentation）：检查图表清不清楚，文字有没有错别字。
- 查实验（Evaluations）：像侦探一样检查数据、对比实验做得够不够严谨。
- 验算（Correctness）：调用“计算器”和“代码工具”，专门检查数学公式和代码有没有算错（这是人类容易眼花的地方）。
- 定价值（Significance）：上网查资料，看看这篇论文在同行里算不算“新发明”，有没有重要意义。
最后一步：AI 写完初稿后，还会**“自我批评”**（Self-Critique），自己挑自己的刺，修改后再提交。这就像厨师做完菜，先自己尝一口，觉得太咸了再改。
4. 结果：大家喜欢吗？
研究人员问了作者、评审员和委员会成员（共 5800 多人）：“你们觉得 AI 写的评语怎么样？”
惊人的反转：大家竟然更喜欢 AI 的评语，而不是人类评审员的！
- 在技术准确性（有没有算错数）、发现新观点（有没有指出你没注意到的问题）和改进建议（怎么改更好）这几个方面，AI 得分更高。
- 作者们觉得 AI 的评语更客观，没有人类那种“看人下菜碟”的偏见。
- AI 特别擅长抓细节，比如发现公式里的一个小错误，或者指出实验对比少了什么，这些人类评审员因为太忙有时会漏掉。
AI 的缺点：
- 有点啰嗦：AI 有时候太较真，把一些无关紧要的小毛病（比如字体大小）也写进去，让人读起来很累。
- 不懂“大局”：AI 很难判断一篇论文到底“牛不牛”，它可能会因为太关注细节而忽略了整体的创新价值。
- 偶尔“幻觉”：虽然很少，但 AI 偶尔会编造一些不存在的参考文献（不过这次实验里，AI 查文献查得很准）。
5. 结论：未来的评审是“人机搭档”
这篇论文告诉我们：AI 已经不再是那个只会写“你好”的笨蛋了，它已经能成为一个非常得力的“科研助手”。
- 最佳模式：不是用 AI 取代人类，而是**“人类 + AI"组队**。
- AI 做“扫地僧”：负责检查公式、找错别字、核对数据、提供客观的初步意见，把人类从繁琐的重复劳动中解放出来。
- 人类做“掌门人”：负责把握大局，判断创新价值，做最终的决定。
一句话总结：
这就好比在繁忙的餐厅里，AI 是一个不知疲倦、眼睛像显微镜一样的“试菜员”，它能精准地尝出菜里少了一粒盐；而人类评审员则是经验丰富的“主厨”，负责决定这道菜是否值得端上餐桌。两者结合，才能让科学评审既快又好。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。