🤖 AI

PRAIB: Peer Review AI Benchmark of Behaviour of LLM-Assisted Reviewing

本文介绍了 PRAIB，这是一个新颖的基准框架和大规模实证研究，通过对 11,000 条机器生成评论与人类反馈的对比分析，揭示了显著的行為差异（如正面偏见、过度自信以及遗漏原子级缺陷），从而提供了一种诊断工具，用于确定大语言模型在同行评审过程中的当前可靠性与局限性。

原作者： Krzysztof Żurawicki, Julia Farganus, Arkadiusz Gaweł, Mateusz Bystroński, Tomasz Jan Kajdanowicz

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Krzysztof Żurawicki, Julia Farganus, Arkadiusz Gaweł, Mateusz Bystroński, Tomasz Jan Kajdanowicz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一场规模宏大、 stakes 极高的才艺秀，数千名科学家提交他们最杰出的作品，由专家小组进行评审。几十年来，这种“同行评审”过程完全由人类完成。但最近，一种新型评委进入了赛场：人工智能（AI）。

您所询问的这篇论文，PRAIB，就像一场巨大的质量控制测试，旨在回答一个核心问题：AI 是否真的像人类评委那样在“思考”，还是仅仅是一个听起来聪明却并不真正理解作品的华丽机器人？

以下是研究人员发现的要点，辅以一些日常类比：

1. 设定：“懒惰”的机器人 vs. 人类专家

研究人员从顶级会议（ICLR 和 NeurIPS）选取了 1,000 篇真实的科学论文，并让五个不同的 AI 模型为它们撰写评审意见。随后，他们将这些 AI 评审意见与人类专家实际撰写的评审意见进行了对比。

这就像让一群学生写读书报告：

人类：阅读书籍，高亮特定段落，核对数学推导，并写出深思熟虑的批评。
AI：阅读书籍（或试图阅读），然后写出一份看起来像读书报告的评审。

2. 主要发现：AI“过度自信”且“冗长啰嗦”

研究发现，虽然 AI 评审在表面上看起来令人印象深刻，但它们的行为与人类截然不同。

“冗长”问题：AI 评审通常比人类评审更长、更复杂。
- 类比：想象一位人类厨师说：“汤需要加盐。”而 AI 厨师却写了一篇三页的长文，解释盐的历史、钠的化学性质以及调味的哲学，却依然忘了真正说出“汤需要加盐”这一核心观点。AI 试图通过使用大词和长句来显得聪明，导致其更难阅读（“可读性”得分更低）。
“自信”问题：AI 对其观点表现出极度的自信，即使它是错的。
- 类比：如果人类评委对某篇论文不确定，他们可能会说：“我不完全确定，但我认为……"然而，AI 却表现得仿佛无所不知，即使错过了主要观点，也会以 100% 的确定性给出完美评分。这就像一个在考试中猜题的学生，却在答题纸上打上一个巨大而自信的勾。
“正面偏见”：AI 倾向于给出比人类更高的分数。它比人类评委更友善，经常忽略论文的缺陷。

3. “具体性”测试：它真的看了论文吗？

这是测试中最关键的部分。研究人员检查了 AI 是否真正关注了论文的具体细节，例如图 4、公式 12或表 3。

人类：“在图 4 中，图表显示了一个不合逻辑的峰值。”
AI：“图表整体呈现良好。”（模糊且笼统）。

研究发现，许多 AI 模型未能指出论文的具体部分。它们就像一个看着博物馆地图的游客，说“这里有很多画作”，却从未停下来仔细观看任何一幅具体的画。

例外情况：一个特定的 AI 模型（称为OpenReviewer）是专门针对评审数据训练的。它的表现更像人类，能够指向具体的图表，并以一种自然的方式写作。这证明，如果专门为某项任务训练 AI，它的表现可以优于通用型 AI。

4. “数学”问题

科学论文充满了数学内容。研究人员检查了 AI 是否真正与方程式进行了互动，还是仅仅在方程式周围空谈。

一些 AI 模型在发现并讨论数学方面出奇地出色。
然而，其他模型则完全忽略了数学，将复杂的物理论文当作随意的博客文章来处理。

5. “虚假引用”问题

研究中发现的一个重大红旗是，AI 模型经常编造参考文献。

类比：如果一位人类作者说：“正如 Smith（2020）所证明的……"，他们引用的是真实存在的书籍。然而，AI 有时也会说：“正如 Smith（2020）所证明的……"，但"Smith（2020）”实际上并不存在。这是一种幻觉——自信的谎言。研究发现，大多数 AI 模型无法提供真实、可验证的引用。

结论：AI 是“副驾驶”，而非“机长”

该论文得出结论，我们现在不能简单地用 AI 取代人类评审员。

AI 擅长：撰写长篇、礼貌且结构化的文本。它可以协助起草评审意见或检查基本语法。
AI 不擅长：诚实地评估其自信度、发现数据中的具体缺陷，以及提供真实、可验证的证据。

最终裁决：
将 AI 想象成一位口才极佳的实习生。它能写出一份漂亮的报告，但可能因为忙于使用大词而错过了“引擎坏了”这一关键细节。人类专家仍然需要担任高级经理的角色，负责核查事实、验证引用并做出最终决定。

研究人员创建了一个“记分卡”（PRAIB），以帮助未来的开发者构建更好的 AI 工具，使其不仅听起来聪明，而且能像聪明、谨慎的人类评审员那样行动。

技术摘要：PRAIB：LLM 辅助审稿行为同行评审人工智能基准

问题陈述

科学投稿数量的增加推动了对大语言模型（LLM）的探索，以支持和增强同行评审过程。然而，目前尚不清楚 LLM 是否以与人类审稿人一致的方式处理科学手稿，或者它们是否仅仅生成表面上看似评审的文本。现有的评估方法通常侧重于数值评分预测、"LLM 作为法官”流程或表面文本统计（例如，有用性、可验证性）。这些方法经常忽视人类对齐这一关键维度：即 AI 生成的评审在行为模式、具体性和参与风格上是否与人类专家相一致。随着生成式 AI 在评审中的应用加速，亟需一种诊断框架来识别人类与机器审稿人之间的系统性行为差异。

方法论

作者引入了同行评审人工智能基准（PRAIB），这是一个多维框架，旨在衡量 LLM 辅助评审的具体性、风格和参与行为。该方法涉及一项大规模实证研究，将机器生成的评审与人类反馈进行比较。

数据获取与准备

数据集：本研究利用了一个包含 11,000 份评审的数据集，这些评审是为 1,000 篇论文生成的，涵盖 2021 年至 2025 年间的 ICLR 和 NeurIPS 会议。
评估模型：测试了五种模型：三个开源模型（DeepSeek-V3、Gemma-3-12B-it、Qwen3.5-9B）、一个领域专用模型（OpenReviewer-8B）和一个专有前沿模型（GPT-5-2025-08-07）。
提示策略：使用两种不同的提示模板对模型进行评估：一种是“懒惰”基线（与会议无关），另一种是详细的会议特定模板（与官方 ICLR/NeurIPS 指南一致）。
预处理：使用 DeepSeek-OCR 将手稿从 PDF 转换为 Markdown，以保持数学保真度。评审被截断至 50,000 个 token，以聚焦正文部分。

评估框架（PRAIB）

该框架在多个轴向上量化行为模式：

文本复杂性与可读性：
- 指标包括 Token 计数（TKC）、类型 - 标记比率（TTR）、Flesch 阅读易度（FRE）和 Flesch-Kincaid 年级水平（F-K Grade）。
- 这些指标用于衡量与人类基线相比的语言丰富度、句子复杂性和可读性。
内容参与（具体性）：
- 交叉引用（Xref.）：使用正则表达式提取对特定手稿元素（图表、表格、公式、定理）的引用。
- 数学内容检测：一个次级 LLM（Qwen3.5-8B）对评审是否实质性参与数学内容（例如，引用特定公式、分析证明）进行分类。该分类经人类标注验证，准确率为 96.6%。
- 外部引用：将引用与外部文献数据库（Crossref、OpenAlex、DBLP）进行核对，以检测幻觉并确保事实准确性。
审稿人一致性：
- Krippendorff's $\alpha$ ：用于测量序数评分量表上的评分者间一致性，考虑了偶然一致性和分数的有序性质。
- 条件数学检测：测量 $P(+|+)$ （人类参与数学时 LLM 也参与）和 $P(+|-)$ （人类未参与数学时 LLM 参与），以评估技术焦点的对齐程度。
信息覆盖：
- 原子提取：将评审分解为“原子”优点和缺点（自包含的信息单元）。
- 覆盖指标：计算原子召回率（LLM 覆盖的人类观点比例）、精确率、映射密度和压缩比，以确定 LLM 是否覆盖了与人类相同的技术领域。

主要结果

1. 风格和行为模式的差异

可读性：LLM 生成的评审比人类评审明显更复杂且更难阅读。LLM 的 Flesch 阅读易度得分（13.7–21.3）远低于人类基线（39.1），F-K 年级水平也更高（14.5–15.7 对比 12.1）。
长度：LLM 倾向于生成更长的评审。GPT-5 平均为 1,449 个 token（是人类平均值的 2.7 倍），而即使是更克制的模型如 DeepSeek，其长度也超过人类 20%。
词汇：LLM 的类型 - 标记比率（TTR）较低，表明词汇多样性减少和措辞重复。

2. 具体性与参与度

交叉引用：虽然某些模型（Qwen、GPT-5）生成了大量的交叉引用，但其他模型（DeepSeek、Gemma）生成的数量很少。值得注意的是，OpenReviewer（经过微调）在交叉引用数量上与人类非常接近（2.77 对比 2.26）。
数学参与：前沿模型（GPT-5、Qwen）显示出高比率的数学参与（分别为 75.8% 和 68.6%），超过了人类比率（42.7%）。然而，较小的模型（DeepSeek、Gemma）则低于人类比率。
引用失败：几乎所有通用模型都无法生成有效、可验证的引用。只有 OpenReviewer 生成了一些可验证的引用（33% 已验证），与人类比率（35%）相似。

3. 评分对齐与偏差

一致性：GPT-5 与人类小组达成了一致性（ $\alpha_r \approx 0.36$ ），达到或略高于仅人类基线。DeepSeek 显示出最弱的一致性（ $\alpha_r \approx 0.14$ ）。
偏差：LLM 评分表现出正向偏差（倾向于给出更高分数）和低方差。它们的变异性小于人类评分，并且经常聚集在量表的顶端。
置信度：LLM 表现出过度自信，很少分配低置信度分数（1 或 2），而人类经常使用这些分数。

4. 信息覆盖

数量与质量：LLM 生成的原子优点和缺点始终多于人类。GPT-5 生成的缺点数量几乎是人类基线的三倍。
覆盖：虽然 LLM 覆盖了人类识别出的优点的高比例（原子召回率 $\approx$ 0.89–0.94），但对缺点的覆盖较低（0.70–0.93）。
模式：前沿模型（GPT-5、Qwen）倾向于将人类观点分解为更细的子观点（高映射密度），而 OpenReviewer 则保持更一对一的映射。

意义与主张

该论文声称，PRAIB 为社区提供了一种诊断工具，用于识别 LLM 目前可以可靠支持评审过程的哪些方面，以及哪些方面需要进一步发展。

行为差异：研究表明，LLM 不仅仅是模仿人类评审；它们表现出独特的行为模式，包括过度的冗长、词汇多样性减少以及倾向于忽视人类指出的原子缺点。
当前模型的局限性：由于在引用事实性、正向评分偏差以及与特定手稿元素参与不一致等方面的失败，通用模型目前不适合作为人类专业知识的全面替代品。
增强的潜力：特定模型，特别是那些针对领域进行微调的模型（OpenReviewer）或具有强大数学参与能力的前沿模型（GPT-5），在增强人类主导的技术评审方面显示出前景，特别是在数学分析和识别形式结构方面。
未来方向：作者提出了一种协同流程，其中前沿模型处理数学分析，微调模型协助风格起草，而人类审稿人保留最终的质量判断和引用验证。

该论文得出结论：虽然 LLM 正在加速评审过程，但它们与人类规范的行为偏差 necessitate 需要仔细评估和混合人机工作流程，而不是完全自动化。