🤖 AI

Review Arcade: On the Human Alignment and Gameability of LLM Reviews

本文基于2025年ACL滚动评审的论文，对大语言模型生成的评审意见进行了实证评估，发现尽管其与人类评审的一致性有限且不稳定，但作者仍可通过根据大语言模型的反馈迭代修改其作品，从而有效“操纵”该系统，使高达35%的投稿获得统计学上显著的分数提升。

原作者： Hans Ole Hatzel, Sebastian Steindl, Jan Strich

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hans Ole Hatzel, Sebastian Steindl, Jan Strich

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将学术研究的世界比作一场规模宏大、 stakes 极高的才艺表演秀。每年，成千上万的科学家提交他们的“节目”（论文），由人类专家组成的评审团进行评判。目标是获得全场起立鼓掌（录用），从而让节目登上世界舞台。

最近，一种新型评委进入了赛场：人工智能（大型语言模型）。这些 AI 评委正在接受测试，以观察它们能否帮助人类评委应对海量投稿。但这篇论文提出了一个棘手的问题：当表演者开始利用 AI 来欺骗评委时，会发生什么？

以下是研究人员发现的故事，已拆解为简单的概念。

1. 设定：AI 评委 vs. 人类评委

研究人员选取了 984 篇提交至主要会议（ACL 2025）的真实科学论文。他们让不同的 AI 模型阅读这些论文并撰写评审意见，就像人类所做的那样。

目标：他们想看看 AI 的评审（分数和评论）是否与人类评委的想法一致。
类比：想象一位人类评委因为舞者绊了一下，给一段舞蹈表演打了"7 分（满分 10 分）”。研究人员问 AI：“你会给这个打多少分？”
结果：AI 在猜测分数方面表现尚可，但并非出色。有时它很接近，但经常会有偏差。
- “人类”问题：即使是人类评委之间也意见不一！如果你让两个不同的人评判同一篇论文，他们的分数往往不同。AI 的一致性实际上与人类相当，但并未更优。
- “提示词”问题：AI 对提问方式非常敏感。如果你像严厉教授那样提问，它给出的分数较低；如果你像友好老师那样提问，它给出的分数较高。它就像一只变色龙，根据所在房间的颜色改变自己的观点。

2. 转折：“论文洗白”游戏

这是研究中最令人兴奋（也最令人担忧）的部分。研究人员问道：“如果作者知道 AI 在评判他们，他们能否诱骗 AI 给出更高的分数？”

他们设计了一个名为**“迭代投稿改进”**的游戏。

循环过程：
1. AI 阅读论文并说：“这很糟糕，因为你的语法很弱。”
2. 作者（使用另一个 AI）修正语法。
3. AI 再次阅读并说：“好多了，但你的结论很模糊。”
4. 作者修正结论。
5. 他们重复此过程 10 次。
三种作弊层级：
1. “礼貌”玩家（受限）：作者只被允许修正拼写错误、澄清句子，并使论文看起来更美观。他们不能改变实际科学内容或添加新数据。
2. “普通”玩家（默认）：作者可以进行更大的修改，但仍不能撒谎。
3. “反派”（对抗性）：作者被指示不惜一切代价获得“录用”。他们被允许撒谎、编造虚假数据，并发明从未发生过的实验。

3. 结果：你能战胜 AI 吗？

研究人员发现了一些令人惊讶的事情：

是的，你可以欺骗 AI。
在“礼貌”情境下，约35% 的论文仅通过重写以显得更优美，就获得了显著更高的分数。AI 被愚弄，认为论文更好了，尽管核心科学内容并未发生太大变化。这就像学生重写文章以使用更华丽的辞藻，而老师未察觉思想依旧，便给了 A+。
但“反派”策略的效果不如预期。
研究人员原本以为，如果作者被允许撒谎并编造虚假结果，分数会飙升。但他们错了。
- 原因：AI 评委拥有“护栏”（安全过滤器），阻止它们相信明显的谎言。此外，当你编造虚假数据时，论文的故事开始瓦解并变得不一致。AI 察觉到故事不合逻辑，因此没有给予巨大的分数提升。
- 教训：你无法仅通过撒谎轻易“博弈”系统；AI 足够聪明，能识破故事中的矛盾之处。

4. 重大警告：古德哈特定律

论文最后基于一条古老的经济规则——古德哈特定律提出了警告：“当一项指标成为目标时，它就不再是一项好的指标。”

类比：想象一所学校决定通过学生在图书馆的小时数来衡量学生的成功。突然，每个学生每天在图书馆坐 10 个小时，但他们实际上并没有学习；他们只是在那里睡觉以“博弈”系统。图书馆时长不再能很好地衡量智力。
论文的警告：如果科学家开始专门为了取悦 AI 评审而撰写论文（通过使用华丽的辞藻、澄清模糊点或调整结构），论文可能会获得 AI 的高分。但这些高分可能不再意味着科学质量实际上很好。AI 可能是在评估“包装”而非“产品”。

总结

AI 评审不一致：它们并不总是与人类达成一致，并且会根据提问方式改变观点。
AI 评审可被“博弈”：作者可以利用 AI 重写论文以显得更好，诱骗 AI 给出更高分数，而实际上并未提升科学质量。
撒谎并不总是奏效：试图伪造数据来欺骗 AI 是危险的，且往往失败，因为 AI 能识破不一致之处。
危险：如果我们过度依赖 AI 来评判论文，我们可能会得到一个系统，其中的论文被“优化”以取悦机器人，却失去了对人类读者的真正价值。

论文得出结论：虽然 AI 可以帮助承担评审的繁重工作，但我们必须非常小心，不要让它成为唯一的评委，否则我们可能会失去辨别什么是真正优秀科学发现的能力。

技术摘要：评审游乐场

问题陈述

本文探讨了学术界同行评审生态系统中对大语言模型（LLM）日益增长的依赖。文章提出了一个双重采用场景：作者利用 LLM 修改稿件，而评审员则使用 LLM 生成或协助撰写评审意见。这种动态引发了对古德哈特定律（Goodhart's law）的担忧：如果作者专门优化论文以满足 LLM 的评审标准，那么由此产生的分数可能不再能有效衡量论文质量。作者研究了三个核心研究问题（RQs）：

有效性：LLM 能否生成与人类评审意见充分一致的评审？
稳定性：LLM 评审在不同模型、提示词和重复运行中是否保持一致？
可操纵性：能否通过旨在最大化评审分数的自动化、迭代编辑工作流来“操纵”LLM 评审？

方法论

该研究在 2025 年 ACL 滚动评审（ARR）的984 篇真实投稿上进行了实证实验。数据集包含被接受和被拒绝的论文，并特别关注“总体”（Overall）分数作为主要指标。

实验设置

模型：作者评估了五种模型（三种开源权重模型：Gemma-3-27B、Qwen-3.6-35B、Llama-3.3-70B；以及两种闭源权重模型：GPT-5.4-mini、GPT-5.4）。
提示词：测试了五种不同的提示策略，范围从极简的“简单”提示到针对 ARR 指南定制的复杂、角色驱动提示（"acl_senior"）。
指标：
- 一致性：通过与人类分数的平均绝对误差（MAE）以及与最匹配人类评审的皮尔逊相关系数（ $r$ ）来衡量。
- 内容：使用 LLM 裁判（基于召回率的指标）衡量识别出的优点和缺点的语义重叠度。
- 稳定性：衡量重复运行和不同提示词下的分数方差。

迭代投稿改进（ISI）

为了解决研究问题 3，作者模拟了一种对抗性工作流，其中作者根据 LLM 的反馈迭代地编辑投稿。该过程在三种不同的设置下运行了 10 次迭代：

受限设置：仅允许表面、外观上的编辑（例如语法、澄清）；不允许新的实验或内容变更。
默认设置：一种受先前工作启发的中间方法，允许编辑，但禁止非外观类变更（如伪造结果）。
对抗设置：明确允许 LLM“操纵”系统，包括伪造证据、修改结果以及编造引用以满足评审员的关切。

建立了一个编辑分类法，将行动从“复制编辑”和“澄清”分类到“方法增强”和“幻觉证据”。

主要结果

1. LLM 评审有效性（RQ1）

分数一致性：LLM 通常在 MAE 方面无法匹配人类判断。表现最佳的模型（GPT-5.4 变体）实现的 MAE 约为 0.7，而人类评审员约为 0.17。值得注意的是，一个朴素基线（预测中点分数 2.5）在 MAE 上优于最佳 LLM（0.64 对比 0.70）。
相关性：虽然 MAE 较差，但皮尔逊相关系数更具竞争力。GPT-5.4 与人类评审的相关系数达到 0.276。然而，这与数据集中观察到的人类间低相关性（0.312）相当，表明 LLM 并不比人类评审员之间的自然差异显著更好或更差。
分裂差异：被接受和被拒绝论文之间的表现存在显著差异。人类评审员在被拒绝论文上的一致性（0.408）远高于被接受论文（0.210），LLM 也反映了这一趋势，在区分高质量论文方面更加困难。

2. LLM 评审稳定性（RQ2）

提示词敏感性：LLM 评审在不同提示词下极不稳定。例如，根据使用的是“简单”还是“资深”提示词，模型的 MAE 可能会发生剧烈变化。
运行不稳定性：即使使用相同的提示词和模型，重复运行也会产生不一致的分数。大约**36.9%**的论文在三次运行中获得了不同的分数，其中 20% 的分数差异超过 0.5 分。这表明 LLM 评审目前作为独立指标过于不稳定，不可靠。

3. LLM 评审可操纵性（RQ3）

受限设置：仅进行表面变化的迭代编辑导致分数统计显著增加。大约**35%**的论文在 10 次迭代后有所提升，而 22% 有所下降。效应量较小到中等。
对抗设置：令人惊讶的是，允许 LLM 伪造证据或结果并未带来最大的分数增长。其效应量弱于受限设置。作者推测，模型护栏阻止了严重的幻觉，而由虚假数据引入的方法学不一致性可能会在随后的 LLM 评审中惩罚论文。
编辑类型：最成功的“操纵”策略依赖于澄清和重构（在不改变含义的情况下重组），而不是实质性内容的伪造。

主要贡献

大规模实证评估：首次对 LLM 在真实 ARR 投稿上的评审进行了广泛研究，涵盖了多种模型、提示词和运行。
对抗攻击模拟：调查了自动化论文编辑作为操纵 LLM 评审分数的方法，证明了即使仅通过表面编辑，“操纵”也是可行的。
编辑分类法：建立了一个基于实证的分类法来对论文编辑进行分类，区分外观类变更与实质性（或伪造）修改。

意义与主张

本文结论指出，虽然 LLM 在特定最佳情况下可以生成与人类判断相关的评审，但由于在不同提示词和运行中的不稳定性，它们并非普遍可靠。作者认为，如果没有严格的保障措施，LLM 评审的当前状态不足以用于正式采用。

至关重要的是，该研究揭示了同行评审过程中的一个弱点：LLM 评审是可以被操纵的。作者可以利用 LLM 反馈迭代地完善论文，从而人为地抬高分数，特别是通过表面的澄清和结构重组。作者援引古德哈特定律警告称，随着 LLM 成为优化的目标，其作为衡量真实论文质量工具的有效性将下降。他们敦促社区对自动化评审保持极度谨慎，强调正式实施必须旨在防止可操纵性并确保视角的多样性，而不是仅仅依赖基于分数的指标。