Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable
该研究通过构建模拟人机协作的同行评审数据集并评估多种检测器，发现当前所有检测工具均无法可靠区分经大语言模型润色的人类评审与完全由 AI 生成的内容，导致允许此类使用的政策实际上不可执行，且基于现有检测器的 AI 使用率估算可能存在严重偏差。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文就像是一场**“学术界的打假行动”**，但它发现了一个令人头疼的真相：目前的“打假工具”根本没法区分“谁在偷懒”和“谁在帮忙”。
为了让你轻松理解，我们可以把论文评审（Peer Review）想象成“美食评论家给餐厅打分”。
1. 背景：大家都在用“魔法笔”吗？
现在，很多学术期刊和会议规定：
- 规则 A（完全禁止）： 评论家必须亲笔写，不能用任何 AI 工具。
- 规则 B（仅限润色）： 你可以用 AI 帮你改改语法、理顺句子、让文章读起来更通顺，但核心观点、批评意见和打分必须是你自己想的。
这就好比：你可以请一个**“语言修饰师”帮你把菜评写得漂亮点，但不能让修饰师替你做决定**说“这道菜很难吃”。
2. 核心问题：现在的“测谎仪”靠谱吗？
会议组织者想：“既然有规则，我们就用AI 检测器（像测谎仪一样）来抓违规者。”
但这篇论文的研究团队（来自印度、美国等顶尖高校）做了一个大胆的实验：
他们收集了5 万多份模拟的评审意见，涵盖了从“完全由 AI 写”到“人类写完后 AI 润色”的各种情况，然后扔给市面上最厉害的 5 个检测器去测。
3. 实验结果：测谎仪“瞎了”
结果非常糟糕，就像**“警察拿着一个不准确的测谎仪抓小偷，结果把很多无辜的好人抓进了监狱”**：
误伤好人（假阳性）： 那些完全合规的“人类写 + AI 润色”的评审，有3% 到 30% 不等被检测器直接判定为“全是 AI 写的”！
- 比喻： 一个厨师自己炒了菜，只是请人把盘子擦得亮一点。结果检测器说：“这菜是机器做的！你作弊了！”
- 后果： 如果按这个抓人，成千上万个遵守规则的学者会被冤枉，甚至被指控“学术不端”。
抓不住坏人（漏网之鱼）： 虽然检测器能抓出那些“完全由 AI 代写”的评审，但一旦坏人用了**“人类化”工具**（把 AI 写的东西伪装成人类语气），检测器就彻底失效了，甚至把人类写的东西也当成人类写的。
4. 为什么“润色”这么难抓？
研究团队发现，目前的检测器就像**“只看表面纹理的鉴定师”**。
- 当人类写完后，让 AI 帮忙**“润色”（改语法、换词），AI 往往会无意识地加入一些新内容**，或者把句子改得和它自己写的风格太像。
- 检测器一看：“这句子太完美了，肯定是 AI 写的！”
- 但实际上，这只是一个人类在认真修改自己的文章。
这就导致了一个死循环：
- 如果你想抓“完全 AI 代写”的坏人，你就必须把“润色”也抓进来，结果误伤了一大堆好人。
- 如果你只想抓“润色”违规，现在的工具根本分不清“润色”和“代写”的界限。
5. 那些“高科技”手段有用吗？
研究团队还尝试了各种“作弊码”来辅助检测：
- 结合论文原文： 让检测器看看评审是不是基于论文写的。
- 结果： 稍微好了一点点，但误伤率反而更高了。
- 模仿人类风格训练： 专门用学术评审的数据训练检测器。
- 结果： 就像“刻舟求剑”，一旦坏人换了个新的 AI 模型（比如从 GPT-4 换成 GPT-5），检测器就完全不认识了。
6. 结论与启示：现在的政策行不通
这篇论文给出了一个非常扎心的结论：
“仅限润色”（Polishing-only）的政策，在目前的科技水平下，是无法执行的。
- 如果你强行执行： 你会冤枉大量遵守规则的学者（因为检测器会把“润色”误判为“代写”）。
- 如果你完全禁止： 那些偷偷用 AI 代写的人，只要稍微伪装一下，检测器也抓不到。
给普通人的启示：
- 别轻信“AI 检测”的统计数据： 最近新闻说"ICLR 会议有 21% 的评审是 AI 写的”，这可能被严重夸大了。因为检测器把很多“人类写+AI 润色”的合规评审，也误算成了"AI 代写”。
- 给审稿人的建议： 如果你要用 AI 帮你改语法，千万别把论文原文发给 AI，也一定要明确告诉 AI“只改语法，不许加新内容”。否则，你的评审可能会因为“加了新内容”而被误判为作弊。
- 给会议组织者的建议： 别指望靠“测谎仪”来维持学术诚信。在找到更精准的工具之前，“仅限润色”的政策可能只是个美好的愿望，实际上很难落地。
一句话总结：
现在的 AI 检测器太笨了，它分不清“帮你擦鞋”和“替你走路”。在它能变聪明之前，靠它来定规矩，只会让老实人吃亏，让坏人有空子钻。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。