Why AI Detection Fails for Academic Integrity

想象一下，将学校论文和研究报告的世界看作一座巨大且繁忙的图书馆。多年来，教师和教授一直扮演着图书管理员的角色，负责检查书架上的每一本书是否确实是由封面上的那个人撰写的。但最近，一种新型的机器人作家出现了。这些被称为“大语言模型”（LLM）的机器人可以秒级生成整个故事、解决数学问题并解释复杂的概念。这引发了一场小小的恐慌：“我们如何知道一个学生是真的写了论文，还是只是让机器人帮他写了？”

为了解决这个问题，学校开始聘请“AI侦探”。这些是专门设计用来嗅探机器人编写文本的特殊计算机程序。其原理很简单：如果侦探说，“这闻起来像个机器人”，那么该学生就会受到惩罚。但问题在于：这些侦探本应是完美的，却经常感到困惑。它们可能会认为一个仅仅使用机器人来修正语法的人是作弊者，却漏掉了一个使用机器人写了整篇论文并试图掩盖痕迹的学生。本文深入探讨了这些“AI侦探”究竟是在履行职责，还是在把学术诚信搞得一团糟。

---

伟大的 AI 侦探对决

在这项研究中，来自圣母大学的研究人员决定对这些“AI侦探”进行测试。他们不仅查看了伪造的论文，还查看了来自四个不同领域的真实已发表研究摘要（科学论文开头的简短总结）：化学、计算机科学、政治学和神学。他们将“机器人时代前”（2013–2015年）的论文与“机器人时代”（2023–2025年）的论文进行了对比。

他们设置了一个包含三种不同场景的游戏，以观察侦探们的反应：

1. 原创： 由人类撰写摘要，没有任何机器人介入。
2. 轻度润色： 由人类撰写摘要，但要求机器人仅进行“润色”（修正语法和流畅度）。
3. 全文重写： 由人类将整篇文章交给机器人，由机器人从头开始撰写全新的摘要。

随后，他们将这些文本输入到两个著名的商业 AI 检测器中：Pangram 和 GPTZero。

“假警报”问题

第一个大惊喜是，当侦探面对无辜的人类时，竟然如此频繁地大喊“机器人！”。

• 当研究人员将 2023–2025 年间原创的人类撰写的摘要输入检测器时，检测器将其标记为 AI 生成的概率为 8.9% 至 15.0%。这意味着每十篇诚实的论文中，就有一篇仅仅因为其存在而被贴上了“有罪”的标签。
• 对于非科学学科，情况变得糟糕得多。在神学和政治学等领域，检测器比在化学或计算机科学领域表现得更加可疑。事实证明，如果你以一种使用大量华丽学术词汇或长句的风格写作，检测器就会认为你是一个机器人，即使你是一位人类教授。
• 最令人震惊的是，当他们拿出一篇诚实的论文并仅仅要求机器人进行“精炼”或润色时，检测器彻底失控了。他们将这些经过轻度编辑的论文标记为 AI 生成的比例高达 64% 至 80%。

类比： 想象一名博物馆的保安。如果你穿着燕尾服（华丽的学术写作）走进去，保安会认为你是个小偷。如果你穿着燕尾服，并且还请朋友帮你系一下领结（轻度 AI 编辑），保安就会把你按倒。但如果一个窃贼穿着小丑服走进来（全文机器人论文），如果他先换掉服装，保安可能直接让他走过去。

“隐形斗篷”问题

研究的第二部分关注了“人类化工具”（Humanizers）。这些工具专门设计用于欺骗 AI 侦探。它们通过对机器人编写的文本进行适度的改写，使其看起来再次像人类的作品。

研究人员提取了机器人编写的摘要（即那些检测器理应捕捉到的内容），并运行了一个名为 Undetectable AI 的人类化工具。结果令人震惊。

• 在使用人类化工具之前，检测器能捕捉到大部分全文重写的文本。
• 在使用人类化工具后，检测器完全失去了理智。它们未能捕捉到超过 96% 的机器人编写文本。换句话说，人类化工具给机器人披上了一件“隐形斗篷”，侦探们完全看不见它了。

类比： 这就像是一场“红灯，绿灯”的游戏。AI 侦探是那个背对着观众的人。如果机器人尝试穿过房间，侦探会抓住他们。但如果机器人穿上了一件特殊的隐身衣（人类化工具），侦探转过身来时，看到的只是一个空荡荡的房间。机器人就在那里，但侦探却认为那里很安全。

学生的“双输局面”

这造成了一个极其糟糕的情况，作者称之为“第 零 种 悖 论”（Catch-22，即进退两难的局面）。

• 诚实的学生如果使用 AI 来帮助他们更好地写作或修正语法，很可能会被标记并受到惩罚。研究发现，诚实的编辑会导致 64–80% 的被标记概率。
• 使用 AI 生成内容的同学如果使用人类化工具来隐藏行踪，则有 96% 以上的机会逃脱抓捕。

论文指出，目前的系统是在惩罚诚实的人，而奖励不诚实的人。作者认为，检测器并不是真的在寻找“这是谁写的”，而是在对词语中的特定模式做出反应，例如使用了多少长单词，或者句子中堆砌了多少学术术语。当人类化工具改变这些模式时，检测器就会感到困惑。

作者的结论

研究人员非常明确地表示：AI 检测器不应被用作判定学生作弊的唯一证据。

他们发现：

1. 检测器是不可靠的： 它们会过度标记诚实的人类写作，尤其是在非科学学科中。
2. 人类化工具太强大了： 它们可以轻易欺骗检测器，使得如果有人试图隐藏，就无法捕捉到完整的 AI 生成论文。
3. 特征至关重要： 检测器似乎更在意“长单词”和“学术词汇”，而不是人类是否真的思考了这些观点。

论文建议，学校需要停止依赖这些声称能检测 AI 的“魔杖”。相反，他们应该观察全局：一个学生的起草过程、他们的写作历史以及人类的判断。仅仅依靠计算机评分，就像因为温度计显示一个人体温过高就开除老师一样，而不去检查他到底是在发烧，还是仅仅站在火炉旁边。

简而言之，AI 侦探目前没能胜任工作。它们太吵闹、太容易被骗，并且惩罚了错误的人。在它们变得更好之前，用它们来决定一个学生的命运是一场危险的游戏，而诚实的学生很可能是这场游戏的输家。