Distinguishing Artificial from Authentic: Evaluating LLMs for Detecting LLM-Generated Content
本文评估了大语言模型在各类教育任务中检测其自身生成内容的能力，发现虽然检测在编程和较长篇幅的反思性写作方面是有效的，但在短答题方面仍不可靠，且对提示词的变化高度敏感，这表明在将大语言模型作为识别学生 AI 生成作业的独立工具时应保持谨慎。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一名正在画廊里试图识破假画的侦探。你戴着一副特殊的眼镜，声称能瞬间分辨出一件杰作出自人类之手还是机器人之手。这就是**大语言模型（LLMs）**的世界。把这些模型想象成超级聪明的机器人，它们几乎读过互联网上所有写过的东西。它们可以写论文、解决数学问题，甚至编写看起来就像出自人类学生之手的计算机代码。但棘手的部分在于：随着这些机器人的能力不断提升，越来越难分辨它们的作品与人类真实作品之间的区别。这给学校和老师带来了巨大的难题，因为他们需要知道一名学生究竟是自己做了作业，还是只是找机器人代劳了。科学家们目前正致力于寻找一种捕捉这些“机器人论文”的方法，而其中一个最有趣的思路是直接问机器人：“嘿，这是你写的吗？”这就像是让一名伪造者看着一幅假画并承认：“是我做的。”
这篇论文是来自一组研究人员的报告，他们决定在真实的课堂环境中测试这种“询问机器人”的想法。他们想看看人工智能是否可以扮演侦探的角色来识别自己的作品。他们为一个大学编程课程设计了一个数字实验，学生需要完成四种不同类型的任务：关于学习新语言的长篇反思、关于一段代码的一个短句回答，以及解决两个不同的编程谜题。随后，研究人员要求一个 AI 为所有这些任务生成虚假答案，并试图让它们看起来像是出自学生之手（有的带有拼写错误，有的带有“初学者”式的错误）。最后，研究人员要求第二个 AI 观察所有这些答案——包括真实的及虚假的 AI 答案——并猜测哪一个是哪一种。
结果就像坐了一场过山车。研究人员发现，AI 侦探在某些领域表现出色，但在另一些领域却完全陷入混乱。当任务是编写代码时，AI 是一位目光敏锐的侦探。它能轻易辨别出机器人的代码和人类的代码之间的区别，主要是因为机器人的代码往往更长且结构更完美，就像一个从不出错的机器人。同样，当学生撰写长篇反思性文章（长达数段）时，AI 侦探也能识破虚假内容，因为机器人的写作过于精炼且辞藻华丽，听起来就像一段经过过度排练的演讲。
然而，面对短答案时，AI 侦探碰壁了。当任务是写一句话来解释为什么一段代码易于阅读时，AI 完全搞反了。它竟然认为真实人类学生的短答案比机器人自己的答案更有可能是由机器人编写的！研究人员认为，这是因为机器人的短答案通常被刻意设计得看起来更“像人”，比如通过添加拼写错误或使用非正式语言，这反而让它们看起来没那么可疑。与此同时，真实学生的短答案有时非常清晰直接，以至于检测器误以为：“这太完美了，不可能是人类写的；这一定是机器人！”
研究还发现，机器人穿上的“戏服”非常重要。如果机器人被要求模仿学生并加入拼写错误或俚语，那么在写作任务中就变得更难被抓住了。但在编程任务中，即使机器人试图通过增加 Bug 来扮演一个笨拙的初学者，它仍然很容易被识破。研究人员得出结论，虽然让 AI 去捕捉其他 AI 在长篇论文或编程任务中可能奏效，但它并不是灵丹妙药。对于短答案来说，它太不可靠了，老师绝不应该仅仅依靠它来指控学生作弊。它是一个在某些房间里有效、但在另一些房间里表现糟糕透顶的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。