Benchmarking Stylometric Metrics for AI Authorship Verification: A Glass-Box Forensic Framework Across Language Models
本文提出了一种透明的“玻璃盒”取证框架，利用四十项可解释的文体学指标来证明，尽管存在词汇趋同现象，但在不同数据集的人类与人工智能生成文本之间，信息论预测性、结构属性以及自然变异性方面仍存在显著且不断扩大的差异，从而为作者身份验证提供了稳健的基础。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在语言的幽静角落，每一位作者都会留下独特的指纹。这就是文体测量学（stylometry）的核心理念，这一领域长期以来一直在研究人们不仅通过“说什么”来写作，更通过“如何说”来展现自我。人类拥有无意识的习惯：句子的长度、标点符号的节奏、词汇的选择以及思维结构的组织方式。几十年来，语言学家一直利用这些微妙的模式来识别匿名信件或有争议的历史文献的作者。如今，一个新的挑战已经出现。强大的人工智能系统现在可以生成听起来非常像人类的文本，模糊了个人声音与机器输出之间的界限。这种能力引发了学校、法院和新闻编辑室的紧迫问题：当一段文字出现时，我们如何知道它是人类写的，还是计算机生成的？这其中的利害关系重大，涉及学术诚信、知识产权以及虚假信息的传播。
德里国家技术学院的一组研究人员针对这一问题采取了一种全新的方法。他们没有依赖于那些仅仅猜测文本是真还是假的复杂且不透明的计算机程序，而是构建了一个透明的、循序渐进的框架，用以衡量人类写作与机器写作之间的具体差异。他们称之为“玻璃盒”方法，这意味着分析的每一步都是可见且可理解的，不像那些隐藏其推理过程的“黑盒”系统。研究人员检查了两个大规模文本集：一个包含受控的学术论文，另一个包含来自互联网的多样化现实世界写作，包括来自最新、最先进推理模型的生成内容。通过测量四十种不同的写作特征，他们发现，尽管人工智能在模仿人类词汇方面做得越来越好，但它在结构上正变得更加僵化和可预测。
研究人员首先在仅有的人类写作上测试了这四十种测量工具，以确保工具的可靠性。他们将人类编写的文本分为两组，并检查这些工具是否能发现其中的任何差异。结果显示，这些工具几乎没有发现任何差异，这证明了无论主题或特定作者如何，人类的写作都保持着一种一致且自然的形态。这建立了一个稳定的基准。随后，当他们应用这些相同的工具来对比人类写作与人工智能生成的文本时，清晰的模式出现了。在受控的学术环境下，最大的差异出现在词汇的整体分布和文本的可预测性上。机器生成的文本在统计学上比人类写作更具可预测性，且所使用的词汇多样性也不同。
然而，当研究人员观察包含最新推理模型在内的更具多样性的数据集时，故事变得更加复杂了。这些系统旨在通过逐步思考来解决问题。在这里，研究人员发现了一个悖论。人工智能在模仿人类语言的统计学不可预测性方面做得更好，缩小了在词汇“惊喜度”上的差距。然而，在其他领域，这种差距反而扩大了。机器写作在结构上变得更加统一且重复。人类会自然地变换句子长度和结构以创造节奏感和强调感，而较新的模型产生的文本则具有一种机器人式的连贯性。这在最新的推理模型中尤为明显，它们倾向于撰写篇幅很长且句子结构非常稳定不变的文章。
一个最引人注目的发现涉及标点符号。在互联网这种不受控的野外环境中，人类作者会使用广泛的标点符号，包括分号、感叹号和问号，来表达复杂的思想和情感。然而，人工智能模型则很大程度上避开了这些符号。它们坚持使用句号和逗号，营造出一种更安全、更中立的语调。研究人员将此归因于这些模型的训练方式——即被训练为提供帮助且无害，这在无意中剥离了自然人类言语中所包含的情感和结构多样性。机器不仅仅是在正确地写作，它们是在“过于完美”地写作，缺乏人类表达中特有的自然“噪声”和瑕疵。
研究还强调了这些模型在处理变异性方面的关键差异。人类的写作是波动的；一位作者可能会使用一个非常长且复杂的句子，紧接着是一个短促有力的小句。这种变化是鲜活声音的标志。人工智能即使在尝试进行创作时，也倾向于抹平这些波动。它产生的文本其句子长度和词汇选择都保持在一个狭窄且一致的范围内。研究人员发现，这种自然变异性的缺失，比所选词汇的具体内容更能成为判定机器创作的指标。事实上，随着模型变得越来越先进，它们模仿人类词汇的能力在提高，但它们模仿人类结构多样性的能力却变得更加明显地匮乏。
研究人员得出结论，过去检测伪造文本的方法（通常侧重于简单的词频统计或基础词汇检查）已不再足够。机器已经学会了使用正确的词汇。检测的新前沿在于观察写作的结构和节奏。机器最可靠的迹象不在于它说了什么，而在于它如何表达：重复的句子模式、对复杂标点符号的规避，以及在思想流动中缺乏自然的变化。该研究表明，未来用于识别人工文本的工具必须关注这些更深层的结构指纹。随着人工智能的不断进化，它最终可能会学会用类人的词汇写作，但它可能仍难以复制人类大脑运作时那种不完美的、多变的且富有节奏感的混沌状态。区分它们的关键，在于倾听那份自然的、属于人类的“噪声”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。