Stability-Aware Feature Design for Robust Watermark Detection in Machine-Generated Text
本文介绍了模式稳定性评分（Pattern Stability Score, PSS），这是一种新颖的水印检测框架，它利用局部统计特征以及不同改写变体之间的稳定性动态，显著提高了针对多轮改写和短文本的鲁棒性，在无需重新训练的情况下，实现了比现有方法高出 10–15 个百分点的 AUC，并保持了在不同模型和领域间的强大泛化能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数字景观中，大型语言模型已成为无处不在的工具，能够生成模仿人类写作且准确度惊人的文本。随着这些系统融入学校、新闻编辑室和科学研究领域，一个关键挑战也随之而来：如何区分由人类撰写的内容与由机器生成的内容。一种极具前景的解决方案涉及“水印”技术，即机器在写作过程中微妙地偏向其词汇选择。想象一下，该模型就像一位作家，在创作故事时，被秘密指示要偏好一份特定的、隐藏的词汇表。对于普通读者而言，故事读起来很正常，但对于已知该秘密列表的检测器来说，文本会揭示出证明其人工起源的统计模式。然而，这种方法面临着一个重大障碍。如果人类或其他计算机对文本进行改写以改变措辞同时保持原意——这一过程被称为“释义（paraphrasing）”——隐藏的模式可能会变得稀释或分散，导致检测器失效。当文本较短或经过多次改写时，这种脆弱性尤为突出，从而留下了我们无法验证信息来源的空白。
乔治梅森大学的研究人员开发了一种新方法来填补这一空白，其核心是将重点从试图让水印更难被破解，转向让检测器在寻找水印方面变得更聪明。该方法被称为“模式稳定性得分（Pattern Stability Score）”，它不再将整个文本视为单一的数据块，而是将文本分解为小的、重叠的窗口，以检查写作的局部结构。他们观察到，虽然机器生成的文本具有特定的统计特征，但人类的写作则不然。当机器改写自己的文本时，底层的统计偏差往往会在某些局部区域持续存在，即使表层词汇发生了变化。相比之下，当人类改写文本时，统计模式会随机波动，因为不存在需要维持的隐藏信号。研究人员构建了一个系统，通过追踪同一文本在多个版本中的这些局部模式，来识别即便在经过大幅改动后的水印。通过衡量这些模式在文本被改写时保持稳定的程度，该系统可以识别出水印。
团队在三种不同类型的写作上测试了这种方法：长篇书籍、新闻文章和百科全条目。他们使用多种不同的语言模型生成原始文本，然后让这些文本接受多达八轮由不同人工智能系统进行的改写。在这些严格的测试中，新方法表现出了极强的韧性。虽然观察整体文本的传统检测器在仅经过几轮改写后准确率就显著下降，但新方法却保持了高性能。具体而言，即使在文本被改写八次后，该系统仍实现了超过91%的准确率；而其他领先的方法（包括复杂的深度学习模型）其准确率则跌至接近随机猜测的水平。研究人员还发现，他们的系统在处理短文本方面表现良好（这是以往方法经常挣扎的场景），并且单个版本的检测器可以处理不同类型的写作和不同的AI模型，而无需重新训练。
推动这一成功的关键洞察是意识到全局平均值掩盖了真相。当文本被改写时，隐藏的信号并非均匀地被抹除；文本的某些部分保留了水印的指纹，而另一些部分则失去了它。一个仅关注整个文档中水印词汇总数的检测器会错过这些集中的证据点。通过在文本上滑动窗口并分析每个部分的局部统计数据，这种新方法捕捉到了这些隐藏的浓度。此外，通过比较这些局部模式在不同版本的文本中是如何表现的，该系统可以区分机器水印的一致性（尽管细微但持续存在）与人类改写的混沌变化。这种具备稳定性意识的设计使检测器能够忽略改写引入的噪声，并专注于留存下来的信号。
这项工作的意义不仅限于检测本身。研究人员证明了该方法在实际应用中的可行性，它仅需复杂系统所需计算能力的极小部分。它可以每天处理数千份文档，且运行速度足以应对对时间敏感的情况。重要的是，该方法不需要对生成文本的机器进行更改；它作为一个独立的工具，可以应用于已经存在的内容。这意味着庞大的机器生成文本档案可以在无需重新生成内容的情况下，被重新评估其真实性。这项研究表明，通过专注于局部模式的稳定性而非全局平均值，我们可以构建更强大的文本来源验证工具，为我们在一个日益充斥着机器生成内容的世界上导航提供可靠的方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。