🔢 mathematics

Black-Box Detection of LLM-Generated Text Using Generalized Jensen-Shannon Divergence

本文介绍了 SurpMark，这是一种针对大语言模型生成文本的鲁棒黑盒检测器，它利用词元惊讶度动态和广义 Jensen-Shannon 散度度量，在无需访问源模型的情况下有效区分人类与机器写作。

原作者： Shuangyi Chen, Ashish Khisti

发布于 2026-05-12

📖 1 分钟阅读🧠 深度阅读

原作者： Shuangyi Chen, Ashish Khisti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，试图判断一个故事是由人类还是机器人撰写的。过去，侦探们会寻找明显的线索，比如拼写错误或奇怪的语法。但如今的机器人（大型语言模型，或称 LLM）写作能力如此出色，它们极少犯这些错误。它们听起来几乎与人类完全一致。

本文介绍了一种名为SurpMark的新型侦探工具。SurpMark 不关注使用了哪些词语，而是关注作者在打字时如何思考。

以下是其工作原理，使用简单的类比来说明：

1. “惊喜计量表”

想象你正在阅读一个故事。

人类作者经常会有出人意料的转折。他们可能会说一些令人惊讶的话，然后下一句话显得有些混乱，或者突然跳转到一个新的想法。
机器人被训练得具有可预测性。当机器人写作时，它通常会选择“最安全”的下一个词。如果它确实选择了一个令人惊讶的词（也许是为了发挥创意），它会立即恢复高度可预测的状态以保持连贯。

SurpMark 就像一个惊喜计量表。它衡量语言模型对文本中每个词感到“惊讶”的程度。

如果文本出自人类，惊喜计量表会以狂野、不规则的模式上下跳动。
如果文本出自机器人，计量表则呈现出特定的节奏：一次大幅跳动（惊喜）之后立即跟随一个平静、可预测的下沉。

2. 将计量表转化为地图

本文将这些“惊喜”数值转化为简单的类别，就像交通信号灯一样：

🟢 绿色： 非常可预测（不令人惊讶）。
🟡 黄色： 略微令人惊讶。
🔴 红色： 非常令人惊讶。

SurpMark 不看原始数值，而是观察颜色的序列。它会问：“文本从红色变为绿色的频率有多高？从绿色变为黄色的频率有多高？”

3. “状态转换”地图

把这想象成一个舞池。

人类舞者可能会从慢步突然跳到快速旋转，再滑向另一个动作，方式非常独特且不可预测。
机器人舞者则有特定的习惯。如果它们做了一个狂野的旋转（红色），它们几乎总是会立即回到缓慢、稳定的步伐（绿色）。它们拥有一种“恢复”模式。

SurpMark 构建了这些舞步（转换）的地图。它基于事先研究的数千个例子，创建了一张“人类舞步地图”和一张“机器人舞步地图”。

4. 最终测试：“差距”

当新文本出现时，SurpMark 记录其舞步，并与这两张地图进行比较。

它计算新文本与人类地图之间的距离。
它计算新文本与机器人地图之间的距离。
它将两者相减。

如果文本的舞步更像机器人地图（尤其是那种特定的“旋转后恢复稳定”的模式），检测器就会将其标记为机器生成。如果它更像混乱的人类地图，则被标记为人类创作。

这有何特别之处？

本文突出了三个主要优势：

它无需知道机器人的名字： 许多检测器需要确切知道是哪个机器人撰写了文本才能有效工作。SurpMark 是一个“黑盒”检测器。即使文本是由它从未见过的、秘密且强大的机器人撰写的，它也能发挥作用。它只关注思考的风格，而非特定的模型。
它快速且廉价： 其他一些检测器试图重写文本或生成新版本以观察其变化。这就像要求嫌疑人写五遍故事，看看他们是否会紧张。这需要大量的时间和计算能力。而 SurpMark 只需阅读一次文本，就像快速瞥一眼指纹。
它能捕捉“高级”机器人： 研究发现，对于非常聪明、昂贵的机器人，“惊喜”水平看起来几乎与人类完全一致。然而，它们从惊喜中“恢复”的模式（即舞步）仍然不同。SurpMark 能够捕捉到其他检测器遗漏的这种微妙节奏。

核心结论

SurpMark 是一种通过分析写作中惊喜节奏来检测 AI 文本的工具。它不在乎具体的词语，而在乎文本的“心跳”。如果心跳具有机器特有的那种“冲击后恢复”的节奏，它就能识别出这是 AI，即使机器人正极力模仿人类。

技术摘要：基于广义 Jensen-Shannon 散度的 LLM 生成文本黑盒检测

问题陈述

大型语言模型（LLM）的快速发展模糊了人类撰写文本与机器生成文本之间的界限，引发了关于虚假信息、剽窃、欺诈以及通过递归反馈循环导致训练数据质量下降的担忧。现有的检测方法在实际的黑盒场景中面临显著局限：

基于分类器的检测器在领域或生成器发生偏移时需要昂贵的重新训练，并且依赖于高质量的标注数据。
全局统计方法（如似然度、排名、熵）在校准不匹配和领域偏移下往往不稳定。
分布统计方法（如 DetectGPT、DNA-GPT）通常需要针对每个实例进行重新生成或扰动以估计局部散度，导致计算成本高昂且延迟过高，难以满足高吞吐量应用的需求。

此外，黑盒约束加剧了用于评分的代理模型与未知源模型不匹配的问题。本文旨在解决对检测器的需求，该检测器应避免重新训练和针对每个实例的重新生成，同时在分布偏移和代理模型不匹配的情况下保持鲁棒性。

方法论：SurpMark

作者提出了SurpMark，这是一种基于参考的黑盒检测器，将归属问题框架化为无似然假设检验。该框架分为两个阶段运行：

1. 离线参考构建

利用现有的人类和机器语料库，系统构建固定的参考转移矩阵：

惊奇度估计：一个固定的代理语言模型（LM）为参考文本计算词元级惊奇度（ $s_t = -\log p_\theta(x_t | x_{<t})$ ）。
离散化：连续的惊奇度值使用共享的 $k$ -means 量化器量化为 $k$ 个可解释的状态（例如，“可预测”、“令人惊讶”）。这将序列转换为离散状态序列 $\{a_t\}$ 。
转移建模：状态序列被建模为一阶马尔可夫链。通过统计参考语料库中的状态转移，估计经验转移概率矩阵（ $\hat{M}_{human}$ 和 $\hat{M}_{machine}$ ）。

2. 在线检测

对于测试文本段落：

特征提取：相同的代理 LM 计算惊奇度，并使用共享量化器将其离散化以形成状态序列。
转移估计：计算测试文本的经验转移矩阵（ $\hat{M}_{test}$ ）。
评分：检测器计算广义 Jensen-Shannon (GJS) 散度分数。具体而言，它计算与机器参考的 GJS 距离和与人类参考的 GJS 距离之间的差值：
$\Delta GJS_n = GJS(\hat{M}_{machine}, \hat{M}_{test}, \alpha) - GJS(\hat{M}_{human}, \hat{M}_{test}, \alpha)$
其中 $\alpha$ 是参考长度与测试长度的比率。
决策：如果 $\Delta GJS_n \leq \tau$ （其中 $\tau$ 是阈值，通常为 0），则文本被分类为机器生成，否则为人类撰写。

理论依据

本文在离散化惊奇度状态的理想化一阶马尔可夫近似下提供了理论分析：

离散化 - 估计权衡：作者推导了分箱数量 $k$ 的缩放定律。通过平衡离散化误差（ $O(1/k)$ ）和统计估计误差（ $O(k^{3/2}/\sqrt{N})$ ），最优分箱数量缩放为 $k^* = \Theta(N^{1/5})$ ，其中 $N$ 是参考数据的总长度。
统计量有效性：证明 $\Delta GJS_n$ 统计量等价于两个假设（人类与机器）之间的归一化对数似然比。作者证明了其渐近正态性，为决策规则提供了原则性基础。
一阶充分性：基于 Gray 近似理论的经验与理论分析表明，从一阶马尔可夫模型转向二阶马尔可夫模型所获得的条件互信息微乎其微（困惑度降低幅度小于百分之一），这证明了使用一阶模型以实现数据效率的合理性。

主要贡献

SurpMark 框架：一种基于参考的检测器，通过词元惊奇度动态（状态转移）而非绝对似然度来总结文本，避免了对每个实例进行重新生成的需求。
理论分析：推导了离散化分箱缩放的设计指南（ $k \propto N^{1/5}$ ），并为基于 GJS 的检验统计量作为对数似然比提供了原则性依据。
综合评估：广泛的实验证明了其在多样化数据集、源模型（开源和闭源）及场景（混合领域、改写、对抗攻击）下的鲁棒性。

实验结果

SurpMark 在多个数据集（XSum, WritingPrompts, SQuAD, WMT19, HC3, DetectRL）和模型（9 个开源模型，3 个闭源模型）上与 13 个基线（包括 DetectGPT, Lastde++, R-Detect 和 Binoculars）进行了评估。

性能：SurpMark 始终与基线持平或超越。它在 9 个开源模型中的 6 个上实现了最高的平均 AUROC，并在所有 3 个闭源模型（包括 GPT-5-Chat）上排名第一，而在这些模型上边际统计量往往失效。
效率：与需要每个输入重新生成的分布方法（如 DetectGPT, Lastde++）不同，SurpMark 单次遍历即可对文本进行评分。在摊销一次性预处理成本后，其吞吐量高于基线，使其适合实时部署。
鲁棒性：
- 代理不匹配：即使代理 LM 与源生成器存在显著差异，SurpMark 仍保持稳定，而许多基线则性能下降。
- 领域偏移：该方法在混合领域和混合生成器设置（DetectRL 基准）中保持高性能。
- 对抗攻击：SurpMark 对改写攻击（润色、回译、DIPPER）和旨在模仿人类风格或逃避检测的提示工程对抗攻击表现出强大的抵抗力。
- 分布外（OOD）泛化：当参考文本来自与测试集不同的领域时，检测器表现良好，表明其捕捉的是可迁移信号而非特定领域的伪影。

意义与主张

本文声称 SurpMark 为黑盒 LLM 文本检测提供了一种鲁棒、高效且具有理论依据的解决方案。其意义在于：

与源模型解耦：通过依赖相对于固定参考的词元惊奇度动态，它避免了在特定生成器上训练的分类器的脆弱性。
计算效率：它消除了与每个实例重新生成相关的延迟和成本，实现了可扩展部署。
处理先进模型：该方法专门针对检测来自强大闭源模型（如 GPT-5）的文本的挑战，在这些模型中，边际惊奇度分布与人类文本收敛，但转移动态仍然不同。

作者谦逊地指出了局限性，承认一阶马尔可夫近似是对离散状态空间的理想化，且代理模型中人类文本的预训练暴露理论上可能会增加误报，尽管实验表明这种影响微乎其微。他们强调，该检测器提供的是概率信号，不应在没有人工审查的情况下作为高风险决策的唯一依据。