💬 NLP

Operation-Guided Progressive Human-to-AI Text Transformation Benchmark for Multi-Granularity AI-Text Detection

本文介绍了 OpAI-Bench，这是一个通过模拟渐进式的人机协同编辑工作流来评估多粒度 AI 文本检测的新型基准测试，揭示了可检测性并非仅仅受 AI 生成内容比例的影响，而是呈现出受编辑操作、领域及修订历史影响的非单调模式。

原作者： Sondos Mahmoud Bsharat, Jiacheng Liu, Xiaohan Zhao, Tianjun Yao, Xinyi Shang, Yi Tang, Jiacheng Cui, Ahmed Elhagry, Salwa K. Al Khatib, Hao Li, Salman Khan, Zhiqiang Shen

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sondos Mahmoud Bsharat, Jiacheng Liu, Xiaohan Zhao, Tianjun Yao, Xinyi Shang, Yi Tang, Jiacheng Cui, Ahmed Elhagry, Salwa K. Al Khatib, Hao Li, Salman Khan, Zhiqiang Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在观看一位厨师准备菜肴的过程。在过去，如果你想知道一顿饭是“人工制作”还是“机器制作”，你只需要品尝最后的成品。如果吃起来像机器人做的，你就标记为“AI”；如果吃起来像人类做的，你就标记为“人类”。

但今天，烹饪变得不同了。一位人类厨师开始制作这道菜，然后一名 AI 助手介入切一些蔬菜，接着人类加入香料，然后 AI 搅拌酱汁，最后由人类进行点缀。最终的菜肴是一种协作。

你提供的论文 OpAI-Bench 指出，我们目前的 AI 文本检测工具就像是一个只品尝最后一道菜，并试图仅凭那一口味道就推测整个烹饪历史的食评家。他们经常出错，因为他们不理解这道菜制作的过程。

以下是该论文内容的拆解，使用了简单的类比：

1. 问题所在：“快照” vs. “电影”

目前的 AI 检测器就像是在拍摄一张完成画作的快照。它们观察最终的图像，然后说：“这是 100% 人类创作”或“这是 100% AI 创作”。

但在现实世界中，写作是一部电影。人类写一个草稿，然后 AI “润色”一个句子，接着人类“扩展”一个段落，然后 AI “压缩”一个章节。论文指出：我们需要观看整部电影，而不仅仅是最后一帧。 现有的测试无法向我们展示中间的步骤，因此它们错失了 AI 的信号是如何在编辑过程中出现、消失或被隐藏的。

2. 解决方案：OpAI-Bench（“延时摄影摄像机”）

作者构建了一个新的测试场，称为 OpAI-Bench。你可以把它想象成一台延时摄影摄像机，架设在正在写作并由 AI 进行逐步编辑的人类旁边。

设置： 他们从一份纯人类编写的文档（版本 0）开始。
过程： 他们创建了该文档的 9 个版本。在每一步中，AI 会编辑特定比例的文本（从 15% 到 100%）。
转折： 他们不仅改变了 AI 修改的量，还改变了 AI 如何修改。他们使用了五种不同的“编辑工具”：
- 润色 (Polish)： 让它听起来更流畅（就像给汽车打蜡）。
- 改写 (Paraphrase)： 在不改变原意的情况下重新措辞（就像将一首歌翻译成另一种语言）。
- 风格重写 (Style Rewrite)： 改变语气（就像把一份正式报告变成一篇随性的博客文章）。
- 压缩 (Compress)： 缩短篇幅（就像总结一个长篇故事）。
- 扩展 (Expand)： 增加更多细节（就像为电影增加一个副线情节）。

至关重要的是，他们保留了一份详细的地图（溯源），展示了在每一个步骤中，哪些单词、句子和段落被 AI 触碰过。

3. 大惊喜：“混乱的甜点位”

研究人员在这一新基准测试上测试了许多不同的 AI 检测器。他们原本预期，随着 AI 编辑量的增加，检测器会变得越来越擅长识别 AI。

结果他们错了。

他们发现了一个奇怪的非线性模式。想象一下过山车：

开始阶段（仅人类）： 检测器确信它是人类创作。
结束阶段（完全 AI）： 检测器确信它是 AI 创作。
中间阶段（混合状态）： 这就是奇怪的地方。当文档是人类与 AI 的混合体时（特别是在 AI 进行“压缩”文本的 40-50% 阶段），检测器会感到困惑。它们在这里的表现甚至比在纯 AI 版本上的表现还要差。

类比： 这就像尝试辨别一枚假币。如果一枚硬币 100% 是塑料做的，你知道它是假的。如果它 100% 是黄金，你知道它是真的。但如果有人将 50% 的塑料与 50% 的黄金熔合在一起并重新塑形，它看起来可能比纯塑料更像真金，或者看起来如此怪异，以至于你的检测器会感到头晕并放弃。论文称之为“非单调”模式——这意味着“更多的 AI 内容”并不总是等于“更容易被检测到”。

4. “压缩”陷阱

有一个特定的发现非常突出：压缩（缩短文本）是检测器最难捕捉的编辑类型。即使 AI 只改变了少量的文本，如果这些改变涉及压缩内容，检测器往往也无法察觉。这就像 AI 是一个魔术师，让事物凭空消失，而检测器对这种“消失术”视而不见。

5. 为什么这很重要（根据论文观点）

论文得出结论，我们不能再仅仅询问“这段文本是 AI 写的吗？”。我们需要问：

它是如何被编辑的？
进行了哪种类型的编辑？
这些编辑发生在文档历史中的何时？

目前的检测器就像是只检查最终身份证的保安。OpAI-Bench 向我们展示了，我们需要能够观看整个监控录像的保安，以观察是否有人潜入、换了衣服，然后以不同的形象走出来。

简而言之： 该论文引入了一种新的测试 AI 检测器的方法，这种方法模拟了现实生活中循序渐进的编辑过程。它证明了当人类与 AI 在处理过程的中间阶段共同协作时，检测 AI 要困难得多，并且目前的工具在面对这些复杂的、混合创作的情况时往往是盲目的。

技术摘要：OpAI-Bench

问题陈述

随着 AI 写作助手成为起草和修订工作流中不可或缺的一部分，现实世界的文档越来越多地产生于渐进式的人机协同编辑（progressive human–AI co-editing），而非纯粹的人类撰写或完全的 AI 生成。现有的 AI 文本检测基准主要评估静态的最终输出，未能捕捉到 AI 创作特征在修订过程中是如何出现、累积或消失的。因此，目前的基准无法回答以下关键问题：

AI 的参与在哪个阶段变得可被可靠检测？
哪些特定的编辑操作引入了最强的检测信号？
混合作者身份的文本是否比端点情况（纯人类或完全 AI 编辑）更容易或更难检测？

目前的评估框架通常将多样化的操作（例如：润色 vs. 改写）合并为一个单一的“AI 撰写”标签，并且缺乏中间修订状态，从而掩盖了检测难度呈现非单调性的本质。

方法论：OpAI-Bench 构建

作者引入了 OpAI-Bench，这是一个操作引导的基准，旨在研究跨越多个粒度（文档、句子、标记/token 和跨度/span）的从人类到 AI 的文本转换过程。

1. 数据构建流水线

源材料： 该基准构建自四个领域的 15,722 篇人类撰写的文档：学生论文、新闻文章、政府报告和科学摘要。
累积轨迹： 与从源文档生成独立版本的“天真”方法不同，OpAI-Bench 构建了累积修订轨迹。从人类源文档 ( $V_0$ ) 开始，生成九个连续修订的版本 ( $V_1$ 到 $V_8$ )。
确定性选择： 为了确保可复现性并消除位置偏差，每个文档内的句子使用基于文档 ID 的确定性种子进行打乱。
渐进式覆盖： 每个版本 $V_t$ 根据固定的进度表，对特定且递增比例的句子应用编辑（从 15% 到 100%）。一旦某个句子被选中进行编辑，它将保留在后续所有版本中，允许在新的操作下进行重新编辑。
编辑操作： 应用了五种具有代表性的 AI 编辑操作：润色 (Polish)、改写 (Paraphrase)、风格重写 (Style Rewrite)、压缩 (Compress) 和扩展 (Expand)。提示词强制执行约束，如保持事实内容完整并返回单句。
细粒度溯源： 该基准在四个层级保留了作者身份标签：
- 文档级： 二元标签（人类 vs. 涉及 AI）。
- 句子级： 二元标签，指示该句子是否已进入累积 AI 编辑集。
- 标记/跨度级 (Token/Span)： 使用字符偏移量实现 AI 编辑区域的细粒度定位。

2. 评估协议

该基准从三个类别评估检测器：

零样本检测器 (Zero-shot Detectors)： 现有的模型（如 RADAR, Fast-DetectGPT, AdaLoc），在未接触过 OpAI-Bench 数据的情况下进行评估。
LLM 即检测器 (LLM-as-Detector)： 前沿模型（GPT-5.4, Gemini 3 Flash, Claude Haiku 4.5）通过提示词作为零样本分类器使用。
微调检测器 (Fine-tuned Detectors)： 使用来自特定生成器的句子级溯源标签，在 OpAI-Bench 训练集上训练的模型。

评估指标包括在所有九个版本 ( $V_0$ – $V_8$ ) 中的准确率 (Accuracy) 和 F1-AI，以追踪整个修订轨迹中的性能演变。

核心贡献

OpAI-Bench 基准： 首个操作引导的基准，它保留了中间修订状态和多粒度溯源，使得将检测视为一个轨迹而非二元端点决策的研究成为可能。
受控修订轨迹： 构建了具有预定义 AI 覆盖水平和五种不同编辑操作的累积版本数据集，涵盖四个多样化领域。
全面的检测器基准测试： 在不同的覆盖率、操作和修订历史下，评估了 8 个文档级、7 个句子级和 2 个细粒度标记/跨度级检测器。

关键结果

实验表明，AI 文本的可检测性是非单调的，并且受除 AI 编辑内容占比之外的其他因素支配：

非单调检测模式： 混合作者身份的中间版本往往比完全人类 ( $V_0$ ) 和重度 AI 编辑 ( $V_8$ ) 的端点都更难检测。具体而言，在版本 4 (v4) 处观察到了一个关键的难度区域，此时中间 AI 覆盖率与压缩操作相吻合。
操作敏感性： 可检测性随编辑类型而显著变化。例如，在同等覆盖水平下，压缩通常比扩展或改写更难检测。
领域与生成器差异： 检测器性能高度依赖于领域（如新闻 vs. 论文）和底层生成器。文档级检测器表现出显著差异；某些模型（如 RADAR）在论文上表现良好，但在报告上失效；而另一些模型（如 Fast-DetectGPT）能检测出报告中的早期编辑，但随着修订推进性能却有所下降。
粒度差异：
- 文档级： 性能并不随 AI 覆盖率的增加而持续提升；它根据领域和操作而波动。
- 句子级： 有监督学习提高了稳定性，但并未消除对修订阶段的敏感性。微调模型在较高 AI 覆盖率下的恢复能力通常优于零样本模型。
- 标记/跨度级： 细粒度方法显示出准确率下降，但随着 AI 标记区域变得密集，F1-AI 呈上升趋势，这反映了早期版本中的类别不平衡。
累积式 vs. 独立式： 虽然独立编辑（从源文档重写）产生的轨迹更为平滑，但围绕压缩步骤出现的非单调下降现象依然存在，表明这种难度是由操作和覆盖水平本身决定的，尽管累积历史可能会放大这种不稳定性。

意义与主张

本文认为，可靠的 AI 文本检测需要超越二元端点分类，转向具备轨迹感知和操作感知的评估。

静态基准的局限性： 现有的基准错失了关键的失效模式，特别是在混合作者身份文本中的“检测谷底”（detection valley），即 AI 信号既不缺失也不占主导地位的状态。
对新评估的需求： 作者主张，检测性能不仅由 AI 内容的数量决定，还深受如何编辑（操作）、在哪里编辑（领域）以及修订历史的影响。
实际意义： OpAI-Bench 提供了一个受控测试平台，用于分析在现实的、渐进式的编辑场景下，AI 辅助写作在何时以及如何变得可被检测，强调了开发能够推理部分及增量式 AI 参与度的检测器的必要性。

作者总结道，面对不断演变的人机协同写作格局，当前的检测器是不够的，未来的研究必须考虑文本转换的动态性质。