💬 NLP

'Your AI Text is not Mine': Redefining and Evaluating AI-generated Text Detection under Realistic Assumptions

本文通过引入 AITDNA——一个包含详细交互历史的人机共建文本新基准，来解决目前对于有害 AI 文本使用缺乏共识的问题，旨在证明现有的检测器往往无法作为广泛的解决方案，而仅在针对特定 AI 生成内容定义的情况下表现良好。

原作者： Nils Dycke, Marina Sakharova, Nico Daheim, Iryna Gurevych

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Nils Dycke, Marina Sakharova, Nico Daheim, Iryna Gurevych

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正试图批改一叠论文的老师。你怀疑有些学生使用了“魔法写作机器人”（AI）来辅助写作，但你并不知道他们是如何使用的。是机器人写了整篇论文？还是它只是修改了几个句子？还是学生要求机器人针对一个不被允许讨论的主题写了一个特定的段落？

这篇论文认为，目前每个人都在玩一场规则各异的游戏，这也是为什么现有的“AI 检测器”经常感到困惑且不可靠的原因。

以下是该论文主要观点的拆解，使用了简单的类比：

1. 问题所在：每个人都在使用不同的地图

作者指出，构建 AI 检测器的研究人员都在试图解决同一个问题，但他们对“问题”的定义完全不同。

“全或无”地图： 一些研究人员认为，只有当机器人从头到尾写完了整篇论文时，该文本才属于“AI”。
“逐句检测”地图： 另一些人则认为，如果论文中任何一个句子是由机器人写的，那么它就是“AI”。
“润色”地图： 有些人认为，只有当机器人编写了观点/思想时才算作作弊，即便文字是由人类书写的。

类比： 想象一下，你试图在湖中寻找一种特定类型的鱼。一组渔民在寻找任何鱼；另一组只在寻找蓝色的鱼；第三组则只寻找用网捕获的鱼。如果他们都汇报说“我们发现了鱼！”，但使用的定义各不相同，那么他们的报告就无法匹配。论文指出，在我们捕捉“鱼”（或“AI 文本”）之前，我们需要先对“鱼”到底是什么达成共识。

2. 新工具：“黑盒”写作实验室

为了解决这种混乱，研究人员构建了一个新的数据集，名为 AITDNA。

旧方法： 大多数之前的数据集就像是“假新闻”。研究人员让机器人重写人类的论文，或者让机器人写的文章由人类进行修改。这是一种经过编排的、人工模拟的情景。
新方法 (AITDNA)： 研究人员建立了一个真实的“写作实验室”。他们雇佣了 99 个人，让他们在机器人旁边写作。他们记录了所有内容：人类何时打字、何时请求机器人的帮助、何时删除了机器人的建议，以及他们输入的每一个提示词（prompt）。

类比： 之前的数据集就像是在看一部演员表演烹饪美食的电影。你知道那是假的，因为他们并没有真的在切菜。而这个新数据集就像是在真实的厨房里架设摄像机，观察一位主厨和一位副厨如何共同烹饪，记录下每一次切剁、搅拌和品尝。这真实地呈现了人类与 AI 如何协同工作的全貌。

3. 发现：检测器是“专家”，而非“通才”

研究人员在他们全新的、更具现实感的资料上测试了各种 AI 检测器。他们发现了一个令人惊讶的事实：不存在一种能应对所有情况的“超级检测器”。

“大局观”检测器： 一些检测器非常擅长识别是否整篇论文都是由机器人撰写的。它们就像一名保安，能判断出一栋建筑是空的还是满的。
“微观”检测器： 另一些检测器则更擅长找出由机器人编写的单个句子。它们就像一名侦探，在寻找一个微小的指纹。
失败的情况： 当你要求一个“大局观”检测器去寻找单个句子时，它会失败；当你要求一个“微观”检测器去评判整篇论文时，它会感到困惑。

类比： 这就像试图用望远镜去阅读路牌。望远镜在观察遥远恒星（检测整篇 AI 论文）方面非常出色，但在阅读路牌上的小字（检测单个 AI 句子）方面却表现糟糕。论文发现，检测器通常对于它们受训的特定任务表现优异，但对于其他任务则表现得很差。

4. 新规则：“内容”与“意图”

论文还建议，我们需要新的方式来定义“AI 文本”，以符合现实世界的规则。

当前规则： “只要机器人碰过它，它就是 AI。”
拟议的新规则：
- 基于内容： “只有当机器人编写了观点/思想（例如文献综述）时，它才是 AI，即便文字是由人类书写的。”
- 基于意图： “只有当机器人被要求编写禁忌内容（例如考试作弊）时，它才是 AI，即便它只是润色了一个句子。”

类比： 想象一条学校规定：“禁止使用计算器。”

旧定义： 如果你在进行任何数学运算时使用了计算器，你就失败了。
新定义： 如果你使用计算器来解决问题，你就失败了；但如果你只是用计算器来检查你的加法结果，那是没问题的。论文认为，我们需要能够理解“意图”（为什么做）和“内容”（做了什么），而不仅仅是“谁”在做的检测器。

5. 结论：停止猜测，开始明确化

主要的启示是，除非我们对游戏规则达成共识，否则无法比较不同的 AI 检测器。

如果你想抓住一个让机器人写完整篇论文的学生，请使用“文档级”检测器。
如果你想抓住一个利用机器人编写特定段落的学生，请使用“句子级”检测器。
如果你想抓住一个利用机器人编写禁忌话题的学生，请使用“基于内容的”检测器。

最终的比喻： 这篇论文就像一位机械师在告诉你：“你不能用锤子去修理螺丝，也不能用螺丝刀去钉钉子。不要再抱怨你的工具不好用了，你只需要为特定的工作选择正确的工具。”

研究人员发布了他们新的“现实世界”数据和定义列表，以便所有人都能最终使用同一种语言，并构建出更好、更诚实的工具。

技术摘要：‘你的 AI 文本不是我的’：在现实假设下重新定义与评估 AI 生成文本检测

问题陈述

虽然 AI 生成文本检测（AITD）被广泛认为是减轻社会风险（如削弱科学质量控制、学术不端行为和虚假信息运动）的关键技术，但文献中对于何为“有害”的 AI 使用尚未达成共识。现有的数据集和评估方法通常依赖于隐含的、过于简化的假设，这些假设与现实世界中人类-AI 协同创作的模式不符。具体而言，目前的基准测试经常将文本视为完全由人类生成或完全由 AI 生成（整体式生成/en-bloc），或者假设人类与 AI 段落之间存在固定的边界。这些合成构建无法捕捉人类与大语言模型（LLM）通过提示词、修订和续写进行交互的细致且迭代的协作本质。因此，现有的 AITD 定义往往缺乏明确的规范说明，导致不同数据集之间的研究结果无法兼容，并阻碍了开发能够推广到实际应用场景的检测器。

方法论

作者通过三管齐下的方法论来解决这些差距：

概念框架： 本文建立了一套共享词汇，从三个维度定义 AITD 的内涵：
- 规范标准（Normative Standard）： 区分可接受与不可接受的 AI 使用（例如：完全禁止 vs. 允许润色）。
- 生成假设（Genesis Assumptions）： 对文本创建方式的约束（例如：整体式生成 vs. 混合片段）。
- 攻击者模型（Attacker Model）： 生成假设被违反的程度（例如：事后替换 Token）。
  基于此，作者将现有的内涵分类为基于生成的（文档级、边界级、句子级）和基于种群的（基于成员身份）。他们进一步提出了两个新内涵以填补实际应用中的空白：基于内容的 AITD（标记违反内容政策的 AI 句子）和基于作者身份识别（Authorship-ID）的 AITD（标记与特定人类作者风格不符的 AI 文本）。
数据集构建 (AITDNA)： 为了在现实数据中测试这些内涵，作者收集了 AITDNA，这是一个包含来自 99 名参与者的 352 篇人类-机器协同构建文本的新基准。
- 收集过程： 参与者使用基于 CARE 的自定义界面，在四种条件下进行文本协同创作：仅人类创作，以及三种协同创作模式（议论文、创意类、解释类），并使用了多种 LLM（包括 Llama-4、Qwen2.5、DeepSeek-V3.2、GPT-5.2 和 Gemini-3）。
- 粒度： 界面记录了详细的交互轨迹，包括用户提示词、LLM 响应以及具体的编辑历史（插入/删除）。这使得精确推导“生成来源”（每个 Token 的来源：人类、AI 或混合）成为可能。
- 范围： 该数据集涵盖多种体裁和 LLM 配置，每篇文本的平均 AI Token 占比约为 50%，人类与 AI 段落之间的边界平均为 23.33 个，反映了高度的交织性。
评估协议： 作者在新的 AITDNA 数据集和五个现有数据集（CoAuthor、SenDetEx、BD、Mixset、DetectRL）上对八个检测器（六个开源，两个商业）进行了基准测试。
- 受控变量： 他们系统地改变了内涵参数，特别是阈值 $\tau$ （将一个片段标记为 AI 所需的最少 AI Token 比例）和分割粒度（文档级、边界级、句子级）。
- 指标： 使用 AUROC、F1 分数和假阳性率（FPR）来衡量性能。

核心贡献

C#1: AITD 内涵框架： 作者提出了一个用于明确 AITD 问题的形式化框架，识别了五种常见内涵，并引入了两种新内涵（基于内容和基于作者身份识别），以更好地符合现实世界的政策。
C#2: AITNA 数据集： 他们发布了 AITDNA，这是第一个捕捉了详细的人类-AI 交互历史（提示词、编辑和生成来源）的、在现实协同写作设置下的数据集，可作为一种与内涵无关的参考点。
C#3: 对假设的实证分析： 研究系统地证明了现有数据集编码了不切实际的假设（例如：低混合比例、整体式生成），这些假设无法反映自然的协同创作。研究表明，检测器的性能对底层内涵及其参数高度敏感。

结果

现有数据的失配： 分析显示，合成数据集（如 DetectRL 和 Mixset）通常假设“整体式”生成，即 AI 重写整个文档，导致边界计数较低且 AI Token 比例较高（~~65%）。相比之下，AITDNA 显示出更平衡的混合比例（~~51% AI Tokens）以及显著更高的边界计数（23.33），表明合成数据未能模拟真实协同写作中的细粒度交织。
内涵难度： 检测性能因内涵而异。文档级 AITD 的性能最高，而细粒度内涵（句子级、基于意图、基于内容）则难度显著增加。商业检测器（GPTZero、Pangram）在基于内容/意图的任务上表现较差，这表明它们过度拟合了表面特征，而非语义内容或提示意图。
参数敏感性： 阈值参数 $\tau$ 的选择会剧烈改变评估结果。例如，设置 $\tau = 0.5$ （多数为 AI）与 $\tau = 0.1$ （含有 AI 即可）会导致不同数据集间的 F1 分数差异高达 0.8。这表明，如果没有明确且一致的参数规范，跨数据集的比较是无效的。
不存在通用检测器： 没有单一的检测器能在所有数据集和内涵下持续表现优异。性能排名取决于底层数据集的假设和所测试的具体内涵。例如，moBERT 在 DetectRL 上表现出色（可能是由于训练数据重叠），但在 AITDNA 上并非如此。

意义与主张

本文认为，AITD 领域必须超越那些模糊了人类-AI 协作复杂性的合成、内涵无关的基准测试。作者主张：

标准化至关重要： 只有在底层内涵（分割方式、规范标准以及 $\tau$ 等参数）得到明确定义并保持一致的情况下，评估结果才具有可比性。
现实性至关重要： 在合成的、低混合度的数据集上训练或评估的检测器，在人类与 AI 文本深度交织的现实场景中可能会失效。
政策对齐： 未来的检测器必须旨在支持细致的政策（例如，区分允许的润色与禁止的全文生成），而非仅仅提供二元的“人类 vs. AI”标签。

作者总结道，虽然可靠的检测仍然可行，但目前缺乏标准化的定义和现实的数据阻碍了进展。他们呼吁未来的工作应专注于开发能够显式考虑这些多样化假设的鲁棒检测器，并致力于收集针对探索不足的内涵（如作者身份识别）的专用数据集。