📊 statistics

Token-Level Likelihood-Array Regression for Membership Inference and AI-Generated Text Detection

本文提出了似然数组回归（Likelihood-Array Regression, LAR），这是一种通过将嵌套上下文窗口中的标记级概率组织成结构化数组的新颖方法，旨在通过捕捉传统基于似然的基准方法所缺失的关于上下文尺度和标记位置的细微信息，从而显著提升成员推理和 AI 生成文本检测的能力。

原作者： Jiajun Sun, Zhanrui Cai

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiajun Sun, Zhanrui Cai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字时代，语言模型在模仿人类写作方面已变得如此精通，以至于区分由人类编写的句子与由机器生成的句子已变得日益困难。这一挑战触及了当今研究人员和整个社会面临的两个关键问题。第一个是关于隐私和版权的问题：我们能否辨别出某段特定的文本最初是否被用于训练模型？这对于那些希望了解自己的作品是否在未经许可的情况下被人工智能摄取的出版商和作者来说至关重要。第二个问题是关于来源的问题：一段给定的文本是由人类创作的还是由算法生成的？这种区分对于维护新闻业、学术工作和在线讨论中的信任至关重要。为了回答这些问题，科学家们长期以来一直依赖一种观察语言模型预测句子中下一个词的可能性的方法。如果一个模型对下一个词非常有信心，这表明该文本可能对其很熟悉，或者是由它生成的。然而，传统方法将这种信心视为一个单一的、静态的数值，往往忽略了模型的确定性如何随着其阅读前后文内容的多少而发生变化。

Jiajun Sun 和 Zhanrui Cai 的一项新研究提出了一种更细致的方法来观察这些数据，即不将语言模型的信心视为一个单一的点，而是一个丰富的、结构化的景观。研究人员并没有要求模型根据整个前文来判断一个词，而是让模型反复判断同一个词，且每次都使用不同数量的上下文。他们从仅使用紧接的前一个词开始，然后增加一个词，再增加一个，以此类推，直到完整的句子。这个过程创建了一张详细的地图，展示了随着可用信息的增长，模型的信心是如何变化的。通过将这数千个置信度分数组织成一个结构化数组，研究人员可以观察到那些在仅看全句时无法察觉的模式。随后，他们使用一种统计技术来学习这张地图中的哪些部分——无论是短上下文、长上下文，还是文本中的特定位置——是判断文本是人类编写、机器生成还是属于模型训练数据的最可靠指标。

这种方法的实验结果非常显著。在测试成员推理（即询问一段文本是否被用于训练模型）时，新方法在五种不同的语言模型上实现了 91.4% 至 98.3% 的成功率。这相比现有方法有了显著提升，现有方法的成功率通常在 50% 到 87% 之间徘徊。对于检测 AI 生成的文本，该方法的表现甚至更好，成功率达到了 98.5% 至 99.6%。研究表明，最有价值的信息往往来自于较短的上下文。与“模型需要完整句子才能做出判断”的假设相反，研究人员发现，模型基于仅有的几个前序词对一个词做出的反应，包含了全句视图所遗漏的独特信号。此外，研究还表明，对于成员推理，观察模型信心在不同上下文长度之间的变化提供了额外的线索，使得系统能够检测到简单方法所忽略的微妙重复或记忆模式。

研究人员还探讨了进行准确检测需要多少数据。他们发现，即使只有极少量的标记样本，新方法也能优于传统方法。仅需一百篇标记文本，该系统就能以极高的可靠性区分人类写作与机器写作，并且随着数据的增加，其准确性持续攀升。这表明该方法非常高效，并不需要海量的数据集即可发挥作用。研究还证明，即使用于分析文本的模型与生成文本的模型不同，该方法依然有效。这是一个至关重要的发现，因为这意味着该技术可以广泛应用，而无需知道创建内容的 AI 的确切身份。

通过放弃单一数值的总结，转而拥抱语言模型处理上下文的完整复杂性，这项研究为审计人工智能提供了一个强大的新工具。它证实了理解 AI 行为的路径不在于简化数据，而在于以尊重其结构的方式来组织数据。这项工作为保护知识产权以及在人类与机器创作界限日益模糊的时代验证文本真实性，提供了一条清晰的、数据驱动的路径。研究结果表明，通过关注模型在阅读过程中信心的微妙变化，我们可以揭示训练数据和生成过程的隐藏指纹，从而为抵御滥用行为提供强有力的防御，并为数字景观提供更清晰的视野。

技术摘要：用于成员推理与 AI 生成文本检测的 Token 级似然阵列回归

问题陈述
本文探讨了语言模型审计中的两项关键任务：成员推理（确定一段文本是否属于模型的训练数据）以及 AI 生成文本检测（区分模型生成的文本与人类撰写的文本）。虽然这两项任务都可以基于条件 Token 概率被构建为二分类问题，但现有的基于似然度的方法存在显著的信息损失。目前的方法通常将 Token 级的概率压缩为少数几个标量摘要（例如平均损失、Min-K% 或困惑度），且往往仅依赖于以完整前文为条件的概率 ( $\ell_{full}(t)$ )。这种聚合方式丢弃了似然信息随上下文长度和 Token 位置共同变化的联合变异性。此外，在标记语料库上训练的有监督检测器通常需要大量的微调和额外的标记数据，才能适应新的模型或领域。作者提出了一个统计学问题：如何在不施加僵化结构假设的情况下，对随上下文长度和 Token 位置共同变化的似然信息进行表示和建模。

方法论：似然阵列回归 (LAR)
作者提出了 Token 级似然阵列回归 (LAR) 框架，该框架将来自固定评分语言模型的条件 Token 概率视为一种结构化的、变长的阵列，而非标量摘要。

似然阵列构建：
- 对于文本中的每个目标 Token $x_t$ ，评分模型会在一系列嵌套左侧上下文窗口下评估其条件概率，这些窗口从完整的先前序列 ( $x_1, \dots, x_{t-1}$ ) 递减至单个 Token ( $x_{t-1}$ )。
- 这为每个 Token 创建了一个“目标 Token 路径”，记录了模型评估结果如何随上下文规模的减小而变化。
- 这些路径构成了三角形的似然阵列 $L(X) = \{(s, t, \ell(s, t))\}$ ，其中 $s$ 是上下文的起始位置， $t$ 是目标 Token。
对齐与特征工程：
- 为了处理变长文本，作者将上下文规模 ( $u$ ) 和相对 Token 位置 ( $v$ ) 归一化到公共定义域 $[0, 1] \times [0, 1]$ 。
- 通过线性插值将单元格对齐到固定的上下文规模网格上。
- 每个对齐的单元格都通过一个 5 维通道向量 $h$ $h$ 进行增强：
  - 观测到的 Token 对数概率 ( $\ell$ )。
  - 上下文对比度 ( $\delta$ )：有上下文与无上下文（BOS）情况下的对数比例。
  - 标准化对数概率 ( $z$ ) 和标准化上下文对比度 ( $z_\delta$ )：针对模型的预测词表分布进行标准化。
  - 局部斜率 ( $\dot{z}$ )：标准化可预测性随上下文增加的变化率。
回归模型：
- LAR-1（一阶）： 将类别对数几率（log-odds）建模为来自各个对齐单元格贡献的加法聚合。它学习一个函数 $b(u, v, h)$ ，将上下文规模、位置和特征映射到对数几率，从而有效地学习似然模式如何根据其在文档中的位置和上下文长度做出不同的贡献。
- LAR-2（二阶）： 在 LAR-1 的基础上增加了路径内二次特征。它捕捉了同一目标 Token 在不同上下文长度下多次评估之间的相互作用。这使得模型能够检测似然度的变化（例如，在短上下文中似然度较低，而在长上下文中上升）如何提供关于标签的信息。
估计：
- 无穷维泛函模型通过有限基函数展开进行近似（使用上下文/位置的张量积样条函数和通道的随机三角函数）。
- 二阶项通过随机平方投影进行估计，以在保留路径内结构的同时降低维度。
- 最终估计器通过在源自这些展开的文档级特征上进行岭逻辑回归来拟合。

核心贡献

新颖的表示法： 本文引入了似然阵列表示法，它保留了似然度随上下文规模和 Token 位置共同变化的联合变异性，超越了以往工作中使用的标量摘要。
理论界限： 对于路径内二次模型 (LAR-2)，作者在乘积形式协方差衰减的条件下，建立了匹配的极小极大（minimax）上下界速率 $\{\log(en)/n\}^{\nu/(\nu+1)}$ 。他们表征了由有限维近似和随机投影引起的误差，并展示了在何种条件下，轨道谱筛（oracle spectral sieve）可以达到极小极大速率。
经验优越性： 研究表明，该框架在多种评分模型和领域下，显著优于现有的基于似然度的基准方法和有监督检测器。
信息来源洞察： 分析揭示了短上下文似然度包含了传统全上下文概率之外的重要信息，并且二阶特征专门为成员推理提供了实质性的增益。

结果
作者在两个基准测试上评估了 LAR：

WikiMIA（成员推理）： 使用 1,650 篇文本和五个评分模型（Pythia, LLaMA-2, Falcon）。
- LAR-1 实现了 0.914–0.960 的平均 AUC。
- LAR-2 将其提升至 0.953–0.983，显著优于最佳的现有基准（ReCaLL，最大 AUC 为 0.871）和有监督微调方法（Fine-tuned Score Deviation，最大 AUC 为 0.90）。
- 仅使用短上下文单元格的 AUC 约为 ~0.907，而仅使用全上下文单元格的 AUC 约为 ~0.802。
AI 生成文本检测： 使用来自四个领域（小说、新闻、论文、评论）的 1,200 篇文本，这些文本由 GPT-4o 生成，并由五个开源权重模型进行评分。
- LAR-1 实现了 0.985–0.996 的平均 AUC。
- LAR-2 实现了 0.987–0.995。
- 这些结果超过了所有基准，包括有监督检测器 StatDetectLLM (AUC 0.980) 和 RADAR (AUC 0.839)。
- 在此任务中，二阶特征带来的增益极小，表明一阶泛函模式捕捉到了大部分分离信号。

意义与主张
本文声称，LAR 为如何表示随上下文和位置变化的似然信息这一“更广泛的统计学问题”提供了一个具有统计原则的解决方案。通过避免将 Token 级数据聚合为预设的分数，LAR 提取了更丰富的信号，特别是那些经常被忽略的短上下文窗口信号。在理论上，这项工作首次为这类路径内二次模型提供了极小极大分析，将预测误差与 AUC 收敛联系起来。在实践中，该方法提供了一种鲁棒的、无需微调的替代方案，用于取代有监督检测器，仅需一个固定的评分模型和一个用于回归阶段的标记数据集，即可实现最先进的性能。作者指出，虽然该方法的计算需求高于全上下文评分，但性能的提升证明了其成本是值得的，未来的工作可以探索自适应上下文窗口选择，以降低计算开销。

类似论文