LLM Output Detectability and Task Performance Can be Jointly Optimized

技术摘要：PUPPET——联合优化大语言模型输出的可检测性与任务性能

问题陈述
大语言模型（LLM）的部署引发了关于滥用的紧迫担忧，包括学术欺诈、垃圾邮件和自动化虚假信息。虽然检测机器生成的文本对于透明度至关重要，但现有方法面临显著的权衡。水印方法通过偏置 token 分布以实现统计检测，已成为事实上的标准。然而，现有文献指出，仅针对可检测性进行优化往往会降低下游任务的性能。相反，仅针对任务性能进行优化则会产生难以与人类写作区分开的文本。目前缺乏能够在不牺牲一方的情况下同时实现高可检测性和强任务性能的方法。

方法论：PUPPET
作者提出了PUPPET（统一性能与可检测性的偏好优化），这是一个利用直接偏好优化（DPO）微调大语言模型以联合优化可检测性和任务性能的框架。

1. 偏好数据构建：

   • 对于给定的输入查询 $q$，基础模型 $\pi$ 生成 $k$ 个候选响应 $\{t_1, \dots, t_k\}$。
   • 每个响应由两个不同的函数进行评分：
     • 检测器分数（$S_{Det}$）： 文本为机器生成的概率，由外部检测器（例如 OpenAI 检测器）计算得出。
     • 评估器分数（$S_{Eval}$）： 特定任务的指标（例如，摘要任务使用 ROUGE-L，文章写作任务使用“大语言模型作为法官”）。
   • 这些分数通过 z-score 进行归一化，并组合成最终分数 $S_j = \alpha \cdot z(S_{Det}) + (1-\alpha) \cdot z(S_{Eval})$，其中 $\alpha$ 控制权衡。
   • 具有最高综合分数的响应被选为“优选”响应，最低分数的响应被选为“拒绝”响应。

2. 训练：

   • 模型使用构建好的偏好数据集通过 DPO 进行微调。选择 DPO 是因其相比 PPO 等策略梯度方法具有更稳定的训练特性。
   • 该过程仅需数千个样本，并使用 LoRA 以提高内存效率，可在 1–2 个 GPU 小时内完成。

主要贡献与结果
该论文在 Llama-3-8B-Instruct 和 Qwen3 变体上评估了 PUPPET，涵盖三个任务：长篇幅问答（ELI5）、摘要（Multi-News）和文章写作（IELTS）。结果与五种最先进的水印基线（KGW、SynthID、Unigram、EXPGumbel、K-SemStamp）以及一个原生（未修改）基线进行了比较。

• 联合优化： 相对于原生基线，PUPPET 成功提升了两个目标。例如，在长篇幅问答任务中，与水印方法相比，其可检测性（AUROC）平均提高了 3.8 分，任务性能（ROUGE-L）平均提高了 2.6 分。
• 优于水印方法： 虽然水印方法常导致任务性能下降，但 PUPPET 实现了水印模型无法达到的任务性能水平，同时在可检测性方面与之持平或超越。
• 泛化性： 改进效果可迁移至域外任务。在一个任务（例如 ELI5）上训练的模型，在未见过任务（例如 Multi-News）上的检测能力显著提升，且未降低性能。
• 鲁棒性：
  • 模型家族/规模： 增益在不同模型家族（Llama-3、Qwen3）和规模（4B 到 14B）之间保持一致。
  • 检测器独立性： 该方法配合不同的检测器（OpenAI、FakeSpotAI、MAGE）均能有效工作。
  • 改写攻击： 与水印方法在改写攻击（例如 Dipper）下遭受严重的 AUROC 下降（高达 49.2 分）不同，PUPPET 表现出近乎零的退化（平均下降 1.2 分）。作者将此归因于模型学习了更深层的结构特征，而非表面层面的 token 模式。
• 效率： 该方法数据效率高，在 1,000–2,000 个样本内即可收敛，且计算轻量。
• 模型归属： 探索性分析表明，PUPPET 能够实现模型归属，使检测器能够根据似然分数区分 PUPPET 训练的模型与其他模型。

意义与主张
该论文声称，PUPPET 解决了当前大语言模型问责机制中的一个关键局限：可检测性与实用性之间的权衡。通过证明这些目标可以联合优化，作者认为可以部署既高度有用又能被透明地识别为机器生成的大语言模型。

作者将这项工作定位为迈向更透明的大语言模型部署的一步。他们指出，虽然水印目前是标准，但它并非唯一路径；通过偏好学习进行的直接优化提供了一种可行的替代方案，避免了与分布偏置相关的性能惩罚。文章最后指出了未来的方向，包括对所学特征的更深层机制解释以及系统的超参数调整，同时对检测技术的研究阶段保持了谨慎态度。