技术摘要：针对大语言模型对话响应生成的毒性子词剪枝

问题陈述

大语言模型（LLM）的快速发展带来了生成有害或毒性内容的重大风险。尽管现有的安全研究主要集中在防御“安全”模型免受越狱攻击或毒性提示的攻击，但对于本身已具有毒性的模型，仍存在关键缺口。这种情况出现在个别开发者无意中创建了毒性模型，或者攻击者获取模型权重以利用有害内容对模型进行微调时。

当前的缓解策略面临若干局限性：

• 安全对齐：对预训练模型进行安全微调计算成本高昂，且通常对个别开发者不可用。
• 外部分类器：使用外部毒性分类器来检测和拦截毒性输出并不完美。攻击者可以通过恶意注入提示绕过这些分类器，而持续的拦截可能因阻止任何输出而使模型失效。
• 复杂的去毒化：现有的去毒化毒性大语言模型的方法通常过于复杂，难以快速部署。
• 提示注入漏洞：即使是经过良好对齐的模型，也可能通过提示注入被触发生成毒性内容。

该论文提出，需要一种轻量级的推理时解决方案，直接从模型的解码过程中剪枝毒性能力，而无需昂贵的重新训练或权重更新。

方法论：毒性子词剪枝（ToxPrune）

作者提出了ToxPrune，这是一种新颖的算法，它在解码过程中从已训练大语言模型的词汇表中剪枝与毒性词汇相关的子词（subtokens）。

核心机制

1. 自定义毒性列表：该方法接受用户定义的毒性词汇列表。
2. 子词分词：使用模型的 tokenizer（例如 BPE）将这些词汇分词为子词。作者指出，毒性词汇和非毒性词汇可能共享子词；ToxPrune 通过剪枝源自毒性列表的特定子词来处理这一问题。
3. 分布修改：在推理过程中，修改下一个 token 的概率分布。模型不再从完整词汇表 $V$ 中采样，而是从受限集合 $V \setminus V_{toxic}$ 中采样，其中 $V_{toxic}$ 代表被剪枝的毒性子词。
   • 形式上，对于 top-$k$ 采样，分布从 $P(\bar{x}_i | \dots) \in V^{(k)}$ 变为 $P(\bar{x}_i | \dots) \in V^{(k)} \setminus V^{(k)}_{toxic}$。
   • 对于束搜索（Beam Search），包含被剪枝词汇的序列的概率被设为 0，从而有效地将它们从候选列表中剔除。
4. 扩展与截断：
   • 改写黑名单：为了增加覆盖率，初始毒性词列表可以使用改写生成器进行扩展，以包含毒性术语的变体。
   • 截断白名单：可以使用预定义的白名单，通过移除与安全词汇重叠的毒性子词来保留特定关键词，确保关键的非毒性术语仍可被使用。

实现

ToxPrune 完全在推理阶段运行。它不需要更新模型权重、重新训练或使用外部分类器。它通过在选择候选词汇表之前简单地过滤候选词汇，与标准采样策略（Top-$k$、Top-$p$、束搜索）集成。

主要贡献

1. 新颖算法：引入了 ToxPrune，这是一种通过删除毒性子词直接影响对话生成解码过程的方法。
2. 双重验证：该方法在已知的毒性大语言模型（NSFW-3B）和官方对齐的非毒性大语言模型（Llama-3.1-6B Base）上均进行了验证。
3. 实证证据：广泛的案例研究和自动评估表明，ToxPrune 有效缓解了毒性生成，同时保持或提高了对话质量。

实验结果

数据集与模型

• 数据集：实验在 PERSONACHAT-ORI 和 PERSONACHAT-REV（人工修订的更难版本）上进行，这些是基于人物设定的多轮对话数据集。
• 模型：
  • NSFW-3B：一个开源的毒性大语言模型，被训练用于生成脏话。
  • Llama-3.1-6B：Llama-3.1 的官方基础版本，具有安全对齐。
• 基线：比较包括基于改写的方法和使用 GPT-4 进行重生成的毒性分类器（TC）。

在毒性大语言模型（NSFW-3B）上的表现

• 毒性降低：ToxPrune 将毒性分数（由 GPT-4 判定）从基线的 0.89 大幅降低至 0.13（100% 剪枝）。
• 质量提升：与剪枝会降低性能的预期相反，大多数指标有所改善：
  • BLEU：虽然 BLEU-1 略有下降，但 BLEU-2 至 BLEU-4 以及加权 BLEU 有所增加。
  • ROUGE：所有 ROUGE 指标（R-1, R-2, R-L）均有所提升。
  • 多样性：Distinct-1 和 Distinct-2 分数显著增加（例如，Distinct-2 从 0.712 增加到 0.800）。
• 对比：使用改写或毒性分类器的基线未能有效缓解毒性，因为底层的 NSFW-3B 模型持续重新生成毒性内容。

在非毒性大语言模型（Llama-3.1-6B）上的表现

• 安全性：毒性保持在 0.00。
• 多样性：ToxPrune 出人意料地提高了干净模型上的多样性指标（Distinct-1 和 Distinct-2），这表明掩蔽毒性上下文和非毒性上下文之间共享的频繁子词会扁平化词分布，从而产生更多样化的输出。
• 质量：BLEU 和 ROUGE 指标显示出微小变化，其中 ROUGE 有所改善，表明剪枝并未损害模型的核心生成能力。

人工评估

• 毒性大语言模型：人类标注者在恰当性、信息量、吸引力和拟人化方面显著偏好 ToxPrune 而非基线 NSFW-3B。基线的毒性基本被消除。
• 非毒性大语言模型：ToxPrune 未降低 Llama-3.1-6B 的性能，并在信息量（多样性）方面显示出统计学意义上的显著改善。

意义与主张

该论文声称，ToxPrune 提供了一种简单、有效且新颖的 AI 安全方法，具有独特的优势：

1. 毒性模型的补救：它可以挽救已被破坏或故意训练为毒性的模型，在不重新训练的情况下恢复其生成有意义、非毒性对话的能力。
2. 安全模型的增强：它可以提高已有安全模型的对话多样性，挑战了剪枝词汇表本质上对生成任务有害的观念。
3. 对攻击的鲁棒性：通过将毒性 token 完全从采样列表中移除，ToxPrune 即使在提示注入攻击下也能防止毒性生成，因为模型在物理上无法输出被剪枝的 token。
4. 效率：与安全对齐或模型编辑不同，ToxPrune 不需要模型更新，计算成本低廉，并允许对毒性词列表进行动态定制。

作者总结道，虽然先前的工作表明剪枝 BPE token 会损害机器翻译等任务，但本研究证明了其在 AI 安全和对话生成领域具有令人惊讶的效用。