ContiGuard: A Framework for Continual Toxicity Detection Against Evolving Evasive Perturbations

1. 研究背景与问题定义 (Problem)

核心问题：
在线毒性检测（Toxicity Detection）旨在识别仇恨言论、偏见等有害内容。然而，恶意用户不断进化出逃避性扰动（Evasive Perturbations）（如字符重复 iiiddioot、同形异义字替换 id10t、缩写 BTM 等）来伪装毒性文本，绕过检测器。

现有挑战：

1. 静态模型的局限性： 现有的检测器大多针对普通文本训练，或仅针对特定类型的扰动静态微调。面对随时间不断涌现的新类型扰动，它们无法动态更新检测能力，导致性能急剧下降。
2. 持续学习（Continual Learning, CL）的难点： 虽然持续学习理论上可以解决此问题，但在毒性检测场景中面临三大具体障碍：
   • 语义破坏与理解困难： 扰动破坏了文本原始结构，隐藏了毒性语义，导致模型难以理解文本。
   • 非关键特征的干扰： 扰动引入了大量噪声特征（如特定的字符操纵模式），模型容易学习到这些非关键的、冗余的特征，从而忽略了核心的毒性特征，导致对扰动敏感。
   • 灾难性遗忘： 不同扰动类型之间存在显著差异（异质性），导致模型在学习新扰动时，容易遗忘之前学过的针对旧扰动的检测能力。

任务定义：
本文将问题建模为域增量毒性分类（Domain-Incremental Toxicity Classification）。即随着时间推移，不断出现新的扰动域（Perturbation Domains），检测器需要在不遗忘旧知识的前提下，持续更新能力以识别新出现的扰动文本。

---

2. 方法论：ContiGuard 框架 (Methodology)

为了解决上述挑战，作者提出了 ContiGuard 框架，包含三个核心策略：

2.1 基于 LLM 的语义增强策略 (LLM Powered Semantic Enriching Strategy)

• 目的： 解决扰动导致的语义模糊和理解困难问题。
• 机制：
  • 利用大语言模型（LLM）强大的推理能力，从扰动文本中提取潜在含义和毒性相关线索（如攻击性态度、脏话暗示）。
  • 采用 How-Why-What 的提问机制（受“黄金圈”原则启发），引导 LLM 深入分析而非表面扫描。
  • 动态融合： 将 LLM 生成的辅助信息（Auxiliary Information）与扰动文本特征进行线性加权融合。
  • 优化作用： 辅助信息作为“动量项（Momentum）”，平滑优化过程中的梯度，帮助模型跳出局部最优解，同时通过共享的语义洞察（如恢复被扰动的词汇）连接不同时间步的扰动文本。

2.2 判别性驱动的特征学习策略 (Discriminability Driven Feature Learning Strategy)

• 目的： 抑制非关键噪声特征，强化核心毒性特征，构建鲁棒的分类边界。
• 机制：
  • 特征贡献度量： 利用积分梯度（Integrated Gradients） 进行归因分析，量化每个特征对毒性/非毒性分类概率的贡献。
  • 判别性区分： 如果某特征对两类（毒性/非毒性）都有相似的贡献（即正负号相同或贡献度低），则判定为“低判别性特征”；反之则为“高判别性特征”。
  • 增强与抑制：
    • 增强（More）： 对高判别性特征进行全局翻转（Global Flipping，一种低成本的旋转操作），迫使模型学习不依赖绝对方向的鲁棒特征。
    • 抑制（Less）： 对低判别性特征进行“遗忘（Unlearning）”处理，将其映射为均匀分布（随机预测），消除其干扰，随后重新学习以构建更鲁棒的特征表示。

2.3 历史能力回放策略 (Historical Capability Replay Strategy)

• 目的： 缓解因扰动差异导致的灾难性遗忘。
• 机制：
  • 从历史数据中选取具有代表性的 Top-k 样本作为记忆样本（Memory Samples）。
  • 特征对齐： 在训练当前模型时，计算旧模型（Old Detector）和当前模型（Current Detector）对同一记忆样本编码特征的余弦相似度。
  • 通过最小化特征分布差异，保留历史检测能力，防止新任务覆盖旧知识。

总损失函数：
$$\mathcal{L} = \mathcal{L}_{cls} + \lambda(\mathcal{L}_{more} + \mathcal{L}_{less}) + \gamma\mathcal{L}_{align}$$
其中包含分类损失、判别性增强/抑制损失以及历史特征对齐损失。

---

3. 实验设置与结果 (Experiments & Results)

3.1 数据集构建：DynEscape

• 基于 Jigsaw 数据集，构建了包含 9 种扰动类型（插入、重复、交换、删除、同形异义、掩码、缩写、权威化、干扰）的 DynEscape 数据集。
• 每种扰动类型独立管理，模拟随时间逐步出现的新扰动场景。
• 此外，使用 NoisyHate 数据集进行跨域泛化验证。

3.2 主要实验结果

• 现有检测器表现： 在扰动文本上，现有商业 API（如 PerspectiveAPI）和微调模型（如 ToxicBERT）性能大幅下降（相对普通文本下降 14.4% - 35.8%）。
• 静态微调 vs. 持续学习： 静态微调模型在特定扰动上表现好，但泛化性差；传统持续学习方法（如 EWC, GEM, LWF 等）在毒性检测任务上表现不佳，甚至不如简单的流式训练（Stream），因为它们未针对扰动噪声和语义破坏进行优化。
• ContiGuard 性能：
  • 在 DynEscape 的 9 种扰动类型上，ContiGuard 的平均准确率达到 86.47%，远优于所有基线方法。
  • 即使在第 9 个时间步（$T_9$），ContiGuard 的性能仍优于使用所有数据联合训练（Joint）的模型，证明了其强大的持续适应能力。
  • 在跨数据集（NoisyHate）测试中，ContiGuard 展现了卓越的泛化能力。

3.3 消融实验与分析

• 策略有效性： 移除 LLM 辅助、判别性学习或历史回放任一模块，性能均显著下降。
• 记忆样本数量： 增加记忆样本数量能减缓性能下降趋势，证明回放机制有效。
• 特征保留率： ContiGuard 能保留 80% 以上的历史关键判别性特征，而移除相关策略后保留率大幅下降。
• 归因方法： 积分梯度（IG）比 SHAP 更适合捕捉扰动引起的细微特征变化。
• 效率与成本： 即使减少 80% 的训练数据或移除测试时的 LLM（ContiGuard$_{Eco}$），模型仍能保持高性能，且检测速度可达 220 条/秒，适合实际部署。

---

4. 主要贡献 (Key Contributions)

1. 问题定义： 首次明确提出并形式化了**“针对随时间演变的逃避性扰动文本的持续毒性检测”**这一关键但被忽视的问题。
2. 框架创新： 提出了 ContiGuard，这是首个专门针对该问题的框架。它创新性地结合了：
   • LLM 语义增强： 利用大模型推理能力修复语义，辅助理解。
   • 判别性驱动学习： 通过归因分析主动筛选和强化关键特征，抑制噪声。
   • 历史能力回放： 通过特征对齐解决跨扰动域的遗忘问题。
3. 数据集与基准： 构建了包含 9 种扰动类型的 DynEscape 数据集，并建立了严格的评估基准。
4. 性能突破： 实验证明 ContiGuard 在鲁棒性、持续适应能力和跨域泛化性上均显著优于现有的检测器和持续学习方法。

---

5. 意义与影响 (Significance)

• 社会安全： 为构建能够抵御恶意用户不断进化的攻击手段的在线内容审核系统提供了新的解决方案，有助于维护健康的网络社交环境。
• 技术启示： 展示了如何将大语言模型（LLM）的推理能力与传统持续学习算法结合，解决 NLP 中语义被破坏的鲁棒性问题。
• 实际应用： 提出的策略（如动态数据采样、测试时 LLM 的可选性）允许在性能、成本和效率之间进行灵活权衡，具有很高的落地可行性。

总结： ContiGuard 通过“语义修复 + 特征提纯 + 记忆回放”的三重机制，成功解决了毒性检测中因恶意扰动导致的语义理解难、特征学习偏、历史知识遗忘三大难题，为应对不断演变的网络有害内容提供了强有力的技术支撑。