技术摘要：SoftHateBench

问题定义

目前的在线内容审核系统主要针对“硬仇恨言论”（hard hate speech）进行优化，即以侮辱性词汇、威胁和显性毒性为特征的直接攻击。虽然这些系统在检测显性敌意方面表现尚可，但在处理“软仇恨言论”（soft hate speech）时却显得力不从心。软仇恨被定义为一种在表面上看起来合理的论述，利用中性的框架和基于价值观的论点（例如，诉诸安全性、传统或公平性）来引导受众转向排斥或指责特定目标群体。

识别出的核心问题是，现有的基准测试未能系统地衡量检测显性毒性与检测由推理驱动的敌意之间的差距。因此，内容审核模型往往无法标记那些在表面上符合政策（缺乏显性侮辱词汇）但通过隐性推理链条携带歧视性立场的文本。这造成了一个漏洞：通过推理而非词汇编码的敌意可以绕过当前的过滤器。

方法论

理论框架

本文整合了两种互补的理论来建模并生成软仇恨：

1. 论题论证模型 (Argumentum Model of Topics, AMT)： 为可撤销推理提供正式结构。一个论证被分解为：
   • 可见表面 (Visible Surface)： 内在信念 ($E$, Endoxon) 和 具体主张 ($D$, Datum)。
   • 隐性机制 (Implicit Machinery)： 前提 ($P$, Premise，中间结论)、位置 ($L$, *Locus$，抽象推理模式)、准则 ($M$, Maxim，实例化的规则) 以及 立场 ($S$, Standpoint，最终的敌对结论)。
     软仇恨依赖于受众从 $E$ 和 $D$ 中推导出 $P$ 和 $S$，而这些步骤在文本中并未明确说明。
2. 关联理论 (Relevance Theory, RT)： 指导生成过程以最大化“效果”（Effect，通过共享价值观实现的说服力）并最小化“成本”（Cost，认知努力）。这确保了生成的文本具有流畅性、合理性和可抵赖性，模拟自然的人类话语。

SoftHateBench 生成流水线

作者引入了 SoftHateBench，这是一个通过四阶段流水线构建的生成式基准测试：

1. 种子提取 (Seed Extraction)： 从公共语料库（如 HateXplain, Gab Hate Corpus）中聚合了 265,956 条仇恨相关帖子，并将其过滤为 16,426 个高质量实例。使用 DeepSeek-V3.1 提取立场 ($S$) 和目标群体 ($[TG]$)。
2. 逆向 AMT 生成 (Reverse AMT Generation)： 系统并非从零开始生成仇恨，而是从已知的敌对立场 ($S$) 和目标群体出发进行反向构建。它使用逆向 AMT 生成来构建完整的论证链 ($E, D, P, L, M, S$)。
   • 过程从 $(S, L)$ 开始，实例化一个准则 ($M$) 以推导出前提 ($P$)，然后将 $P$ 分解为表面陈述 $(E, D)$。
   • 只有 $(E, D)$ 会呈现在最终文本中；程序性组件保持隐性状态。
3. RT 引导的束搜索 (RT-Guided Beam Search)： 为了确保生成的文本具有说服力且符合政策，作者采用了由基于关联性的奖励函数引导的束搜索。
   • 奖励建模： 分数基于 $\text{Rel} \propto \text{Effect} / \text{Cost}$。
   • 效果 (Effect)： 通过前提与结论之间的自然语言推理 (NLI) 蕴含概率进行估算。
   • 成本 (Cost)： 通过包括惊讶度 (surprisal, 负对数似然)、预测不确定性 (entropy)、抗拒性 (contradiction) 和冗余性 (redundancy) 在内的多种 LLM 信号进行估算。
   • 搜索过程选择在遵循安全约束（无显性侮辱词汇）的同时最大化关联性的路径。
4. 难度增强 (Difficulty Augmentation)： 为了创造不同程度的隐晦性，基础实例被扩充为另外两个层级：
   • 群体模糊型 (GroupVague, SoftGV)： 用编码后的引用或模糊描述替换显性的目标群体提及。
   • 敌意模糊型 (HostilityVague, SoftHV)： 将文本转化为具有自我防御性免责声明、讽刺或道德警告的自然主义社交媒体帖子，以进一步掩盖敌意。

数据集统计

最终基准测试包含 18,980 个实例：

• 4,745 个硬仇恨 (Hard Hate)： 原始来源评论。
• 4,745 个 SoftBase： 核心的 AMT 衍生软仇恨实例。
• 9,490 个 Soft Variants： 核心实例的 GroupVague 和 HostilityVague 版本。
• 覆盖范围： 跨越 7 个社会文化领域（如种族、宗教、性别）和 28 个特定目标群体。

核心贡献

1. 基于理论的基准测试： SoftHateBench 是第一个通过将生成过程植根于 AMT 论证结构和 RT 语用原则来系统生成和评估软仇恨的基准，超越了简单的改写或基于模板的增强。
2. 可控生成： 引入的 带有 RT 引导束搜索的逆向 AMT 生成 允许构建具有校准隐晦性的、具备推理显性特征的实例。该方法在保留敌对立场的同时生成表面中性的文本，解决了在生成过程中自身违反安全政策的问题。
3. 全面的评估： 本文对编码器模型、通用大语言模型（包括专有模型和开源模型）以及经过安全对齐的模型进行了跨越“硬到软”光谱的严格压力测试。

实验结果

性能退化

对所有模型类别的评估显示，随着内容从硬层级向软层级移动，检测能力呈现出一致且剧烈的下降：

• 总体平均值： 仇恨成功率 (HSR) 从硬仇恨的 76.8% 下降到 SoftBase 的 43.5%，SoftGV 的 32.9%，以及 SoftHV 的 21.2%。
• 基于编码器的模型： 像 HateBERT 和 HateRoBERTa 这样依赖表面词汇线索的模型，在 SoftHV 上遭遇了灾难性的失败，平均 HSR 下降至 6.8%。
• LLMs 与安全模型： 虽然 LLMs（如 GPT-5-mini, DeepSeek-V3.1）在硬仇恨上的表现较好（HSR > 87%），但在 SoftHV 上仍经历了显著退化（HSR 约为 21–50%）。值得注意的是，面向推理的模型并不能自动解决该问题；通用的思维链 (CoT) 对于检测符合政策的推理驱动型敌意并不奏效。

推理支架的作用

一项关键的消融研究测试了模型失效是因为无法识别仇恨，还是因为无法重建推理链。

• 方法： 模型分别仅在提示表面文本 ($E, D$)、表面文本加推导出的前提 ($P$)、以及前提加准则 ($M$) 的情况下进行测试。
• 结果： 提供中间的 AMT 步骤 ($P$ 和 $M$) 极大地提高了检测率。例如，Qwen3-4B* 在获得完整推理链 ($E, D, P, M$) 时，其在 SoftHV 上的 HSR 从 23.0%（仅表面文本）提升到了 94.2%。
• 启示： 当前系统的主要失效模式不是缺乏“仇恨识别”能力，而是无法重建连接中性前提与歧视性结论的隐性推理环节。

人类验证

人类评估证实了该基准测试的质量：

• 结构忠实度： 85.0% 的 SoftBase 实例被验证为逻辑连贯的 AMT 链。
• 感知有效性： 注释者区分敌对与非敌对实例的达成度为 85.7%。
• 生态有效性： 在一项盲测歧视任务中，注释者区分生成的软仇恨与现实世界案例的准确率仅为 57.1%，表明生成的文本高度模仿了真实的在线话语。

意义与主张

本文声称 SoftHateBench 揭示了当前内容审核中的一个关键盲点：针对表面毒性优化的系统对于推理驱动的敌意并不鲁棒。作者认为，处于“符合政策的文本”与“有害内容”之间的鸿沟是由推理而非仅仅是词汇来弥补的。

这项工作的意义在于证明了：

1. 现有模型是脆弱的： 当仇恨被框架化为常识或基于价值观的推理时，即使是先进的 LLM 和安全模型也会失效。
2. 推理感知检测是必要的： 在提供中间推理步骤 ($P$ 和 $M$) 时观察到的实质性性能提升表明，未来的审核系统必须能够重建论证结构，而不仅仅是分类表面文本。
3. 需要一个新的基准测试： 现有的数据集不足以评估这一特定的威胁向量。SoftHateBench 提供了一个受控的、基于理论的环境，用于压力测试并开发具备推理能力的审核工具。

作者总结道，如果不解决检测推理驱动、符合政策之敌意的能力，内容审核系统在面对不断演变的在线仇恨格局时将依然难以奏效。