Conditional Reliability of Toxicity Signals for Multilingual and Code-Mixed Abuse Detection

技术摘要：多语言与代码混合语境下毒性信号的条件可靠性

问题陈述
在线审核系统日益依赖外部毒性工具（如 Detoxify、Perspective API）和基于规则的先验知识来检测滥用行为。然而，这些工具在多语言和代码混合（code-mixed）语境下（特别是印地语-英语混合语，即 Hinglish）表现出显著的不可靠性。标准的工程方法通常将外部毒性得分直接与上下文编码器表示进行拼接，其前提假设是这些得分具有统一的可信度。作者认为这是一个错误的假设：外部信号对于显性的英语脏话可能是可靠的，但对于罗马化印地语辱骂、良性俚语或讽刺语境则可能具有误导性。本文解决的核心问题是条件可靠性（conditional reliability）：即如何根据特定的语言和严重程度语境，确定何时以及在多大程度上信任辅助毒性信号。

方法论：ToxGate
为了解决这一问题，作者提出了 ToxGate，一种源感知（source-aware）的信任融合头，旨在有条件地整合辅助信号，而非将其视为固定特征。

• 输入信号： 系统除了文本外，还摄取了三种不同的辅助先验：
  1. Detoxify： 一个 6 维向量（包括毒性、严重毒性、猥亵、威胁、侮辱、身份攻击）。
  2. Indic Abuse： 来自一个冻结的、基于公开 MuRIL 的滥用语言分类器的标量得分。
  3. 基于规则的严重程度： 一个源自确定性词典与模式匹配器的标量，涵盖暴力威胁、性暴力和显性针对性行为。
• 架构： 与标准的拼接方式不同，ToxGate 对每个源 $s$ 进行独立处理：
  1. 投影（Projection）： 每个源向量 $t_s$ 通过线性层和 ReLU 函数被投影为潜在表示 $u_s$。
  2. 上下文调节门控（Context-Conditioned Gating）： 为每个源学习一个信任门 $g_s$。该门控是文本编码器表示 ($h_{text}$) 和投影源特征 ($u_s$) 的函数：$g_s = \sigma(W_g [h_{text}; u_s] + b_g)$。
  3. 融合（Fusion）： 最终表示为 $h_{fused} = h_{text} + \sum_s (g_s \odot u_s)$。
• 机制： 如果某个源被判定对于特定示例不可靠（例如，针对良性俚语触发了基于规则的触发器），门控会抑制其贡献。如果所有源都较弱，模型则退回到原始编码器表示。

实验设计
评估涵盖了三个短文本滥用数据集（BullyExplain、Hinglish Headlines、Indo-HateSpeech）和四种 Transformer 编码器（BERT、mBERT、MuRIL、XLM-R）。研究采用了每种设置五个随机种子，并评估了：

• 领域内性能（In-domain performance）： 将纯编码器与 ToxGate 进行匹配比较。
• 跨数据集迁移（Cross-dataset transfer）： 在一个 Hinglish 数据集上训练并在另一个数据集上测试时的性能。
• 消融实验（Ablations）： 与静态拼接（Static Concatenation）、MLP 融合、共享门控（SharedGate）以及标量门控（ScalarGate）进行对比。
• 鲁棒性（Robustness）： 针对损坏测试（通过打乱或丢弃辅助特征）以及切片分析（显性辱骂、暴力威胁、罗马化印地语）。
• 分流模拟（Triage Simulation）： 评估高风险精确度（预测滥用概率前 10% 的情况）。

关键结果

• 性能提升： 在 12 个领域内设置中的 10 个 以及 8 个迁移设置中的 7 个 中，ToxGate 的表现优于匹配的纯编码器。最显著的改进出现在高风险审核切片中，特别是显性辱骂、暴力威胁和跨数据集迁移。
• 源特异性（Source-Specificity）： 全部的源特异性门控（ToxGate）比共享门控或标量门控变体具有更好的平均 Macro-F1 和更低的预期校准误差（ECE）。这证实了不同的毒性来源具有不同的可靠性特征，需要进行单独的调节。
• 鲁棒性： 在辅助特征损坏（例如打乱 Detoxify 得分）的情况下，ToxGate 显示出受限的性能下降，而基于 MLP 的融合则表现脆弱。静态拼接（Concat）显示出近乎零的下降，这表明它往往学会了完全忽略辅助特征。
• 分流效用： 在高风险分流模拟中，ToxGate 将高风险精确度从 0.930 提高到 0.945（领域内），并将从 0.846 提高到 0.883（迁移），证明了其在将不确定或冲突案例路由至人工审核方面的价值。

意义与主张
本文并不声称解决了普遍的滥用检测问题，也不声称消除了偏差。相反，它对如何集成外部工具提出了一个微小但关键的转变：

1. 条件证据（Conditional Evidence）： 外部毒性工具和先验应被视为条件证据，而非真值或固定特征。它们的效用是依赖于上下文的。
2. 基于信任的融合（Trust-Aware Fusion）： 主要贡献在于将“何时信任”外部信号这一过程形式化。作者证明，当先验在语言和严重程度语境下具有异质可靠性特征时，源特异性的条件融合最为有效。
3. 实际部署： 该系统被定位为一个决策支持工具，旨在将高置信度的滥用帖子路由至审核，并将不确定的案例路由至人工，而非作为一个自主执行系统。

作者总结道，虽然 ToxGate 提升了高风险场景下的性能，但它也暴露了当前辅助先验仍不完整的地方（例如罗马化印地语滥用），这进一步强调了在生产环境中进行人工监督和持续评估差异化错误率的必要性。