arXiv💬 cs.CL🤖 cs.AI

Hate Speech Detection using Large Language Models with Data Augmentation and Feature Enhancement

该论文通过对比传统分类器与多种大语言模型，评估了数据增强和特征增强技术在仇恨言论检测中的效果，发现开源的 gpt-oss-20b 模型表现最佳，同时揭示了隐式仇恨言论检测的难点以及数据集、模型架构与增强策略之间的复杂交互关系。

Brian Jing Hong Nge, Stefan Su, Thanh Thi Nguyen, Campbell Wilson, Alexandra Phelan, Naomi Pfitzner

发布于 2026-03-06
📖 1 分钟阅读☕ 轻松阅读
查看于 arXiv ↗PDF ↗

Each language version is independently generated for its own context, not a direct translation.

这篇论文就像是一场**“网络语言警察”的选拔大赛**。

想象一下，互联网是一个巨大的、喧闹的广场。在这个广场上，大多数人都在友好地聊天，但总有一些人（极端分子）在角落里散布仇恨、煽动暴力。我们的任务就是派出一群“警察”（人工智能模型），让他们把那些散布仇恨的人揪出来。

但这很难，因为：

  1. 坏人很狡猾：有些坏人直接骂人（显性仇恨），很容易抓；但有些坏人说话拐弯抹角，用暗语、讽刺或隐晦的方式表达仇恨（隐性仇恨），很难分辨。
  2. 坏人很少：在广场上，99% 的人都在说废话或好话，只有 1% 的人在骂人。警察如果只盯着那 1% 看，很容易累坏或者漏掉目标（这就是“类别不平衡”问题）。

为了解决这些问题，作者们（来自莫纳什大学的研究团队）设计了一场大比武，测试了不同类型的“警察”以及不同的“训练技巧”。

1. 参赛选手：谁在当警察？

作者们请来了两派警察：

  • 传统派（老练的侦探）：
    • Delta TF-IDF：这就像一位经验丰富的老侦探。他不依赖高科技，而是靠统计关键词。比如，如果一句话里出现了很多特定的“脏话”或“敏感词”，他就判定这是仇恨言论。虽然技术古老，但胜在简单直接。
  • 现代派（高科技特警）：
    • DistilBERT, RoBERTa, DeBERTa：这些是“中型特警”，它们读过很多书，能理解句子的上下文和语气。
    • Gemma-7B, gpt-oss-20b：这些是“超级特警”（大语言模型）。它们拥有巨大的知识库，不仅能看懂字面意思，还能理解言外之意、讽刺和复杂的逻辑推理。特别是 gpt-oss-20b，就像是一个拥有 200 亿个脑细胞的超级大脑。

2. 训练技巧：如何把警察训练得更强？

光有警察还不够，还得给他们特训。作者们尝试了四种“特训营”：

  • 特训一：SMOTE 和加权损失（“模拟演练”）

    • 比喻：因为坏人太少，警察平时练手机会不多。于是，训练师用电脑生成了一些“假坏人”（合成数据），让警察多练几次。同时，如果警察抓错了坏人，就罚得重一点；抓对了好人，就奖励得少一点。
    • 结果：这招对“老侦探”（传统模型）效果一般，甚至有时候生成的假坏人太假了，反而把警察练糊涂了。

  • 特训二：词性标注（“语法分析课”）

    • 比喻：教警察分析句子的结构。比如，这句话里有多少个动词、名词？是不是用了很多感叹号？这有助于警察理解说话人的情绪和意图。
    • 结果：这招比较稳，对大多数警察都有小幅帮助，是个“低风险”的加分项。

  • 特训三：数据增强（“变装游戏”）

    • 比喻：让警察练习识别“伪装”的坏人。比如，把“我要杀了你”变成“我想终结你的生命”，或者故意加几个错别字、换几个同义词。目的是让警察学会：不管坏人怎么换马甲，本质还是坏人。
    • 结果：这招对**老侦探（Delta TF-IDF）**简直是神技！老侦探通过这种训练，在识别“直接骂人”的坏人时，准确率飙升到了 98.2%。但对于那些依赖深度理解的“超级特警”，有时候这种变装游戏反而让他们 confused（困惑），导致表现下降。

  • 特训四：组合拳（“全能特训”）

    • 把上面所有方法混在一起练。结果发现，有时候练得太杂，反而不如单练一项效果好。

3. 比赛场地：不同的“广场”

作者们在四个不同的“广场”（数据集）上测试：

  • Stormfront：一个白人至上主义论坛。这里的坏人说话非常直白、粗鲁（显性仇恨）。
  • Hate Corpus：这里充满了隐晦的、拐弯抹角的仇恨言论（隐性仇恨）。
  • Gab & Reddit：普通的社交媒体讨论区，情况介于两者之间。
  • Merged：把上面所有广场混在一起的大杂烩。

4. 最终战果：谁赢了？

  • MVP（最有价值选手）：gpt-oss-20b

    • 这位“超级特警”在所有测试中都表现最好。它最擅长理解那些拐弯抹角、隐晦的仇恨言论。就像它能听懂笑话里的讽刺一样，它也能听懂坏人话里的恶意。
    • 结论：如果你要抓那些高智商、说话绕弯子的坏人，必须用这种大模型。

  • 最佳性价比选手：RoBERTa

    • 它虽然不如超级特警那么强大，但它的“脑容量”小很多（参数少），运行速度快，成本低，而且表现非常稳定。对于大多数情况，它是个很棒的替代方案。

  • 黑马：Delta TF-IDF（老侦探）

    • 虽然平时表现不如高科技模型，但在**数据增强（变装游戏）**的训练下，它在识别“直白骂人”的坏人时，竟然达到了惊人的 98.2% 准确率！
    • 启示：有时候，简单的工具加上聪明的训练方法，也能爆发出巨大的能量。

5. 核心发现（给普通人的启示）

  1. 隐晦的坏人更难抓：那些说话拐弯抹角的仇恨言论，比直接骂人的更难检测。这需要更聪明的模型（大语言模型）。
  2. 没有万能药：
    • 如果你抓的是直白的坏人，用老侦探 + 变装游戏（数据增强）效果最好。
    • 如果你抓的是隐晦的坏人，必须用超级特警（大模型）。
    • 乱用训练技巧（比如强行生成假数据）可能会把警察练坏，导致误抓好人。
  3. 未来的方向：我们需要更多样化的数据（不同语言、不同文化），并且要教会大模型像人类一样进行“推理”（Chain-of-Thought），这样它们才能更精准地识别那些复杂的恶意。

总结一下：
这篇论文告诉我们，治理网络仇恨不能只靠一种方法。我们需要**“超级大脑”去理解复杂的隐晦恶意，也需要“老练侦探”配合“变装训练”**去快速识别直白的辱骂。只有根据具体情况，灵活搭配不同的工具和训练方法，才能构建一个更安全的网络环境。

类似论文