Reliability of Urdu–Arabic Abusive Language Detection with Cross- Lingual Transformers and Explainable AI
本研究评估了一个用于检测乌尔都语和阿拉伯语中辱骂性语言的双语 XLM-RoBERTa 模型，结果表明虽然联合训练带来了高准确率，但该系统缺乏鲁棒的跨语言迁移能力和上下文敏感性，强调了仅凭聚合指标是不够的，必须进行针对性的可靠性测试。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在社交媒体上，有害言论的增长速度超过了人类审核员的处理能力。为了跟上步伐，研究人员正在开发能够自动识别辱骂性语言的计算机程序。多年来，这些工具在处理英语方面表现良好，但在面对乌尔都语和阿拉伯语等由数亿人使用的语言时，往往会出错。一个主要的障碍是这些语言是从右向左书写的，并且具有复杂的脚本，这使得标准软件难以解析。此外，即使计算机程序正确识别了一个不良帖子，它通常也不会解释做出该选择的原因。这种缺乏透明度的现象使得人类审核员难以信任该工具，也难以理解计算机是否对某些群体存在偏见。该领域现代研究的目标不仅是建立一个大部分情况下都能得出正确答案的检测器，而是要建立一个能够解释其推理过程，并且即使在文本混乱或使用不同方言时仍能保持可靠的检测器。
来自巴基斯坦和沙特阿拉伯大学的一个研究小组致力于解决这些特定问题，他们创建了一个能够同时理解乌尔都语和阿拉伯语的单一计算机模型。他们收集了超过 65,000 条经过仔细标记（分为辱骂或无害）的社交媒体帖子，以此来教导他们的系统。与以往将每种语言分开处理的做法不同，他们训练模型同时从这两种语言中学习。结果表明，这种联合方法效果很好：该模型在两种语言中都能正确识别约 82% 的辱骂内容，在乌尔都语和阿拉伯语方面的表现几乎同样出色。然而，当他们测试该模型在仅接受一种语言训练后是否能理解另一种语言时，它完全失败了，正确率仅为一半左右。这一发现揭示了一个关键的事实：模型的成功并非源于某种神奇的跨语言翻译能力，而是源于同时学习这两种语言的具体工作。
为了确保模型不仅仅是在瞎猜，研究人员要求它指出触发其决策的具体词汇。他们使用了两种不同的数学方法来检查哪些词汇最为重要，并发现这些方法之间只有约三分之一的时间是一致的。这表明没有一种单一的方法是完美的，无法准确找到决策背后的“原因”。随后，团队尝试通过将计算机的发现输入到一个大语言模型中，让其用简洁的英语编写简短的解释，从而使计算机的推理过程更具可读性。虽然这些解释听起来很通顺且引用了许多重要的词汇，但一项严格的测试显示，它们并不总是忠实于计算机的实际逻辑。当研究人员移除计算机所强调的词汇时，预测结果发生了显著变化；但当他们移除计算机书面解释中所引用的词汇时，预测结果往往保持不变。这意味着书面解释有时只是在重复正确的词汇，而没有真正捕捉到计算机的内部推理逻辑。
研究还测试了该系统在处理不完美文本时的鲁棒性，这在现实世界的社交媒体中非常普遍。该模型在处理缺失重音符号和随机拼写错误方面表现尚可，但在处理使用拉丁字母书写的乌尔都语（这是非正式在线聊天中的常见做法）时却表现得非常吃力。这种性能下降凸显了训练数据中的差距。或许最重要的是，研究人员发现该模型很容易被上下文所迷惑。它仅仅因为包含一个敏感词就会将句子标记为辱骂，即使该句子实际上是在给出道德建议或以无害的方式使用该词。例如，它可能会将关于不当行为的警告误认为是侮辱。通过增加一小部分专门针对这些棘手语境的额外训练，研究人员修复了这一错误，使模型能够区分侮辱与警告，且不会损失其整体准确性。
这项工作的最终成果是一个不仅能标记不良帖子，还能为每个决策提供“可靠性卡片”的系统。这张卡片列出了预测的置信水平、触发警报的具体词汇、攻击对象以及分类的原因。研究人员强调，该工具旨在辅助人类审核员，而非取代他们。通过展示帖子为何被标记以及承认自身何时不确定，该系统可以帮助人类做出更好的最终决策。研究结论指出，对于多语言系统而言，若要实现真正的可靠，必须针对这些特定的挑战（如语境和脚本变化）进行测试，而不仅仅是看单一的总分。未来的方向在于改进这些工具，使其能够处理人类语言混乱的现实情况，同时保持“人在回路”的模式，以确保公平性和准确性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。