Multi-Stage Training for Abusive Comment Detection in Indic Languages
本文提出了一种多阶段训练流程，结合基于语言的前处理与模型集成，以检测印度语言中的辱骂性评论，同时最大限度减少误报以保护言论自由。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象社交媒体是一个巨大、繁忙的城镇广场，每个人都在大声表达想法、分享新闻和聊天。虽然这有利于建立联系，但有时人们会开始向彼此投掷烂番茄（辱骂性评论）。本文的目标是为这个城镇广场打造一名更聪明的保安，他能够识别出烂番茄，同时不会误伤那些只是在进行大声但无害的争论的人们。
以下是作者如何构建这名保安的简要说明：
问题：一个嘈杂、混乱的房间
团队获得了来自印度应用程序"Moj"的庞大评论集（共 70 万条）。这些评论使用了 15 种以上的不同印度语言。
然而，数据杂乱无章，就像有人把一切扔到了地板上的房间：
- 语言混淆：人们经常用英文字母输入印地语单词（如“印式英语”），或将多种语言混合在一起。这使得计算机难以理解其含义。
- “标签噪声”陷阱：这是最大的障碍。团队发现，告诉他们什么是辱骂性内容的“答案键”（即标签）在约 9-10% 的情况下是错误的。
- 类比：想象一位老师在批改试卷时，不小心将正确答案标记为“错误”，将错误答案标记为“正确”。如果计算机试图从这位老师那里学习，它就会感到困惑。作者甚至进行了一项疯狂的实验，将所有标签翻转（告诉计算机“辱骂”意味着“安全”），结果计算机反而获得了高分，这证明原始标签确实混乱不堪。
解决方案：一条五阶段的装配线
为了解决这个问题，作者构建了一个多阶段流程，就像一条工厂装配线，在做出最终决定之前对数据进行清理、分类和抛光。
阶段一：清洁工（预处理）
首先，他们扮演了清洁工的角色。他们移除了 HTML 标签（数字垃圾），并使用工具对文本进行“转写”。
- 类比：如果某人用英文字母写了"Namaste"，他们将其转换回实际的印地语脚本。这有助于计算机更好地理解单词，就像阅读原著而非糟糕的译本一样。
阶段二：语言专家（模型训练）
他们没有使用一个通用的巨型大脑来理解所有 15 种语言，而是为每种语言训练了特定的“专家”。
- 他们使用了先进的 AI 模型（如 XLM-R 和 Muril），这些模型已经阅读了数百万本书籍。他们微调这些模型，使其成为识别特定印度语言中辱骂内容的专家。
阶段三：侦探的笔记（嵌入与元数据）
这些模型不仅查看单词，还查看评论的“氛围”。
- 他们将文本转化为数学映射（称为嵌入），以捕捉含义和上下文。
- 他们还添加了“元数据”，这就像查看评论的受欢迎程度。如果一条评论有数千次“举报”而零次“点赞”，这就强烈暗示它可能是辱骂性的。他们将文本含义与这些社交线索结合起来。
阶段四：“猜测与检查”循环（伪标签）
由于原始标签存在噪声，他们尝试了一种称为伪标签的巧妙技巧。
- 类比：想象一个数学不错的学生。老师说：“这里有一些没有答案的问题。你解出它们，然后我们将用你的答案来进一步教导你。”
- 计算机对混乱的数据做出了最佳猜测。然后，它利用这些猜测重新训练自己。它反复进行这一过程，逐渐学会忽略“坏老师”（即噪声标签），并信任自己日益增长的直觉。
阶段五：最终委员会（集成与阈值）
最后，他们没有只依赖一个模型，而是创建了一个由不同模型组成的“委员会”。
- 他们取出了最佳模型的预测结果并将其结合（加权集成）。
- 秘密武器：他们意识到，在印地语中被视为“辱骂”的内容，在泰米尔语中可能不同。因此，他们为每种语言设置了不同的“敏感度水平”（阈值）。
- 类比：保安在图书馆（印地语评论）里对大声喧哗非常严格，但在体育场馆（泰米尔语评论）里则更为宽松。通过为每种语言调整敏感度，他们阻止了系统将无辜评论标记为辱骂性内容。
结果
通过清理数据、使用特定语言专家、利用伪标签解决“坏老师”问题，并为每种语言调整敏感度，他们构建了一个得分为0.90000的系统。
主要结论：
该论文表明，要捕捉多种语言中的辱骂性内容，不能仅仅采用“一刀切”的方法。你必须清理数据，修正训练标签中的错误，并对每种语言采用其特定的规则。这确保了系统能够揪出坏苹果，而不会误伤好苹果，从而在保持城镇广场安全的同时，让人们仍能自由表达观点。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。