Continual Learning with Multilingual Foundation Model
本文提出了一种可复现的多阶段框架，该框架利用 XLM-RoBERTa 基础模型、GPT-4o-mini 回译进行数据增强以及针对特定语言的阈值优化，以有效检测英语、西班牙语和意大利语社交媒体中被重新 reclaim 的 LGBTQ+ 侮辱性词汇，同时应对数据稀缺和跨语言差异等挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是用简单语言和创意类比对这篇论文的解读。
宏观图景：“语境侦探”
想象你是一家全球聊天室的管理员，那里的人们说着英语、西班牙语和意大利语。有人输入了一个曾经属于恶毒侮辱（ slur）的词汇。在过去，你的工作很简单：坏词 = 封禁。
但如今，情况变得复杂了。LGBTQ+ 群体“重新夺回”了其中一些词汇。他们用这些词来表达自豪、团结和爱。因此，同一个词既可以是仇恨言论（当被局外人用来伤害时），也可以是重新夺回（当被社群成员用来赋权时）。
问题在于？计算机程序不擅长理解人类的细微差别。它们经常封禁无害的帖子，或者漏掉真正的仇恨言论。这篇论文描述了一个新系统，旨在为三种语言解决这个谜题。
三大障碍
研究人员面临三个主要障碍，就像试图用坏掉的烤箱、没有面粉，以及一份随国家不同而变化的食谱来烤蛋糕：
- 数据不足：与“仇恨”词汇相比，“重新夺回”的词汇示例非常少。这就像试图在只有三张稀有鸟类照片的情况下学习识别它，却拥有成千上万张鸽子的照片。
- 不平衡：由于“重新夺回”的示例如此罕见，计算机变得懒惰。它学会了每次都猜“仇恨”，因为那是最常见的答案。
- 文化差异：英语中的笑话在意大利语中可能看起来像威胁。在西班牙表示自豪的词汇，在意大利可能意味着完全不同的东西。一种规则无法适用于所有情况。
解决方案：四步烹饪食谱
团队构建了一个“多阶段框架”。将其想象为一位厨师通过四轮不同的品尝和调整来完善一道菜肴。
第一步：挑选合适的厨师（模型选择）
首先，他们测试了八种不同的"AI 厨师”（预训练语言模型），看看哪一种最擅长理解食材（推文）。他们并没有只选最有名的那个，而是进行了一场严格的品尝测试（交叉验证）。
- 获胜者：XLM-RoBERTa。之所以选择它，是因为它是最稳定的厨师，能够很好地处理所有三种语言而不会混淆。
第二步：拉伸面团（数据增强）
由于他们缺乏足够的“重新夺回”示例，他们需要更多。他们使用了一个智能 AI 翻译器（GPT-4o-mini），将每条英语推文翻译成西班牙语和意大利语，然后再翻译回来。
- 魔法所在：这不仅仅是复制粘贴；它创造了含义相同的新句子。这将他们的训练数据翻了三倍。
- 安全网：他们必须小心不要破坏比例。他们使用了一种“动态欠采样”技巧。想象一位老师在批改试卷：学生每看到一条“重新夺回”的示例，老师就展示三条“仇恨”示例。这防止学生被多数情况淹没，并迫使他们关注罕见但重要的案例。
第三步：专项训练（领域知识）
在这一轮中，他们在要求 AI 执行最终任务之前，给它上了一堂关于 LGBTQ+ 社交媒体语言的“速成课”。他们使用了一种称为**掩码语言建模（MLM）**的技术。
- 类比：想象一个懂通用英语的学生。在参加考试前，你遮盖住关于骄傲游行句子中的某些单词，让他们猜测缺失的单词。这迫使 AI 学习社群特定的“氛围”和俚语，而不仅仅是通用语法。
第四步：语言特定规则（阈值调整）
这是最惊人的发现。通常，AI 使用单一的“截止线”（例如 50%）来决定某事是否为仇恨言论。如果计算机有 51% 的把握，它就会封禁它。
- 发现：研究人员发现，一种规则无法适用于所有情况。
- 英语：当 AI 看到被重新夺回的英语词汇时，它非常有信心。为了避免意外封禁无辜帖子，他们不得不提高门槛（让 AI 达到 58% 的把握）才进行标记。
- 意大利语：AI 对意大利语重新夺回的词汇信心较低，因为文化线索更微妙。为了避免漏掉真正的重新夺回，他们不得不降低门槛（让 AI 达到 42% 的把握）。
- 西班牙语：它正好处于中间位置。
- 结果：通过为每种语言调整警报的“灵敏度”，他们在无需重新训练整个模型的情况下，将系统的准确率提高了 2–5%。
他们的发现（品尝测试结果）
在运行这四个版本（运行 1 到运行 4）后，情况如下：
- 系统有效：最终系统在区分仇恨和自豪方面比标准工具要好得多。
- “通用”神话：他们证明了不能对所有语言使用单一的“决策边界”。适用于英语的方法在意大利语中会失效。
- 剩余的故障：该系统仍然难以处理讽刺（尤其是英语）和微妙的文化亲密感（尤其是意大利语）。
- 示例：如果有人说“我可以叫你那个 slur 吗？”作为玩笑，AI 有时会认为他们实际上是在重新夺回它。
- 示例：在意大利语中，朋友可能会使用 slur 来表示他们关系亲密。AI 有时会漏掉这一点，因为它在寻找那些并不存在的显式“自豪”词汇。
核心结论
这篇论文表明，要教会计算机理解不同文化中的人类情感和重新夺回的词汇，不能只是把数据扔给它。你需要：
- 挑选合适的基础模型。
- 在不破坏平衡的前提下温和地扩展数据。
- 教会它社群特定的“方言”。
- 最重要的是：为不同的语言制定不同的规则。
作者总结道，虽然他们的系统是一个巨大的进步，但在计算机能够完美地监管这些对话之前，它们还需要更多地了解人类语境、讽刺以及友谊中未言明的规则。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。