Mod-Guide: An LLM-based Content Moderation Feedback System to Address Insensitive Speech toward Indigenous Ethnic and Religious Minority Communities

大局观：文化情感的翻译官

想象一下，互联网是一个巨大且嘈杂的城镇广场。在这个广场上，有两个群体：多数派（最常见的发声者）和少数派（规模较小、经常被忽视的群体）。

有时，多数派说的话在技术层面上并不属于“仇恨言论”（比如没有直接使用辱骂性词汇），但仍然具有伤害性。他们可能会通过开玩笑、做假设或发表评论，在无意中抹杀或不尊重少数派的文化、宗教或历史。这就像有人说：“你为什么戴那顶奇怪的帽子？真难看，”却没意识到那顶帽子对佩戴者而言是神圣的冠冕。

问题在于，城镇广场上的“保安”（内容审核系统）通常是由多数派训练出来的。他们往往会错过这些微妙的伤害，因为他们无法理解少数派的视角。当少数派感到深受伤害时，这些保安可能会说：“这条评论没问题。”

这篇论文介绍了 Mod-Guide，这是一个旨在帮助“保安”理解少数派观点的全新工具。

问题所在：“面纱”与“缺失的字典”

作者使用了两个强有力的隐喻来解释为什么会发生这种情况：

1. 面纱（The Veil）： 想象一层厚厚的、无形的幕布，将多数派和少数派隔离开来。多数派看不见少数派真实的感受，而少数派感到被误解。
2. 解释学不公（Hermeneutical Injustice）： 这是一个高级术语，意思是指少数派缺少一本“字典”。他们拥有经历和感受，但互联网（以及人工智能）的“官方语言”并没有词汇来描述这些经历为何令人痛苦。

正因如此，标准的 AI 模型（如目前社交媒体网站使用的模型）往往无法识别“不敏感言论”。它们看到了文字，却错过了背后的含义。

解决方案：建立一座“社区图书馆”

为了解决这个问题，研究人员不仅仅是让 AI 去猜测，而是直接向源头寻求帮助。

第一步：讲述者（语料库）
研究人员从孟加拉国的两个特定少数群体中收集了 22 名成员的素材：印度教社群（宗教少数派）和 Chakma 社群（原住民民族少数派）。

• 他们请这些社群成员分享令其感到受伤的在线评论示例。
• 至关重要的一点是，社群成员不仅说“这不好”，他们还写下了解释。他们利用自己的宗教典籍、历史和生活经验，解释了为什么这不好。
• 类比： 想象一个图书馆，里面不是只有一份“坏词列表”，而是一排由受害者亲自编写的书籍，详细解释了为什么某句特定的句子听起来像是在腹部重击了一拳。

第二步：工具（Mod-Guide）
研究人员开发了一个名为 Mod-Guide 的工具。把它看作是内容审核员的智能助手。

• 大脑： 它使用了一个强大的 AI（GPT-4）。
• 记忆（RAG）： 这是核心秘诀。Mod-Guide 不会让 AI 基于其通用训练进行猜测，而是强制要求 AI 在回答之前先翻阅“社区图书馆”（即第一步创建的语料库）。
• 角色扮演： AI 被要求戴上不同的“帽子”（人格）来提供反馈。有时它扮演教师（试图进行教育），有时扮演调解员（试图平息争端），有时扮演法官（做出裁决）。

现实生活中如何运作

让我们来看一个论文中的例子：

• 不敏感评论： 一名用户发布道：“我不相信要守护偶像；我带来的信仰是为了守护信仰，而不是为了保护雕像。”（对于认为偶像神圣不可侵犯的印度教徒来说，这句话具有冒犯性）。
• 标准 AI： 可能会说：“这只是个观点，没问题。”
• Mod-Guide（结合了“图书馆”）： AI 会查找来自印度教社群成员的解释。它看到对于这些人来说，偶像不仅是雕像，更是通往上帝的桥梁。
• 结果： Mod-Guide 告诉用户：“这条评论可能具有伤害性，因为它忽视了许多人对偶像神圣性质的尊重。以下是您可以更具尊重感地重新表达的方式。”

研究发现

研究人员将 Mod-Guide 与标准 AI 进行了对比测试，发现：

1. 它改变了输出结果： 当 AI 使用“社区图书馆”（RAG）时，其回答与标准 AI 完全不同。它对文化细微差别的敏感度大大提高。
2. 它更准确： 来自少数群体的专家审查了这些回答。他们认为标准 AI 往往过于“肤浅”或抓不住重点，而 Mod-Guide 的回答在文化深度和事实准确性方面表现更好。
3. 谁更认可它？
   • 种族属性很重要： 来自原住民（Chakma）少数群体的人发现，比起多数派的人，该工具提供的反馈对他们更有用。
   • 宗教差异影响不大： 有趣的是，无论一个人是印度教徒还是穆斯林，并不影响他们认为该工具实用的程度；关键在于他们的民族背景。
   • “教师”与“调解员”的角色： 当 AI 扮演教师或调解员而非严厉的法官时，其反馈最为有效。

局限性（潜在的问题）

作者坦诚地说明了该工具目前还不能做到的事情：

• 规模较小： 他们建立的“图书馆”很小（仅 132 个示例）。这就像一本只有几页纸的字典。它在研究的特定群体中效果很好，但可能无法涵盖世界上所有可能的侮辱或每一个少数群体。
• 并非万能： 该工具仍需要人工监督。它不能完全取代人类的判断，尤其是在处理复杂的视觉内容（如带有文字的图像）时。
• 针对孟加拉国： 研究结果针对的是孟加拉国的印度教和 Chakma 社群。它并不会自动解决其他国家少数群体的问题，尽管其方法论是可以被复制的。

核心启示

这篇论文认为，要让互联网变得公平，我们不能仅仅依赖大型的通用 AI 模型。我们需要建立本地化的、特定于社区的知识库。

通过为 AI 提供一本由真正受到伤害的人所编写的“字典”，我们可以帮助它理解什么是无伤大雅的评论，什么是深层次的冒犯。这关乎从惩罚（禁止用户）转向修复式正义（帮助人们理解彼此并修复关系）。

简而言之： Mod-Guide 是一个工具，它教会 AI 去倾听那些它本应保护的人的声音，而不是仅仅靠猜测来满足需求。