💬 NLP

How do datasets, developers, and models affect biases in a low-resourced language?: The Case of the Bengali Language

本文通过实证研究表明，针对低资源孟加拉语的情感分析模型，无论基于多语言还是单语言架构，均表现出持续存在的性别、宗教和国籍偏见，凸显了多样化数据集与预训练模型的结合可能引入不一致性，从而加剧社会技术系统中的认知不公。

原作者： Dipto Das, Shion Guha, Bryan Semaan

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Dipto Das, Shion Guha, Bryan Semaan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过向机器人展示成千上万句用孟加拉语写成的句子，来教它理解人类的情感（如快乐、悲伤或愤怒）。你希望这个机器人对每个人都能公平对待，无论他们是男性还是女性，是印度教徒还是穆斯林，是来自孟加拉国还是印度。

这篇论文就像是对 38 个不同版本的该机器人所出具的“成绩单”。研究人员问道：机器人的不公平感从何而来？ 是源于它读过的书（数据集），教它的老师（开发者），还是它被构建时所用的“大脑”（预训练模型）？

以下是他们研究发现的简要说明，使用了简单的类比：

1. 设置：机器人、图书馆与老师们

机器人（模型）： 研究人员从两个“基础大脑”开始。一个是通才（mBERT），它懂 104 种语言，但在任何一门语言上都不是专家。另一个是专才（BanglaBERT），它只懂孟加拉语，并且是专门针对孟加拉语书籍进行训练的。
图书馆（数据集）： 他们从互联网上找到了 19 个不同的孟加拉语句子集合（数据集）。把这些集合想象成不同的图书馆。有些图书馆里装满了新闻，有些装满了社交媒体帖子，还有些装满了小说。
老师（开发者）： 这些图书馆是由不同的人整理的。研究人员试图找出这些“老师”是谁（他们的性别、宗教和国籍），以查看老师们的个人偏见是否被传递给了机器人。

2. 实验：“口味测试”

研究人员给机器人进行了一项特殊的“口味测试”。他们向机器人提供成对的句子，这些句子意思完全相同，但使用了不同的词汇来暗示身份。

示例： 一个句子使用了在印度常见的“水”这个词，而另一个句子使用了在孟加拉国常见的“水”这个词。
目标： 如果机器人是公平的，它应该给这两个句子相同的“情感评分”。如果它给其中一个高分（积极），而给另一个低分（消极），那就说明它存在偏见。

3. 结果：他们发现了什么？

A. 机器人存在偏见（“回声室”效应）
研究发现，大多数机器人都是不公平的。

性别： 61% 的机器人更喜欢关于男性的句子，而不是女性。只有 24% 的机器人更喜欢女性。
宗教： 61% 的机器人偏爱穆斯林身份，而 24% 偏爱印度教徒身份。
国籍： 50% 的机器人更喜欢孟加拉国身份，而 26% 更喜欢印度身份。

B. 老师并不重要（“机器中的幽灵”）
你可能会想：“如果老师是男性，机器人就会变得性别歧视。”研究人员对此进行了检查，但没有发现明确的联系。

尽管大多数数据集的创建者是男性、穆斯林且来自孟加拉国，但机器人并没有仅仅复制他们的具体偏见。
结论： 偏见并非来自输入数据的具体个人。它来自于数据与机器人“大脑”之间的相互作用。

C. 大脑比图书馆更重要（“专才与通才”）
这是最令人惊讶的发现。

专才机器人（BanglaBERT） 通常比通才机器人（mBERT） 更公平，偏见更少。
类比： 想象一下，通才机器人就像一个试图通过阅读多种语言的一些旅游手册来理解某种文化的游客。他们掌握了基础知识，但错过了细微差别。专才机器人则像是一个从小就说这门语言的当地人；他们能更好地理解微妙的文化差异。
然而，没有哪个图书馆是完美的。 即使是最好的数据集在某些方面也存在偏见。如果一个数据集在性别方面是公平的，它可能在宗教方面就不公平。

4. 大局观：这是一场连锁反应

该论文认为，偏见不仅仅是某段代码中的一个“漏洞”。它是一场连锁反应。

把它想象成一场接力赛。
第一棒选手（预训练模型）本身就带有一些固有的偏见。
第二棒选手（数据集）添加了他们自己的风味。
当他们传递接力棒（微调）时，最终结果是两者的混合。
有时，一个“好”的数据集可以修复一个“坏”的模型。有时，一个“坏”的数据集也会毁掉一个“好”的模型。

5. 为什么这很重要（“认识论不公”）

作者使用了一个时髦的术语，叫做认识论不公。简单来说，这意味着机器人不公平地贬低了某些人的声音。

如果机器人认为一个孟加拉国人写的句子是“消极的”，仅仅是因为他们使用了某个特定的当地词汇来表示“水”，那么机器人就是在说：“你说话的方式是错误的或糟糕的。”
这是不公平的，因为它将某一群体语言视为“标准”，而将其他群体视为“不正确”，从而强化了旧有的社会分歧。

总结

该论文得出结论，要解决像孟加拉语这样低资源语言中的偏见，我们不能仅仅责怪制作数据的人。我们必须审视整个系统：

不要只使用一刀切的模型： 专用模型（如 BanglaBERT）似乎比通用模型更能处理当地文化。
没有完美的数据集： 每个图书馆都有一些偏见，所以我们需要谨慎选择使用哪一个。
组合是关键： 偏见来自于模型和数据如何混合在一起，而不仅仅来自于其中一方。

研究人员呼吁进行更多的“审计”（检查与制衡），以确保这些数字工具不会无意中伤害到它们本应服务的社区。

技术摘要：数据集、开发者和模型如何影响低资源语言中的偏见

问题陈述
社会技术系统，特别是在自然语言处理（NLP）领域，经常表现出基于身份的偏见，从而边缘化特定的社会群体。虽然算法审计已成为检测这些偏见的标准方法，但现有研究主要集中于西方语境和高资源语言。这使得低资源语言（如拥有超过 2.6 亿使用者的孟加拉语）处于研究不足的状态。孟加拉社区面临着塑造性别、宗教（印度教徒与穆斯林）以及民族（孟加拉国人与印度人）身份的复杂历史与殖民力量。这些身份通常通过语言规范（如方言差异：Bangal 与 Ghoti）和词汇选择，以显性和隐性的方式表达出来。

本研究解决的核心问题是"AI 功能谬误”，即系统仅凭基准测试表现就被假定能正确运行，从而掩盖了偏见如何从多个技术组件的相互作用中产生。具体而言，目前尚缺乏对预训练模型、微调数据集以及数据集开发者的背景人口特征如何共同塑造孟加拉语下游情感分析（BSA）模型中的偏见这一问题的理解。

方法论
作者开展了一项全面的算法审计，涉及 38 个微调后的情感分析模型。方法论分为四个关键阶段：

数据集识别与开发者调查：研究人员通过 Google Dataset Search 识别了 19 个孟加拉语情感分析（BSA）数据集。他们联系了这些数据集的开发者，通过在线调查收集人口统计信息（性别、宗教、国籍），共收到 12 个数据集的回复。为保护匿名性，数据集被去标识化（D1–D19）。
模型选择与微调：选择了两个预训练语言模型：mBERT（在 104 种语言上训练的多语言模型）和BanglaBERT（专门在孟加拉语语料库上预训练的模型）。使用全部 19 个 BSA 数据集对这两个模型分别进行微调，从而得到 38 个不同的微调模型。
偏见评估：作者利用孟加拉语身份偏见评估数据集（BIBED），该数据集包含语义相同但身份标记（性别、宗教、国籍）不同的句子对，这些标记既可以是显性的（直接提及），也可以是隐性的（语言规范、方言、亲属称谓）。
统计分析：审计采用统计比较来评估偏见：
- 标称分类：使用 $\chi^2$ 检验评估身份类别与情感分类（正面/负面/中性）之间的关系。
- 情感得分：使用配对 t 检验或 Wilcoxon 符号秩检验，比较分配给不同身份组的平均情感得分（0 到 1）。
- 量化：计算**正面分类率（PCR）以衡量人口统计公平性，并计算成对比较指标（PCM）**以量化身份对之间情感得分的平均差异。

主要贡献

低资源 NLP 的实证审计：本研究提供了首批针对孟加拉语情感分析的系统性审计之一，超越了已部署的工具，追溯了整个流程（数据集、开发者、模型）中的偏见起源。
交互分析：它挑战了偏见仅存在于模型或数据集中的观点，证明了偏见如何从预训练架构与微调数据之间的交互中产生。
开发者人口特征与模型偏见：它调查了数据集开发者人口特征与模型偏见之间的相关性，这是技术审计中常被忽视的一个维度。
方法论比较：本文比较了不同统计检验和指标（标称分类与连续得分）在检测低资源语境中细微偏见方面的有效性。

结果
该研究得出了关于偏见分布和来源的几项重要发现：

偏见的普遍性：38 个微调模型中的大多数表现出显著偏见。
- 性别：61% 的模型赋予男性身份更高的情感得分，而 24% 的模型偏向女性身份。
- 宗教：61% 的模型偏向穆斯林身份（或相关的语言风格），而 24% 的模型偏向印度教身份。
- 国籍：50% 的模型偏向孟加拉国身份，而 26% 的模型偏向印度身份。
开发者人口特征：尽管大多数数据集开发者自认为是男性、穆斯林和孟加拉国人，但统计检验（p 值 > 0.05）显示，开发者的背景人口特征与 resulting 模型中偏见的方向之间不存在显著关系。
模型 - 数据集交互：
- 语言特定优势：与多语言的mBERT相比，BanglaBERT通常产生偏见较少的微调模型，这表明语言特定的预训练具有缓解偏见的益处。
- 数据集不稳定性：没有数据集是完全没有偏见的。在一个身份维度上表现良好的数据集，往往在其他维度上表现出显著的偏见。
- 语境转变：同一个数据集可能会根据所使用的基模型不同，诱导出相反方向的偏见（例如，D1 在使用 mBERT 时诱发女性偏见，而在使用 BanglaBERT 时诱发男性偏见）。
指标敏感性：研究发现，分析连续情感得分比分析标称情感类别能识别出更多存在偏见的模型（例如，性别方面分别为 85% 对 24%），这突显了使用数值指标进行严格审计的重要性。

意义与主张
本文主张，实现 NLP 系统的公平性是复杂的，不能仅通过选择特定模型或数据集来解决。相反，偏见是社会技术基础设施的产物，包括预训练模型的复用和数据集的重组合。

作者通过认识论不公的视角构建其发现，认为语言技术可以通过赋予边缘化群体更低的情感得分或误读其语言规范，系统地贬低其证词。他们指出，虽然多语言模型（mBERT）提供了泛化能力，但它们往往通过混淆不同的方言和风格，加剧了低资源语言的劣势。

该研究倡导去殖民化 NLP，承认数据集创建中多样化声音的代表性不足，并呼吁进行“向后对齐”——即评估和管理系统以避免加剧错位风险——而不是仅仅依赖因数据稀缺而可能不可行的“向前对齐”训练。最后，作者强调在低资源语境中进行算法审计的必要性，以促进透明度、解决价值错位问题，并推动更具包容性的 AI 法规。