AmchiBias: Measuring Stereotypical Bias in Goan Identity Groups with a Minimal Pair Dataset in English and Konkani

想象一下，你有一群非常聪明、博学多才的机器人（AI 模型），它们读过数十亿本书籍和网站。你想知道这些机器人是否也习得了人类有时会持有的那些愚蠢且不公平的刻板印象。

大多数研究人员只针对大型的国家级刻板印象进行测试（例如“来自 X 国的所有人都很懒”）。但 Michelle Barbosa 和她的团队提出了一个问题：那么那些仅存在于世界某个微小角落的、极其具体的刻板印象呢？

他们选择了果阿（Goa），这是一个拥有独特历史、语言和文化交融的印度色彩斑斓的小型邦。他们构建了一个特殊的测试工具——AmchiBias（在当地语言 Konkani 中意为“我们的偏见”），以观察这些机器人是真正理解果阿生活，还是仅仅在瞎猜。

以下是他们如何进行测试以及发现了什么，解释如下：

1. 测试方法：“找不同”游戏

研究人员创建了一个“最小对立对”（Minimal Pairs）游戏。想象两个句子，它们就像孪生兄弟一样，除了一个词之外完全相同：

• 句子 A： “渔民辛勤工作以养家糊口。”
• 句子 B： “地主辛勤工作以养家糊口。”

在果阿文化中，其中一组人可能被刻板地视为“勤劳”，而另一组则可能被刻板地视为“懒惰”（或反之亦然）。研究人员询问 AI：“哪句话听起来更自然或对你来说更真实？”

他们创建了 313 对这样的句子，涵盖了八个主题：

• 种姓（Caste）： 不同的社会群体（如 Bamon 或 Chardo）。
• 语言： 说英语、Konkani 或马拉地语的人。
• 职业： 渔民、面包师、地主、政治家。
• 宗教： 天主教徒、印度教徒、穆斯林。
• 来源： 当地人 vs 移民 vs 游客。
• 地区： 果阿北部人 vs 南部人。
• 年龄： 青少年 vs 老年人。
• 性别： 男性 vs 女性。

他们用两种语言测试了这些机器人：英语（果阿享有特权的教育语言）和 Konkani（当地人的母语）。

2. 结果：“双语”机器人的困境

研究人员测试了五种不同的 AI 模型。以下是发生的情况：

在英语环境下：机器人“掌握”了刻板印象
当机器人在英语环境下阅读测试时，它们表现得像是深受印度文化熏陶。它们一致选择了符合常见刻板印象的句子。

• 比喻： 想象一个读遍了所有印度报纸的机器人。它知道“种姓”和“宗教”是印度新闻中的重大话题。因此，当用英语提问时，它会自信地选择符合刻板印象的答案。
• 陷阱： 这些机器人实际上捕捉到的是泛印度式的刻板印象（关于印度的普遍观念），而非超局部的果阿知识。例如，它们知道关于“印度教徒”或“穆斯林”的刻板印象（这些在印度各地都普遍存在），但它们在猜测非常具体的果阿群体（如 Tarvottis 海员或 Mundkars 佃农）的刻板印象方面表现得很差，因为这些群体在一般的印度数据中并不常见。

在 Konkani 语言环境下：机器人撞到了墙
当研究人员用 Konkani 向机器人提问时，机器人突然变得一窍不通。它们的回答基本上是随机猜测（就像抛硬币一样）。

• 比喻： 这就像要求一个只会说英语的人去解一道用他从未见过的语言编写的数学题。他们不会说“我知道答案，但我选择保持礼貌”，他们只是根本不理解这种语言。
• 发现： 机器人在 Konkani 中并非“没有偏见”，而是没有语言能力。它们甚至无法判断一个句子是有意义的还是胡言乱语。

3. “文化胜任力”的差距

论文强调了一个有趣但严肃的差距：

• 通用多语言模型： 它们在处理 Konkani 时表现糟糕，因为它们在训练数据中看到的 Konkani 不够多。
• 印度特定模型： 这些模型擅长阅读 Konkani（理解其语法和单词），但它们仍然不懂果阿文化。当它们用 Konkani 阅读时，它们没有表现出刻板印象，并不是因为它们在道德上更高级，而是因为它们的“果阿知识”缺失了。

4. 为什么这很重要

作者在发现中使用了一个创意的比喻：分词（Tokenization）。
把单词想象成乐高积木。如果机器人看到单词 "Tarvotti"（一个特定的果阿群体），一个优秀的机器人会将其视为一块完整的积木。而一个糟糕的机器人会将其看作一堆破碎的小碎片。

• 研究人员发现，即使机器人能够“阅读”Konkani 单词（乐高积木是完整的），它们仍然不知道这些词背后的文化含义。
• 这证明了，仅仅因为一个机器人会说一种语言，并不意味着它理解说这种语言的人。

总结

论文得出结论：

1. 偏见无处不在： 基于英语数据训练的 AI 模型已经吸收了印度的刻板印象。
2. 地方性知识缺失： 这些模型并不了解果阿生活的细微、具体的细节（如特定的职业头衔或当地种姓名称）。
3. 语言并不足够： 仅仅因为一个模型能使用一种低资源语言（如 Konkani），并不意味着它理解其中的文化。它可能只是在瞎猜。

该团队发布了他们的测试数据（AmchiBias），以便他人能够构建更具文化意识、更聪明的机器人——这些机器人不仅仅是在瞎猜，而是真正理解像果阿这样具有独特且复杂身份的地方。