Beyond Categories of Caste: Examining Caste Bias and Morality in Text-to-Image AI Models

想象一下，你拥有一个神奇的、超级聪明的机器人艺术家。你可以对它说：“画一个正在吃午饭的人，”或者“画两个正在一起学习的人，”它就会瞬间创作出一幅图像。这就是**文本生成图像 AI（Text-to-Image AI）**所做的事情。

然而，这篇论文指出，这个机器人艺术家并不只是一个空白的画布。它已经通过互联网上的数百万张图像进行了训练，不幸的是，它也学到了一些关于人们基于其背景应如何被对待的陈旧且有害的规则。具体来说，研究人员观察了这种 AI 如何处理南亚的**种姓（Caste）**问题（即印度的一种社会等级制度）。

以下是他们研究结果的简单化解读：

1. 看待问题的旧方式

之前的研究人员将种姓视为一个复选框（Checkbox）。他们认为 AI 存在偏见，是因为当它看到像“Sharma”（通常属于高种姓）这样的名字时会画出一个富有的人，或者看到像“Kumar”（通常属于低种%，属于较低阶层）这样的名字时会画出一个贫穷的人。他们认为问题仅仅在于标签（Labels）。

该论文的新观点：
作者认为这过于简单了。种姓不仅仅是一个名字标签；它是一种关系（Relationship）。它就像一个剧本，规定了人们相对于他人的身份。AI 不仅仅是在错误地标记人；它是在演绎一个深刻的、无形的剧本，这个剧本决定了谁值得拥有尊严，而谁注定只能从事服务工作。

2. “魔镜”实验

为了测试这一点，研究人员并没有直接要求 AI 画“一个婆罗门（Brahmin）”或“一个达利特（Dalit）”，而是要求它使用以下几类名字来绘制日常场景：

• 明确的高种姓名字。
• 明确的低种姓名字。
• 模糊的名字（可能属于任何人的名字）。
• 没有姓氏（只有名字）。

他们要求 AI 描绘这些人从事的正常活动：吃饭、学习、祈祷或在社区工作。

3. 机器人艺术家实际画出了什么

AI 不仅仅是把名字弄错了。它创造了一个完整的道德宇宙，在这个宇宙里，有些人是“纯洁”且“有价值”的，而另一些人则是“肮脏”且“仅具劳动力价值”的。

研究人员发现 AI 通过三种主要方式强化了这种偏见：

• “身体价值”过滤器（身体道德）：

  • 类比： 想象一个称量灵魂的秤。
  • 发生的情况： 当 AI 绘制高种姓或模糊的名字时，它展示了他们在干净、宽敞的房间里坐着，或者在图书馆里学习，或者只是端庄地站着。他们并没有在“干活”。
  • 偏见： 当 AI 绘制低种姓或模糊的名字时，它几乎总是让他们处于劳动状态。即使提示词没有要求职业，AI 也会给他们一把扫帚、一个鱼篮或一件清洁工具。AI 认定这些身体只有在对他人“有用”时才有价值。AI 假设这些人注定是贫穷或从事劳动的，而其他人注定是舒适的。

• “社交圈”过滤器（社会关系）：

  • 类比： 想象一场派对，有些宾客被允许进入屋子内部，而另一些人必须站在泥泞的外面。
  • 发生的情况： 当 AI 描绘人们一起进餐时，它经常将他们分开。所谓的“高层”人士被展示在干净、私密的家中，周围没有人（以保护其“纯洁性”）。而“底层”人士则被展示在街头、简陋的小屋或拥挤肮脏的区域进食。
  • 偏见： AI 拒绝想象来自不同背景的人自由融合的场景。它强化了这样一种观念：某些人“太纯洁”了，不宜靠近他人；或者其他人“太肮脏”了，不配进入同一个空间。

• “舞台布景”过滤器（物质-空间关系）：

  • 类比： 想象一个电影片场，富有的角色住着豪宅，而贫穷的角色得到的是一个纸板箱，即便剧本里没这么写。
  • 发生的情况： AI 将低种姓角色置于特定的、受限的环境中。例如，它画了一个低种姓人在一个挂着“Bhangi Colony”（为环卫工人设立的隔离区）标牌的村庄里，或者展示了他们住在临时搭建的房屋中。
  • 偏见： AI 展示的不只是贫困；它展示的是隔离。它创造了一个世界，在那里，“肮脏”的工作和“肮脏”的地方是某些人的唯一选择，从而在图像中有效地将他们困在了那里。

4. 大惊喜：即使没有名字也会发生

研究中最令人震惊的部分是，即使在名字是模糊的或没有姓氏的情况下，AI 仍然会这样做。

• 如果你给 AI 一个可以属于任何人的名字，它仍然会根据它认为那个人“应该”做什么来“猜测”其社会地位。
• 它会将“肮脏”的工作和“肮脏”的社区分配给那些没有明确种姓标签的人。
• 教训： AI 不仅仅是在看名字；它已经习得了一种道德秩序。它学会了一套规则，即：“这种类型的身体属于在厨房清理厕所，而那种类型的身体属于在图书馆读书。”

5. 为什么这很重要（现象背后的“原因”）

作者认为，问题不仅仅是 AI 存在简单的“偏见”。问题在于 AI 吸收了婆罗门规范性（Brahminical Normativity）。

• 简单翻译： 这是一种高级说法，指 AI 学习了一个社会的“默认设置”，在这个社会中，一个群体被视为优越和纯洁，而其他所有人被视为低等和不洁。
• AI 不仅仅是在反映现实；它是在强化这种观念，即这种等级制度是自然且符合道德的。它让这一切看起来像是：有些人天生就该是清洁工，而另一些人天生就该是老板，这看起来是“理所当然”的。

6. 作者希望发生什么

论文最后总结道，我们不能仅仅通过增加更多“公平”的数据或告诉 AI 要“友善”来解决这个问题。

• 我们需要停止将种姓仅仅视为一个类别（就像一个复选框）。
• 我们需要将其理解为一种关系和一种道德体系。
• 要修复 AI，我们需要挑战“有些人天生值得舒适，而另一些人天生只配从事劳动”这一观念。我们需要教会 AI，尊严并不是通过职业或名字换取的，它是每个人都拥有的东西。

简而言之： 机器人艺术家不仅仅是在犯错；它在扮演一个严格的、陈旧的规则手册，规定了有些人“太好了”不能做某些事，而另一些人“只配”从事肮脏的工作。作者希望我们意识到这一点，并重写这个规则手册。