Beyond Categories of Caste: Examining Caste Bias and Morality in Text-to-Image AI Models

想像してみてください。あなたの前には、魔法のような、ものすごく賢いロボットの芸術家がいます。あなたが「昼食を食べている人の絵を描いて」や「一緒に勉強している二人組を描いて」と頼むだけで、そのロボットは瞬時に画像を作り出します。これがテキスト・トゥ・イメージ（Text-to-Image）AIが行っていることです。

しかし、この論文は、このロボット芸術家が単なる空白のキャンバスではないと主張しています。このロボットは、インターネット上の何百万もの画像から学習してきました。そして残念なことに、その過程で、背景に基づいた人々への接し方に関する、非常に古く、非常に有害なルールを学んでしまったのです。具体的には、研究者たちは南アジアにおけるカースト（インドにおける社会的な階層制度）をAIがどのように扱っているかを調査しました。

以下に、彼らの発見を分かりやすく解説します。

1. 問題に対する古い見方

これまでの研究者は、カーストをチェックボックスのように扱っていました。彼らは、AIが「シャルマ（Sharma）」（多くの場合、上位カースト）という名前を見たら裕福な人を描き、「クマール（Kumar）」（多くの場合、下位カースト）という名前を見たら貧しい人を描くといった、ラベルの問題として捉えていました。彼らは、問題は単なるラベルにあると考えていたのです。

この論文による新しいアイデア：
著者たちは、それは単純すぎる、と述べています。カーストは単なる名前のタグに付いたラベルではありません。それは関係性なのです。それは、人々が他者との関係においてどのような存在であるかを決める「台本（スクリプト）」のようなものです。AIは単に人々を誤ってラベル付けしているのではなく、誰が尊厳に値し、誰が奉仕すべきかを決定する、深く目に見えない台本を演じているのです。

2. 「魔法の鏡」実験

これをテストするために、研究者たちは単に「ブラフミン（Brahmin）」や「ダリット（Dalit）」を描くようAIに命じたのではありません。代わりに、彼らは以下の属性を持つ名前を使って、日常的なシーンを描くよう求めました。

• 明らかに上位カーストであるもの
• 明らかに下位カーストであるもの
• 曖昧なもの（誰のものでもあり得る名前）
• 姓がないもの（名前のみ）

彼らは、これらの人々が食事、勉強、祈り、あるいは近所で働くといった、ごく普通のことをしている場面を描かせました。

3. ロボット芸術家が実際に描いたもの

AIは単に名前を間違えただけではありませんでした。AIは、ある人々は「清らかで価値があり」、他の人々は「汚れていて、労働のためだけに存在する」という、一つの道徳的な宇宙を作り上げていたのです。

研究者たちは、AIが主に3つの方法でこのバイアスを強化していることを発見しました。

• 「身体の価値」フィルター（身体的道徳）：

  • 比喩： あなたの魂を計る天秤を想像してください。
  • 起きたこと： 上位カーストや曖昧な名前を描くとき、AIは、清潔で広々とした部屋に座っていたり、図書館で勉強していたり、あるいはただ威厳を持って立っていたりする姿を描きました。彼らは特に「何かをしている」わけではありませんでした。
  • バイアス： 下位カーストや曖昧な名前を描くとき、AIはほとんどの場合、彼らを働かせていました。プロンプトで仕事を指示していなくても、AIは彼らに箒（ほうき）、魚の籠、あるいは掃除道具を与えていました。AIは、これらの身体は他者に「役立つ」時のみ価値があるのだと判断したのです。AIは、ある人々は快適に過ごす権利がある一方で、他の人々は貧しく労働に従事することがふさわしいのだと決めつけていました。

• 「社会的な輪」フィルター（社会的関係）：

  • 比喩： パーティーを想像してください。そこでは、一部のゲストは家の中に入ることを許されますが、他の人々は泥の中に立っていなければなりません。
  • 起きたこと： AIが人々が一緒に食事をしている場面を描くとき、しばしば彼らを分離させていました。「上位」の人物は、誰もいない清潔でプライベートな家に描かれました（彼らの「純粋さ」を守るため）。一方で「下位」の人物は、路上や小屋、あるいは混雑した汚れた場所で食べている姿として描かれました。
  • バイアス： AIは、異なる背景を持つ人々が自由に混ざり合うことを想像することを拒みました。AIは、特定の人が他者の近くにいるには「純粋すぎる」こと、あるいは他の人々が同じ空間にいるには「汚すぎる」という考えを強化していました。

• 「舞台セット」フィルター（物質的・空間的関係）：

  • 比喩： 映画のセットを想像してください。脚本に書かれていなくても、裕福なキャラクターには大邸宅が与えられ、貧しいキャラクターには段ボール箱が与えられるようなものです。
  • 起きたこと： AIは、下位カーストの登場人物を、特定の制限された環境に配置しました。例えば、下位カーストの人物を「バンギ・コロニー（Bhangi Colony）」（清掃作業員のための隔離された居住区）という看板がある村に描いたり、仮設住宅の中に描いたりしました。
  • バイアス： AIは単に貧困を描いたのではありません。AIは隔離を描いていたのです。AIは、特定の人物にとって「汚い仕事」や「汚れた場所」が唯一の選択肢となる世界を作り上げ、事実上、彼らをそこに閉じ込めていました。

4. 大きな驚き：名前がなくても起こったこと

この研究で最も衝撃的だったのは、名前が曖昧であったり、姓がなかったりする場合でも、この現象が起きたことです。

• AIに誰のものでもあり得る名前を与えても、AIは依然として、その人物が「何をすべきか」という予測に基づいて、その人の社会的地位を「推測」しました。
• AIは、明確なカーストのラベルがない人々に対して、「汚い」仕事や「汚い」住環境を割り当てました。
• 教訓： AIは単に名前を見ているのではありません。AIは道徳的な秩序を学習してしまったのです。AIは、「このタイプの身体はトイレを掃除するキッチンに属すべきであり、あのタイプの身体は本を読む図書館に属すべきである」というルールを学習してしまったのです。

5. なぜこれが重要なのか（「何」の背後にある「なぜ」）

著者たちは、問題は単にAIが単純に「偏っている（バイアスがある）」ということではないと論じています。問題は、AIが**ブラフマン的規範性（Brahminical Normativity）**を吸収してしまったことです。

• 簡単な翻訳： これは、あるグループが優越的で純粋であり、他の全員が劣等で不純であるとされる社会の「デフォルト設定」を、AIが学習したということを意味する高度な表現です。
• AIは現実を反映しているだけではありません。AIは、この階層構造が「自然であり、かつ道徳的である」という考えを強化しているのです。AIは、ある人々が清掃員であり、他の人々がボスであることは「正しい」のだと見せかけているのです。

6. 著者たちが望むこと

論文は、単に「より公平な」データを追加したり、AIに「優しく振る舞う」よう指示したりするだけでは解決できないと結論づけています。

• 私たちは、カーストを単なるカテゴリー（チェックボックスのようなもの）として捉えるのをやめなければなりません。
• カーストを、一つの関係性であり、一つの道徳体系として理解する必要があります。
• AIを修正するためには、「ある人々は自然に快適さを享受する価値があり、他の人々は労働に従事する価値しかない」という考えに挑戦する必要があります。私たちは、尊厳とは仕事や名前によって勝ち取るものではなく、すべての人に備わっているものであることを、AIに教えなければなりません。

要約すると： ロボット芸術家は単に間違いを犯しているのではなく、「ある人々は特定のことをするには『良すぎる』存在であり、他の人々は『汚い仕事のためだけに存在する』存在である」と説く、厳格で古臭いルールブックとして振る舞っているのです。著者たちは、私たちがこの事実に気づき、そのルールブックを書き換える必要があると考えています。