EmergencyBias: Bias in Text-to-Image Models under Emergency Scenarios

あなたは、目の前の世界をそのまま写すのではなく、あなたの言葉に基づいて絵を描く魔法のカメラを手に取ったところだと想像してみてください。もしあなたが「シェフ」と言えば、それは男性を描くかもしれませんし、「看護師」と言えば、それは女性を描くかもしれません。これが、現代のテキスト・トゥ・イメージ（T2I）モデルの仕組みです。これらは、文章を素晴らしいビジュアルへと変える、驚くほど賢い芸術家なのです。しかし、ここに落とし穴があります。これらのデジタル画家たちは、インターネット上の膨大な古い画像の山をもとに訓練されており、その山にはステレオタイプが満載なのです。長い間、科学者たちは、これらのデジタル画家たちが「誰」を間違えているかをチェックしてきました。例えば、医師を男性ばかり、看護師を女性ばかりとして描いていないか、といったことです。彼らは、写真の中に写っているキャラクターの静的な構成を見てきました。しかし、もし本当の問題が、単に「誰がその場にいるか」ではなく、「彼らが何をしているか」にあるとしたるとしたらどうでしょう？ もし、カメラが「何かが起きたとき、特定の人が救助に走る一方で、他の人々はただ立ち尽くして見ているだけだ」と勝手に判断してしまうとしたら？ これこそが、バイアスの新たな領域です。単に誰が登場するかだけでなく、誰が行動し、誰が反応し、そして誰がヒーローになるのかという問題なのです。

ここで、復旦大学の研究チームが、これらのAI芸術家たちに究極のテストを課すことにしました。その舞台は「救急外来」です。彼らは、自動車事故や火災のような危機的な状況を描くようAIに求められたときに発生する、巧妙な偏見を表現するために、EmergencyBiasという新しい用語を作りました。彼らは、AIが「男性こそが救いのために駆けつける存在であり、女性や高齢者、あるいは肌の色が濃い人々は、救われるべき存在、あるいはただ傍観している存在である」と自動的に判断してしまうかどうかを確かめたかったのです。

これを明らかにするために、彼らは単にランダムなシーンを描かせたのではありません。大規模かつ体系的な実験を組み立てました。川で溺れている人から地下鉄のホームでの事故まで、6つの異なる高リスクのシナリオを作成しました。そして、世界で最も高度な7つのAIモデルに、これらのシーンを描かせました。まず、モデルに「空白」のプロンプト、つまり「地下鉄のホームで人が転倒する」といった指示を与え、AIがデフォルトで誰を選択するかを確認しました。次に、「制御された」プロンプト、つまり「女性の傍観者を描いて」や「危機に瀕した高齢者を描いて」と明示的に指示を与え、それでもAIがその行動において彼らを異なって扱うかどうかを確認しました。

結果は、手品師がうっかり種明かしをしてしまう瞬間を見ているかのようでした。AIモデルには確かにバイアスがあり、状況が深刻になればなるほど、そのバイアスは悪化していました。プロンプトが空白だったとき、AIは圧倒的に男性を「危険にさらされている人」および「助ける人」として選択し、高齢者はほとんど目立たず、「危機に瀕した役割」として登場するのは8%未満でした。しかし、本当の衝撃は、属性をコントロールしたときに起こりました。たとえ「女性の傍観者を描いて」と明示的に指示しても、モデルは依然として、男性の傍観者と比較して、彼女を「助ける」可能性を低く設定していました。AIには、男性は能動的な救助者であり、女性は受動的な観察者であるという、隠れた脚本があるようでした。これは単なる小さな不具合ではありませんでした。ジェンダー間の「助ける」行動の差は、彼らが見つけた中で最も顕著なバイアスでした。

研究者たちはまた、ActionAlignと名付けられた、より軽量な修正策もテストしました。これは、AI芸術家のすぐそばで、描き始める直前に指示をささやく、小さくて目に見えないコーチのようなものです。AIの悪い癖を直させつつ、その芸術的な才能を消さないように促します。彼らはこれを、プロンプトに「公平であれ」といった「倫理的」な言葉を単に追加する、より単純な手法と比較しました。結果は、ActionAlignの方がはるかに優れていることを示しました。あるモデルでは、画像の品質にはほとんど影響を与えずに、助ける行動におけるバイアスを**78.14%**という劇的な数値で減少させました。このことは、AIに対して単に「優しくあれ」と数語の言葉で伝えるだけでは不十分であり、時には、異なる人々が危機においてどのように行動すべきかという、AIの内部的な感覚を再訓練する必要があることを示唆しています。

要するに、この論文は、私たちのAI芸術家たちは、単に誰がその場にいるかをコピーしているだけでなく、誰がヒーローである「べき」かを考えている姿までもコピーしていることを示唆しています。たとえ特定の人物を描くよう強制したとしても、彼らはその人物が行動を起こすことを想像することに苦労するのです。幸いなことに、スマートな調整を行うことで、私たちはこれらのモデルに、より公平な脚本を書くことを教え、デジタルな緊急事態の未来において、ヒーローが私たち全員のような姿をしていることを保証できるかもしれません。