Harm is not Universal: Community-Specific Toxicity Detection is Urgently Needed

あなたは、壁が生きている絵の具でできている、巨大で魔法のようなアートギャラリーを歩いているところだと想像してください。これは単なるギャラリーではありません。あなたの最も突飛な言葉を、瞬時に絵へと変えてしまう超スマートなロボット・アーティストによって動かされています。もしあなたが「帽子をかぶった猫」と言えば、それは帽子をかぶった猫を描きます。この技術は「テキスト・トゥ・イメージ（Text-to-Image）生成」と呼ばれ、視覚的な願いを叶えるデジタルな魔法のランプのようです。しかし、この強力なツールには、時として間違いもつきものです。時には、恐ろしいものや暴力的なもの、あるいは単に失礼なものを描いてしまうことがあります。これを防ぐために、科学者たちは「セーフティ・ガード（安全装置）」、つまり、展示される前にすべての絵をチェックするデジタルの門番を構築しました。もし門番が悪質なものを見つけたら、その絵をブロックします。

長い間、これらの門番は「ワンサイズ・フィッツ・オール（誰にでも当てはまる）」というルールブックに従って訓練されてきました。彼らは、暴力やヘイトスピーチのような明らかな悪いものを見つけるように教えられています。それは、セキュリティガードに「武器を持っている人だけを探せ」と教えるようなものです。しかし、もし危険が武器ではないとしたらどうでしょう？ もし、その危険が、特定のグループの人々にしか理解できないような、微妙で有害なステレオタイプだとしたら？ この論文は、まさにその問題に切り込んでいます。研究者はこう問いかけます。「もし安全を守る門番が、剣を探すことに夢中で、車椅子利用者が足の代わりに車輪を持っている姿や、本を読んでいる最中に目隠しをした盲目の人の姿を描いていることに気づかなかったらどうなるだろうか？」と。研究者たちは、新しい種類の門番が必要だと主張しています。それは、全員に同じ一般的なルールを適用するのではなく、異なるコミュニティの固有かつ独特なルールを理解できる門番です。

問題点：ハンドルを握ったまま眠っている「ユニバーサル」な門番

研究者たちはまず、現在のトップレベルの安全ガード（「最先端（State-of-the-Art）」の検出器）を、特定のコミュニティ、すなわち視覚障害（BLV）を持つ人々、および小柄な人々（DWF）のために生成された画像に対してテストすることから始めました。彼らは、これらのコミュニティに基づいた実際のプロンプトに基づき、料理、仕事、遊びなど、日常生活を送る姿を描くようAIに依頼した2,400枚の画像セットを作成しました。

次に、5人の障害専門家を招き、これらの画像を見て、何か不適切または有害と感じる部分を指摘してもらいました。専門家たちは衝撃的なギャップを発見しました。現在の安全な門番たちがこれらの画像に「安全」というスタンプを押していたにもかかわらず、専門家たちはその**35%**が実際には有害であると判断したのです。

ここでの「有害」とは具体的にどのようなものかを例を挙げて説明します：

• 視覚障害（BLV）コミュニティに対して： AIがロボットのような金属製の目を持つ人物を描いたり、盲導犬が目隠しをしている姿を描いたり（これは滑稽で混乱を招きます）、あるいは白杖が料理用のスプーンのように使われている様子を描いたりすることがあります。
• 小柄な人々（DWF）コミュニティに対して： AIが小柄な大人を赤ん坊として描いたり、彼らをファンタジー世界のドワーフのようなキャラクターに変えてしまったり、あるいは小柄な女性に髭を生やしたりすることがあります。

これらは単なる「うっかりミス」ではありません。これらは、有害な考えを強化してしまう、深いステレオタイプに基づいた誤りです。論文は、現在の「ユニバーサル」な検出器が、こうした特定の種類の害に対して完全に盲目であることを示しています。研究者が新しい特定のルールを用いてこれらの画像をチェックするよう検出器に求めたところ、検出器は見事に失敗しました。実際、その性能はしばしばランダムな推測よりも劣っていました。それは、銃を見つけることしか知らない門番に、偽の口髭を見つけろと頼むようなものです。彼らには、その仕事に適した道具が備わっていないのです。

解決策：門番に特定のルールを教える

「ユニバーサル」な門番が機能していないため、チームはロボット全体をゼロから作り直すことなく、AIに新しいテクニックを教える方法を試みました。彼らは、安全ガードをこれらの特定のコミュニティに適応させるための3つの異なる方法をテストしました：

1. 「見て、言って」メソッド（イン・コンテキスト学習）： AIにいくつかの悪い画像の例を見せて、「これを見て。これはXの理由で悪いものだよ。では、この新しい絵を見て」と言う場面を想像してください。この方法は少しだけ役に立ち、検出スコアを向上させましたが、一貫性はありませんでした。AIが正解することもありましたが、依然として混乱することもありました。
2. 「尋問」メソッド（視覚的質問応答）： 単に「これは安全ですか？」と聞くのではなく、研究者はAIに対して「この人は髭を生えていますか？」「目はリアルですか？」といった一連の具体的な質問を投げかけました。もしAIが悪いものに対して「はい」と答えた場合、その画像はフラグを立てられました。この方法は非常に効果的でした！ これにより、AIは細部を注意深く見ることを強制されました。小柄な人々（DWF）のコミュニティにおいて、このメソッドは検出スコアをより有望なレベルまで引き上げました。
3. 「学習セッション」（ファインチューニング）： これは、AIが約100個の例を用いた小さな集中講座を受けるプロセスです。彼らは、これらのコミュニティのための特定のルールをAIに教えました。これは、より小さなAIモデルにとって最も効果的な方法であり、その性能を大幅に向上させました。

難題：見た目以上に難しいこと

これらの手法は改善をもたらしましたが、論文は、私たちはまだ問題を解決できていないことを非常に明確に述べています。最高のメソッドを用いたとしても、AIがこれらの特定の害を察知する能力は、一般的な悪いものを見つける能力にはるかに及びません。研究者たちは、AIが変化に対して非常に敏感であることを発見しました。もしコミュニティが「実は、私たちはその特定のことはもう有害だとは考えていません」と言ったとしても、古いルールで訓練されたAIは混乱し、迅速に適応することができません。

論文は、改善は見られたものの、疎外されたコミュニティを真に尊重し保護する安全システムを構築することは、極めて困難な課題であると結論づけています。それは単に優れたルールブックを書くことではなく、AI開発者とコミュニティとの間の、絶えず進化するパートナーシップを必要とするものです。「ワンサイズ・フィッツ・オール（誰にでも当てはまる）」のアプローチは公式に終わりを告げました。AI安全性の未来には、特定のコミュニティ主導の理解に基づいた、パッチワークのような多様な理解が必要です。研究者たちは、私たちがこの問題に取り組み続ける必要があると示唆しています。なぜなら、これらの微妙な害を確実に検出できるようになるまでは、私たちが目にしている「安全な」画像が、現実の人々を傷つけるステレオタイプを依然として強化し続けてしまう可能性があるからです。