Vision-Language Models Suppress Female Representations Under Ambiguous Input

ビッグアイデア：「礼儀正しい」ロボット vs 「偏見のある」脳

想像してみてください。あなたのそばには、公平であるように、そして決めつけをしないように訓練された、非常に礼儀正しいロボットの助手がいます。もしロボットに、明らかにドレスを着ている人の写真を見せたら、ロボットは「それは女性です」と言います。もしその人がスーツを着ていたら、「それは男性です」と言います。ロボットは「礼儀正しさテスト」を完璧にパスしています。

しかし、この論文はトリッキーな問いを投げかけます：もしロボットが、その人の顔や性別をはっきりと判別できない時はどうなるのでしょうか？（例えば、ヘルメットを被って後ろを向いている建設作業員や、後ろ姿の看護師など）。

研究者たちは、ロボットの口（最終的な回答）は礼儀正しく中立であり続けている一方で、その脳（内部の思考プロセス）は、実は非常に具体的な、偏った推測をしていることを発見しました。それは、「その人は男性である」と決めつけることです。

たとえ統計的に女性が多い職業（ベビーシッターやフローリストなど）であっても、ロボットが推測しなければならない状況になると、ロボットは「男性」という答えを導き出します。恐ろしいことに、ロボットはその仕事が通常は女性によるものであることを知っているにもかかわらず、その知識を上書きして、強制的に「男性」という答えを出してしまうのです。

ツール：「LALS」（思考のX線検査）

ロボットが何も言っていないとき、その思考をどうやって知ることができるのでしょうか？著者たちは、LALS（Latent Association Leaning Score：潜在的連想学習スコア）と呼ばれるツールを考案しました。

LALSを、ロボットの脳のX線検査だと考えてください。

• 通常、私たちはロボットの最終的な文章（出力）しか見ることができません。
• LALSを使えば、思考プロセスのあらゆる段階におけるロボットの「ニューロン」の中を覗き見ることができます。
• これは、ロボットの内部的な電気信号を言葉に翻訳し、特定の瞬間にロボットが「女性」「男性」「中立」のどれを考えているのかを可視化します。

3つの職業パターン

研究者たちが「顔の見えない」画像を用いて15種類の異なる職業をテストしたところ、3つの明確なパターンが見つかりました。

1. 「一致する」男性（例：消防士）:

   • 脳の中: ロボットは「男性」と考えている。
   • 回答: 「男性」と言う。
   • 判定: ここに驚きはありません。バイアスは一貫しています。

2. 「一致する」女性（例：メイクアップアーティスト）:

   • 脳の中: ロボットは「女性」と考えている。
   • 回答: 「女性」と言う。
   • 判定: これも一貫しています。

3. 「乖離（かいり）」ゾーン（例：フローリスト、看護師、ベビーシッター）:

   • 脳の中: ロボットは実際には**「女性」**と考えている。（その職業を女性と正しく結びつけている）。
   • 回答: **「男性」**と言う。
   • 判定: これが隠れたバイアスです。 ロボットの内部的な思考は「女性」と言っているのに、最終ステップの何かが、スイッチを切り替えて「男性」へと強制的に変えてしまうのです。

「非対称フィルター」：一方通行の道

なぜこの切り替えが起こるのか、研究者たちはその理由を突き止めました。彼らは、層（レイヤー）ごとにロボットの思考を追跡しました（高層ビルの各フロアをチェックするように）。

• 男性の信号: 「男だ！」と叫ぶ、強く大きな声だと想像してください。この声は下の階から始まり、上の階に行くにつれて大きくなっていきます。最上階（回答が出力される場所）に到達する頃には、その声は非常に強くなっています。
• 女性の信号: 「女だ！」と叫ぶ別の声だと想像してください。この声は最初は強いですが、ビルの中層階でさらに大きくなり、その後、最上階付近で防音壁に突き当たります。最上階に到達する頃には、その声は消されてしまうか、ささやき声に変えられてしまいます。

ロボットには非対称フィルターがあります。それは「男性」という概念を通しますが、「女性」という概念は、言葉を発する直前で積極的に抑制してしまうのです。

「ピンク vs ブルー」の手がかり

ロボットが単にランダムに推測しているのではなく、実際に画像を見ていることを証明するために、研究者たちはトリックを使いました。

• 彼らは、青いスクラブを着た看護師の写真を見せました。ロボットの内部的な「男性」信号は強まりました。
• 次に、全く同じ写真のスクラブの色をピンクに変えました。
• 結果: ロボットの内部的な「男性」信号は大幅に低下し、「女性」の信号が強まりました。

これは、ロボットが盲目的に「男性」と推測しているわけではないことを証明しています。ロボットは文化的な手がかりに反応しているのです。ロボットは、私たちの世界では「ピンクは女性を、ブルーは男性を意味することが多い」ということを学習しています。視覚的な手がかり（ピンク）が強ければ、ロボットの内部的なバイアスは変化します。しかし、その強い手がかりがない場合、ロボはデフォルトで「男性」へと戻ってしまうのです。

根本的な原因：単なる「学習」の問題ではない

研究者たちは、このバイアスが「安全」になるように教えられたもの（アライメントと呼ばれるプロセス）かどうかを確認しました。彼らは、礼儀正しくなるように教えられる前と後のロボットを比較しました。

• 発見: このバイアスは、ロボットが礼儀正しくなるよう教えられる前から存在していました。
• 結論: 「礼儀正しい訓練」はバイアスを修正したのではなく、単にロボットにそれを隠す方法を教えただけでした。ロボットは、安全のために「分かりません」や「男性」と言うことを学習しましたが、その内部の脳には依然として古い、偏った連想が残っているのです。

まとめ

この論文は、視覚言語モデル（Vision-Language Models）が**「隠れた二重生活」**を送っていることを明らかにしています。

• 表向きには: 中立で慎重です。
• 内実には: はっきりと見えないとき、たとえ自身の内部ロジックがその人物を女性であると示唆していたとしても、デフォルトで「男性」であると決めつけます。

「男性デフォルト」は単なるグリッチ（不具合）ではありません。それは、ロボットが公平であるように命じられても生き残り続ける、ロボットの脳に深く刻まれた習慣なのです。ロボットは真実（その人が女性である可能性）を知っていますが、言葉を発する前に、その真実をフィルターにかけて排除してしまうのです。