SoS: Analysis of Surface over Semantics in Multilingual Text-To-Image Generation
本論文は、多言語テキストから画像を生成するモデルにおける「表面的な特徴が意味内容を優先する（Surface-over-Semantics: SoS）」現象に関する初の包括的な分析を紹介するものであり、ほとんどのモデルが意味内容よりも表面的な言語的手がかりを優先し、その結果、様々な言語や文化において文化的なステレオタイプを含む描写をもたらしていることを明らかにしている。
原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
魔法の絵画マシンを想像してみてください。それは、入力された言葉に基づいて絵を描いてくれるマシンです。もしあなたが「ドイツ人の人物を描いて」と伝えたら、マシンはドイツ人を描くはずです。しかし、全く同じリクエストを別の言語、例えばドイツ語で「Zeichne eine Person aus Deutschland」や、スペイン語で「Dibuja una persona de Alemania」と入力したら、一体何が起こるでしょうか？
この論文は、これらのマシンに見られる**「表面対意味（Surface-over-Semantics: SoS）」**と呼ばれる奇妙なグリッチ（不具合）について調査したものです。
コアとなる問題：「アクセント」か「意味」か
テキストから画像を生成するプロンプトを、アーティストに送る一通の手紙だと考えてみてください。
- セマンティクス（意味）： 手紙の実際のコンテンツ。「ドイツ人の人物を描いてほしい」という内容です。
- サーフェス（表面）： 手紙が書かれている言語や文字の見た目です。それは英語で書かれているのか、ヒンディー語なのか、それとも中国語なのか？
研究者たちは、多くのAIアートマシンが、物語（内容）よりもアクセント（言葉の見た目）に集中してしまう悪い翻訳者のようであることを発見しました。あなたが英語で「ドイツ人の人物」と頼めば、マシンはドイツ人を描きます。しかし、もし同じ「ドイツ人の人物」というリクエストを、異なる言語（ヒンディー語やフィンランド語など）を使って行った場合、マシンはしばしば「ドイツ人」の部分を無視し、代わりに使用された「言語」のステレオタイプに見えるものを描いてしまうのです。
それはまるで、シェフにイタリア語で「スパゲッティ」と頼んだのに、シェフが「イタリア語」という言葉を聞いて「イタリア料理ならこれだろう」と勝手に判断し、「スパゲッティ」という言葉を無視してピザを出してきたようなものです。
実験：グローバルな味見テスト
これを証明するために、研究者たちは大規模な「味見テスト」を作成しました。
- メニュー： 彼らは171種類の文化的アイデンティティ（「日本人」、「ナイジェリア人」、「ブラジル人」など）を選びました。
- 言語： 「[文化] の人物の写真」というリクエストを、14の異なる言語（英語、アラビア語、中国語、フィンランド語などを含む）に翻訳しました。
- アーティスト： 7つの異なるAIアートマシンに、これらの絵を描かせました。
- スコアカード： 結果を測定するための新しい方法として、**「SoSスコア」**を考案しました。
SoSスコアは「バイアス計」のようなものです：
- スコアが**正（プラス）**であれば、マシンは「意味」に従いました（例：どの言語を使っても、ドイツ人を求められたらドイツ人を描いた）。
- スコアが**負（マイナス）**であれば、マシンは「表面」に従いました（例：ドイツ人を求めたのに、フィンランド語でプロンプトを入力したために、ステレオタイプな「フィンランド風」の風景を描いた）。
明らかになったこと
- ほとんどのマシンは「表面重視」である： テストされた7つのマシンのうち、6つが使用された言語に強く影響を受けていました。もし、マシンがあまり得意ではない言語で入力した場合、マシンは実際のリクエストにある文化ではなく、その言語のスクリプト（文字）や文化に関連付けられたステレオタイプを描くことがよくありました。
- 「ディープ・ダイブ（深層への潜り込み）」効果： 研究者たちは、マシンの「脳」（具体的にはテキストが処理されるレイヤー）の内部を調べました。その結果、メッセージがマシンの深層へと進むにつれて、バイアスが強くなることが分かりました。これは、メッセージが歪んでいく「伝言ゲーム」のようなもので、描き始める頃には、言語の「アクセント」が元の意味を完全にかき消してしまうのです。
- 視覚的なステレオタイプ： マシンが混乱したとき、ただランダムなものを描くのではありませんでした。彼らは文化的ステレオタイプを描いていたのです。
- フィンランド語のプロンプトは、しばしば雪の降る森の結果をもたらしました。
- アムハラ語（エチオピアの言語）のプロンプトは、しばしば乾燥した砂漠の結果をもたらしました。
- 中国語や日本語のプロンプトには、実際のリクエストとは無関係に、血や傷跡のような恐ろしい要素が含まれることがありました。
たった一つの例外
AltDiffusionと呼ばれるマシンは、「優等生」でした。このマシンは言語のアクセントをほとんど無視し、使用された言語に関わらず「意味」に忠実に、要求された文化を描きました。しかし、このマシンでさえ、学習中にあまり目にしたことのない言語に対しては、少し苦戦することがありました。
なぜこれが重要なのか
この論文は、これらのAIツールは進化しているものの、依然として盲点を持っていると結論付けています。AIは、言葉の「意味」よりも、言葉の「見た目（言語）」に簡単に左右されてしまうのです。これは、もしあなたが母国語でこれらのツールを使用した場合、あなたが実際に求めた特定の人物や物ではなく、その言語のステレオタイプを反映した画像を受け取ってしまう可能性があることを意味します。
研究者たちは、これを修正するためには、特に英語以外の言語において、マシンが「アクセント（表面）」よりも「物語（意味）」にもっと注意を払うように訓練する必要があると示唆しています。また、開発者が自身のマシンが公平であるかどうかを確認するためのツールとして、彼らの「バイアス計（SoSスコア）」を提案しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。