Language Models Entangle Language and Culture
本論文は、大規模言語モデルが低リソース言語でクエリを行うユーザーに対して、体系的に質の低い回答を提供し、かつ異なる文化的文脈を示すことを実証しており、それによって言語の選択に基づいた系統的な不利益を生じさせていることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは、巨大で魔法のような図書館に足を踏み入れました。そこには、あなたのあらゆる質問に応えてくれる、ものすごく賢いロボット司書（大規模言語モデル）がいます。あなたは、「どうすれば睡眠の質を改善できるか」や「ビジネスを始めるにはどうすればいいか」、「貯金をどのように運用すべきか」といった質問を投げかけることができます。
この論文は、そのロボット司書に対する「通知表」のようなものですが、少しひねりが加えられています。研究者たちは、あなたがどの言語を話すかによって、司書があなたへの接し方を変えてしまうのではないか、ということを調べたのです。
彼らが発見した物語を、分かりやすく紐解いていきましょう。
1. 「魔法の鏡」テスト
研究者たちは、「どうすればもっとよく眠れるようになりますか？」や「Tシャツ販売の優れたビジネスプランは何ですか？」といった、20個の日常的な質問リストを作成しました。彼らはこれらの質問を英語だけで行ったのではありません。ヒンディー語、中国語、スワヒリ語、ヘブライ語、そしてブラジル・ポルトガル語にも翻訳しました。
そして、これらの同じ質問を、あらゆる言語でロボット司書に尋ねました。
結果： 司書は公平ではありませんでした。英語、中国語、またはポルトガル語で質問されたとき、回答は高品質で詳細、かつ役に立つものでした。しかし、ヒンディー語、スワヒリ語、あるいはヘブライ語のような言語で質問されたとき、回答はしばしば短く、詳細さに欠け、とにかく質が低いものでした。まるで司書に「お気に入りの言語」があり、他の言語にはあまり努力を払わないかのようです。
2. 「文化的な衣装」の変化
ここからが非常に興味深いところです。研究者たちは、話す言語によって、ロボットがどのような世界を想像するかが変わることを発見しました。
ロボットをひとりの「俳優」だと考えてみてください。
- もしあなたが英語で質問すると、俳優は「西洋風」の衣装を着ます。彼らはアメリカやヨーロッパの習慣、価値観、あるいは例に基づいたアドバイスを与えるかもしれません。
- もし全く同じ質問をヒンディー語で行うと、俳優は衣装を「インド風」へと着替えます。彼らは突然、インドの家族構成、地元の食べ物、あるいは異なる社会的規範について考え始めます。
- もしスワヒリ語で質問すると、彼らは「アフリカ風」の衣装を着ます。
研究者たちは、ヒンディー語による回答を英語に再翻訳し、別のロボット（「判定役」）にその文化を推測させることで、これを証明しました。判定役はそれでもなお、「この回答はもともとヒンディー語で書かれたものだ」と判断することができました。なぜなら、アドバイスの「味わい」が異なっていたからです。言語は単に言葉を変えただけでなく、ロボットが思考するために用いる文化的レンズをも変えてしまったのです。
3. 「事実の地図」テスト
これを再確認するために、彼らは文化的な事実のマップ（CulturalBenchと呼ばれるベンチマーク）を使用しました。彼らはロボットに、「ブラジルの有名な料理は何ですか？」や「ナイジェリアの歴史的人物を知っていますか？」といった質問をしました。
その結果、ロボットの正確性は、使用される言語に大きく依存していることが分かりました。ロボットは、その国の言語（あるいはそれに関連する主要な言語）で質問されたときの方が、別の言語で聞かれたときよりも、その国に関する事実をより多く知っていました。これは、ロボットが言語ごとに異なる「事実の図鑑」を持っており、その図鑑の中には、他のものよりもはるかに充実したものがあるような状態です。
4. なぜこのようなことが起こるのか？
この論文は、AIモデルにとって、言語と文化は、同じ木に絡みついて成長する2本のツルのように、密接に結びついていることを示唆しています。これらを簡単に切り離すことはできません。
AIは膨大な量のインターネット上のテキストで学習されたため、「英語」は「西洋文化」としばしば結びついており、「ヒンディー語」は「インド文化」と結びついていることを学習しました。言語を切り替えると、AIは自動的に、記憶の中から引き出す文化的コンテキスト（文脈）を切り替えてしまうのです。
まとめ
主な教訓はシンプルです。もしあなたが「低リソース言語（インターネット上にデータが少ない言語）」でAIに質問した場合、英語で質問したときよりも質の低い回答を受け取る可能性があります。
さらに悪いことに、得られる回答は、質だけでなく、あなたの生活に対する前提そのものが、文化的に異なってしまうかもしれません。研究者たちは、これが不公平であると主張しています。人間が母国語で助言を求め、英語を話す人と同様に優れた助けを得られるべきであるのと同様に、これらのAIモデルも、話す言語によってユーザーを取り残してしまうことがないよう、より良く訓練される必要があります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。