Computational Orientalism: Measuring Structural Discourse Bias in Large Language Models Using the Middle East Cultural Sensitivity Score (MECSS)
本論文は、中東における文化的感受性スコア（MECSS）を導入することで、中東で開発されたものを含む大規模言語モデルが、「セイド・ウォッシング（Said-washing）」や西洋の知識を普遍的なものとして枠付けることを通じて、構造的なオリエンタリズムのバイアスを体系的に再現していることを示し、標準的な公平性指標では、これらの根深い認識論的な歪みを検出できないことを明らかにする。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピューターに文化について説明するよう求める際、私たちはそれが事実のニュートラルな要約であると想定しがちです。しかし、これらの問いに答えるシステムは白紙の状態ではありません。それらは主に西洋の人々によって英語で書かれた膨大なテキストのライブラリに基づいて構築されており、それらのライブラリに見られるパターンを模倣することによって言葉を学ぶのです。つまり、ユーザーが中東について尋ねるとき、コンピューターは単に情報を検索しているのではなく、その学習データに埋め込まれた前提に基づいて物語を構築しているのです。何十年もの間、学者たちは「オリエンタリズム」として知られる、東洋についての特定の物語の語り方を記述してきました。これは単に失礼であったり、ステレオタイプを用いたりすることではありません。それは、西洋を「正常で能動的な観察者」とし、東洋を「西洋のルールによって説明されるべき受動的で神秘的な対象」として扱う、より深く構造的な執筆の習慣なのです。それは、西洋の概念は普遍的な真理である一方で、現地の概念は単なる「文化的な特異性」に過ぎないと仮定しています。研究者たちが現在問いかけているのは、何億人もの人々にとって主要な情報源となった現代の人工知能が、たとえ礼儀正しく振る舞おうとしても、こうした古いパターンを密かに繰り返しているのではないか、ということです。
ある研究者が、2つの異なる大規模言語モデルにおけるこの目に見えないバイアスを測定しようと試みました。一つは米国で開発された強力なシステムであり、もう一つはアラビア語のコンテンツを相当量含めて学習させた、アラブ首長国連邦（UAE）で構築されたモデルでした。研究者は、中東で現地の言語や地域データを用いて人工知能を構築すれば、自然とより公平で偏りの少ない地域観を生み出すことができるのではないかという、希望に満ちた仮説を検証したいと考えました。答えを見つけるために、彼らは「中東文化的感受性スコア」と呼ばれる新しい測定ツールを作成しました。このツールは、単に明白な誹謗中傷や悪い言葉を探すのではなく、モデルが生成する文章の構造そのものを検証しました。それは7つの特定の習慣をチェックしました。例えば、モデルが中東全体を一つの未分化な塊として扱っているか、現地のの人々を能動的な意思決定者ではなく受動的な犠牲者として描写しているか、そして、現地の知識を特別な正当化が必要なものとして扱う一方で、西洋の政治理論を出来事を説明するためのデフォルトの方法として使用しているか、といった点です。
研究者は280回の会話を実行し、政治、文化、歴史に関する幅広い質問をモデルに投げかけました。そして、モデルがどれくらいの頻度でこれらの構造的な罠に陥ったかを分析するために、回答を精査しました。結果は、モデルがどこで構築されたかにかかわらず、両方のモデルがこれらの偏ったパターンを体系的に再現していることを示しました。米国製のモデルにもある程度のバイアスは見られましたが、UAE製のモデルは実際にはバイアス・スケールにおいて高いスコアを示し、問題のあるパターンをより頻繁に、より強烈に再現していました。この発見は、開発者の場所を変えたり、学習データに現地の言語を追加したりするだけでは、問題を解決するには不十分であるという仮定に疑問を投げかけるものです。研究者は、UAE製のモデルは、その地域的な出自にもかかわらず、依然として世界のあり方を説明するために西洋的な枠組みに大きく依存しており、それらをあらゆる事象を閲覧するための標準的なレンズとして扱っていることを発見しました。
研究者が「セイド・ウォッシング（Said-washing）」と呼んだ現象は、最も衝撃的な発見の一つでした。これは、モデルが回答の冒頭で、その地域が多様で複雑であることを明示的に述べながら、直後にその複雑さを無視した一般化を行う現象です。例えば、モデルは「もちろん、中東には多くの異なる文化と歴史が存在します」と言った直後に、「中東社会」を単一の動機を持つ単一の統一された実体として描写する、といった具合です。このパターンは、米国製モデルとの会話の約88パーセント、UAE製モデルとの会話の約63パーセントに現れました。これは、モデルが、思考の根底にある構造を変えることなく、感受性の「外見」を演じることを学んでいることを示唆しています。彼らは公平に見えるための正しい言葉を口にすることはできますが、情報の整理の仕方は、依然として古く植民地主義的な世界観に深く根ざしているのです。
この研究はまた、バイアスがモデルが何を語るかだけでなく、どのように世界を組織化するかについても及んでいることを明らかにしました。両方のモデルは、西洋的な分析枠組みを現実を理解するためのデフォルトで「マークのない（当たり前の）」方法として一貫して扱い、非西洋的な知識を、特別な説明を必要とする「特殊なもの」として扱いました。これが両方のシステムに共通する最も一貫した発見であり、ほぼすべての会話に現れました。研究者は、モデルのパフォーマンスの違いは、そのサイズの差に一部起因している可能性があると指摘しました。米国製のモデルは、UAE製のモデルよりも大幅に大きく、より高度であったためです。小さなモデルは、より単純でニュアンスに欠けるテキストを生成する傾向があり、それが研究者が測定していた広範な一般化のように見えることがあります。しかし、両モデルが西洋的な枠組みの使用に関して同じ高いレベルのバイアスに収束したという事実は、問題がコンピュータのサイズや開発者の所在地よりも深いところにあることを示唆しています。
最終的に、論文は次のように結論付けています。バイアスは、より多くの言語を追加したり、サーバーを異なる国に移したりすることで解決できる単純なエラーではない、ということです。問題は「認識論的（epistemological）」なものであり、つまり、モデルが学習した知識の性質そのものに関わる問題なのです。学習データ自体が、中東を自律性を持った主体としてではなく、研究対象としての「客体」として扱う西洋的な視点で満たされています。これを真に変えるためには、研究者は、学習データを変容させなければならないと主張しています。つまり、その地域から書かれた、独自の言語と独自の知的伝統を用いた学術文献の量を大幅に増やす必要があります。データが変わらない限り、これらのシステムは自信に満ち、権威ある響きを持ちながらも、西洋が語り手であり、その他の世界は単なる物語に過ぎないという世界観を、密かに強化し続けることになるでしょう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。