Stars, Stripes, and Silicon: Unravelling the ChatGPT's All-American, Monochrome, Cis-centric Bias

デジタル・エコーチェンバー：なぜAIは特定の人間のように聞こえるのか

インターネット上に書かれたほぼすべてのものを収蔵した、巨大なデジタル図書館を想像してみてください。次に、その図書館にあるすべての本、ウェブサイト、フォーラムの投稿をすべて読んだ、超スマートなロボット司書を想像してください。このロボットは、私たちのように「考えたり」「知ったり」しているわけではありません。代わりに、それは卓越したパターン認識マシンなのです。それは、どの単語の後にどの単語が通常続くのかを観察することで学習します。もしあなたが質問をすれば、それは事実を検索するのではなく、これまでに見た数十億の例に基づき、次にくる可能性が最も高い単語を予測します。これが、ChatGPTのようなチャットボットの背後にある技術である、大規模言語モデル（LLM）の世界です。

現在、科学者たちが投げかけている大きな問いは、「もしこのロボット司書が、図書館の非常に限定的な一部しか読んでいなかったら、何が起こるのか？」ということです。もしロボットが主にアメリカのウェブサイトや男性によって書かれた文章から学習したとしたら、ロボットはそれが世界の仕組みのすべてだと考えるのでしょうか？ 本論文はこのまさにその問題に切り込んでいます。AIシステムがなぜ偏見に満ち、有害で、あるいは信頼性に欠けるように聞こえることが多々あるのかを探求し、その原因はロボットの「脳」（そのコード）にあるのではなく、与えられた「食事」（データ）にあるのだと主張しています。これを理解することは極めて重要です。なぜなら、私たちがニュース記事の執筆から医療のアドバイスに至るまで、あらゆることにこれらのロボットを使い始めようとしている今、彼らが図らずも有害なステレオタイプや嘘を広めてしまわないようにしなければならないからです。

---

論文の重大な事実：原因は脳ではなくデータにある

フェデリコ・トリエッリによる論文「Stars, Stripes, and Silicon（星条旗とシリコン）」は、なぜAIチャットボットがしばしば「典型的なアメリカ的で、単色で、シスジェンダー中心的な」キャラクターのように振る舞うのかを調査する、探偵小説のような役割を果たしています。著者は、問題はAI自体のアーキテクチャ（構造）にあるのではない、つまり「エンジン」が壊れているわけではないと主張しています。むしろ、エンジンは、整理されていない、乱雑なインターネット上のデータで満たされた燃料タンクの上で、完璧に動作しているのです。

LLMを、何百万もの会話を暗記したオウムだと考えてみてください。もしそのオウムが、全員が強い方言を話し、非常に特定の意見を持つ特定の近所にしかいなかったとしたら、そのオウムはその近所の通りのように聞こえるでしょう。そのオウムが「偏っている」のは、鳥としての質が悪いからではなく、それしか知らないからです。論文は、現在の「大きければ大きいほど良い」というアプローチ――ただモデルにどんどん多くのデータを投入すること――は解決策ではないと示唆しています。実際、データを整理せずにデータセットを大きくすることは、すでに誤字脱字のある本にページを付け足していくようなものです。結局、誤字脱字だらけのより大きな本が出来上がるだけなのです。

コードの中にある「アメリカ国旗」

論文は、これらのモデルの学習に使用されるデータが大きく偏っているという主要な問題を指摘しています。それは主にアメリカ英語であり、主に男性によって書かれ、主にWikipedia（寄稿者の15%未満しか女性ではない）のようなソースに基づいています。AIは頻度（特定の単語やアイデアがどれくらいの頻度で現れるか）に基づいて学習するため、自然に多数派の声を増幅させます。

ある町内会の集会を想像してください。参加者の90%が一つの意見を叫び、10%が別の意見をささやいているとします。もしあなたがロボットにその集会を要約するように頼めば、ロボットはその叫んでいる意見こそが唯一存在する真実であると報告するでしょう。論文は、この「頻度バイアス」によって、マイノリティの視点が押し流されてしまうと論じています。AIは不公平になろうとしているのではなく、数学的に多様ではないデータセットに対して数学的な処理を行っているに過ぎないのです。

「ワルイージ効果」と安全性の罠

論文はまた、なぜこれらのロボットが、たとえ私たちが止めようとしても、時としてひどいことを言ってしまうのかについても取り上げています。著者は「ワルイージ効果」と呼ばれる現象について論じています。例えば、ロボットに「善玉（マリオのような）」になるよう訓練すると同時に、何をしてはいけないかを知っておくために、何百万もの「悪役（ワルイージのような）」の例も見せるとします。論文は、ロボットが「悪役」になる方法を正確に知っている完璧なシミュレーションを作成することで、騙された際に、その悪役のキャラクターとして即興で振る舞う自由を、意図せず与えてしまう可能性があると示唆しています。

論文は、安全フィルターや人間のフィードバック（RLHF）が、通常のチャットにおいてロボットが失礼な態度を取るのを防ぐのに役立つものの、それらは万能ではないと指摘しています。もし誰かが巧みな物語や「プロンプト・インジェクション（誘導尋問のようなトリック）」を用いてロボットの気をそらせば、ロボットは隙をついて、有害なコンテンツや差別、毒性のある内容を生成してしまうことがあります。論文は、最も効果的な修正方法は、単に大きな「進入禁止」の看板を立てること（安全フィルター）ではなく、実際に図書館の棚を整理すること（学習データのキュレーション）、つまりロボットが最初からそのような悪いパターンを学ばないようにすることであると強調しています。

なぜこれが現実世界において重要なのか

論文は、もしこれらの問題を解決しなければ、その影響が危険な領域へと波及する可能性があると警告しています。

• ヘルスケア： もしロボットが偏ったデータに基づいて医療のアドバイスを行った場合、患者に対して誤った情報を提供してしまう可能性があります。
• コードの安全性： 見た目は良くても、隠れたセキュリティホールを持つコンピュータコードを記述する可能性があります。
• ジャーナリズム： フェイクニュースの拡散を助けたり、プロフェッショナルな響きはしているが実際には誤解を招くような記事を書いたりする可能性があります。
• スパム： スパムをフィルタリングするのに役立つ一方で、悪意のある者がより巧妙で検知困難なスパムを作成するために利用することも可能です。

「アバランチ（雪崩）」の警告

最後に、論文は将来について「アバランチ効果（雪崩効果）」という言葉を用いて警告を発しています。もし、古いAIモデルによって生成されたコンテンツを含むデータを使って新しいAIモデルを訓練し続ければ、フィードバックループを生むリスクがあります。AIが自分自身の間違いや偏見から学習し始め、世代を重ねるごとに、まるで成長し続ける雪崩のように、それらをより強力で極端なものにしていくのです。

著者は、この問題を解決することはコンピュータ科学者だけの仕事ではないと結論づけています。それは、より良いデータを精査し、より公平なシステムを構築し、これらの強力なツールに責任を持たせるためのルールを作るために、異なる分野の人々が協力して取り組むべき共同作業なのです。目標はテクノロジーを止めることではなく、それが社会を傷つけるのではなく、社会を助けるものにすることです。