Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies
GrokipediaとWikipediaを比較する大規模な監査により、LLMが生成したGrokipediaは、複数のAI判定員によってWikipediaよりも中立性が低いと評価されており、Grokipediaは経済的に右派の政治家を支持し社会的にリベラルな政治家に不利益を与える傾向を示す一方で、Wikipediaはそれとは逆の傾向を示すことが明らかになった。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
インターネットを、誰もが本を書くことができる、巨大で賑やかな図書館だと想像してみてください。長年、ウィキペディアというこの図書館は最も人気のある場所でしたが、そこでは司書たちが特定の「雰囲気」を持っている、と不満を漏らす人々もいました。例えば、太陽が輝いているのに雨の歌ばかりを歌う合唱団のように、政治的なスペクトルの片側に寄りすぎているのではないか、といった具合です。最近、「グロキペディア（Grokipedia）」という新しい図書館が開館しました。これは、「グロック（Grok）」という超スマートなコンピューターの脳（AI）によって完全に構築されたものです。この新しい図書館の創設者たちは、ここが究極の「中立」地帯であり、人間による偏見が一切ない、純粋な事実だけの場所であると約束しました。しかし、ここで大きな疑問が生じます。ロボットは本当に、群衆としての人間よりも公平であり得るのでしょうか？ これを知るためには、まずいくつかのことを理解する必要があります。第一に、「政治的バイアス（偏見）」とは、色付きの眼鏡のようなものです。もしその眼鏡をかけていれば、たとえ世界自体が灰色であっても、世界はある特定の色に見えてしまいます。第二に、「大規模言語モデル（LLM）」とは、これらの記事を執筆するコンピューターの脳のことで、彼らはインターネット上のほぼすべてを読み込み、数秒でエッセイを書くことができる、非常に優秀な学生のような存在です。最後に、ここでの「中立性」とは、人物について記述する際に、その人を英雄にも悪党にも見せず、ただその人が誰であるかを説明することを意味します。この論文は、新しいロボットの図書館が、古い人間の図書館よりも実際に公平なのか、それとも単に別の種類の色付き眼鏡をかけているだけなのかを探る、探偵小説のような物語です。
研究チームであるヘント大学の研究者たちは、グロキペディアとウィキペディアを大規模な実験によってテストすることに決めました。彼らは単にいくつかの記事を読んだのではありません。彼らは1,394組の記事のペアを集めました。それぞれのペアは、全く同じ政府高官（大統領や大臣など）について記述していますが、一方はウィキペディアの人間によって書かれ、もう一方はグロキペディアのAIによって書かれています。これらの記事の公平性を判断するために、彼らは一人の人間に頼るのではなく、4つの異なるAI「裁判官」（グロック自身に加え、クロード、ミストラル、ディープシークを含む）を使用して、各記事がどれほど中立であるかを評価しました。また、彼らは秘密兵器も持っていました。それは、専門家がすでに各政治家に割り当てていた、9つの異なる「イデオロギーの旗」（例えば「移民を支持する」、「女性の権利を支持する」、「自由市場を支持する」など）のリストです。これにより、研究者は記事が政治的信条に基づいて政治家をどのように扱っているかを確認することができました。
結果は驚くべきものであり、おそらく少し皮肉なものでした。まず、AI裁判官たちは、どちらの百科事典も完璧に中立ではないという点で一致しました。実際、グロキペディアはウィキペディアよりも全体としてバイアスのある記事が多いと評価されました。裁判官たちがバイアスがどのように現れているかを詳しく調べたところ、明確なパターンが見つかりました。グロキペディアは、経済的に「右派」（政府の規制を減らし、福祉国家を縮小したいと考える人々）や、民主的な規範を支持する政治家に対して、好意的な傾向があるようでした。しかし、LGBTの権利や女性の労働権利を支持するといった、社会的にリベラルな見解を持つ政治家に対しては、非常に厳しいものでした。一方でウィキペディアは、そうした社会的にリベラルな政治家に対してより好意的であると評価されましたが、研究者たちは、全体としてウィキペディアの方が依然としてグロキペディアよりも中立であると見なされていることを発見しました。
この物語における最も魅力的な展開は、グロキペディアを書いたAIであるグロックに関するものです。もしロボットに自分の作品を判断させたら、「私は完璧だ！」と言うのではないかと考えるかもしれません。しかし、この研究では、グロック自身が、自分の百科事典（グロキペディア）は、人間が書いたウィキペディアよりも中立性が低いと評価したことが分かりました。これは、バイアスが裁判官のスコアリングにおけるミスではなく、グロックが書いた記事の中に実際に組み込まれていることを示唆しています。研究者たちは、グロキペディアは中立的な代替案として構築されたものの、結果として、経済的保守主義を支持し、社会的なリベラリズムを罰するという、別の種類のイデオロギーを埋め込んでしまったのだと指摘しています。
研究はまた、異なるAI裁判官たちがどのように振る舞ったかについても調査しました。彼らは皆同じではありませんでした。例えば、「ディープシーク」という名前の裁判官は非常に寛大で、ほとんどすべてを「中立」と呼びましたが、別の「クロード」という裁判官ははるかに厳格で、より多くの記事にバイアスを見出しました。しかし、こうした厳格さの違いがあっても、すべての裁判官がバイアスの方向性については一致していました。つまり、グロキペディアは経済的な右派を支持し、ウィキペディアは社会的な左派に傾いているということです。研究者たちは、AIは百科事典のエントリを素早く書くことはできるものの、それが自動的に公平さをもたらすわけではないと結論付けています。実際、どの百科事典を読むかによって、その百科事典が好む政治的な「味付け」に応じて、政治家に対する見え方が変わってしまう可能性があります。この研究は、AI生成のコンテンツに対して注意深くある必要があり、これらの隠れたバイアスを見つけ出すには、多様なチーム（人間と機械の両方）を用いることが最善の方法であると示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。