Institutional Prestige as Geographic Bias in Large Language Models: Evidence from Three Factorial Experiments with Bootstrap Confidence Intervals
4つの大規模言語モデルを用いた4,320回のAPIコールを含む3つの要因実験を通じて、本研究は、機関の威信や出版物の掲載誌が、志願者の氏名、民族、または地理的出自よりも、候補者の評価に対して有意に強い差別的影響を及ぼすこと、および、高インパクトな出版物が低い機関の威信を不釣り合いに補完するという「救済効果」を示すことを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代社会において、人工知能は静かに「門番」としての役割を果たすようになっています。大規模言語モデルとして知られるこれらのコンピュータプログラムは、人間の生活を左右する決定を下すよう、ますます求められるようになっています。これらは履歴書を読み取り、スコアを割り当てることで、自動化された裁判官のように振る舞い、誰が仕事を得られるか、誰が研究助成金を受け取れるか、そして誰がローンを組む資格があるかを判断する手助けをしています。長年、科学者たちは、これらのデジタルな裁判官が、それを作り上げた人間と同じ偏見を抱いているのではないかと懸念してきました。私たちは、名前や性別、人種に基づいてモデルが偏見を持つ可能性があることを知っています。しかし、より巧妙で新しい問いが浮上してきました。これらのモデルは、単に「どの学校に通ったか」という理由だけで、候補者を優遇しているのではないか、という問いです。これは、その人が成し遂げた仕事の質に関する問題ではなく、履歴書に記載された教育機関の評判に関する問題です。もしコンピュータプログラムが、有名な大学出身の科学者に、同等の資格を持つ知名度の低い大学出身の科学者よりも高いスコアを与えるとしたら、それは中立ではありません。それは既存の階層構造を強化しているのです。
ある研究チームは、4つの異なる人工知能モデルを用いて、この特定の種類のバイアスを検証することを目的としました。彼らは、モデルが大学の「名声」に反応しているのか、それとも単にその大学が位置する「国」に反応しているのかを知りたいと考えました。答えを見つけるために、彼らは何千もの架空の求人および助成金の申請書を作成しました。彼らは、あらゆるシナリオにおいて、候補者のスキルと経験を全く同じに保ちました。変更したのは、候補者が通った大学の名前と、場合によっては、候補者が論文を発表したジャーナルの名前だけでした。彼らは、アメリカのトップティアの大学、チリやコロンビアの尊敬される機関、そして世界のランキングリストに登場しないエクアドルの大学からの候補者をテストしました。また、モデルが古いステレオタイプを持ち続けているかどうかを確認するために、申請書の名前をアングロ系、ラティーノ系、アラブ系を含めて変化させました。
結果は明白であり、統計的に強固なものでした。人工知能モデルは、一貫して名門大学出身の候補者に高いスコアを与えていました。この格差は小さな変動ではなく、一定かつ測定可能な傾向でした。異なるモデルや専門分野を通じて、トップランクの大学出身の候補者は、無名の大学出身の候補者よりも、0.3ポイント近く高いスコップルを受け取っていました。自動採点の世界において、この差は重大です。しかし、研究者が申請書の「名前」に着目すると、物語は変わりました。モデルは、アングロ系の名前を持つ候補者をラティーノ系やアラブ系の名前よりも好むといった、統計的に有意な偏りを示しませんでした。異なる名前のグループ間のスコアは非常に近く、その差は偶然によるものとみなせるレベルでした。このことは、モデルが民族的な名前を無視するように訓練することには成功している一方で、履歴書上の学校のステータスを無視するように訓練されていないことを示唆しています。
このバイアスが学校の評判によるものか、それとも所在する国によるものかを理解するために、研究者たちは第二の実験を行いました。彼らは、メキシコの高ランクの大学と、米国の低ランクまたは無名の大学を比較しました。もしモデルが単に発展途上国に対して偏見を持っているのであれば、アメリカの学校を好むはずです。しかし実際には、モデルはメキシコの大学を好む傾向がありました。その大学は、トップクラスのアメリカの大学ほど有名ではありませんでしたが、小さなアメリカの大学よりは有名だったからです。これは、モデルが地理的な要因ではなく、機関自体の「ブランド」に反応していることを証明しました。バイアスは、申請者のパスポートではなく、大学のブランドに関するものだったのです。
最も驚くべき発見は、研究者が第三の変数、すなわち、候補者が研究を発表した「ジャーナル」を導入した時に起こりました。彼らは、世界で最も有名な科学ジャーナルに発表した候補者と、より小規模なオープンアクセス・ジャーナルに発表した候補者を比較しました。スコアの差は極めて大きかったのです。ジャーナルの名声は、大学の名声よりもはるかに重要でした。知名度の低い大学出身であっても、トップジャーナルに発表した候補者は、トップ大学出身であっても小規模なジャーナルに発表した候補者よりも、はるかに高いスコアを受け取っていました。実際、有名なジャーナルによるブースト効果は、有名な大学によるブーストよりも6倍近く強力でした。これにより、「救済効果（rescue effect）」が生じ、トップジャーナルへの掲載が、大学の知名度の欠如を完全に補完することとなったのです。モデルは、トップティアの出版物を極めて強力な品質のシグナルと見なし、それが学校に対するバイアスを覆してしまうほどであるようです。
研究者たちはまた、モデルの採点の「一貫性」についても調査しました。彼らは、知名度の低い機関の候補者を評価する場合、モデルはより一貫性を欠くことを発見しました。ある時は、モデルは小規模な大学の候補者に低いスコアを与え、またある時には、全く同じプロフィールに対して、わずかに高いスコアを与えることもありました。このような不一致は、トップ大学の候補者に対してはそれほど頻繁には起こりませんでした。このことは、モデルがよく知らない機関の人物を判断する方法について確信を持てず、結果として「低い平均スコア」と「予測不可能な評価」という二重の不利益をもたらしていることを示唆しています。
結局のところ、この研究は、人工知能が一部の形態の差別を回避する進歩を遂げている一方で、ステータスに対する根深いバイアスを継承していることを明らかにしています。モデルは既存の社会階層の増幅器として機能し、未知のものを罰する一方で、馴染みのあるものや名声のあるものを報いています。彼らは、申請者の出身国よりも、学校のブランド名を重視しているようです。しかし、この研究は同時に、進むべき道も示しています。高品質な仕事が、適切な場所で発表されるとき、それはこれらの障壁を打ち破ることができるのです。知名度の低い機関の研究者にとって、これらのデジタルな裁判官による公平な評価への道は、名前や国を変えることにあるのではなく、発表された仕事の否定できない重みにあります。機械は仕事を価値あるものとして学習していますが、それは、その仕事が最も権威ある舞台で提示された場合に限られているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。