💬 NLP

Can LLMs Hire Fairly? Racial Bias in Resume Screening

この論文は14個の大規模言語モデルを監査し、2023年のモデルは人間による差別と同様の白人優先の採用バイアスを示した一方で、2024年以降にリリースされたすべてのモデルは、バイアスがないか、あるいは大幅な黒人優先への逆転を示しており、アルゴリズムによる採用の公平性における世代的な転換を記録していることを見出した。

原著者： Zhenyu Gao, Wenxi Jiang, Yutong Yan

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhenyu Gao, Wenxi Jiang, Yutong Yan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある仕事の採用担当者だと想像してください。ただし、人間が履歴書を見る代わりに、超スマートなコンピューター・ロボットに決定を下させます。あなたはこう考えます：「このロボットは公平だろうか？」

この論文は、一種の巨大な「ミステリー・ショッパー（覆面調査）」実験のようなものです。研究者たちは、採用マネージャーとして振る舞う14種類の異なるAIロボット（大規模言語モデル）を雇いました。彼らは各ロボットに対し、中身が全く同じである数千組の架空の履歴書を与えました。学歴、職歴、年齢、スキルはすべて同一です。唯一の違いは、履歴書に書かれた名前だけでした。

研究で分かったことを、いくつかのシンプルな比喩を用いてお話しします。

1. 「古いロボット」対「新しいロボットたち」

AIモデルを、スマートフォンの世代の違いのように考えてみてください。

2023年モデル（「古い電話」）： 研究者たちは一つの古いモデル（GPT-3.5-turbo）をテストしました。このロボットは、過去の研究で見られた偏見を持つ人間と全く同じ動きをしました。黒人らしい名前を見ると、白人らしい名前と比較して、「はい、この人を呼びなさい」と言う確率が低くなりました。このロボットには、明確な白人志向が見られました。
2024年以降のモデル（「新しい電話」）： 次に、2024年と2025年にリリースされた13の新しいモデルをテストしました。すると、これらのロボットは驚くべき行動を見せました。単に中立になったのではなく、反対側に大きく振れたのです。彼らは、白人よりも黒人の名前を好むようになりました。

【比喩】 天秤を想像してください。

古いロボットは、天秤を白人側に大きく傾けました。
新しいロボットたちは、天秤を黒人側に大きく傾けました。
最新の（2026年の）ロボットは、天秤を完璧にバランスさせようとしており、どちらのグループにもほとんど偏りを見せていません。

2. 男女についても同じストーリー

彼らは全く同じテストを実行しましたが、今度は名前を入れ替えて、ロボットが男性に対して、あるいは女性に対して偏見を持っているかどうかを確認しました。

古いロボット： 女性よりも男性を好みました。
新しいロボット： 男性よりも女性を好みました。
最新のロボット： 再び中立へと向かっています。

3. なぜこのようなことが起きたのか？

この論文は、これが単なる不具合ではなく、ロボットがどのように「教えられた」かによる結果であると示唆しています。

学習データ： 古いロボットは、インターネット上に存在するありのままの姿（白人男性を優遇する歴史的な人間の偏見を含むもの）から学びました。
「アライメント（調整）」による修正： 新しいロボットを開発した企業は、これが不公平であることに気づきました。そこで、ロボットに公平性を教えるための特別な「特別授業」（アライメントと呼ばれます）を追加しました。
過剰修正： どうやら、新しいロボットたちは公平であろうとするあまり、少し熱くなりすぎてしまったようです。単に中立になるのではなく、以前に差別を受けていたグループを積極的に優遇し始めたのです。これは、ある生徒がいじめを受けたのを見た教師が、その生徒がたとえ実力で勝ち取ったものでなくても、あらゆるテストで加点を与えることに決めたようなものです。

4. 大きな教訓

この論文の主な教訓は、AIの偏見は固定されたものではないということです。どのバージョンのロボットを使うか、そしてそれがいつ作られたかによって変化します。

2023年のロボット： 古い人間の間違い（白人男性を優遇すること）を繰り返しました。
2024年〜2025年のロボット： 修正しようと試みましたが、反対側に振りすぎてしまいました（黒人女性を優遇すること）。
2026年のロボット： 真に中立に近い状態になっています。

【結論】
この論文の結論は、単にツールが「AI」だからといって、それが公平であるとは限らないということです。時には一方に偏りすぎ、時にはもう一方に偏りすぎることがあります。特定のAI採用ツールが公平かどうかを知る唯一の方法は、絶えずテストすることです。なぜなら、AIの「性格」は新しいアップデートのたびに変わってしまうからです。

この論文が述べて「いない」こと：

これらのロボットが現在すべての企業で使用されているとは言っていません（ただし、Workday社に対する訴訟については言及しています）。
AIの使用をやめるべきだとは言っていません。
「プロ・ブラック（黒人支持）」の偏見が「良いこと」だとは言っていません。著者たちは、いかなる偏見（あるグループを他よりも優遇すること）も公平性を損なうものであると主張しています。目標は、傾いた天秤ではなく、中立な天秤なのです。

技術要約：LLMは公平に採用を行えるか？履歴書スクリーニングにおける人種バイアス

問題提起

大規模言語モデル（LLM）が、採用という極めて重要な経済的決定にますます組み込まれるようになる中で、これらのシステムが既存の人間の差別を永続させるのか、あるいはそれらを再形成してしまうのかを判断することは極めて重要である。法的課題（例：2026年のWorkday集団訴訟）はアルゴリズムによる差別の可能性を浮き彫りにしているが、LLMベースの採用スクリーナーにおけるバイアスの具体的な性質と方向性に関する実証的な証拠は、依然として限定的である。本研究が取り組む中心的な問いは、LLMがHRマネージャーとして機能する場合、人種およびジェンダーのバイアスを示すのか、そしてそのバイアスがモデルの世代やプロバイダー間でどのように進化するのかという点である。

メソドロジー

本研究は、Bertrand and Mullainathan (2004) によって確立され、Kline, Rose, and Walters (2022) によってスケールアップされた対応実験デザインを直接応用した、大規模な**ペア・レジュメ・監査（paired-resume audit）**手法を採用している。

実験デザイン: 研究者は、候補者の氏名を除いて、すべての実質的な属性（教育、職歴、年齢、ジェンダー）が同一である候補者プロフィールを作成した。氏名は、明確に区別される黒人および白人の名前のリスト（Bertrand and Mullainathan, 2004; Kline et al., 2022）から抽出された。
データソース: 本監査では、Fortune-500企業の分布に一致するようにサンプリングされた、Revelio Labsのユニバースから得られた6,007件の実在する米国のエントリーレベルの求人案件を利用した。
モデルパネル: 2023年5月から2026年4月までのリリース日を網羅する、14の主要なLLMをテストした。パネルには、8つのプロバイダー（OpenAI, Anthropic, Meta, Google, xAI, DeepSeek, Alibaba, Zhipu）にわたるモデルが含まれ、パラメータサイズは8Bから397Bまで多岐にわたる。
プロンプティングとスコアリング: 各モデルに対し、HRマネージャーとして振る舞い、候補者を次のステップに進めるかどうかを単一の単語（"yes" または "no"）で回答するという標準化されたシステム指示を与えた。決定論的な出力を確保するため、Temperatureはゼロに設定した。
規模: 本研究では、人種軸に対してモデルごとに24,024件のペア求人を、ジェンダー軸に対してモデルごとに48,048件のペア求りを生成した。
統計分析: 主要な指標は、有利なグループと不利なグループの「yes」率の差として計算されるコールバック・ギャップ（ $\Delta$ ）とした。有意性は不一致ペアに対するMcNemar検定を用いて評価し、求人内での依存関係を考慮するために、求人レベルでのクラスター頑健推論（ブートストラップおよび標準誤差）を適用した。

主な貢献

体系的なマルチモデル監査: 本研究は、人間のベースラインを確立したフィールド実験に匹敵する規模で、人種軸において14モデル、ジェンダー軸において13モデルを対象とした、LLM採用差別の初の体系的な監査を提供する。
符号反転の記録: 本研究は、モデルの世代間でアルゴリズムによる差別の方向性が質的に変化することを記録している。すなわち、2023年モデルに見られたプロ・ホワイト／プロ・男性のバイアスから、2024年以降のモデルにおけるプロ・ブラック／プロ・女性のバイアス（またはヌル・ギャップ）への移行である。
バイアス軸の相関: 本論文は、人種とジェンダーのバイアスがモデル間で正の相関関係にあることを示している。ブラック・コードの名前を好むモデルは、女性・コードの名前も好む傾向がある。

主な結果

人種差別

2023年ヴィンテージ (GPT-3.5-turbo): 単独の2023年モデルは、人間のフィールド実験で見られたプロ・ホワイトのコールバック・ギャップを再現した。ホワイト・コードの名前は、ブラック・コードの名前よりも2.12パーセントポイント (pp) 高い頻度でコールバックを受けた（1%水準で有意）。この大きさは、Kline et al. (2022) が報告した1.6 ppのギャップを上回っていた。
2024年以降のヴィンテージ: 2024年以降にリリースされたすべてのモデルは、ヌル・ギャップ、あるいは統計的に有意なプロ・ブラックへの反転を示した。有意なプロ・ブラックのギャップは -0.37 pp から -3.01 pp の範囲であった（例：Llama-3.1-8B-Instruct は -3.01 pp を示した）。2024年以降のモデルでプロ・ホワイトのギャップを示したものはなかった。
軌跡: モデルファミリー内での傾向は一貫していた。OpenAIの系統は、GPT-3.5-turboにおける +2.12 pp（プロ・ホワイト）から、GPT-4o-miniにおける -0.61 pp（プロ・ブラック）へ、そして最終的に GPT-5.4-mini におけるヌル・ギャップへと移行した。

ジェンダー差別

2023年ヴィンテージ: GPT-3.5-turboは、男性候補者を1.92 pp優遇した（1%水準で有意）。
2024年以降のヴィンテージ: 残りの12モデルのうち10モデルが、-0.18 pp から -5.80 pp の範囲で有意なプロ・女性のギャップを示した。2つのモデル（Gemini-2.5-flash および GPT-5.4-mini）はヌル・ギャップを示した。
相関: 人種とジェンダーの軸は正の相関があった。唯一のプロ・ホワイト・モデル（GPT-3.5-turbo）は、唯一のプロ・男性モデルでもあった。逆に、最も強いプロ・ブラック・バイアスを示したモデル（例：Claude 3 Haiku）は、最も強いプロ・女性・バイアスも示した。

頑健性

結果は、クラスター頑健推論および多重比較に対するBonferroni補正の下でも頑健であった。いくつかの境界線上の結果（例：Gemma-4-31Bのジェンダー・ギャップ）は厳格な補正によって有意性を失ったが、世代間での符号反転という核心的な知見は維持された。

意義と主張

本論文は、アルゴリズムによる採用バイアスの方向性は、言語モデルの固定された特性ではなく、モデルのヴィンテージ、プロバイダー、およびスケールに応じて系統的に変化することを主張している。

アライメントの進化: 観察された軌跡（事前学習データのバイアスを再現するプロ・ホワイトから、マイノリティ・コードの名前を積極的に優遇するプロ・ブラックへ、そして最新モデルにおける中立性への可能性へ）は、2023年から2024年にかけてのポストトレーニング・アライメント手順の変化に起因するとされている。
公平性の含意: プロ・ホワイトの元のバイアスも、その後のプロ・ブラックへの反転も、どちらも公平性の観点からは望ましくない。一方のグループを系統的に優遇する採用スクリーナーは、方向にかかわらず、平等な扱いの基本要件を満たしていない。
規制上の関連性: これらの結果は、規制当局（EU AI法やNYC Local Law 144を施行する当局など）に対し、バイアスの大きさと方向が特定のデプロイメントの選択（モデルのバージョン、トレーニング時期、プロンプティング）に依存するという実証的な証拠を提供する。著者らは、AIツールが雇用スクリーニングにおいて遍在するようになる中で、今回行われたような体系的な監査が、規制遵守と公的責任のために不可欠であると結論付けている。