Relating Word Embedding Gender Biases to Gender Gaps: A Cross-Cultural Analysis

技術要約：単語埋め込みにおけるジェンダー・バイアスとジェンダー・ギャップの関連性

問題提起
自然言語処理（NLP）における機械学習モデル、特に単語埋め込みを利用するモデルは、その学習データからバイアスを継承することが知られており、人種やジェンダーに関する社会的ステレオタイプを反映することが多い。近年の研究は、精度を向上させステレオタイプを除去するための「デバイアス（偏りの除去）」に焦点を当てているが、本論文はこれとは異なる視点を提示している。すなわち、これらの固有のバイアスは単なるエラーではなく、学習テキストを生み出した文化圏における実際の統計的な格差（ジェンダー・ギャップ）を反映している可能性があるという視点である。核心となる問題は、単語埋め込みにおけるジェンダー・バイアスの大きさおよび方向性が、異なる文化間における教育、政治、経済、保健分野における現実世界の統計的なジェンダー・ギャップと定量的に相関しているかどうかである。

手法
著者らは、2018年のTwitterデータを用い、99カ国および米国の51地域（50州およびワシントンD.C.）を対象とした通文化的な分析を行った。

1. データ収集と前処理:

   • データセットは、2018年の100日間に収集された英語のツイートで構成されている。
   • ツイートは、3語以上を含むもののみにフィルタリングされた。URL、ユーザー名、ハッシュタグ、画像、絵文字はトークンに置き換えられた。
   • コーパスは各国および各州ごとに構築された。1,000万ツイートを超える文化については、1,000万件のサンプルが使用された。最小のコーパスは98,000ツイート（モーリシャス）、最大は1億2,200万ツイート（英国）であった。
   • 著者らは、これらのコーパスが他のツイート埋め込み研究（例：Li et al., 2017）で使用されるものよりも数桁小さいことを指摘している。

2. 埋め込みの構築:

   • 主要なアルゴリズムは Word2Vec (skip-gram) である。
   • 比較分析のため、著者らは GloVe、Word2Vec CBOW、および FastText もテストした。
   • パラメータには、ウィンドウサイズ10、最小単語頻度5、200次元の出力ベクトルが含まれる。

3. バイアスの測定:

   • 著者らは、男性特有の単語（$\vec{male}$）と女性特有の単語（$\vec{female}$）のベクトルを平均することで、「男女軸」を定義した。
   • 主要指標: テーマ別のニュートラルな単語セット（$W$）の平均的な軸投影を、以下の式を用いて計算した：
     $$\text{avg}_{w \in W} \left( \frac{\vec{w} \cdot (\vec{female} - \vec{male})}{||\vec{female} - \vec{male}||^2} \right)$$
   • この投影値が、特定のテーマ別単語セット（例：政府、脅威、育児、知性）におけるジェンダー・バイアスの尺度として機能する。

4. 相関分析:

   • 著者らは、テーマ別単語セットのバイアス・スコアを、18の国際的なジェンダー・ギャップ統計（世界ジェンダー・ギャップ指数より）および5つの米国ベースの統計（CDC、米国国勢調査局、Represent Womenより）と相関させた。
   • 特徴量選択: 過学習を防ぐため、アルゴリズムは20%の国/州を用いてテーマセット内の単語を絞り込む特徴量選択を行い、その後、全データセットに対する決定係数 $R^2$ を算出した。このプロセスを5回繰り返し、平均化した。

主な結果
本研究は、言語的バイアスと統計的なジェンダー・ギャップとの間の、有意かつ選択的な相関関係を見出した：

• 国際的な知見:

  • 政治的エンパワーメント: 「政府（government）」の単語セットは、政治的エンパワーメントのジェンダー・ギャップ指数と正の相関を示した。政治的言語がより強い女性バイアスを示すにつれ、政治的権力におけるジェンダー・ギャップは減少した（すなわち、女性の影響力が増大した）。
  • 経済参加: 「知性（intellect）」および「職場（workplace）」の単語セットは、経済参加の統計と正の相関を示した。
  • 保健: 「疾病（illness）」に関する用語は、健康と生存の統計に対して間接的な相関を示した。
  • 全体的なギャップ: 単一の単語である「pretty（可愛い/美しい）」が、総合的なジェンダー・ギャップ指数に対して最も強い決定係数（$R^2$）を示した。
  • ランダムなベースライン: ランダムにサンプリングされた4つの単語セットは、どのジェンダー・ギャップとも有意な相関を示さなかった（$R^2 < 0.09$）。これは、結果が手法によるアーティファクト（偽の相関）ではないことを裏付けている。

• 米国の州に関する知見:

  • 賃金格差: 「脅威（threat）」の単語セット（例：危険な、有害な、疑わしい）は、ジェンダー間の賃金格差と強い逆相関（$R^2 = 0.51$）を示した。脅威を表す言葉が女性に関連付けられる傾向が強い州では、ジェンダー間の賃金格差が大きかった（女性の稼ぎが男性より少なかった）。
  • 教育と労働力: 「STEM-alum（STEM卒業生）」に関する単語は、数学およびコンピュータサイエンスの女性学位取得率の高さと相関していた。「犯罪的（criminal）」な行動に関する単語は、州議会議員の女性比率と負の相関があった。
  • 運動: 「粘り強さと献身」を記述する単語は、運動率におけるジェンダー・ギャップの縮小と相関していた。

• アルゴリズムと指標の比較:

  • テストされた4つのアルゴリズムの中で、Word2Vec (skip-gram) と 軸投影（axis projection）指標 の組み合わせが、直接的および間接的な相関の両方において最も高い決定係数を示した。
  • バレンス（感情価）とドミナンス（支配性）: ジェンダー・ギャップの縮小（例：高賃金、女性議員の増加）と相関する形容詞は、ギャップの拡大と相関する形容詞よりも、有意に高いバレンスおよびドミナンス・スコアを持っていた。

主な貢献

1. バイアスと格差の関係の定量化: 本論文は、単語埋め込みにおけるジェンダー・バイアスを定量化し、99カ国および51の米国地域における統計的なジェンダー・ギャップと直接相関させる手法を提供した。
2. テーマの特定性: ジェンダー・バイアスは単一の性質を持つものではないことを示した。特定のテーマ別単語セット（例：「政府」、「脅威」）は、特定の領域のジェンダー格差（例：政治的権力、賃金格差）と相関する一方で、ランダムな単語セットは相関しない。
3. 文化的プロキシとしてのソーシャルメディア: 本研究は、コーパスサイズが小さく英語限定であるという制約があるにもかかわらず、Twitterデータが現実の統計と一致する文化的なジェンダー・バイアスを算出するための妥当なソースとなり得ることを検証した。
4. アルゴリズムの検証: GloVe、FastText、および代替のバイアス指標と比較して、Word2Vecと軸投影の組み合わせが、これらの特定の相関を検出する上で最も効果的な構成であることを特定した。

意義と主張
著者らは、本研究が以下の3つの主張を支持すると述べている：

1. 言語における文化的なジェンダー・バイアスは、実際の統計的なジェンダー・ギャップと関連している。
2. これらのバイアスは、特定の格差との相関の強さと方向性によって特徴付けることができる。
3. テーマ別の単語セットは異なる次元のジェンダー・バイアスと格差を捉えており、微細な分析を可能にする。

本論文は、これらの知見が、暗黙的なジェンダー評価（言語的バイアス）の違いが、ジェンダーにおける機会や地位の違いとして現れるという社会理論と一致していると結論付けている。しかし、著者らは、本分析はあくまで相関関係を示すものであり、因果関係を示すものではないことを明示している。解釈の能力には限界があり、英語のみのツイートを使用していることが文化的な盲点（テクノロジーへのアクセスや英語習熟度のない層の除外）を生んでいると警告している。今後の課題として、因果モデルの導入や、他の言語への拡張が示唆されている。