Estimating Grammatical Gender Directions in Contextual Embeddings under Controlled and Natural Contexts

技術要約：制御された文脈および自然な文脈下における、文脈化埋め込み内の文法上の性別方向の推定

1. 問題提起

学習済みの文脈化言語モデル（BERT、XLM-Rなど）は、蔓延する社会的ジェンダーのステレオタイプをエンコードしている。既存のデバイアス（偏り除去）手法は、文法上の性別を持たない英語においては効果的に対処できているが、スペイン語やフランス語のような文法上の性別を持つ言語に適用する場合、重大な限界に直面する。これらの言語では、埋め込みの中に2つの異なるジェンダー信号が共存している：

1. 強制的な形態論的・統語論的文法ジェンダー： 無生物名詞が固有の文法属性として男性または女性に固定され、冠詞や形容詞との一致を必要とする、内在的な言語的特性。
2. 社会的意味論的ジェンダー・バイアス： 実世界のコーパスから学習された、望ましくないステレオタイプ。

従来のアプローチは、これら2つの信号を混同している。さらに、先行研究による分離（disentanglement）の取り組みは静的な単語埋め込みに限定されており、文脈化表現については未探索のままである。重要な課題は**意味論的汚染（semantic contamination）**である。意味的に中立な無生物名詞であっても、自然言語のテキストから文脈的なジェンダー記述を吸収してしまうため、効果的なデバイアスに必要な「純粋な文法ジェンダーの方向」を孤立させることが困難になっている。

2. 手法

著者らは、文脈化埋め込みから文法ジェンダーと意味論的バイアスを分離するための、汚染を考慮したフレームワークを提案している。その手法は、主に4つのコンポーネントで構成される：

A. データ構築

• 無生物名詞： 人間、職業、固有名詞を除外することで構築された、スペイン語とフランス語のバランスの取れた無生物名詞のデータセット（各言語約6,000語）。
• 文脈ソース： 各名詞に対して、2つの異なる文脈タイプを作成した：
  • 制御されたテンプレート（Controlled Templates）： トピック、語彙、共起のノイズを最小限に抑えるよう設計された、意味的に中立かつ固定されたテンプレート。純粋な文法信号を抽出するために使用される。
  • 自然な文脈（Natural Contexts）： 実世界の使用における意味論的汚染の度合いを定量化するために、Wikipediaから取得した文章。
• 評価用レキシコン： デバイアスが正当な意味論的ジェンダーの区別を保持しているかどうかをテストするために、各言語につき100組の男性・女性の職業ペアを作成した。

B. 汚染の定量化
本フレームワークは、無生物名詞の埋め込みが、意味的なジェンダー軸（男性/女性の属性語セットから導出）とどの程度一致するかを、意味論的汚染として特徴付ける。WEATスタイルのスコアリングフレームワークを用いて、各名詞の汚染スコアを算出する。堅牢性を確保するため、2つの正規化戦略を適用する：

• 平均ベースの正規化（Mean-based Normalization）： 全局的な汚染のシフトを補正する。
• 中央値ベースの正規化（Median-based Normalization）： 外れ値や歪んだ分布に対する堅牢性を提供する。

C. 文法ジェンダー方向の推定
名詞の埋め込みから文法ジェンダーの方向（$d_g$）を特定するために、3つの推定器を実装する：

1. 重心推定器（Centroid Estimator）： 男性集合と女性集合の平均埋め込みの差を計算する（分布シフト・アプローチ）。
2. 線形判別分析（LDA）： ジェンダーを、クラスの分離性を最大化する教師あり分離問題としてモデル化する。
3. 線形サポートベクターマシン（Linear SVM）： 分離超平面の法線ベクトルをジェンダー方向として使用する。

D. 評価フレームワーク
2つの相反する目標をバランスさせるための、二重目的のメトリクス・システムを提案する：

1. 無生物名詞減少スコア（$R_{noun}$）： 直交投影後における、無生物名詞への文法ジェンダーの漏洩（leakage）の抑制度を測定する。
2. 職業保持スコア（$P_{occ}$）： 投影後における、職業用語の意味論的ジェンダーの区別の保持度を測定する。
3. トレードオフ・スコア： 上記2つのスコアの調和平均（$T_{harm}$）を主要な指標として用い、極端な不均衡を罰する。

3. 主要な結果

実験は、4つの学習済みエンコーダ（スペイン語用としてBETO、mBERT、XLM-R、フランス語用としてCamemBERT、mBERT、XLM-R）を用い、最終層の埋め込みに対して行われた。

• 推定器の性能： 重心推定器は、すべての指標において判別ベースライン（LinearSVMおよびLDA）を一貫して上回った。これは最も高い調和トレードオフ・スコア（0.870）を達成しており、文脈化埋め込みにおける文法ジェンダーが、複雑な分類境界よりも、むしろグローバルな分布シフトとして現れることを示唆している。
• 文脈ソースの影響： 制御された非重み付けの文脈が、最も純粋な文法ジェンダー方向をもたらした。
  • 制御された非重み付けの設定は、高いレベルの文法漏洩の減少（$R_{noun} \approx 0.98$）を達成しつつ、強力な意味保持を実現した。
  • 自然な文脈は、推定される信号の明瞭さを弱める変動をもたらした。
  • 重み付け戦略（平均/中央値）は、特定のケースでわずかな改善は見られたものの、主に保守的な調整として機能し、名詞レベルの減少性能を低下させることが多かった。
• デバイアスの有効性： 直交投影法は、一般的な語彙意味構造を乱すことなく、無生物名詞から文法ジェンダー成分を正常に除去できることが、意味的安定性テストによって検証された。

4. 貢献

本論文は、以下の主要な貢献を主張している：

1. 先駆的な文脈化分離： 文学における静的な埋め込みを超え、文脈化言語モデルに特化した文法・意味論的ジェンダーの分離を試みた最初の研究である。
2. 意味論的汚染の定式化： 文脈化モデルにおける無生物名詞の表現における意味論的汚染を正式に定義・定量化し、バイアスのある分布的アーティファクトを抑制するための汚染を考慮した重み付け戦略を導入した。
3. 新しい評価フレームワーク： 漏洩の減少と意味保持の二重目的評価フレームワークを提案し、文法上のジェンダーを持つ言語におけるデバイアスのためのバランスの取れた標準の欠如に対処した。

5. 意義と限界

意義：
本研究は、制御されたテンプレートが、文法ジェンダー信号を孤立させる上で自然なコーパスよりも優れていることを実証し、コーパスのノイズを効果的に排除できることを示した。また、単純な重心ベースの集計が、高次元でノイズの多い文脈空間において、判別器よりもこれらの方向を抽出する上でより堅牢であることを確立した。これは、形式的な文法規則と固有の意味論的バイアスを分離することにより、多言語ジェンダー研究の信頼できる基盤を提供するものである。

限界と今後の方向性：

• 類型論的範囲： 知見は、スペイン語とフランス語（バイナリのジェンダー体系を持つロマンス諸語）に限定されている。著者らは、この線形な分離挙動が、格とジェンダーが相互作用する言語、中性システム、あるいは非バイナリのジェンダー構造を持つ言語に一般化できるかどうかは不明であると述べている。
• モデルの特定性： 結果は、特定のトランスフォーマー・アーキテクチャの凍結された最終層の埋め込みに基づいている。異なる層やモデルアーキテクチャにおける分離の挙動は、依然として未解決の課題である。
• 重み付け戦略： 現在の平均/中央値の重み付けスキームは、最適とは言えないことが認められている。著者らは、意味論的汚染をより良くモデル化するために、敵対的重み付けや因果的介入といった適応的なパラダイムを模索すべきであると示唆している。

著者らは、重み付け戦略は微調整を提供するに過ぎず、文法ジェンダーの方向を推定するための最も効果的なアプローチは、制御された非重み付けの文脈と重心ベースの推定を組み合わせることであると結論付けている。