Relating Word Embedding Gender Biases to Gender Gaps: A Cross-Cultural Analysis

기술 요약: 단어 임베딩의 성별 편향과 성별 격차의 상관관계

문제 정의
자연어 처리(NLP)를 위한 머신러닝 모델, 특히 단어 임베딩을 활용하는 모델은 학습 데이터로부터 사회적 고정관념인 인종 및 성별 편향을 상속받는 것으로 알려져 있다. 최근 연구들은 정확도를 높이고 고정관념을 제거하기 위해 이러한 모델을 '편향 제거(debiasing)'하는 데 집중하고 있으나, 본 논문은 대안적인 관점을 제시한다. 즉, 이러한 내재적 편향이 단순한 오류가 아니라, 학습 텍스트를 생성한 문화 내의 실제 통계적 격차(성별 격차)를 반영하는 것일 수 있다는 것이다. 본 연구가 다루는 핵심 문제는 단어 임베딩에 나타나는 성별 편향의 크기와 방향이 서로 다른 문화권의 교육, 정치, 경제 및 보건 분야에서 나타나는 실제 통계적 성별 격차와 정량적으로 상관관계가 있는가 하는 점이다.

연구 방법론
저자들은 2018년 트위터 데이터를 사용하여 99개국과 51개 미국 지역(50개 주 및 워싱턴 D.C.)에 대한 교차 문화 분석을 수행하였다.

1. 데이터 수집 및 전처리:

   • 데이터셋은 2018년 100일 동안 수집된 영어 트윗으로 구성되었다.
   • 트윗은 3단어 이상을 포함하는 것들로 필터링되었다. URL, 사용자 이름, 해시태그, 이미지, 이모지는 토큰으로 대체되었다.
   • 각 국가 및 주별로 코퍼스(corpus)를 구축하였다. 1,000만 개 이상의 트윗이 있는 문화권의 경우 1,000만 개를 샘플링하여 사용하였다. 가장 작은 코퍼스는 모리셔스(98,000개 트윗)였고, 가장 큰 코퍼스는 영국(1억 2,200만 개 트윗)이었다.
   • 저자들은 이 코퍼스들이 다른 트윗 임베딩 연구(예: Li et al., 2017)에서 사용된 것보다 규모가 몇 단계 낮다는 점을 명시하였다.

2. 임베딩 구축:

   • 주요 알고리즘은 **Word2Vec (skip-gram)**이다.
   • 비교 분석을 위해 저자들은 GloVe, Word2Vec CBOW, FastText도 테스트하였다.
   • 파라미터로는 윈도우 크기 10, 최소 단어 빈도 5, 200차원 출력 벡터를 사용하였다.

3. 편향 측정:

   • 저자들은 남성 특정 단어($\vec{male}$)와 여성 특정 단어($\vec{female}$)의 벡터를 평균하여 "남성-여성 축"을 정의하였다.
   • 주요 지표: 주제적 중립 단어 집합($W$)의 평균 축 투영(axis projection)을 다음 공식을 사용하여 계산하였다:
     $$\text{avg}_{w \in W} \left( \frac{\vec{w} \cdot (\vec{female} - \vec{male})}{||\vec{female} - \vec{male}||^2} \right)$$
   • 이 투영값은 특정 주제적 단어 집합(예: 정부, 위협, 육아, 지성)에 대한 성별 편향의 척도로 기능한다.

4. 상관관계 분석:

   • 저자들은 주제적 단어 집합의 편향 점수를 18개의 국제 성별 격차 통계(세계 성별 격차 지수 기반) 및 5개의 미국 기반 통계(CDC, 미국 인구조사국, Represent Women 기반)와 상관 분석하였다.
   • 특징 선택(Feature Selection): 과적합을 방지하기 위해, 알고리즘은 20%의 국가/주에 대해 특징 선택을 수행하여 주제적 집합 내의 단어들을 선별한 후, 전체 데이터셋에 대한 $R^2$ 결정 계수를 계산하였다. 이 과정은 5회 반복되어 평균값이 산출되었다.

주요 결과
본 연구는 언어적 편향과 통계적 성별 격차 사이의 유의미하고 선택적인 상관관계를 발견하였다:

• 국제적 발견:

  • 정치적 권한 부여: "정부(government)" 단어 집합은 정치적 권한 부여 성별 격차 지수와 양의 상관관계를 보였다. 정치적 언어가 더 강한 여성 편향을 보일수록, 정치적 권력의 성별 격차는 감소하였다(즉, 여성의 영향력이 증가했다).
  • 경제적 참여: "지성(intellect)" 및 "직장(workplace)" 단어 집합은 경제 참여 통계와 양의 상관관계를 보였다.
  • 보건: "질병(illness)" 관련 용어들은 보건 및 생존 통계와 간접적인 상관관계를 보였다.
  • 전체 격차: 단일 단어인 "예쁘다(pretty)"가 전체 성별 격차 지수에 대해 가장 강력한 결정 계수($R^2$)를 나타냈다.
  • 무작위 베이스라인: 무작위로 샘플링된 4개의 단어 집합은 어떤 성별 격차와도 유의미한 상관관계를 보이지 않았으며($R^2 < 0.09$), 이는 결과가 방법론적 인위적 결과물이 아님을 확인시켜 준다.

• 미국 주별 발견:

  • 임금 격차: "위협(threat)" 단어 집합(예: 위험한, 독성이 있는, 수상한)은 성별 임금 격차와 강한 역상관관계($R^2 = 0.51$)를 보였다. 위협 단어가 여성과 더 많이 연관된 주에서는 성별 임금 격차가 더 컸다(여성의 실질 소득이 적음).
  • 교육 및 노동력: "STEM-졸업생(STEM-alum)" 관련 단어는 수학 및 컴퓨터 과학 학위의 여성 비율과 상관관계가 있었다. "범죄적(criminal)" 행동 관련 단어는 여성 주 의원의 비율과 부의 상관관계를 보였다.
  • 운동: "끈기와 헌신"을 묘사하는 단어들은 운동율의 성별 격차 감소와 상관관계가 있었다.

• 알고리즘 및 지표 비교:

  • 테스트된 4개의 알고리즘 중, **Word2Vec (skip-gram)**과 축 투영(axis projection) 지표를 결합했을 때 직접 및 간접 상관관계 모두에서 가장 높은 결정 계수를 나타냈다.
  • 가치(Valence) 및 지배성(Dominance): 성별 격차를 감소시키는(예: 높은 임금, 더 많은 여성 입법가) 형용사들은 성별 격차를 증가시키는 형용사들보다 유의미하게 높은 가치 및 지배성 점수를 가졌다.

주요 기여

1. 편향-격차 관계의 정량화: 본 논문은 단어 임베딩의 성별 편향을 정량화하고, 이를 99개국 및 51개 미국 지역의 통계적 성별 격차와 직접 상관시키는 방법을 제공한다.
2. 주제적 특수성: 성별 편향이 단일한 형태가 아님을 입증하였다. 즉, 특정 주제적 단어 집합(예: 정부, 위협)은 특정 영역의 성별 불평등(예: 정치적 권력, 임금 격차)과 상관관계가 있는 반면, 무작위 단어 집합은 그렇지 않다.
3. 문화적 대리물로서의 소셜 미디어: 본 연구는 영어로만 구성된 데이터임에도 불구하고, 트위터 데이터가 문화적 성별 편향을 계산하여 실제 통계와 일치하는 결과를 도출할 수 있는 타당한 출처가 될 수 있음을 검증하였다.
4. 알고리즘 검증: GloVe, FastText 및 대안적 편향 지표와 비교하여, 이러한 특정 상관관관계를 탐지하는 데 가장 효과적인 구성이 Word2Vec과 축 투영임을 식별하였다.

의의 및 주장
저자들은 자신의 연구가 다음 세 가지 핵심 주장을 뒷받침한다고 주장한다:

1. 언어적 문화 성별 편향은 실제 통계적 성별 격차와 연관되어 있다.
2. 이러한 편향은 특정 격차와의 상관관계의 강도와 방향을 통해 특징지을 수 있다.
3. 주제별 단어 집합은 성별 편향과 격차의 서로 다른 차원을 포착하며, 이를 통해 미세한 분석이 가능하다.

본 논문은 이러한 결과가 암묵적 성별 가치 평가(언어적 편향)의 차이가 성별 기회 및 지위의 차이로 나타난다는 사회 이론과 일치한다고 결론짓는다. 그러나 저자들은 본 분석이 상관관계를 보여줄 뿐, 인과관계를 입증하는 것은 아니라고 명시하였다. 또한 해석의 힘에는 한계가 있으며, 영어 전용 트위터 사용으로 인해 기술 접근성이나 영어 숙련도가 낮은 인구 집단이 배제되는 문화적 사각지대가 발생할 수 있다고 경고하였다. 향후 연구에서는 인과 모델을 도입하고 다른 언어로 확장할 것을 제안하였다.