Estimating Grammatical Gender Directions in Contextual Embeddings under Controlled and Natural Contexts

기술 요약: 통제된 문맥 및 자연적 문맥 하에서의 문맥적 임베딩 내 문법적 성별 방향 추정

1. 문제 정의

사전 학습된 문맥적 언어 모델(예: BERT, XLM-R)은 만연한 사회적 성별 고정관념을 인코딩한다. 기존의 편향 제거(debiasing) 방법들은 성별 문법이 없는 영어에서는 효과적으로 작동하지만, 스페인어나 프랑스어와 같이 문법적 성별이 존재하는 언어에 적용할 때는 결정적인 한계에 직면한다. 이러한 언어들에서는 두 가지 구별된 성별 신호가 임베딩 내에 공존한다:

1. 필수적 형태통사론적 문법 성별: 무생물 명사가 남성 또는 여성으로 고정되어 있고 관사와 형용사와 일치를 이루어야 하는 내재적 언어 특성.
2. 사회적 의미론적 성별 편향: 실제 코퍼스에서 학습된 원치 않는 고정관념.

현재의 접근 방식들은 이 두 신호를 혼동한다. 더욱이, 기존의 분리(disentanglement) 연구는 정적 단어 임베딩에 국한되어 있어 문맥적 표현에 대해서는 탐구되지 않았다. 중요한 과제는 **의미론적 오염(semantic contamination)**이다. 즉, 의미적으로 중립적인 무생물 명사조차도 자연어 텍스트로부터 문맥적인 성별 묘사를 흡수하여, 효과적인 편향 제거에 필요한 순수한 문법적 성별 방향을 격리하는 것을 어렵게 만든다.

2. 방법론

저자들은 문맥적 임베딩에서 문법적 성별과 의미론적 편향을 분리하기 위한 오염 인식 프레임워크를 제안한다. 방법론은 네 가지 주요 구성 요소로 이루어진다:

A. 데이터 구축

• 무생물 명사: 인간, 직업, 고유 명사를 필터링하여 스페인어와 프랑스어의 균형 잡힌 무생물 명사 데이터셋(언어당 약 6,000개)을 구축하였다.
• 문맥 출처: 각 명사에 대해 두 가지 구별된 문맥 유형을 생성하였다:
  • 통제된 템플릿(Controlled Templates): 순수한 문법적 신호를 추출하기 위해 주제, 어휘, 공기(co-occurrence) 노이즈를 최소화하도록 설계된 의미적으로 중립적이고 고정된 템플릿.
  • 자연적 문맥(Natural Contexts): 실제 사용 사례에서의 의미론적 오염 정도를 정량화하기 위해 위키피디아에서 추출한 문장들.
• 평가 어휘집: 편향 제거가 정당한 의미론적 성별 구분을 보존하는지 테스트하기 위해 언어당 100개의 남성-여성 직업 쌍을 포함하는 별도의 세트를 생성하였다.

B. 오염 정량화
프레임워크는 무생물 명사 임베딩이 의미론적 성별 축(남성/여성 속성 단어 집합에서 유도됨)과 정렬되는 정도로 의미론적 오염을 특징짓는다. WEAT 스타일의 스코어링 프레임워크를 사용하여 저자들은 각 명사에 대한 오염 점수를 계산한다. 견고성을 보장하기 위해 두 가지 정규화 전략이 적용된다:

• 평균 기반 정규화(Mean-based Normalization): 전역적인 오염 변화를 교정한다.
• 중앙값 기반 정규화(Median-based Normalization): 이상치와 왜곡된 분포에 대한 강건성을 제공한다.

C. 문법적 성별 방향 추정
명사 임베딩으로부터 문법적 성별 방향($d_g$)을 식별하기 위해 세 가지 추정기가 구현되었다:

1. 센트로이드 추정기(Centroid Estimator): 남성 및 여성 집합의 평균 임베딩 간의 차이를 계산한다 (분포적 이동 접근 방식).
2. 선형 판별 분석(LDA): 클래스 분리도를 최대화하기 위해 성별을 지도 학습 기반의 분리 문제로 모델링한다.
3. 선형 서포트 벡터 머신(SVM): 분리 초평면의 법선 벡터를 성별 방향으로 사용한다.

D. 평가 프레임워크
두 가지 상충하는 목표를 균형 있게 달�기 위해 이중 목적 메트릭 시스템이 제안되었다:

1. 무생물 명사 감소 점수($R_{noun}$): 직교 투영(orthogonal projection) 후 무생물 명사에서 문법적 성별 누출이 억제되는 정도를 측정한다.
2. 직업 보존 점수($P_{occ}$): 직업 용어에서 의미론적 성별 구분이 유지되는 정도를 측정한다.
3. 트레이드오프 점수: 위의 두 점수의 조화 평균($T_{harm}$)이 방법론의 순위를 매기는 주요 메트릭으로 사용되며, 극단적인 불균형에 대해 페널티를 부여한다.

3. 주요 결과

실험은 네 가지 사전 학습된 인코더(스페인어용 BETO, mBERT, XLM-R; 프랑스어용 CamemBERT, mBERT, XLM-R)를 대상으로 최종 레이어 임베딩을 사용하여 수행되었다.

• 추정기 성능: 센트로이드 추정기가 모든 메트릭에서 판별 기반 베이스라인(LinearSVM 및 LDA)보다 일관되게 우수한 성능을 보였다. 이 추정기는 가장 높은 조화 트레이드오프 점수(0.870)를 달성하였으며, 이는 문맥적 임베딩에서의 문법적 성별이 복잡한 분류 경계보다는 전역적인 분포적 이동으로 나타남을 시사한다.
• 문맥 출처의 영향: 통제된 비가중치 문맥이 가장 순수한 문법적 성별 방향을 산출하였다.
  • 통제된 비가중치 설정은 강력한 의미 보존을 유지하면서도 가장 높은 문법적 누출 감소($R_{noun} \approx 0.98$)를 달성했다.
  • 자연적 문맥은 변동성을 도입하여 추정된 신호의 명확성을 약화시켰다.
  • 가중치 전략(평균/중앙값)은 특정 사례에서 미미한 개선을 제공했으나, 명사 수준의 감소 성능을 오히려 저하시키는 등 주요 성능 동인이라기보다 보수적인 조정 역할을 수행했다.
• 편향 제거 효능: 직교 투영 방법은 일반적인 어휘 의미 구조를 방해하지 않으면서 무생물 명사로부터 문법적 성별 성분을 성공적으로 제거하였음을 의미론적 안정성 테스트를 통해 검증하였다.

4. 기여도

본 논문은 다음과 같은 주요 기여를 주장한다:

1. 선구적인 문맥적 분리: 정적 임베딩을 사용한 기존 문헌을 넘어, 문맥적 언어 모델을 위해 문법적-의미론적 성별 분리를 시도한 첫 번째 연구이다.
2. 의미론적 오염의 공식화: 저자들은 문맥 모델의 무생물 명사 표현에서 의미론적 오염을 공식적으로 정의하고 정량화하였으며, 편향된 분포적 아티팩트를 억제하기 위한 오염 인식 가중치 전략을 도입하였다.
3. 새로운 평가 프레임워크: 누출 감소와 의미 보존이라는 이중 목적 평가 프레임워크와 조화 평균 트레이드오프 메트릭을 제안하여, 문법적 성별이 존재하는 언어에서의 편향 제거를 위한 균형 잡힌 표준의 부재 문제를 해결하였다.

5. 의의 및 한계점

의의:
본 연구는 통제된 템플릿이 문법적 성별 신호를 격리하는 데 있어 자연적 코퍼스보다 우월하며, 이를 통해 코퍼스 노이즈를 효과적으로 제거할 수 있음을 입증한다. 또한, 고차원의 노이즈가 섞인 문맥 공간에서 이러한 방향을 추출하는 데 있어 단순한 센트로이드 기반 집계가 판별 분류기보다 더 견고하다는 것을 보여준다. 이는 형식적인 문법 규칙과 내재적인 의미론적 편향을 분리함으로써 다국어 성별 편향 연구를 위한 신뢰할 수 있는 토대를 마련한다.

한계 및 향-후 연구 방향:

• 유형론적 범위: 연구 결과는 스페인어와 프랑스어(이진 성별 체계를 가진 로망스 어족)로 제한된다. 저자들은 이러한 선형적 분리 동작이 격-성별 상호작용, 중성 체계, 또는 비이진 성별 구조를 가진 언어에도 일반화될 수 있는지 여부는 불분명하다고 언급한다.
• 모델 특이성: 결과는 특정 트랜스포머 아키텍처의 동결된 최종 레이어 임베딩을 기반으로 한다. 서로 다른 레이어나 모델 아키텍처 전반에 걸친 분리 동작은 여전히 열린 문제로 남아 있다.
• 가중치 전략: 현재의 평균/중앙값 가중치 체계는 최적이 아닌 것으로 인정된다. 저자들은 향-후 연구에서 의미론적 오염을 더 잘 모델링하기 위해 적대적 가중치(adversarial weighting)나 인과적 개입(causal interventions)과 같은 적응형 패러다임을 탐구해야 한다고 제안한다.

저자들은 가중치 전략이 미세한 조정을 제공하긴 하지만, 문법적 성별 방향을 추정하는 데 가장 효과적인 방법은 비가중치 통제 문맥과 센트로이드 기반 추정기를 결로하는 것임을 결론짓는다.