Is She Even Relevant? When BERT Ignores Explicit Gender Cues

기술 요약: "그녀는 정말 관련이 있는가? BERT 가 명시적 성별 단서를 무시할 때"

문제 제기
영어의 대규모 언어 모델 (LLM) 에서의 성별 편향은 광범위하게 조사되어 왔으나, 문법적 또는 형태론적 성별을 가진 언어들은 상대적으로 덜 연구되어 왔다. 이 격차는 문법적 구조가 사회적 고정관념의 측정을 흐리게 하거나 왜곡할 수 있기 때문에 중요하다. 본 논문은 완전한 성별 체계 (독일어 등) 와 대부분 성별이 없는 체계 (영어 등) 사이의 중간적 위치를 점하는 언어인 네덜란드어에 초점을 맞춘다. 네덜란드어는 역사적으로 남성형이며 형태론적으로 표지되지 않은 형태가 일반적 용어로 기능하는 '중립화'와 명시적 여성형이 접미사를 통해 파생되는 '여성화' 사이의 긴장을 드러낸다. 저자들은 처음부터 훈련된 네덜란드어 BERT 모델이 성별 정보를 어떻게 인코딩하는지, 그리고 명시적 문맥 단서 (예: '그녀'를 의미하는 대명사 zij) 가 모델 내부 표현 내에서 학습된 통계적 연관성 (예: 배관공 $\rightarrow$ 남성) 을 대체할 수 있는지 조사한다.

방법론
본 연구는 SoNaR-500 코퍼스 (도서 하위 집합, 약 2600 만 단어) 에서 처음부터 완전히 훈련된 네덜란드어 BERT 모델의 체크포인트 수준 분석을 수행한다. 방법론은 정적 부분 공간 투영 기법을 통제된 문장 템플릿과 통합하여 훈련 중 편향의 진화를 추적한다.

1. 모델 훈련: BERT 모델을 100 에포크 동안 처음부터 훈련한다. 시간 경과에 따른 성별 표현의 출현을 추적하기 위해 중간 체크포인트를 저장한다.
2. 성별 부분 공간 구성: 각 체크포인트에서 60 개의 명확한 성별 단어 쌍 (예: man 대 vrouw) 의 문맥 임베딩으로 선형 지원 벡터 머신 (SVM) 을 훈련하여 동적 성별 축을 유도한다. 저자들은 (zij와 같이 '그녀' 또는 '그들'을 의미할 수 있는) 모호한 대명사를 피하여 부분 공간이 명확한 성별 구분을 반영하도록 한다.
3. 편향 평가: 저자들은 통제된 문장 템플릿에서 직업 용어 임베딩을 학습된 성별 부분 공간에 투영한다. 템플릿 구조는 [목표] 는 [속성] 입니다 (예: "그녀는 배관공입니다") 이다.
   • 변수: 연구는 목표 성별 (남성/여성), 속성의 형태론적 표지 (중립/표지 없음 대 여성 접미사), 그리고 고정관념 정렬 (노동력 통계 기반의 고정관념 지지 대 고정관념 반대를) 을 체계적으로 변화시킨다.
   • 지표: 투영된 직업 임베딩이 모델의 기본 통계적 연관성이 아닌 문장 문맥 (목표) 이 지시하는 성별과 일치하는지 확인하여 정확도를 측정한다.

주요 결과
분석은 성별 표현의 형성과 행동에 관한 네 가지 주요 발견을 도출한다:

1. 선형 분리의 출현: 임베딩 공간에서 성별 정보는 약 20 에포크 경에 명확하게 선형적으로 분리 가능해진다. 정확도는 꾸준히 상승하지만 0.92 바로 위에서 정체되며, 이는 성별이 훈련 초기 단계에서 학습된 표현의 안정적인 특징임을 나타낸다.
2. 성별 정보의 분포: 단일 '성별 단위'라는 아이디어와 달리, 성별 정보는 여러 임베딩 차원에 분산되어 있다. 그러나 분포는 비대칭적이다:
   • 남성 표현은 많은 차원에 확산되어 인코딩되어 견고한, 표지되지 않은 기본값으로 기능한다.
   • 여성 표현은 더 작고 구체적인 차원 하위 집합에 집중된다.
3. 문맥 대체의 실패: 명시적 문맥 단서는 종종 학습된 사전 확률을 대체하지 못한다. 고정관념 반대 문맥 (예: "그녀는 배관공입니다") 에서 직업에 대한 모델의 내부 표현은 문맥적 여성 단서보다 고정관념적 남성 성별과 훨씬 더 자주 정렬된다. 고정관념적 짝짓기는 82.5% 의 정확도로 예측되는 반면, 고정관념 반대 짝짓기는 43.7% 로 떨어진다.
4. 형태론적 표지의 우세: 모델은 문맥 정보를 통합하기보다 표면 수준의 형태론적 단서에 크게 의존한다. 직업에 명시적 여성 접미사가 있는 경우 (예: verpleegster), 표현은 고정관념 반대 문맥에서도 높은 정확도 (83%) 로 여성 부분 공간과 정렬된다. 그러나 속성이 형태론적으로 중립적인 경우 (예: verpleger), 대상이 명시적으로 여성일지라도 모델은 남성 해석으로 기본값을 설정한다.

주요 기여

• 체크포인트 수준 분석: 이 작업은 트랜스포머 기반 아키텍처에서 성별 정보가 어떻게 출현하는지에 대한 통제된 체크포인트 수준 조사 중 하나를 제공하며, 순환 모델 (LSTM) 에 대한 이전 연구를 현대 BERT 모델로 확장한다.
• 문맥적 부분 공간 투영: 저자들은 투영 기반 부분 공간 분석을 문맥적 설정에 적응시켜, 통제된 문장 템플릿과 결합하여 명시적 성별 단서와 학습된 성별 함의 사이의 상호작용을 직접 측정한다.
• 형태론적 성별에 대한 통찰: 네덜란드어를 사용함으로써, 연구는 직업 용어가 형태론적으로 표지되지 않을 때 강한 명시적 여성 단서 (대명사) 조차도 고정관념적 기본값에 의해 대체될 수 있음을 보여준다. 이는 문법적 성별과 사회적 고정관념이 복잡하게 상호작용하는 언어에서 편향의 특정 과제를 강조한다.
• 기작적 기준선: 이 발견은 구조적 성별 편향이 어떻게 형성되고 안정화되는지 이해하기 위한 기준선을 확립하며, 이러한 모델에서의 '문맥화'가 고정관념 반대 시나리오에서 명시적 단서를 신뢰할 수 있게 반영하기에 성별 방향을 따라 충분히 역동적이지 않음을 시사한다.

의의 및 주장
본 논문은 문맥 임베딩이 단어 표현을 조정하기 위해 지역적 단서를 강력하게 통합한다는 가정을 결과들이 도전한다고 주장한다. 대신 저자들은 네덜란드어 BERT 모델의 경우, 문맥적 단서가 내부 사전 확률과 형태론적 표지에 의해 자주 가려진다고 논증한다. '남성 기본값' 행동은 훈련 데이터에서 표지되지 않고 역사적으로 남성인 형태가 일반적 용어로 기능하여 남성 코딩 표현에 구조적 이점을 만들기 때문에 지속된다.

저자들은 모델이 성별을 구별하는 법을 배우지만, 기존 비대칭을 강화하는 방식으로 그렇게 한다고 결론 내린다. 즉, 남성은 확산된 기본값인 반면, 여성은 명시적 형태론적 접미사가 필요할 때만 신뢰할 수 있게 인코딩되는 표지된 집중 신호이다. 결과적으로 이러한 표현에 의존하는 응용 프로그램 (번역이나 공동 참조 해결 등) 은 입력이 명시적으로 반대하더라도 성별 고정관념을 재생산할 수 있다. 논문은 겸손하게 이러한 결론이 프로브가 포착한 표현 수준에 국한되며 하류 작업 성능을 직접 측정하지는 않지만, 다국어 NLP 에서 편향 형성 기작에 대한 중요한 통찰을 제공한다고 언급한다.