Gender Bias in MT for a Genderless Language: New Benchmarks for Basque

이 논문은 성별 중립 언어인 바스크어의 기계 번역에서 성별 편향을 평가하기 위해 'WinoMTeus'와 'FLORES+Gender'라는 새로운 벤치마크를 도입하고, 다양한 대규모 언어 모델과 번역 시스템이 남성형 표현을 선호하는 편향을 보인다는 사실을 규명했습니다.

핵심

이 논문은 **"성별 중립 언어인 바스크어 (Basque) 를 번역할 때, 인공지능 (AI) 이 어떻게 성별 편견을 드러내는지"**를 연구한 내용입니다.

쉽게 비유하자면, **"성별이 없는 언어를 성별이 있는 언어로 번역하는 AI 가, 마치 '남자'가 default(기본값) 인 세상에서 자란 것처럼 행동한다"**는 사실을 밝혀낸 이야기입니다.

주요 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 연구의 배경: 왜 바스크어인가?

• 비유: imagine 바스크어는 '성별이 없는 투명인간' 같은 언어입니다. '의사', '간호사' 같은 직업을 말할 때 '남자 의사', '여자 의사'로 구분하지 않고 그냥 '의사'라고만 합니다. 반면, 스페인어나 프랑스어는 **'성별이 뚜렷한 안경'**을 끼고 있습니다. '의사'를 말할 때도 남자인지 여자인지 반드시 표시해야 합니다.
• 문제점: AI 는 주로 영어나 스페인어 같은 '성별이 있는 언어'로 학습했습니다. 그래서 성별이 없는 바스크어를 성별이 있는 언어로 번역할 때, AI 는 **"아마도 남자가 아닐까?"**라고 추측하며 번역을 해버립니다. 이는 실제 사회의 성별 비율과 맞지 않을 수 있습니다.

2. 연구의 도구: 두 가지 새로운 '시험지'

연구팀은 AI 의 편향을 측정하기 위해 두 가지 새로운 시험지를 만들었습니다.

① WinoMTeus (직업 편향 테스트)

• 상황: 바스크어로 "사고를 당한 의사가 간호사에게 전화를 걸었다"라고 합니다. (여기서 의사나 간호사의 성별은 모릅니다.)
• AI 의 번역: AI 가 이를 스페인어로 번역하면 어떻게 될까요?
  • 편향된 AI: "남자 의사 (El médico) 가 여자 간호사 (la enfermera) 에게 전화를 걸었다"라고 번역합니다.
  • 현실: 실제로 바스크 지역에서는 간호사 96% 가 여성입니다.
• 결과: AI 는 실제 통계와 상관없이, '의사'는 남자로, '간호사'는 여자로 고정관념을 가지고 번역했습니다. 특히 '집안일'이나 '간호' 같은 직종은 여성이 많음에도 불구하고 AI 는 여전히 '남자'로 번역하는 경향이 강했습니다.

② FLORES+Gender (번역 품질 테스트)

• 상황: 스페인어나 영어로 된 문장을 바스크어로 번역할 때, 문장의 주체가 '남자'일 때와 '여자'일 때 번역의 **품질 (정확도)**이 달라지는지 확인합니다.
• 비유: AI 가 남자에 대한 이야기를 할 때는 더 잘하고, 여자에 대한 이야기는 조금 더 어색하게 번역하는지 보는 것입니다.
• 결과: 스페인어 (성별이 뚜렷한 언어) 를 바스크어로 번역할 때, 남자 주체가 포함된 문장이 여자 주체보다 약간 더 정확하게 번역되는 경향이 있었습니다. 즉, AI 가 남자 이야기를 더 '익숙하게' 다룬다는 뜻입니다.

3. 주요 발견: AI 는 여전히 '남자 중심'입니다

• 남자 표준 (Masculine Default): AI 는 성별을 알 수 없는 경우, 무조건 '남자'로 가정하고 번역합니다. 마치 "모든 사람은 기본적으로 남자다"라고 생각하는 것과 같습니다.
• 실제 통계와의 괴리: 실제 바스크 사회에서 여성이 많은 직종 (예: 집안일, 간호, 미용 등) 을 번역할 때도 AI 는 여전히 '남자'로 번역하는 경우가 많았습니다.
• 모델의 차이: 구글 번역기나 최신 대형 AI 모델들도 이 편향을 완전히 해결하지 못했습니다. 다만, 바스크어에 특화되어 학습된 모델 (Latxa 등) 이 일반 모델보다는 조금 더 현실적인 통계를 반영했습니다.

4. 결론 및 시사점

• 핵심 메시지: AI 는 단순히 언어를 번역하는 기계가 아니라, 학습 데이터에 담긴 사회적 편견 (성차별) 을 그대로 재생산하는 거울입니다.
• 해결책: 우리는 AI 를 평가할 때 "번역이 정확한가?"만 보면 안 됩니다. **"여기서 '남자'로 번역한 게 진짜 현실과 맞는가?"**를 함께 확인해야 합니다.
• 미래: 이 연구는 성별이 없는 언어를 가진 다른 나라들 (터키어, 핀란드어 등) 에도 적용될 수 있는 기준을 마련했습니다. 앞으로 AI 가 더 공정하게 작동하려면, 언어의 특징과 그 나라의 문화적 맥락 (실제 성비 등) 을 모두 고려해야 합니다.

---

한 줄 요약:

"성별이 없는 언어를 성별이 있는 언어로 번역하는 AI 는, **'남자가 기본'**이라는 편견을 가지고 있어서, 실제로는 여성이 많은 직업을 '남자'로 잘못 번역하거나, 여자 주인공의 이야기를 조금 더 어색하게 번역한다는 사실을 발견했습니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 성별 편향의 재생산: 대규모 언어 모델 (LLM) 과 기계 번역 (MT) 시스템은 학습 데이터에 내재된 성별 편향을 재생산하거나 증폭시킬 수 있으며, 이는 사회적 불평등을 심화시킵니다.
• 영어 중심의 한계: 기존 편향 평가 리소스 (WinoBias, Winogender 등) 는 대부분 영어 기반이며, 영어의 문법적 성 (grammatical gender) 과 사회문화적 맥락을 반영합니다.
• 성별 중립 언어의 부재: 바스크어 (Basque) 와 같은 성별이 없는 언어 (genderless language) 는 명사나 대명사에 문법적 성이 존재하지 않습니다. 따라서 영어와 같은 성별 표지 (gender markers) 를 활용한 기존 평가 방법은 이러한 언어에 직접 적용할 수 없습니다.
• 자원 부족: 저자원 (low-resource) 이자 성별이 없는 언어를 대상으로 한 성별 편향 평가 데이터셋과 연구가 극히 부족합니다.

2. 방법론 (Methodology)

이 연구는 바스크어와 성별이 있는 언어 (스페인어, 프랑스어, 영어) 간의 번역을 통해 편향을 평가하기 위해 두 가지 새로운 데이터셋을 제안하고 다양한 모델을 실험했습니다.

A. 제안된 데이터셋

1. WinoMTeus (Basque $\to$ Gendered Languages):

   • 기반: WinoMT 벤치마크를 바스크어로 번역 및 적응화.
   • 구조: 성별 중립적인 바스크어 직업 명사 (예: '의사', '간호사') 가 포함된 문장을 스페인어나 프랑스어로 번역할 때, 모델이 어떤 성별 (남성/여성) 을 선택하는지 분석.
   • 특징: 바스크어 직업 명사의 번역 결과와 바스크 공립 고용 서비스 (Lanbide) 의 실제 고용 통계를 비교하여 편향을 정량화.
   • 구성: 1,827 개의 문장 (78 개 직업 용어 포함), 문화적/언어적 정제 및 후편집 (post-editing) 완료.

2. FLORES+Gender (Gendered Languages $\to$ Basque):

   • 기반: FLORES+ 벤치마크 확장.
   • 구조: 스페인어 (강한 성별 표지) 와 영어 (약한 성별 표지) 의 원문을 남성형과 여성형으로 대조적으로 변형 (contrastive pairs) 하여 바스크어로 번역.
   • 목적: 원문의 성별 정보가 번역 품질 (Translation Quality) 에 영향을 미치는지 분석.
   • 주석 (Annotation): 다중 성별 개체 (ME), 고유명사 (PN), 남성형의 비표지적 사용 (UM) 등 언어적 요소를 주석 처리하여 세부 분석 수행.

B. 실험 설정

• 평가 대상 모델:
  • 범용 LLM (Latxa 3.1, Llama 3.1, GPT-5, Claude 4 Sonnet, DeepSeek-V3.2 등)
  • 오픈 소스 MT 모델 (MADLAD-400, NLLB-200, SalamandraTA, HiTZ Center 모델)
  • 상용 번역 서비스 (Google Translate, Elia, Batua, Itzuli)
• 평가 지표:
  • WinoMTeus: 실제 통계와의 상관관계 (Pearson correlation), GRAPE (Gender RAtion Probabili-tiEs) 지수 (편향의 방향과 강도 측정).
  • FLORES+Gender: chrF++, TER (Translation Edit Rate) 를 통한 번역 품질 비교 및 통계적 유의성 검정 (paired approximate randomization test).

3. 주요 결과 (Results)

A. 직업 번역에서의 성별 편향 (WinoMTeus)

• 남성형 우세: 모든 평가 모델이 성별 중립적인 직업 명사를 번역할 때 남성형 (masculine forms) 을 체계적으로 선호했습니다.
• 현실과의 괴리: 실제로 여성 비율이 매우 높은 직업 (예: 가정부 96.5%, 재봉사 92.7%) 이 번역될 때조차 모델들은 남성형으로 번역하는 경향이 강했습니다.
• 상관관계: 일부 모델 (GPT-5, NLLB-200, Latxa 3.1 70B) 은 실제 고용 통계와 moderate(중간 정도) 한 양의 상관관계를 보였으나, 전반적으로 남성형의 기본값 (default) 현상이 뚜렷했습니다.
• 모델 차이: 번역에 특화된 모델 (NLLB, SalamandraTA 등) 이 범용 LLM 보다 실제 통계와 더 잘 일치하는 경향이 있었습니다.

B. 번역 품질에 미치는 성별 영향 (FLORES+Gender)

• 스페인어 $\to$ 바스크어: 남성형 원문을 바스크어로 번역할 때 여성형 원문보다 약간 더 높은 번역 품질을 보이는 경향이 있었습니다. 특히 '비표지적 남성형 (generic masculine, 예: los investigadores)'이 포함된 문장에서 두드러졌습니다.
• 영어 $\to$ 바스크어: 영어는 성별 표지가 약하므로 스페인어만큼 명확한 편향 패턴은 보이지 않았으며, 모델에 따라 남성형 또는 여성형 중 하나가 우세한 결과가 혼재되었습니다.
• 통계적 유의성: 대부분의 경우 차이는 작고 통계적으로 유의미하지 않았으나, 일부 모델 (Batua 등) 은 남성형 문장에서 유의미하게 높은 점수를 기록했습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 도입: 성별이 없는 언어 (바스크어) 를 대상으로 한 최초의 체계적인 성별 편향 평가 데이터셋 (WinoMTeus, FLORES+Gender) 을 공개했습니다.
2. 실제 통계와의 연계: 직업 번역 결과와 실제 노동 시장 통계 (Lanbide) 를 직접 비교하여 모델의 편향이 현실 세계의 불평등을 어떻게 반영하거나 왜곡하는지 정량화했습니다.
3. 다국어 및 다방향 평가: 성별 중립 언어에서 성별 언어로의 번역, 그리고 그 반대 방향의 번역을 모두 평가하여 편향의 양상을 다각도로 분석했습니다.
4. 저자원 언어 연구 확장: 영어 중심의 편향 연구 패러다임을 탈피하여, 유럽의 소수 언어이자 성별이 없는 언어의 맥락에서 편향 문제를 조명했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 편향의 뿌리: 현재 MT 및 LLM 시스템은 성별 중립적인 입력이 주어지더라도 학습 데이터의 빈도와 문법적 관습 (남성형이 비표지적 기본값인 경우) 에 따라 남성형을 우선시하는 깊은 편향을 가지고 있음을 확인했습니다.
• 평가의 필요성: 단순히 번역 품질만 평가하는 것을 넘어, 언어의 문법적 특징 (성별 유무) 과 사회문화적 맥락 (직업별 성별 분포) 을 고려한 평가 방법론의 개발이 시급함을 강조했습니다.
• 미래 방향: 이 연구는 저자원 언어와 성별 중립 언어를 위한 공정한 AI 개발을 위한 기초를 마련했으며, 향후 다양한 사회문화적 맥락에서의 편향 패턴 비교 및 편향 완화 (bias mitigation) 훈련을 위한 중요한 자원으로 활용될 것입니다.

이 논문은 기계 번역 시스템이 단순히 언어를 변환하는 것을 넘어, 사회적 고정관념을 어떻게 재생산하는지를 성별이 없는 언어라는 독특한 관점에서 규명했다는 점에서 의의가 큽니다.