ConGA: Guidelines for Contextual Gender Annotation. A Framework for Annotating Gender in Machine Translation

1. 연구 배경 및 문제 제기 (Problem)

• 성별 중립 언어와 성별 표지 언어 간의 비대칭성: 영어와 같은 성별 중립 언어 (Gender-neutral) 에서 이탈리아어와 같은 문법적 성별이 명확한 언어 (Morphologically gendered) 로 번역할 때, 기계 번역 (MT) 및 대규모 언어 모델 (LLM) 은 성별 정보가 누락된 소스 텍스트를 처리해야 하는 어려움을 겪습니다.
• 남성 중심 편향 (Male-default Bias): 소스 텍스트에 성별 단서가 없을 때, MT 시스템은 통계적으로 가장 가능성 높거나 고정관념에 기반한 선택을 하여, 종종 남성형 (Masculine form) 을 기본값으로 사용하여 번역합니다. 이는 성별 편향을 강화하고 번역의 정확성을 저해합니다.
• 평가 프레임워크의 부재: 기존 연구들은 성별 편향을 평가하기 위한 통합된 프레임워크가 부족하며, 주로 영어 중심이거나 정성적 분석에 그치는 경우가 많아, 언어 간 비교나 정량적 평가가 어렵습니다.

2. 제안된 방법론: ConGA 프레임워크 (Methodology)

이 논문은 맥락 기반 성별 주석 (Contextual Gender Annotation, ConGA) 프레임워크를 제안하며, 이는 단어 수준의 성별 주석을 위한 언어학적 근거를 바탕으로 합니다.

• 데이터셋: 기존 gENder-IT 데이터셋 (영어 - 이탈리아어 병렬 코퍼스) 을 기반으로 하며, 기존 태그를 정리하고 새로운 주석 규칙을 적용했습니다.
• 주석 전략 (Tagging Strategy):
  • 영어 (소스): 문맥적 의미에 기반한 3 가지 태그 사용:
    • <M>: 남성 (Masculine)
    • <F>: 여성 (Feminine)
    • <A>: 모호함 (Ambiguous, 성별 추론 불가)
  • 이탈리아어 (타겟): 문법적 성별 실현 (Grammatical gender realisation) 에 기반한 2 가지 태그 사용:
    • <M>, <F>: 형용사, 과거 분사, 관사 등 성별이 명시적으로 표지된 요소에 태그 적용.
    • 주석 주의: 이탈리아어에서는 모호한 경우 (<A>) 를 태그하지 않고, 성별이 명시되지 않은 상태로 둡니다. 이는 번역 과정에서 불필요하게 성별이 도입되었는지를 판단하기 위함입니다.
  • 엔티티 식별자: 문장 내 서로 다른 참조 대상 (Referent) 을 구분하기 위해 태그에 숫자 식별자 (예: <F1>, <A2>) 를 추가하여 문장 간 추적 및 정렬을 가능하게 합니다.
• 실험 설정:
  • 모델: TowerInstruct-7B (TowerLLM) 와 mBART 두 개의 대규모 언어 모델을 사용하여 영어를 이탈리아어로 번역했습니다.
  • 도구: INCEpTION 플랫폼을 사용하여 토큰 수준의 주석 및 엔티티 정렬을 수행했습니다.
  • 생성 온도: 일관된 출력을 위해 온도 (Temperature) 를 0.2 로 설정하여 할루시네이션을 최소화하고 의미적 일관성을 유지했습니다.

3. 주요 기여 (Key Contributions)

1. ConGA 프레임워크 개발: 성별 중립 소스 언어와 성별 표지 타겟 언어 간의 성별 주석을 체계화한 언어학적 가이드라인을 제시했습니다. 이는 단순한 출력이 아닌, '언어적 맥락'과 '문법적 실현'을 연결하는 정밀한 분석을 가능하게 합니다.
2. 골드 스탠다드 데이터셋 구축: ConGA 가이드라인에 따라 주석된 gENder-IT 데이터셋을 생성하여, 성별 편향 평가를 위한 신뢰할 수 있는 벤치마크를 제공했습니다.
3. 정량적 평가 지표 도입: 정밀도 (Precision), 재현율 (Recall), F1 점수를 엔티티 수준에서 계산하여 성별 보존 정확도를 측정하고, 모호한 경우 (A) 가 특정 성별 (M 또는 F) 로 어떻게 해석되는지를 분석하는 새로운 평가 방식을 제시했습니다.

4. 실험 결과 (Results)

TowerLLM 과 mBART 모델에 대한 평가를 통해 다음과 같은 결과를 도출했습니다.

• 성별별 성능 (Gender-wise Performance):
  • 두 모델 모두 남성형 (M) 을 여성형 (F) 보다 더 빈번하게 생성했습니다.
  • 정밀도 (Precision): 남성형의 정밀도는 상대적으로 낮았으나 (잘못된 남성형 생성), 여성형의 정밀도는 높았으나 생성 빈도가 낮았습니다.
  • 재현율 (Recall): 소스 텍스트에 명시된 여성형 성별을 타겟 번역에서 제대로 재현하지 못하는 경우가 많았습니다.
• 모호한 경우 분석 (Ambiguous Case Analysis):
  • 소스 텍스트가 성별 중립 (<A>) 일 때, 두 모델 모두 남성형 (A→M) 으로 해석하는 경향이 압도적으로 높았습니다.
  • A→F (모호함→여성) 비율은 매우 낮았으며, 이는 모델이 성별 정보가 없을 때 남성형을 '기본값 (Default)'으로 삼고 있음을 시사합니다.
  • 오류 (Error) vs 편향 (Bias): 성별이 명시된 경우의 오류 (M→F 등) 보다는, 모호한 경우의 편향 (A→M) 이 훨씬 더 빈번하게 발생하여 시스템의 구조적 편향을 드러냈습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 편향의 구조적 확인: 최신 LLM 기반 번역 시스템에서도 성별 편향이 해결되지 않았으며, 오히려 남성 중심의 휴리스틱이 체계적으로 적용되고 있음을 입증했습니다.
• 평가 및 완화 전략: ConGA 는 단순한 평가를 넘어, 편향을 완화하기 위한 고품질의 선호 데이터 쌍 (Preference pairs) 을 생성하여 Direct Preference Optimization (DPO) 등 모델 미세 조정 (Fine-tuning) 에 직접 활용될 수 있는 기반을 마련했습니다.
• 미래 연구 방향: 언어학적 통찰과 계산적 재현성을 결합한 이 프레임워크는 다양한 언어 간 성별 편향 평가의 표준으로 자리 잡을 수 있으며, 더 공정하고 맥락을 인지하는 다국어 NLP 시스템 개발에 기여할 것입니다.

이 연구는 기계 번역의 성별 편향 문제를 해결하기 위해 정밀한 언어학적 주석과 정량적 평가를 결합한 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.