1. 문제 정의 (Problem)

기계 번역 품질 추정 (Quality Estimation, QE) 은 참조 번역 (reference translation) 없이 기계 번역 (MT) 출력의 품질을 자동으로 평가하는 기술입니다. 그러나 최근 연구들은 기존 QE 모델들이 성별 편향 (Gender Bias) 을 체계적으로 내포하고 있음을 지적합니다.

• 성별 모호한 경우 (Gender-Ambiguous): 소스 문장에 성별 정보가 명시되지 않았음에도 불구하고, QE 모델은 남성형 번역에 대해 여성형 번역보다 높은 점수를 부여하는 경향이 있습니다.
• 성별 명시적인 경우 (Gender-Explicit): 소스 문장에 여성형이 명시적으로 요구됨에도 불구하고, QE 모델은 남성형 번역을 더 선호하거나 (선호 역전, Preference Inversion), 성별 불일치 번역에 더 높은 점수를 주는 오류를 범합니다.
• 영향: 이러한 편향은 모델 선택, 데이터 필터링, 배포 모니터링 등 QE 점수에 의존하는 하위 의사결정 과정에 불공정함을 초래하며, 사회적 성별 고정관념을 재생산하는 결과를 낳습니다.

2. 제안 방법론: FairQE (Methodology)

저자들은 기존 QE 모델의 강점을 유지하면서 성별 편향을 보정하는 FairQE라는 다중 에이전트 (Multi-Agent) 기반 프레임워크를 제안합니다. FairQE 는 크게 4 단계의 워크플로우와 5 개의 에이전트로 구성됩니다.

2.1 주요 구성 요소 및 단계

1. 성별 단서 감지 (Gender Cue Detection):
   • Agentcue (LLM 기반): 소스 - 타겟 문장 쌍에서 성별 관련 언어적 단서 (Cues) 를 탐지합니다.
   • 카테고리: 성별 모호 (Ambiguous) 와 성별 명시 (Explicit) 로 분류되며, 12 가지 세부 카테고리 (대명사, 직업명, 호칭 등) 로 세분화됩니다.
2. 성별 반전 변형 생성 (Gender-Flipped Variant Generation):
   • 탐지된 단서를 바탕으로 원본 번역의 성별을 반전시킨 대안 번역 (여성형, 남성형, 중립형) 을 생성합니다.
   • Agentamb: 성별 모호한 경우, 모든 유효한 성별 실현 (F, M, N) 을 생성합니다.
   • Agentexp: 성별 명시적인 경우, 소스 제약 조건에 부합하는지 확인하고 대안 변형을 생성합니다.
3. 이중 스트림 품질 추정 (Dual-Stream Quality Estimation):
   • Quantitative Scoring (Agentqe): 기존 전통적인 QE 모델 (예: COMETKiwi, MetricX) 을 사용하여 원본 및 생성된 변형 번역에 대한 정량적 점수를 산출합니다.
   • Bias-Mitigating Reasoning (Agentuqe, LLM 기반): 생성된 변형과 성별 단서를 분석하여 편향을 감지하고 논리적 추론을 통해 편향 제거 점수 ($q_{uqe}$) 를 도출합니다.
     • 모호한 경우: 성별 실현 간 점수 일관성을 검증합니다.
     • 명시적인 경우: 소스 제약 조건 준수 여부를 검증합니다.
4. 동적 편향 인지 점수 집계 (Dynamic Bias-Aware Aggregation):
   • 전통적 QE 점수 ($q_{orig}$) 와 LLM 기반 편향 제거 점수 ($q_{uqe}$) 를 결합합니다.
   • 편향 점수 ($B$) 계산: 성별 변형 간 점수 변동성 (모호한 경우) 또는 제약 위반 시점 (명시적인 경우) 을 기반으로 편향 정도를 수치화합니다.
   • 가중치 조정: 편향 점수가 높을수록 LLM 기반 추론의 가중치를 높이고, 편향이 낮을 때는 전통적 QE 모델의 정밀도를 우선시하는 소프트 게이팅 (Soft-gating) 메커니즘을 적용하여 최종 점수 ($q_{final}$) 를 산출합니다.

3. 주요 기여 (Key Contributions)

• 공정성 인식 다중 에이전트 프레임워크: 성별 모호 및 명시적 시나리오를 모두 포괄하여 번역 품질을 공정하게 추정하는 새로운 프레임워크를 제안했습니다.
• 편향 인지 동적 집계 메커니즘: 성별 반전 변형 (Gender-flipped variants) 을 생성하여 편향을 정량화하고, 이를 QE 점수 산출 과정에 동적으로 통합하는 방식을 고안했습니다.
• 모델 중립성 (Model-Agnostic): 기존 QE 모델 (백본) 과 LLM 을 결합하여 다양한 QE 아키텍처에 적용 가능한 범용 솔루션을 제공합니다.

4. 실험 결과 (Results)

저자들은 다양한 성별 편향 평가 설정과 WMT 2023 메트릭 공유 태스크 (MQM 기반) 를 통해 FairQE 를 평가했습니다.

• 성별 편향 완화:
  • 성별 모호 (여성 vs 남성): 기존 모델들은 남성형에 치우친 점수 (비율 < 1) 를 보였으나, FairQE 는 대부분의 언어 쌍에서 1 에 가까운 비율을 달성하여 성별 균형을 회복했습니다.
  • 성별 모호 (중립 vs 성별화): 기존 모델은 불필요한 성별 부여를 선호했으나, FairQE 는 중립적 번역을 더 선호하도록 개선되었습니다.
  • 성별 명시: 성별 제약 조건을 위반하는 번역에 대해 기존 모델이 높은 점수를 주는 오류를 FairQE 가 효과적으로 수정하여 정확도를 크게 향상시켰습니다 (예: COMETKiwi 22 대비 18.7%p 향상).
• 일반 QE 성능 유지:
  • WMT 2023 메트릭 태스크 (EN-DE) 에서 FairQE 는 시스템 레벨 및 세그먼트 레벨 정확도에서 기존 강력한 베이스라인 (COMETKiwi 23 XL, MetricX 24 등) 을 능가하거나 경쟁력 있는 성능을 보였습니다.
  • 편향 완화와 평가 정확도 사이의 트레이드오프 없이 두 가지 목표를 동시에 달성함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 편향 없는 평가의 실현: QE 모델의 성별 편향을 완화하면서도 평가 정확도를 희생하지 않는 것이 가능함을 실증적으로 증명했습니다.
• 실용적 적용 가능성: 플러그 앤 플레이 (Plug-and-play) 방식으로 기존 QE 모델에 쉽게 적용 가능하며, 오프라인 평가 및 분석 프레임워크로서 신뢰할 수 있는 번역 평가 환경을 조성합니다.
• 사회적 영향: 기계 번역 평가 과정에서의 공정성을 높여, 성별 고정관념을 재생산하지 않는 포용적인 언어 사용과 기술 발전에 기여합니다.

이 논문은 기계 번역 품질 평가의 공정성 문제를 해결하기 위한 체계적인 방법론을 제시하며, 향후 LLM 기반 평가 시스템의 편향 완화 연구에 중요한 이정표가 될 것으로 기대됩니다.