MOS-Bias: From Hidden Gender Bias to Gender-Aware Speech Quality Assessment

이 논문은 음성 품질 평가 지표인 MOS(평균 의견 점수) 에 존재하는 성별 편향을 체계적으로 분석하고, 남성 청취자가 여성보다 높은 점수를 부여하는 경향이 음성 품질이 낮을수록 두드러짐을 규명하며, 이를 해결하기 위해 성별별 평가 패턴을 학습하는 새로운 성별 인식 모델을 제안합니다.

핵심

🍽️ 비유: "음식 리뷰 앱의 비밀"

생각해 보세요. 어떤 식당의 음식에 대해 100 명의 사람들이 리뷰를 남겼다고 가정해 봅시다.

• 남성 리뷰어들: "음, 맛은 나쁘지 않은데 좀 싱겁네. 7 점!"
• 여성 리뷰어들: "아이고, 너무 짜서 먹기 힘들어요. 5 점!"

이때 우리가 **평균 점수 (6 점)**만 보고 "이 식당은 6 점짜리 맛집이다"라고 결론 내린다면 어떨까요?
실제로는 남성들은 7 점, 여성들은 5 점을 원했던 것입니다. 평균 점수는 아무도 만족시키지 못하는 '중간' 점수가 되어버린 거죠.

이 논문은 음성 (목소리) 평가에서도 똑같은 일이 일어난다고 말합니다.

🔍 1. 발견: "남성의 귀는 더 관대하다?"

연구진들은 수천 개의 음성 샘플을 남성과 여성에게 들려주고 점수를 매기게 했습니다. 결과는 놀라웠습니다.

• 남성 평가자: 여성 평가자보다 항상 더 높은 점수를 매겼습니다.
• 품질에 따른 차이:
  • 매우 나쁜 소리 (고장 난 라디오 소리): 남성은 "그래도 들을 만하네 (7 점)"라고 했지만, 여성은 "도저히 못 듣겠다 (5 점)"라고 했습니다. 격차가 가장 컸습니다.
  • 아주 좋은 소리 (CD 음질): 둘 다 "완벽해 (9 점)"라고 했습니다. 격차가 거의 사라졌습니다.

핵심: 남성과 여성은 소리의 '나쁨'을 느끼는 기준이 달랐고, 특히 나쁜 소리를 평가할 때 그 차이가 극명했습니다.

⚠️ 2. 문제: "AI 가 남성의 기준을 따라 배운다"

지금까지 인공지능 (AI) 은 이 '평균 점수'를 보고 학습했습니다. 그런데 문제는 이 평균 점수가 사실상 '남성의 기준'에 더 가깝게 만들어졌다는 것입니다.

• 왜? 데이터에 여성이 더 많았음에도 불구하고, 남성의 점수 편향이 평균을 끌어올렸기 때문입니다.
• 결과: AI 는 "남성이 좋다고 느끼는 소리"를 '좋은 소리'로 학습하게 되었습니다.
• 비유: 마치 남성들이 좋아하는 매운맛을 기준으로 만든 '매운맛 점수판'을 여성들이 사용하면서, "이건 매운 게 아니야"라고 느껴지지만 AI 는 "아니, 이거 매운 거야 (남성 기준)"라고 말하는 상황과 같습니다.

💡 3. 해결책: "양쪽 귀를 모두 이해하는 AI"

연구진은 이 문제를 해결하기 위해 성별을 고려하는 새로운 AI를 만들었습니다.

• 기존 방식: "이 소리는 몇 점일까?" (단 하나의 정답만 찾음)
• 새로운 방식:
  1. 평균 점수: "대체로 몇 점일까?"
  2. 남성용 점수: "남성들이 들으면 몇 점일까?"
  3. 여성용 점수: "여성들이 들으면 몇 점일까?"

창의적인 비유:
이 AI 는 한 명의 요리사가 두 가지 다른 입맛 (매운맛, 싱거운맛) 을 동시에 이해하는 능력을 기른 것과 같습니다.

• 직접 "남자/여자"라는 라벨을 붙여주지 않아도, AI 는 데이터 속에서 스스로 "아, 이 패턴은 남성들이 좋아하고, 저 패턴은 여성들이 싫어하는구나"라고 스스로 발견해 냅니다.

🏆 4. 성과: "모두가 만족하는 평가"

이 새로운 AI 는 기존 AI 보다 훨씬 정확해졌습니다.

• 전반적으로: 소리의 품질을 더 잘 판단했습니다.
• 구체적으로: 남성에게도, 여성에게도 각각의 기준에 맞는 점수를 더 정확하게 예측해 냈습니다.

📝 요약: 이 논문이 우리에게 주는 메시지

1. 편견은 숨어있다: 우리가 "중립적"이라고 믿는 평균 점수에도, 특정 성별의 기준이 숨어있을 수 있습니다.
2. 차이는 중요하다: 남성과 여성은 소리를 듣는 방식이 다릅니다. 특히 나쁜 소리를 평가할 때 그 차이가 큽니다.
3. 해결책: 단순히 평균을 내는 게 아니라, 서로 다른 관점 (성별) 을 모두 고려하는 AI를 만들어야 더 공정하고 정확한 평가가 가능합니다.

이 연구는 앞으로 AI 가 더 공정하게 세상을 평가할 수 있도록, '누구의 기준으로 평가하는가'를 다시 한번 생각해보게 만드는 중요한 계기가 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• MOS (Mean Opinion Score) 의 한계: 음성 품질 평가의 표준 지표인 MOS 는 인간 청취 테스트를 기반으로 하지만, 청취자 인구통계학적 구성 (특히 성별) 에 따른 편향이 체계적으로 분석되지 않았습니다.
• 숨겨진 성별 편향: 기존의 MOS 라벨은 모든 청취자의 점수를 단순히 평균낸 것으로, 이는 성별에 따른 지각 차이를 은폐합니다. 연구진은 남성 청취자와 여성 청취자가 음성 품질을 평가하는 기준이 체계적으로 다르며, 단순 평균화가 특정 성별의 기준을 우연히 반영할 수 있음을 지적합니다.
• 자동화 모델의 편향 전파: 기존 자동 MOS 예측 모델 (MOSNet, UTMOS 등) 은 성별 정보를 입력받지 않고 평균 라벨로 학습되지만, 결과적으로 남성 청취자의 평가 기준에 더 가깝게 편향된 예측을 수행한다는 사실이 발견되었습니다.

2. 주요 방법론 (Methodology)

2.1. 데이터 및 편향 분석

• 데이터셋: BVCC (Blizzard Challenge, Voice Conversion Challenge, ESPnet-TTS 등) 데이터셋을 사용하며, 화자와 청취자의 성별 메타데이터가 포함된 유일한 대규모 데이터셋입니다.
• 편향 정량화:
  • 성별 점수 차이: 남성 청취자가 여성 청취자보다 일관되게 높은 점수를 부여함을 발견 (평균 차이 약 0.1~0.17).
  • 품질 의존성 (Quality-Dependent): 이 성별 간 격차는 음성 품질이 낮을수록 (Poor) 극대화되고, 품질이 향상됨에 따라 (Excellent) 점차 축소되는 구조를 가짐. 이는 단순한 고정된 보정 (offset) 으로 해결할 수 없는 복잡한 패턴임을 시사.
  • 통계적 검증: Welch's t-test 를 통해 모든 조건에서 성별 간 점수 차이가 통계적으로 유의미함 (p < 0.001) 을 확인.

2.2. 기존 모델의 편향 inheriting 분석

• 베이스라인: SSL-MOS 모델을 사용하여 평균 MOS 라벨로 학습.
• 평가: 학습된 모델의 예측값을 '전체 청취자', '남성 청취자', '여성 청취자'의 실제 지상 진실 (Ground Truth) 과 비교.
• 결과: 모델은 학습 시 성별 정보를 받지 않았음에도, 여성 지상 진실보다 남성 지상 진실에 훨씬 더 가까운 예측을 수행 (시스템 레벨 MSE 에서 여성 기준 대비 37.6% 더 큰 오차). 이는 평균 라벨이 암묵적으로 남성 중심의 지각 표준을 인코딩하고 있음을 증명.

2.3. 제안된 모델: 성별 인식형 (Gender-Aware) MOS 예측

• 아키텍처: SSL-MOS 기반의 병렬 구조를 도입.
  • 공유 인코더: 전체 데이터의 공통 특징을 학습.
  • 평균 분기 (Mean Branch): 전체 평균 MOS 예측.
  • 성별 분기 (Gender Branch): 성별별 MOS 예측.
• 핵심 설계 (Abstract Binary Group Embeddings):
  • 명시적인 성별 레이블 (Male/Female) 을 직접 입력하지 않음.
  • 대신 모델이 데이터 내에서 학습하도록 이진 그룹 임베딩 (0 과 1) 을 조건부 입력으로 사용.
  • 모델 스스로가 그룹 0(여성 패턴) 과 그룹 1(남성 패턴) 을 학습하도록 유도하여, 인구통계학적 라벨 없이도 성별별 지각 패턴을 추상화.
• 학습 목표: 평균 MOS, 남성 MOS, 여성 MOS 예측을 모두 동시에 최적화하는 멀티태스크 손실 함수 (MSE 기반) 사용.

3. 주요 결과 (Results)

• 전체 예측 성능 향상:
  • 제안된 성별 인식 모델은 전체 청취자 (All Listeners) 기준으로도 베이스라인보다 성능이 향상됨 (Utterance-level LCC: 0.853 → 0.862, MSE: 0.290 → 0.239).
  • 이는 보조적인 성별 예측 태스크가 주 예측 분기에 보완적인 학습 신호를 제공함을 시사.
• 성별별 예측 정확도 개선:
  • 남성 기준: LCC 0.806 → 0.817, MSE 0.372 → 0.332 로 개선.
  • 여성 기준: LCC 0.802 → 0.807, MSE 0.430 → 0.366 로 개선.
  • 특히 여성 청취자의 경우 기존 모델의 편향으로 인해 오차가 컸으나, 제안 모델을 통해 오차가 현저히 감소.
• 패턴 학습 성공: 모델은 명시적인 성별 레이블 없이도 이진 임베딩을 통해 두 그룹 간의 체계적인 지각 차이를 성공적으로 학습하고 분리해냄.

4. 주요 기여 (Key Contributions)

1. 체계적 증거 제시: 남성 청취자가 여성 청취자보다 일관되게 높은 MOS 점수를 부여하며, 이 격차가 저품질 음성에서 가장 크다는 첫 번째 체계적 증거를 제시.
2. 편향 전파 규명: 평균화된 MOS 라벨과 이를 기반으로 학습된 자동화 모델이 암묵적으로 남성 중심의 지각 편향을 계승함을 입증.
3. 성별 인식형 모델 제안: 추상적 이진 그룹 임베딩을 통해 성별별 지각 패턴을 학습하는 새로운 모델을 제안하여, 전체 및 성별별 예측 정확도를 모두 향상시킴.

5. 의의 및 결론 (Significance)

• 공정한 평가의 필요성: 음성 품질 평가 (Speech Quality Assessment) 에서 '공정성 (Fairness)'은 생성 및 인식 모델의 성능뿐만 아니라, 이를 평가하는 지표 (MOS) 자체의 편향에서도 고려되어야 함을 강조.
• 실용적 함의: 단순 평균 라벨은 특정 성별의 지각을 왜곡할 수 있으므로, 향후 MOS 라벨 보정 및 모델 학습 시 청취자 인구통계학적 요소를 명시적으로 고려해야 함.
• 미래 전망: 본 연구는 성별 편향을 완화하는 방법론 개발과 다양한 데이터셋에서의 검증을 통해, 더 공평하고 포용적인 음성 평가 관행으로 나아가는 기초를 마련함.

이 논문은 음성 처리 분야에서 평가 지표의 편향이 어떻게 생성 및 인식 모델의 공정성에 영향을 미치는지 최초로 체계적으로 분석하고, 이를 해결하기 위한 기술적 솔루션을 제시했다는 점에서 중요한 의의를 가집니다.