Voice, Bias, and Coreference: An Interpretability Study of Gender in Speech Translation

"목소리, 편향, 그리고 코레퍼런스: 음성 번역에서 성별에 대한 해석 가능성 연구"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

음성 번역 (ST) 시스템은 텍스트 기반 기계 번역 (MT) 과 구별되는 고유한 성별 편향 문제에 직면해 있습니다. 텍스트 시스템이 언어적 맥락에 의존하는 반면, ST 시스템은 화자의 사회인구학적 속성 (성별 포함) 을 드러내는 음향적 단서 (예: 피치, 포먼트) 를 포함하는 오디오를 처리합니다.

• 핵심 쟁점: 성별 중립 언어 (예: 영어) 에서 문법적 성별을 가진 언어 (예: 스페인어, 프랑스어, 이탈리아어) 로 번역할 때, ST 모델은 화자를 지칭하는 용어에 성별을 할당해야 합니다 (예: "I have become a student"를 diventato 대 diventata로 번역).
• 위험 요소: 모델은 다음에 의존하여 화자의 성별을 잘못 판단할 수 있습니다:
  1. 훈련 데이터 불균형: 편향된 말뭉치로 인해 남성형으로 기본값을 설정합니다.
  2. 음향적 가정: 음성의 특성 (예: 낮은 피치를 남성으로 간주) 을 기반으로 성별을 잘못 추론합니다.
• 간극: ST 모델이 이러한 결정을 내리기 위해 음향 정보를 어떻게 활용하는지, 혹은 특정 음향 특징 (예: 피치) 이나 언어적 코레퍼런스에 의존하는지에 대해서는 잘 이해되지 않고 있습니다.

2. 방법론

저자들은 세 가지 언어 쌍 (영어 $\to$ 스페인어, 프랑스어, 이탈리아어) 에 걸쳐 ST 모델의 의사결정 과정을 해부하기 위해 다면적인 해석 가능성 접근법을 사용합니다.

A. 데이터셋 및 모델

• 데이터: 성별 중립 용어를 포함하여 성별이 필요한 번역이 요구되는 영어 음성과 화자의 자기 보고 성별이 표기된 벤치마크인 MuST-SHE.
• 모델: 투명한 훈련 데이터 분석을 보장하기 위해 MuST-C 말뭉치로 훈련된 두 가지 아키텍처:
  1. Transformer(Wang et al., 2020): 다국어 인코더 - 디코더.
  2. Conformer(Papi et al., 2024): Transformer 디코더를 갖춘 단일 언어 Conformer 인코더.

B. 분석 기법

1. 훈련 데이터 빈도 분석:
   • 훈련 말뭉치 내 성별 용어의 빈도와 모델의 생성 선호도를 비교합니다.
   • 목표: 모델이 단순히 용어별 훈련 통계를 암기하는지 아니면 더 넓은 패턴을 학습하는지 확인합니다.
2. 내부 언어 모델 (ILM) 근사:
   • 인코더의 오디오 출력을 제로 벡터로 대체하여 디코더의 동작을 격리합니다.
   • 목표: 입력 오디오와 무관하게 디코더의 고유한 편향 (학습된 언어 패턴) 을 측정합니다.
3. 대조적 특징 귀속:
   • **Conti et al. (2025)**의 방법을 사용하여 입력 스펙트로그램에 대한 중요도 맵 (saliency maps) 을 생성합니다.
   • 메커니즘: 스펙트로그램의 세그먼트를 체계적으로 마스킹하여 남성형 대 여성형 생성 확률의 변화를 관찰합니다.
   • 검증: 특정 특징을 가리면 성별 예측이 바뀌는 "반전 (flipped)" 사례를 식별하여 입력 특징과 출력 간의 인과 관계를 확립합니다.

3. 주요 결과

A. 훈련 데이터 대 모델 행동

• 발견: 모델은 훈련 데이터의 용어별 성별 연관성을 단순히 복제하지 않습니다.
• 증거: 훈련 데이터는 남성 편향 (약 68–71% 빈도) 을 보이지만, 모델은 특정 용어에 대해 덜 빈번한 성별을 자주 예측합니다 (예: 스페인어에서 여성형 예측의 87.8% 는 훈련에서 남성형이 더 빈번했던 용어에 해당).
• 결론: 모델은 개별 단어 쌍을 암기하는 대신 더 넓은 "남성 우세" 패턴을 학습합니다.

B. 내부 언어 모델 (ILM) 의 역할

• 발견: 디코더 (ILM) 는 강력한 남성 편향(Transformer 의 경우 선호도 점수 0.74–0.81) 을 보이며, 이는 종종 원시 훈련 데이터의 빈도보다 더 강합니다.
• 상호작용:
  • Transformer 모델은 음향 입력이 존재할 때 이러한 내부 편향을 자주 무효화하여, ILM 이 남성형을 선호함에도 불구하고 여성형을 성공적으로 생성합니다.
  • Conformer 모델은 ILM 에 더 크게 의존하며 음향 단서를 사용하여 편향을 무효화하는 데 어려움을 겪어 성별 정확도가 낮습니다.

C. 음향적 단서: 피치 대 포먼트

• 발견: 피치(기본 주파수, F0) 가 성별 할당의 주요 동력이라는 가정과 달리, 모델은 포먼트(F1 및 F2) 에 더 크게 의존합니다.
• 증거: 중요도 맵은 모음 정체성에 중요하고 화자 성별에 따라 변하는 350–2,500 Hz 범위 (포먼트) 에서 가장 높은 귀속 점수를 보여줍니다. 피치 범위 (80–350 Hz) 는 여전히 존재하지만 덜 우세합니다.
• 시사점: 피치만 조작하는 개입은 ST 의 성별 편향을 중화하기에 불충분합니다.

D. 코레퍼런스 메커니즘

• 발견: 성별 할당을 위한 가장 중요한 언어적 특징은 1 인칭 대명사 "I"(나)(및 "my", "me"와 같은 자기지시적 단어) 입니다.
• 메커니즘:
  • 텍스트 기반 MT 에서 모델은 모호성을 해결하기 위해 성별이 있는 대명사 (he/she) 를 사용합니다.
  • ST 에서 "I"라는 단어는 의미상 성별 중립입니다. 그러나 모델은 "I"를 앵커로 사용하여 화자 목소리의 음향적 단서를 대상 용어의 문법적 성별과 연결합니다.
  • 통계적 증명: Transformer 모델의 경우, "I"는 마스킹 시 예측이 바뀌는 "반전" 사례의 **36–46%**에서 최고 점수 단어입니다. 모든 자기지시적 단어를 포함하면 이 수치는 **43–53%**로 상승합니다.
  • 비대칭성: 이 메커니즘은 여성형 생성 시 (마스킹 시 60% 이상의 반전율) 남성형 생성 시보다 훨씬 더 중요합니다. 이는 모델이 특히 여성형 출력의 경우 기본 남성 편향을 극복하기 위해 음향적 단서를 사용함을 시사합니다.

4. 주요 기여

1. 편향 원인 분리: ST 성별 편향이 단순히 훈련 데이터 분포의 반영이 아니라, 편향된 내부 언어 모델과 음향 입력 간의 복잡한 상호작용임을 입증합니다.
2. 음향 특징 발견: ST 모델에서 성별 할당의 주요 음향 동인이 피치뿐만 아니라 **포먼트 (F1/F2)**임을 규명합니다.
3. 오디오 내 코레퍼런스: 모델이 의미상 중립인 1 인칭 대명사 ("I") 를 분산된 음향 성별 정보에 접근하는 다리로서 사용하여 효과적으로 "음향적 코레퍼런스 해결"을 수행한다는 새로운 메커니즘을 밝힙니다.
4. 아키텍처 비교: Conformer 기반 모델에 비해 Transformer 기반 ST 모델이 내부 편향을 무효화하기 위해 이러한 음향적 단서를 활용하는 데 더 능숙함을 보여줍니다.

5. 중요성 및 시사점

• 완화 전략: 훈련 데이터 재균형이나 피치 조작에만 초점을 맞춘 현재 완화 전략은 불충분할 가능성이 높습니다. 효과적인 개입은 모델이 포먼트에 의존하는 경향과 음향적 단서가 모호하거나 누락될 때 남성형으로 기본값을 설정하는 경향을 해결해야 합니다.
• 윤리적 고려사항: 이 연구는 이진 성별 기대와 일치하지 않는 음성 특성을 가진 화자의 "성별 오인" 위험을 강조합니다. 모델이 "I"와 목소리를 사용하여 성별을 추론한다는 이해는, 시스템이 목소리에서 성별을 추론하기보다 사용자가 지정한 대명사를 존중하도록 설계될 수 있음을 시사합니다.
• 향후 연구: 이 발견들은 향후 ST 시스템 (SpeechLLM 포함) 이 비이진 성별 정체성을 처리하는 능력과 피치를 넘어선 특정 음향 특징에 대한 의존도에 대해 평가되어야 함을 시사합니다.

요약하자면, 이 논문은 음성 번역 모델이 성별 모호성을 어떻게 처리하는지에 대한 세밀하고 인과적인 설명을 제공하며, 모델이 단순한 피치 감지나 훈련 데이터 암기가 아니라 1 인칭 언어적 마커에 음향적 음성 특성을 고정함으로써 작동함을 밝힙니다.