Prosodic ABX: A Language-Agnostic Method for Measuring Prosodic Contrast in Speech Representations

1. 문제 제기 (Problem)

• 배경: wav2vec 2.0, HuBERT 와 같은 자기지도 학습 음성 모델 (S3M, Self-Supervised Speech Models) 은 음소 (phonemic) 대비에 매우 민감한 것으로 알려져 있으며, 이를 이산화하여 음성 기반 언어 모델을 구축하는 데 성공했습니다.
• 한계: S3M 이 음소 정보를 잘 포착한다는 사실은 입증되었으나, 억양 (Prosody) 정보 (강세, 피치 억양, 어조 등) 에 대한 민감도는 직접적으로 측정되지 않았습니다.
• 필요성: 기존 프로빙 (Probing) 연구들은 억양 정보가 S3M 표현 공간에 존재함을 보여주지만, 이것이 거리 기반 작업 (클러스터링, 발화 비교 등) 에 있어 얼마나 '뚜렷 (prominent)'하게 반영되는지는 확인하지 못했습니다. 또한, 기존 프로빙 방법은 레이블이 필요하고 시간 소모가 크며, 평균 풀링 (mean pooling) 을 사용하여 시계열적 억양 패턴을 왜곡할 수 있습니다.

2. 방법론 (Methodology)

저자들은 음소 대비 측정에 사용되던 ABX 태스크를 억양 분석에 적용할 수 있도록 확장한 Prosodic ABX 프레임워크를 제안했습니다.

• 핵심 개념 (Prosodic Minimal Pairs):
  • A 와 B: 동일한 음소 시퀀스와 화자를 가지지만, 의미적 대비를 일으키는 다른 억양 패턴을 가지는 발화 (예: 영어 명사/동사 강세, 일본어 피치 억양, 중국어 성조).
  • X: A 와 동일한 억양 패턴을 가진 다른 화자의 발화.
  • 목표: 모델이 A 와 X 를 더 가깝게 인식하고 (A 와 B 는 더 멀게), B 와 X 를 더 멀게 인식하는지 확인합니다.
• 측정 지표:
  • DTW (Dynamic Time Warping): 평균 풀링 대신 DTW 를 사용하여 시계열 구조를 보존하면서 두 발화 간의 거리를 계산합니다. 이는 억양의 시간적 변형을 허용하면서도 국소적인 패턴 차이를 포착하는 데 적합합니다.
  • ABX 점수: $d(R_A, R_X) < d(R_B, R_X)$ 일 때 1 점, 그 외 0 점 (또는 0.5 점) 으로 계산하며, 이를 오류율 (Error Rate) 로 변환하여 보고합니다.
• 데이터셋 구축:
  • 영어: 명사/동사 강세 대비 (15 쌍) 를 포함한 최소 10 명의 원어민 화자 녹음 및 TTS 데이터.
  • 일본어: 피치 억양 대비 (23 쌍) 를 포함한 최소 10 명의 원어민 화자 녹음 및 TTS 데이터.
  • 중국어: 성조 대비 (2310 쌍) 를 포함한 기존 코퍼스 (MCAE) 및 TTS 데이터.
  • 특징: 레이블이 없는 소량의 예시만으로 평가가 가능하며, 언어에 구애받지 않는 (Language-Agnostic) 방법론입니다.

3. 주요 기여 (Key Contributions)

1. Prosodic ABX 프레임워크 제안: S3M 표현 공간 내의 억양 대비를 측정하기 위한 훈련 불필요 (training-free) 인 평가 방법론을 처음 제안했습니다.
2. 최초의 공개 억양 최소 쌍 데이터셋: 영어 (강세) 와 일본어 (피치 억양) 에 대해 읽기 문장에서 추출된 청결한 최소 쌍 (minimal pairs) 녹음 데이터를 구축하고 공개했습니다.
3. 광범위한 실험 및 검증: 17 가지 S3M 모델과 다양한 층 (layer) 을 대상으로 영어, 일본어, 중국어에서 실험을 수행하고, 인간 청취자 성능과 비교했습니다.

4. 실험 결과 (Results)

• S3M vs 인간 성능:
  • 모든 태스크에서 S3M 은 무작위 추측 및 음향적 베이스라인 (Mel-spectrogram, MFCC) 을 크게 능가했습니다.
  • 영어 (강세): S3M 이 인간 청취자보다 더 좋은 성능을 보였습니다 (인간: 29% 오류, S3M: 26% 오류). 이는 강세 단서가 복잡하고 일관성이 낮아 인간이 혼동하기 쉽기 때문으로 분석됩니다.
  • 일본어 (피치 억양) 및 중국어 (성조): 인간 청취자가 최상위 S3M 모델보다 더 우수한 성능을 보였습니다 (일본어: 인간 9% vs 모델 19%, 중국어: 인간 2% vs 모델 5%).
  • 상관관계: 인간이 구분하기 쉬운 쌍은 S3M 모델에서도 쉽게 구분되었으며, 오류율 간에 강한 상관관계 ($r=0.94$) 가 관찰되었습니다.
• 합성 음성 (TTS) 의 활용 가능성:
  • 일본어와 중국어에서는 자연음과 합성음 간의 층별 성능 상관관계가 매우 높았으며 ($r=0.93$), 모델 순위도 잘 보존되었습니다.
  • 영어 (강세) 의 경우 상관관계가 다소 낮았으나, 여전히 실용적인 프록시 (proxy) 로 사용 가능함이 입증되었습니다.
• 맥락 내 (In-context) vs 맥락 외 (Out-of-context):
  • 실제 연속 음성을 처리하는 맥락 내 환경에서 모델 성능이 더 좋았으며, 이는 인간의 지각이 외부 억양 단서에 의해 향상되는 현상과 일치합니다.
  • 중요한 점은 맥락 외 (단어 단위) 평가 결과가 맥락 내 평가의 모델/층 순위와 높은 상관관계를 보였다는 것입니다. 이는 데이터가 부족한 언어에서도 맥락 외 데이터를 이용해 모델을 선택할 수 있음을 의미합니다.
• 언어 간 상관관계: 한 언어의 억양 대비에 민감한 모델은 다른 언어의 억양 태스크에서도 좋은 성능을 보이는 경향이 있었습니다.

5. 의의 및 결론 (Significance)

• 실용적 평가 도구: Prosodic ABX 는 레이블이 필요 없고 소량의 데이터로 S3M 의 억양 민감도를 신속하게 평가할 수 있는 강력한 도구입니다.
• 모델 및 층 선택 가이드: 특정 억양 태스크 (클러스터링, 발음 피드백 등) 에 적합한 모델과 최적의 층 (layer) 을 선택하는 데 신뢰할 수 있는 지표로 활용될 수 있습니다.
• 저자원 언어 적용 가능성: 데이터가 제한적이거나 없는 언어에서도 합성 음성이나 맥락 외 데이터를 통해 모델을 평가하고 선택할 수 있음을 보여주었습니다.
• 이론적 통찰: S3M 이 억양 정보를 표현 공간의 기하학적 구조에 명확하게 인코딩하고 있음을 입증하여, 음성 표현 학습의 이해를 심화시켰습니다.

이 논문은 자기지도 학습 음성 모델이 단순히 음소뿐만 아니라 복잡한 억양 정보까지 효과적으로 포착하고 있음을 체계적으로 증명하며, 향후 음성 처리 및 언어 학습 애플리케이션 개발에 중요한 기준을 제시합니다.