Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal

기술 요약: 이산적 음성 토큰 서프라이절을 통한 경량 발음 평가

문제 정의
자동 발음 평가(PA)는 전통적으로 레이블이 지정된 비모어(non-native) 코퍼스나 강제 정렬(forced-aligned) ASR 모델에 의존하여 발음 우수도(Good-ness of Pronunciation, GoP) 점수를 계산합니다. 이러한 요구 사항은 상당한 장벽을 형성합니다: 학습자 데이터를 수집하는 것은 비용이 많이 들고 도메인 특화적이며, 강제 정렬은 음소 목록과 명시적인 음소 수준의 모델링을 필요로 합니다. 결과적으로, 저자원 언어, 소멸 위기 언어, 또는 특수한 구사 스타일(예: 전례 낭독)을 위한 신뢰할 수 있는 PA 시스템을 개발하는 것은 여전히 어렵습니다. 표현을 전문가 점수로 매핑하는 기존의 회귀 기반 접근 방식 역시 여전히 값비싼 비모어 훈련 데이터를 필요로 합니다.

방법론
저자들은 주로 모어(native) 음성 자원에 기반하여 작동하며, 비지도 스코어링 또는 소수의 점수가 매겨진 발화 세트를 통한 가벼운 캘리브레이션(calibration)을 지원하는 경량 프레임워크를 제안합니다. 이 시스템은 음소 목록, 강제 정렬, 학습자 오발음 레이블을 사용하지 않습니다. 파이프라인은 다음 모듈로 구성됩니다:

1. 오디오-이산-단위 (Audio-to-Discrete-Unit, Audio2DUnit):

   • 고정된 자기 지도 학습(Self-Supervised Learning, SSL) 인코더(HuBERT)가 연속 음성으로부터 프레임 수준의 표현을 추출합니다.
   • 모어 음성에 대해서만 훈련된 K-평균(K-means) 코드북이 이 임베딩을 이산적 기호 어휘($K=512$)로 양자화합니다.
   • 이를 통해 학습자의 음성을 음소 레이블에 의존하지 않고도 음향 패턴, 유창성, 운율을 포착하는 일련의 이산 토큰($t_1, \dots, t_N$)으로 변환합니다.

2. 모어 토큰 언어 모델 (Native Token Language Model, TLM):

   • 모어 음성에서 유도된 이산 토큰 시퀀스에 대해 $n$-gram 언어 모델을 훈련합니다.
   • 이 모델은 모어의 음소 배열 규칙(phonotactic prior)을 학습합니다. 추론 과정에서 모델은 토큰 서프라이절(token surprisal, $S(t_i) = -\log_2 P(t_i | t_{i-2}, t_{i-1})$)을 계산합니다. 높은 서프라이절은 모어의 음소 배열 규칙성으로부터의 이탈을 나타내며, 이는 발음 오류의 대리 지표 역할을 합니다.

3. 텍스트-이산-단위 (Text-to-Discrete-Unit, Text2DUnit) 및 정렬 (선택 사항):

   • 참조 스크립트가 있는 경우, seq2seq 모델(Text2DUnit)이 텍스트를 동일한 이산 단위 공간으로 매핑합니다.
   • **동적 시간 왜곡(Dynamic Time Warping, DTW)**은 학습자의 음향 토큰 시퀀스를 표준 텍스트 유래 토큰 시퀀스와 정렬합니다.
   • 정렬 비용은 SSL 임베딩 공간에서의 K-평균 중심점 간 L2 거리를 사용하여 계산되며, 이를 통해 음향적으로 의미 있는 비교(예: 유사한 모음 클러스터와 뚜렷한 음소 치환의 구분)가 가능해집니다.

4. 특징 추출 및 융합:

   • 서프라이절 특징: 서프라이절 표준 편차(국지적 급증 포착), 스파이크 비율(모어 유래 임계값을 초과하는 토큰의 비율), 그리고 지속 시간을 포함합니다.
   • 정렬 특징: DTW 거리(정규화된 경로 비용), 토큰 불일치율, 불일치 서프라이절 표준 편차, 그리고 가중 서프라이절 표준 편차(높은 서프라이절이 음향적 거리와 일치하는 지점의 신호를 증폭)를 포함합니다.
   • 회귀: 이러한 특징들은 단순한 릿지 회귀(Ridge regression) 모델을 통해 융합됩니다. 시스템은 비지도 방식으로 기능하거나(특징을 직접 지표로 사용), 소수의 점수가 매겨진 학습자 발화를 통해 가볍게 지도 학습(캘리브레이션)될 수 있습니다.

주요 기여

• 경량 프레임워크: 참조 텍스트의 유무와 상관없이 비지도 스코어링을 지원하며, 음소 배열 규칙을 위한 훈련에 학습자 데이터가 필요 없는 PA 시스템을 도입했습니다.
• 모어 훈련 기반 이산 특징: 음소 목록이나 강제 정렬 없이도 음소 배열의 이탈을 탐지하기 위해 모어 전용 훈련에서 유도된 토큰 서프라이절을 사용하는 방식을 제안했습니다.
• 이산 공간 정렬: 학습자와 모어 토큰을 공유된 이산 공간에서 정렬하는 텍전용 Text2DUnit–DTW 모듈을 추가하여, ASR 시스템 없이도 미세하고 오류에 민감한 특징을 도출합니다.
• 성능: 서프라이절과 정렬 특징을 결리하는 것이 오디오 전용 스코어링보다 우수하며, 표준 벤치마크에서 지도 학습 기반의 베이스라인과 경쟁력 있는 결과를 달-성함을 입증했습니다.

결과
실험은 SpeechOcean762(비모어 중국어-영어 화자) 및 L2-ARCTIC(교차 데이터셋 평가)에서 수행되었습니다.

• SpeechOcean762:

  • 비지도(Unsupervised): 텍스트 가이드 DTW 거리 단독으로 정확도(Accuracy)에서 0.633의 피어슨 상관 계수(PCC)를 달성하여, mMRT(0.60)와 같은 제로샷 베이스라인을 능가했습니다.
  • 가벼운 지도 학습(Light-Supervised): 오디오 전용 특징과 텍스트 가이드 특징을 릿지 회귀와 결합했을 때, 정확도 PCC는 0.668(100시간 모어 데이터로 훈련) 및 0.661(960시간으로 훈련)로 향상되었습니다. 이는 완전히 지도 학습된 베이스라인(예: HMamba, 0.807)에 근접하면서도 훨씬 적은 레이블 데이터를 요구합니다.
  • 특징 분석: 비지도 설정에서 DTW 거리와 불일치율이 가장 강력한 예측 변수였습니다. 서프라이절 표준 편차는 보완적인 가치를 제공했습니다.

• 일반화 성능 (L2-ARCTIC):

  • SpeechOcean762에서 훈련된 모델을 재학러닝 없이 L2-ARCTIC에 적용했을 때, 정확도 PCC 0.506을 달성했습니다.
  • 대상 데이터셋에 대한 가벼운 캘리브레이션을 통해 이를 0.527로 개선했습니다.

• 데이터 효율성:

  • 본 프레임워크는 모어 훈련 데이터가 약 960시간에서 약 100시간으로 줄어들어도 안정성을 유지했으며, 정확도 PCC 하락은 미미했습니다(0.661 vs 0.668). 이는 본 방법론이 저자원 환경에서도 효과적임을 시사합니다.

의의 및 주장
본 논문은 레이블링된 학습자 데이터가 부족하거나 사용할 수 없는 시나리오에서 실질적인 해결책을 제공한다고 주장합니다. 이산 음성 토큰과 모어 전용 훈련을 활용함으로써 강제 정렬과 음소 목록에 대한 의존성을 제거합니다. 저자들은 이 작업이 저자원 언어 및 특수 도메인을 위한 PA를 가능하게 하는 단계라고 위치시킵니다. 현재의 평가는 비모어 영어에 집중되어 있으나, 저자들은 모어 전용 훈련 설계가 비영어권 및 저자원 환경에도 유망하다는 점을 언급했습니다. 다만, 이러한 특정 환경에 대한 테스트는 향후 과제로 남겨두었습니다. 이 방법은 전통적인 지도 학습 방식에 비해 현저히 적은 계산 및 데이터 요구 사항을 가지면서도 경쟁력 있는 성능을 보여줍니다.