Multilingual Word-Level Forced Alignment with Self-Supervised Representations and Learned Dynamic Programming

기술 요약: 자기 지도 표현 및 학습된 동적 계획법을 이용한 다국어 단어 수준 강제 정렬

문제 정의

정확한 단어 수준의 강제 정렬(forced alignment)—오디오 신호와 텍스트 전사 사이의 정밀한 시간적 경계를 결정하는 과정—은 언어 분석 및 음성 기술(예: ASR, 합성 및 인덱싱)을 위한 기초적인 요구 사항입니다. 최근의 시퀀스 모델링 발전(예: wav2vec 2.0, Whisper)은 음성 인식을 개선했지만, 전통적인 HMM-GMM 프레임워크, 특히 Montreal Forced Aligner(MFA)는 정렬 작업에서 여전히 매우 경쟁력이 있습니다. 그러나 기존 방법들은 Grapheme-to-Phoneme(G2P) 변환 및 음소 수준의 주석과 같은 언어별 자원에 의존하는 경우가 많으며, 이는 현대의 자기 지도 모델들이 지원하는 수천 개의 언어로의 확장성을 제한합니다. 본 논문은 음소 수준의 감독이나 G2P 변환에 의존하지 않고 정확한 다국어 단어 수준 정렬을 달려하는 과제를 해결합니다.

방법론

**Multilingual Word Aligner (MWA)**라고 명명된 제안된 접근 방식은 **정렬 인코더(Alignment Encoder)**와 **학습된 정렬 디코더(Learned Alignment Decoder)**라는 두 가지 주요 구성 요소로 이루어져 있습니다. 이 시스템은 사전 학습된 모델의 표현을 정제하여 우수한 정렬 시퀀스를 생성하도록 설계되었습니다.

1. 정렬 표현 (Alignment Representations)

이 방법은 두 가지 자기 지도 표현($M=2$)을 통합합니다:

• UnSupSeg: 대조 학습(contrastive learning)을 통해 훈련된 비지도 음소 분할 모델입니다. 이는 원시 음성으로부터 직접 음소 경계를 식별하여, 단어 분할에 유익한 미세한 음향적 전이를 포착합니다.
• MMS (Massively Multilingual Speech): 특정 프레임에서 단어가 시작될 가능성을 나타내는 CTC(Connectionist Temporal Classification) 가능성으로부터 단어 수준 정렬을 도출하는 자기 지도 모델입니다. 이 표현은 UnSupSeg 특징의 시간 해상도에 맞추기 위해 업샘플링됩니다.

2. 정렬 인코더 (Alignment Encoder)

인코더($g_\theta$)는 UnSupSeg 및 MMS 모델의 정규화 및 결합된 출력을 입력으로 받습니다. 이의 목적은 단어 경계일 가능성을 나타내는 프레임에 대한 확률 분포를 예측하는 것입니다.

• 아키텍처: 저자들은 VGG, Transformer, Conformer 아키텍처를 평가했습니다. Conformer가 계산 효율성과 성능의 균형 덕분에 최적의 백본으로 선택되었습니다.
• 훈련: 인코더는 프레임이 단어 경계에 해당하는지 여부를 예측하는 이진 분류기로 훈련됩니다. 심각한 클래스 불균형(적은 경계 프레임 대비 많은 비경계 프레임) 때문에, 모델은 표준 교차 엔트로피 대신 Focal Loss를 사용하여 최적화됩니다.

3. 학습된 정렬 디코더 (Learned Alignment Decoder)

디코더($h_\psi$)는 인코더로부터 얻은 가공되지 않은 경계 확률을 최종적인 단어 시작/종료 시간 시퀀스로 정제하는 학습된 동적 계획법(DP) 모듈입니다.

• 메커니즘: 고정된 음향 모델을 사용하는 전통적인 DP와 달리, 이 디코더는 정렬 경로를 점수화하기 위해 특징 함수($\phi_n$)의 선형 결합을 학습합니다.
• 특징 함수: 디코더는 네 가지 특정 특징을 활용합니다:
  1. 경계 거리 (Boundary Distance): 후보 경계의 직전과 직후의 UnSupSeg 표현 간의 유클리드 거리 (큰 거리가 올바른 경계임을 시사한다고 가정).
  2. 전이 점수 (Transition Score): 후보 프레임에서 인코더가 출력한 가공되지 않은 경계 확률($z$).
  3. 단어 일관성 (Word Consistency): 단어 구간 내 인코더 확률의 정규화된 합 (확률이 낮은 구간에 페널티 부여).
  4. MMS 방출 가능도 (MMS Emission Likelihood): 단어를 구성하는 글자들로부터 도출된 MMS 모델의 문자 수준 방출 확률의 합.
• 최적화: DP 탐색은 최소 단어 지속 시간($L_{min}$)에 의해 제약됩니다. 디코더 파라미터는 DP 연산의 비미분적 특성으로 인해 인코더와 별도로 훈련되는 반복적인 과정을 통해 최적화됩니다.

주요 기여

1. 새로운 아키텍처: 음소 수준의 감독 없이 단어 경계를 추론하기 위해 자기 지도 표현(MMS 및 UnSupSeg)을 결합한 학습된 동적 계획법 디코더의 도입.
2. 다국어 확장성: MMS 모델의 다국어 능력을 활용하여 G2P 변환이나 언어별 훈련 데이터 없이도 언어를 정렬할 수 있는 프레임워크.
3. 성능 향상: 학습된 디코더를 통해 음소 경계 탐지(UnSupSeg)와 단어 수준 가능도(MMS)를 융합하는 것이 단일 표현을 사용하거나 전통적인 HMM-GMM 접근 방식을 사용하는 것보다 더 높은 정확도를 달임을 입증.

실험 결과

이 방법은 영어 데이터셋(TIMIT 및 Buckeye)에서 훈련 및 평가되었으며, 미학습 언어(히브리어, 네덜란드어, 독일어)에 대해 테스트되었습니다.

• 영어 성능: TIMIT 및 Buckeye 테스트 세트에서, MWA는 모든 허용 오차 임계값($t \le 10, 25, 50, 100$ ms)에서 MFA, MMS 기반 CTC 정렬, WhisperX, Nvidia-Canary-1B를 포함한 기존 베이스라인을 능가했습니다.
  • 예시 (TIMIT, $t \le 50$ ms): MWA는 MFA의 89.4%, MMS의 **75.7%**와 비교하여 **91.6%**의 정확도를 달성했습니다.
• 미학습 언어: 추가 훈련 없이 히브리어, 네덜란드어, 독일어에 적용했을 때, 모델은 기존 방식과 대등하거나 그보다 일관되게 우수한 성능을 보였습니다.
  • 독일어 PHONDAT 코퍼스에서, MWA는 특정 허용 오차 임계값(예: $t \le 50$ ms에서 84.7% vs MFA의 82.1%)에서 MFA를 넘어섰습니다.
  • 히브리어에서, MWA는 엄격한 임계값($t \le 10$ ms: 39.7% vs 14.3%)에서 MMS를 크게 앞질렀습니다.
• 모델 선택: 인코더를 위한 Conformer 아키텍처가 VGG 및 Transformer 변형보다 우수함이 증명되었으며, 특히 경계 탐지에 필요한 국소적 특징을 포착하는 데 탁월했습니다.

의의 및 주장

본 논문은 제안된 방법이 자원 효율적이고 확장 가능한 다국어 강제 정렬을 향한 중요한 단계라고 주장합니다. G2P 변환 및 음소 수준 주석에 대한 의존성을 제거함으로써, 이 접근 방식은 이론적으로 MMS 모델이 지원하는 1,100개 이상의 언어로 확장될 수 있습니다. 저자들은 이 프레임워크가 특히 전통적인 HMM-GMM 파이프라인을 구축하기 어려운 저자원 언어에 대해 MFA 툴킷의 실행 가능한 대안을 제공한다고 상정합니다. 결과는 자기 지도 표현이 학습된 동적 계획법을 통해 효과적으로 융합되고 디코딩될 때, 전통적이고 자원 집약적인 정렬 시스템의 성능과 일치하거나 이를 능가할 수 있음을 시사합니다.