기술 요약: 소프트 동적 계획법을 통한 완전 미분 가능한 신경망 강제 정렬 (FALCON)

문제 정의

강제 정렬(Forced Alignment, FA)은 알려진 전사 데이터가 주어졌을 때 음성 신호 내에서 음소의 정확한 시간적 경계를 결정하는 작업이다. 최근 신경망 기반 자동 음성 인식(ASR)의 발전으로 인간 수준의 정확도를 달과 성취했지만, 전통적인 FA 시스템은 여전히 가우시안 혼합 모델-은닉 마르코프 모델(GMM-HMM) 프레임워크(예: Montreal Forced Aligner, MFA)에 크게 의존하고 있다. 이러한 고전적 시스템은 경쟁력이 있으나, 발음 사전와 자음-음소 변환(G2P)에 의존하며, 이는 표준 발음이 실제 발화와 다를 때 오류를 유발할 수 있다.

반대로, 현대의 엔드 투 엔드(end-to-end) 신경망 ASR 모델(예: wav2vec 2.0, Whisper)은 정밀한 시간적 국지화보다는 전사에 최적화되어 있다. 이들의 정렬 출력은 디코딩의 부산물인 경우가 많으며, 음소 수준의 분절에 필요한 프레임 단위의 정밀도가 부족하다. 또한, 많은 신경망 정렬 방식은 연결주의 시간적 분류(CTC)에 의리하는데, 이는 정렬 과정을 마진화(marginalize)하여 경계 위치를 명시적으로 강조하지 않는다. 따라서 음소 전이를 명시적으로 최적화하고 엔드 투 엔드로 미분 가능한 정렬을 허용하는 신경망 아키텍처가 필요하다.

방법론

제안된 시스템인 FALCON(Forced Alignment through Contrastive Optimization Networks)은 음소 경계 추정을 위해 특별히 설계된 엔드 투 엔드 방식의 완전 미분 가능한 신경망 아키텍처이다. 이 시스템은 세 가지 주요 구성 요소로 이루어진다.

1. 표현 인코더 (대조 학습)

첫 번째 구성 요소는 입력 파형을 잠재 공간(latent space)으로 매핑하는 표현 인코더($f_\theta$)이다. 표준 인코더와 달리, 이 모듈은 수정된 노이즈 대조 추정(Modified Noise Contrastive Estimation, MNCE) 손실 함수를 사용하여 학습된다.

• 목적: 안정적인 음소 내부 영역과 전이 경계 영역을 명시적으로 구분하는 것이다.
• 메커니즘: 각 프레임에 대해, 모델은 "양성(positive)" 샘플(음소의 안정적인 중심부 프레임)을 "음성(negative)" 샘플(음소 경계 근처의 프레임)과 대조한다.
• 결과: 인코더는 음소 경계가 높은 스펙트럼 불일치를 보이는 지점으로 강조되도록 잠재 특징을 학습하며, 이를 통해 전이 영역을 안정 상태(steady state)로부터 효과적으로 분리한다.

2. 컨텍스트 인코더 (언어 모델링)

두 번째 구성 요소는 양방향 LSTM(BiLSTM)으로 구현된 컨텍스트 인코더($g_\psi$)이다.

• 목적: 주변 프레임의 정보를 집계하여 시간적으로 일관된 음소 수준의 사후 확률을 생성하는 것이다.
• 메커니즘: 잠재 표현과 음소 시퀀스를 입력으로 받아, 각 프레임에 대한 올바른 음소 클래스를 예측하기 위해 프레임 단위 크로스 엔트로피 손실을 최적화한다.
• 결과: 이는 디코더에 언어적으로 일관된 확률 분포를 제공하며, 국소적인 음향 특징만으로는 모델링할 수 없는 의존성을 포착한다.

3. 미분 가능한 소프트 동적 계획법 디코더

마지막 구성 요소는 정렬 시퀀스를 예측하는 학습 가능한 디코더($h_W$)이다.

• 아키텍처: 디코더는 Soft-DTW에서 영감을 받은 소프트 동적 계획법(Soft Dynamic Programming, Soft-DP) 공식을 활용한다.
• 특징: 다음 두 가지 특징 함수를 결합한다:
  1. $\phi_1$: 잠재 공간에서의 코사인 유사도 시간 미분으로부터 유도된 음향 전이 점수 (국소적 스펙트럼 변화 포착).
  2. $\phi_2$: 컨텍스트 인코더의 음소 확률로부터 유도된 언어적 일관성 점수 (전역적 제약 조건 포착).
• 미분 가능성: 하드(hard) arg-max 연산 대신, 디코더는 온도 파라미터($\gamma$)로 스케일링된 log-sum-exp 연산자를 사용한다. 예측된 경계는 가능한 모든 경로에 대한 기대값으로 계산된다. 이를 통해 그래디언트가 정렬 과정을 거쳐 인코더로 흐를 수 있게 하여, 인코더와 디코더의 공동 엔드 투 엔드 최적화를 가능하게 한다.

주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

1. 신경망 음소 수준 아키텍처: 음소 수준에서 정렬을 수행할 수 있으며, 추가 학습 없이 단어 수준 정렬 및 미학습 언어로 일반화할 수 있는 시스템이다.
2. 수정된 노이즈 대조 추정 (MNCE): 음소 내부 영역과 전이 경계 사이의 음향적 차이를 강조하도록 설계된 새로운 손실 함수로, 경계 민감도를 향상시킨다.
3. 완전 미분 가능한 정렬: 전통적인 DP 디코딩의 비미분성을 극적으로 극복하여, 정렬 과정(디코더 포함) 전체를 엔드 투 엔드로 최적화할 수 있는 소프트 동적 계획법 체계를 제공한다.

실험 결과

모델은 영어 데이터셋(TIMIT 및 Buckeye)에서 평가되었으며, 네덜란드어, 독일어, 히브리어에 대한 제로샷 일반화 성능을 테스트하였다.

• 음소 수준 성능 (영어): FALCON은 TIMIT 및 Buckeye 데이터셋 모두에서 거의 모든 허용 오차 임계값(25ms ~ 100ms)에 대해 최첨단(SOTA)인 MFA 베이스라인을 능가했다. MFA가 10ms의 엄격한 임계값에서 약간 더 나은 성능을 보였으나, 저자들은 이것이 MFA의 특정 정밀도 최적화 때문이며, FALCON은 10ms 프레임 해상도와 최소 경계 샘플링 윈도우를 사용한다는 점을 언급했다.
• 다국어 일반화: 영어로만 학습되었음에도 불구하고, FALCON은 네덜란드어, 독일어, 히브리어에 대해 강력한 제로샷 일반화 능력을 보여주었다. MFA가 언어별 음향 모델과 사전을 요구하는 것과 달리, FALCON은 네덜란드어와 독일어에서 MFA를 크게 앞질렀으며, MFA 리소스가 존재하지 않는 히브리어에서 음소 수준 정렬을 수행할 수 있었던 유일한 방법이었다.
• 단어 수준 일반화: 추가 학습이나 미세 조정 없이, 음소 학습 모델은 영어 및 미학습 언어에서 MMS, WhisperX, NVIDIA Canary-1B와 같은 신경망 베이스라인보다 경쟁력 있는 단어 수준 정렬 결과를 달eric했다.
• 어블레이션 연구 (Ablation Studies):
  • 제안된 MNCE 손실을 표준 InfoNCE로 교체했을 때 성능이 크게 하락하여, 대조 목적 함수의 특수한 설계가 유효함을 입증했다.
  • Soft-DP 디코더를 Hard DP 또는 단순 피크 검출(peak detection)로 교체했을 때 정확도가 크게 감소하였으며, 이는 인코더와 디코더의 공동 학습을 위한 미분 가능한 결정 모듈의 중요성을 확인시켜 준다.

의의 및 주장

저자들은 이 연구가 전통적인 통계적 정렬기와 현대적인 신경망 아키텍처 사이의 간극을 메운다고 주장한다. 이 접근 방식의 의의는 다음과 같다:

• 명시적 경계 최적화: 전사에 최적화된 ASR 모델과 달리, 이 시스템은 경계 검출을 위해 명시적으로 설계되었다.
• 엔드 투 엔드 미분 가능성: 동적 계획법 단계를 미분 가능하게 만듦으로써, 음향 및 언어 인코더가 정렬 품질을 위해 직접 최적화될 수 있도록 하며, 이는 전통적인 파이프라인에는 없는 기능이다.
• 교차 언어 강건성: 모델은 언어 특화적인 음성 표현에만 의존하는 것이 아니라, 음소 전이와 관련된 보편적인 음향 단서를 포착한다. 이는 언어별 음향 모델이나 사전 없이도 저자원 언어로의 효과적인 전이를 가능하게 하며, 전통적인 FA 도구의 주요 한계를 해결한다.

본 논문은 해당 방법이 매우 엄격한 임계값(예: 10ms)에서 잠재 표현의 시간적 해상도에 의해 제약을 받을 수 있지만, 높은 정확도와 일반화 성능을 제공하면서도 고전적인 시스템의 무거운 리소스 요구 사항 없이 작동하는 신경망 강제 정렬의 중요한 진전임을 결론짓는다.