Evaluating Speech Articulation Synthesis with Articulatory Phoneme Recognition

기술 요약: 발음기 phoneme 인식으로 평가하는 발음 합성

문제 제기
음성 발음 합성, 특히 음소 시퀀스에 조건부인 성도 형태의 생성에 대한 평가는 견고하고 객관적인 품질 지표를 결여하고 있습니다. 점-대-최단-점 거리와 같은 전통적인 지표는 화자 간 및 화자 내 상당한 변이성에 의해 제한되며, 발음 위치와 같은 음소 생성의 미묘한 차이를 포착하는 데 종종 실패합니다. 또한, 이러한 지표는 기하학적 거리로는 구별되지 않을 수 있지만 시간적 안정성과 발음 정확도에서 차이가 있을 수 있는 고급 생성 모델 (예: 모델 프리 대 오토인코더 기반 시스템) 을 구별하는 데 어려움을 겪습니다. 주관적 분석은 성도 해부학 및 음향학에 대한 전문 지식이 필요하기 때문에 어렵습니다. 따라서 음향 재구성에만 의존하지 않고 음소 정보와 명료성을 더 잘 포착하는 지표가 필요합니다.

방법론
저자들은 합성된 발음 특징의 품질을 평가하기 위한 대리 지표로 음소 인식을 사용할 것을 제안합니다. 핵심 가설은 발음 데이터로 훈련된 음소 인식기가 전통적인 거리 지표보다 생성의 미묘한 차이 (예: 발음 위치) 를 더 잘 포착할 수 있다는 것입니다.

1. 데이터셋: 이 연구는 단일 여성 원어민 프랑스어 화자의 2.5 시간 음성 말뭉치를 활용하며, 실시간 MRI(RT-MRI) 이미지 (50Hz), 노이즈 제거 오디오, 그리고 수동 음소 주석을 포함합니다. 데이터셋은 훈련 (1,399 발화), 검증 (116), 테스트 (114) 세트로 분할됩니다.
2. 특징 추출:
   • 발음 특징: 10 개의 성도 발음 기관 (후두개 연골, 후두개, 하악 이, 하순, 인두, 연구개, 갑상선 연골, 혀, 상순, 성대) 의 윤곽이 추출됩니다. 이들은 2 채널, 500 차원 벡터로 연결됩니다.
   • 성대 진동 인코딩: 중앙 시상 RT-MRI 에는 성대 진동 데이터가 없으므로, 범주형 인코딩이 성대 진동 정보를 나타내어 특징 세트에 추가됩니다.
   • 합성 특징: 이 연구는 기존 문헌의 세 가지 합성기를 평가합니다.
     • 음소별 평균 윤곽: 음소당 윤곽을 평균화한 기준선.
     • 모델 프리 시스템: 명시적인 발음 모델 없이 음소 시퀀스에서 직접 형태를 생성합니다.
     • 오토인코더 기반 시스템: 오토인코더 아키텍처를 기반으로 발음 매개변수를 생성합니다.
3. 모델 아키텍처: Deep Speech 2 아키텍처 기반의 음소 인식기가 사용됩니다. 이는 500 차원 발음 입력을 80 차원으로 매핑하는 어댑터 블록, 이어지는 5 개의 잔류 합성 블록과 3 개의 순환 블록 (GRU), 그리고 선형 분류기로 끝나는 구조로 구성됩니다.
4. 훈련 및 평가:
   • 인식기는 기준선을 확립하기 위해 음향 특징 (멜 스펙트로그램) 과 실제 발음 특징 (성대 진동 인코딩 유무 포함) 으로 훈련됩니다.
   • 훈련된 인식기는 세 가지 합성기가 생성한 합성 발음 특징으로 테스트됩니다.
   • 지표: 주요 평가 지표는 Levenshtein 거리를 통해 계산된 **음소 오류율 (PER)**입니다. 또한, 모델이 학습한 특징 표현을 시각화하기 위해 t-분포 확률 이웃 임베딩 (t-SNE) 이 사용됩니다.

주요 결과

• 기준선 성능: 실제 발음 특징(성대 진동 인코딩 포함)으로 훈련된 인식기는 **21.66%**의 PER 를 달성했으며, 이는 음향 신호를 사용한 **23.30%**의 PER 와 비교 가능합니다. 이는 소스 정보의 부재에도 불구하고 발음 윤곽만으로도 음향 신호와 경쟁할 수 있는 충분한 음소 정보를 유지함을 시사합니다.
• 합성기 비교:
  • 모델 프리 시스템: 놀랍게도 이 시스템은 모든 테스트 세트 중 **가장 낮은 PER(20.59%)**을 달성하여 실제 발음 특징보다도 우수했습니다. 저자들은 이것이 합성기가 원시 MRI 데이터에 존재하는 노이즈를 필터링하여 더 깨끗한 발음을 생성하기 때문일 수 있다고 제안합니다.
  • 오토인코더 기반 시스템: 이 시스템은 모델 프리 접근법보다 높은 PER(31.69%) 를 보였으며, 이는 이전의 더 나은 발음 위치 학습 주장에도 불구하고 더 적은 음소 정보를 재현함을 나타냅니다.
  • 평균 윤곽 기준선: 예상대로 단순한 평균 윤곽 접근법은 가장 낮은 성능 (PER 43.18%) 을 보였습니다.
• 혼동 분석: 혼동 행렬은 특정 약점을 드러냈습니다. 모델 프리 시스템은 구개음, 후설음, 원순 모음에 대해 높은 삭제율을 보였는데, 이는 입술 둥글게 하기 데이터의 부재나 입술 폐쇄 근사의 어려움 때문일 가능성이 있습니다. 오토인코더 시스템은 모든 클래스에서 높은 삭제율을 보여 특정 발음 실패를 분리하기 어렵게 만들었습니다.
• 특징 임베딩: t-SNE 플롯은 성대 진동 인코딩을 추가하면 음향 특징에서는 덜 명확했던 임베딩 공간에서 발음 특징에 대해 뚜렷하고 분리 가능한 그룹이 생성됨을 보여주었습니다.

의의 및 주장
이 논문은 **자동 음성 인식 (ASR)**이 음성 발음 합성을 평가하는 실행 가능하고 효과적인 객관적 지표로 작용한다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 음소적 풍부함: RT-MRI 에서 추출된 발음 특징은 음소적으로 풍부하며, 성대 진동 인코딩과 결합될 경우 음소 인식 측면에서 음향 신호와 비교하거나 초과하는 정보를 포함합니다.
2. 구별 능력: 기하학적 거리 지표와 달리, 음소 인식은 서로 다른 생성 모델 (예: 모델 프리 시스템의 시간적 안정성과 오토인코더 기반 시스템의 구별) 을 의미 있게 구별할 수 있습니다.
3. 지각과의 정렬: 인식 오류는 합성 음성의 질적 지각 (예: 안정성과 명료성) 과 상관관계가 있어, 이전에 주관적이었던 평가에 대한 객관적 측정을 제공합니다.

저자들은 RT-MRI 데이터 수집의 높은 비용과 물류적 제약으로 인해 결과가 단일 화자에 국한됨을 지적하며 겸손한 입장을 유지합니다. 그들은 이 방법이 아직 모든 화자를 위한 보편적 해결책이라고 주장하지는 않지만, 화자 독립적 음소 인식이 향후 다화자 평가 및 합성 훈련 파이프라인에서의 암시적 화자 정규화를 위한 유망한 방향을 제시한다고 제안합니다.