⚡ electrical engineering

Voice Mapping of Text-to-Speech Systems: A Metric-Based Approach for Voice Quality Assessment

본 연구는 여섯 가지 모델을 대상으로 텍스트-음성 변환 품질을 평가하기 위한 지표 기반 음성 매핑 프레임워크를 제안하며, 음역대가 주요 능력 지표임을 밝히고 cepstral peak prominence(CPPs) 및 스펙트럼 균형과 같은 특정 지표가 자연스러운 발성 노력을 로봇 같은 인공물과 효과적으로 구분함을 드러냅니다.

원저자: Huanchen Cai, Sten Ternström

게시일 2026-05-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Huanchen Cai, Sten Ternström

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

음악 평론가가 되어 다양한 로봇이 얼마나 잘 노래하는지 평가한다고 상상해 보세요. 오랫동안 이를 평가하는 유일한 방법은 사람들로 하여금 로봇의 노래를 듣고 1 점에서 5 점까지 점수를 매기도록 하는 것이었습니다. 하지만 이 방법은 느리고 비용이 많이 들며, 때로는 사람들이 친절하게 높은 점수를 주거나 '좋은' 소리가 무엇인지에 대해 이견을 보일 수도 있습니다.

이 논문은 인간의 귀가 필요 없는, 이러한 노래하는 로봇 (텍스트 - 음성 변환 또는 TTS 시스템) 을 평가하는 새로운 과학적 방법을 제안합니다. 저자들은 이 방법을 '보이스 매핑 (Voice Mapping)'이라고 부릅니다.

다음은 그들이 무엇을 했으며 무엇을 발견했는지에 대한 간단한 요약입니다:

1. 문제: '로봇 목소리' 대 '인간 목소리'

인간이 말할 때 단순히 목소리가 커지거나 작아지는 것이 아닙니다. 소리를 지르면 목소리의 질감이 변하고, 속삭이면 다시 변합니다. 이는 노력과 소리가 얽힌 복잡한 춤과 같습니다. 오래된 컴퓨터 목소리는 이러한 미묘한 변화를 처리하지 못해 평평하고 로봇 같은 드론 소리처럼 들리는 경우가 많았습니다. 최신 AI 모델들은 점점 나아지고 있지만, 정확히 얼마나 인간과 유사한지를 어떻게 측정할 수 있을까요?

2. 해결책: '보이스 맵'

저자들은 '보이스 맵 (Voice Map)'이라는 시각적 도구를 만들었습니다. 이는 날씨 지도와 비슷하지만, 온도와 비 대신 **음높이 (Pitch, 목소리가 얼마나 높거나 낮은지)**와 **크기 (Loudness, 목소리가 얼마나 부드럽거나 큰지)**를 매핑합니다.

격자: 가로축은 음높이 (노트) 이고 세로축은 볼륨인 격자를 상상해 보세요.
색상: 컴퓨터가 말할 때마다 이 지도 위에 점이 찍힙니다. 점의 색상은 그 특정 순간의 목소리 품질에 대해 알려줍니다.
- 따뜻한 색상 (빨강/주황): 목소리가 선명하고 풍부하며 자연스럽습니다.
- 차가운 색상 (파랑): 목소리가 숨이 섞이거나 소음이 있거나 로봇처럼 들립니다.

전체 지도를 보면 로봇이 커버할 수 있는 '영역'을 볼 수 있습니다. 높은 음으로 크게 노래할 수 있을까요? 부드럽게 속삭일 수 있을까요? 아니면 작고 지루한 구석에 갇혀 있을까요?

3. 실험: 로봇들 테스트

연구자들은 유명한 녹음 (책 읽는 여성) 에서 100 개의 문장을 발췌하여 6 개의 서로 다른 AI 모델에게 읽게 했습니다. 그 후 AI 의 '보이스 맵'을 원래 인간의 맵과 비교했습니다.

그들은 목소리 품질을 측정하기 위해 세 가지 특정 '자'를 사용했습니다:

크레스트 팩터 (Crest Factor, '피크'): 이는 소리 파형이 얼마나 '뾰족한지'를 측정합니다. 너무 뾰족하면 거칠게 들리고, 너무 평평하면 둔탁하게 들립니다.
스펙트럼 밸런스 (Spectrum Balance, '밝기'): 이는 목소리에 고주파의 '반짝임'이 충분한지, 아니면 이불 아래에 있는 것처럼 답답하게 들리는지 확인합니다.
CPPs (Cepstral Peak Prominence, '조화'): 이는 소리 파형이 얼마나 조직화되어 있는지를 측정합니다. 완벽하게 조직화된 파형은 선명하게 들리고, 지저분한 파형은 정전기나 로봇처럼 들립니다.

4. 결과: 누가 가장 잘 불렀나?

이 연구는 2016 년의 Merlin과 같은 오래된 모델부터 2021 년의 VITS와 같은 최신 모델까지 다양한 모델을 비교했습니다.

구세력 (Merlin): 그 지도는 작고 산만했습니다. 매우 로봇처럼 들렸습니다. '조화' 점수가 10dB 를 넘게 너무 높았는데, 저자들은 이것이 인간이 아닌 '완전히 뻣뻣한' 로봇 목소리의 징후라고 말합니다.
새로운 스타 (VITS): 이 모델은 인간과 거의 동일한 지도를 만들었습니다. 가장 넓은 영역 (높음, 낮음, 큼, 작음) 을 커버했으며 가장 자연스러운 소리 품질을 보였습니다. 이것이 실제 것과 가장 가까웠습니다.
부드러운 속삭임 (Glow-TTS): 이 모델은 지도가 더 작았습니다 (큰 소리나 높은 음을 내는 능력이 제한적임). 하지만 속삭일 때는 가장 뛰어났습니다. 다른 어떤 모델보다도 '부드러운' 인간 목소리를 잘 포착하여 조용한 순간에 매우 선명하고 자연스럽게 들렸습니다.
'로봇 같은' 경고: 연구는 '조화' 점수에 대한 적정 지점을 발견했습니다. 점수가 7~8dB 사이면 자연스럽습니다. 10dB를 넘으면 목소리가 로봇 같고 부자연스러워지기 시작합니다.

5. '엔진' 점검 (보코더)

연구자들은 AI 의 노트를 실제 소리로 변환하는 '엔진 (보코더라고 함)'도 테스트했습니다. 그들은 UnivNet이라는 엔진이 다른 엔진 (Multiband-MelGAN) 보다 더 선명하고 자연스러운 소리를 낸다는 사실을 발견했는데, 특히 목소리가 클 때 두드러졌습니다.

결론

이 논문은 단순히 "이 로봇은 잘 들린다"고 말하는 것을 넘어, 왜 잘 들리는지에 대한 시각적 청사진을 제공합니다.

VITS는 전반적으로 실제 인간처럼 들리는 면에서 현재 챔피언입니다.
Glow-TTS는 부드럽게 속삭이는 면에서 챔피언입니다.
보이스 매핑은 로봇 목소리가 어디에서 실패하는지 (예: 높은 음에서 너무 로봇 같음) 그리고 어디에서 성공하는지를 인간이 몇 시간 동안 앉아 들어야 할 필요 없이 정확히 보여줄 수 있는 새로운 도구입니다.

요약하자면, 그들은 컴퓨터 목소리가 진정으로 살아있는 것인지, 아니면 교묘한 모방일 뿐인지를 알려주는 '목소리 지문' 스캐너를 개발했습니다.

"텍스트-음성 변환 (TTS) 시스템의 음성 매핑: 음성 품질 평가를 위한 지표 기반 접근법"에 대한 상세한 기술 요약입니다.

1. 문제 제기

텍스트-음성 변환 (TTS) 시스템의 평가는 주관적 지표와 객관적 지표 간의 균형을 맞추는 데 있어 상당한 어려움에 직면해 있습니다:

주관적 한계: '골드 스탠더드'인 평균 의견 점수 (MOS) 는 자원 집약적이고 시간이 많이 소요되며, 연구 간 점수 불안정성과 범위 동등화 편향으로 고통받고 있습니다.
객관적 한계: 전통적인 객관적 지표 (예: MCD, PESQ, ESTOI) 는 프레임 또는 발화 단위에서 작동합니다. 이들은 다양한 피치 ( $F_0$ ) 와 음압 (SPL) 조건에 따른 화자 내 변동성을 포착하지 못합니다. 결과적으로 이러한 지표는 긴 형태의 음성에서 성대 노력, 표현력, 그리고 성문 주기성 (glottal periodicity) 과 같은 생리적 요인이 음성 품질에 미치는 시간적 역동성을 간과합니다.
격차: 현재 TTS 모델들은 종종 피치와 음량을 독립적으로 제어하여, 자연스러운 인간 음성에서 발견되는 성대 노력과 음성 품질 간의 복잡한 생리적 결합을 재현하지 못합니다. 모델의 음성 범위와 그 범위 전반에 걸쳐 자연스러운 음성 품질을 유지하는 능력을 시각화하고 정량화할 수 있는 평가 프레임워크가 필요합니다.

2. 방법론

저자들은 합성 음성을 평가하기 위해 임상 음성 연구 (음성도, phonetograms) 에서 차용한 **음성 매핑 (Voice Mapping)**이라는 객관적이고 지표 기반의 평가 프레임워크를 제안합니다.

데이터 및 설정:
- 데이터셋: 기준선 (ground truth) 으로 LJSpeech 데이터셋의 100 개 연속 문장이 사용되었습니다.
- 평가된 모델: 10 년에 걸친 발전을 아우르는 6 개의 영향력 있는 TTS 아키텍처인 Merlin(2016), Tacotron 2(2018), Transformer TTS(2019), FastSpeech 2(2020), Glow-TTS(2020), VITS(2021) 가 평가되었습니다.
- 보코더: Multiband-MelGAN 과 UnivNet 보코더 간의 구체적인 비교가 수행되었습니다.
음성 매핑 구성:
- 이 방법은 음향 특징을 기본 주파수 ( $F_0$ ) (x 축, 세미톤 단위) 와 음압 레벨 (SPL) (y 축, dB 단위) 로 정의된 2 차원 공간에 매핑합니다.
- 음향 신호는 FonaDyn 소프트웨어를 사용하여 주기별로 처리되어 각 성문 주기 (glottal cycle) 에 대한 지표를 추출합니다.
- $(F_0, SPL)$ 공간은 빈 (bins) 으로 이산화되며, 각 셀 내에서 지표가 평균화되어 히트맵을 생성합니다.
주요 지표:
1. 크레스트 팩터 (Crest Factor, CF): 피크 진폭과 RMS 진폭의 비율입니다. '피크성 (peakiness)'과 성문 유동 중단을 나타냅니다.
2. 스펙트럼 밸런스 (Spectrum Balance, SB): 2 kHz 초과 주파수와 1.5 kHz 미만 주파수 간의 음향 파워 차이입니다. 스펙트럼의 밝기/명확성을 나타냅니다.
3. 세프스트럴 피크 프라미넌스 (Cepstral Peak Prominence, CPPs): 조화 조직화 및 주기성의 정도를 측정합니다. 높은 값은 더 명확하고 주기적인 음성을, 낮은 값은 잡음이나 불안정성을 나타냅니다.
분석: 이 연구는 합성 음성의 음성 매핑을 원본 화자 (LJSpeech) 와 비교하고, 품질이 저하되거나 개선되는 영역을 식별하기 위해 차이 매핑을 분석합니다.

3. 주요 기여

음성 매핑의 새로운 적용: 음성 장애 평가에 원래 사용되던 임상 음성 매핑 기법을 TTS 시스템 평가에 처음 적용하여, 합성 음성과 자연 음성의 역동성을 비교할 수 있는 시각적 및 정량적 도구를 제공합니다.
주기 동기화 지표 추출: 프레임 단위 평균을 넘어 주기별로 음성 품질을 분석하여 성대 노력 (SPL) 과 품질 간의 관계를 포착합니다.
품질 임계값 식별: 자연 여성 음성에서 CPPs 를 위한 경험적 임계값 (7~8 dB) 을 설정하고, 10 dB 를 초과하는 값이 로봇 같은 출력과 상관관계가 있음을 확인했습니다.
포괄적인 모델 비교: 아키텍처와 보코더가 음성 품질에 미치는 영향을 분리하여, 통제된 조건 하에서 6 개의 주요 TTS 아키텍처와 2 개의 보코더를 체계적으로 비교했습니다.

4. 주요 결과

음성 범위:
- VITS는 자연 화자와 가장 근접하게 $F_0$ -SPL 셀을 커버하는 가장 넓은 음성 범위를 보여주었습니다.
- Glow-TTS는 현저히 제한된 음성 범위를 보였습니다.
- Merlin (구형 통계 모델) 은 추적이 부족하고 산발적이며 제한된 범위를 보여주었습니다.
지표 성능:
- CPPs (주기성):
  - 자연 범위: 7~8 dB.
  - Merlin: 약 12.24 dB (과도하게 높아 로봇처럼 인식됨).
  - 현대 모델 (Tacotron 2, Transformer, FastSpeech 2, VITS): 6.68~7.96 dB 사이로 자연 음성과 잘 부합했습니다.
  - FastSpeech 2: 가장 낮은 CPPs(6.68 dB) 를 보여 약간 덜 주기적인 것으로 나타났습니다.
- 스펙트럼 밸런스 (SB):
  - Glow-TTS: 기준선보다 우수한 SB(-14.89 dB) 를 보여주어, 약한 성대 진동 (soft phonation, 조용한 음성) 영역에서 고주파 에너지 보존이 더 잘 이루어졌음을 나타냈습니다. 이로 인해 제한된 범위임에도 낮은 노력 영역에서 더 선명하게 들립니다.
  - Merlin 및 열화된 합성: 상당한 고주파 에너지 손실 (매우 음의 SB) 을 보여 둔탁한 음성 품질을 초래했습니다.
- 크레스트 팩터: Glow-TTS 는 약간 더 높은 CF 를 보였으며, 이는 '더 뾰족한 (peakier)' 신호를 의미하는 반면, 대부분의 다른 모델은 기준선에 근접했습니다.
보코더 비교:
- UnivNet은 특히 더 큰 음성 영역에서 스펙트럼 밸런스 및 CPPs 측면에서 Multiband-MelGAN보다 우수한 성능을 보였으며, 이는 스펙트럼 특성 및 조화 안정성의 더 나은 보존을 나타냅니다.

5. 의의 및 결론

평가 패러다임의 전환: 이 연구는 음성 매핑이 기존 지표들이 놓치는 TTS 모델의 '표현력'과 '성대 노력' 능력을 시각화하는 강력한 도구임을 입증합니다.
모델 통찰:
- VITS는 넓은 음성 범위와 자연스러운 주기성을 균형 있게 유지하며 현재 가장 강력한 전체 성능을 보입니다.
- Glow-TTS는 약한 성대 진동 품질에서 뛰어나지만 범위가 부족하여 아키텍처 내의 트레이드오프를 시사합니다.
- 진단 지표로서의 CPPs: 이 연구는 CPPs 를 중요한 지표로 검증했습니다. 10 dB 초과 값은 로봇 같은 아티팩트에 대한 경고 신호이며, 7~8 dB 는 자연스러운 품질을 나타냅니다.
향후 방향: 저자들은 이 프레임워크를 다화자 데이터셋으로 확장하고, 추가 지표 (지터, 쉼머, HNR) 를 통합하며, 잠재적으로 실시간 모델 훈련 피드백을 위해 음성 매핑을 사용하는 것을 제안합니다.

결론: 이 논문은 음성 매핑을 TTS 평가를 위한 강력하고 객관적인 프레임워크로 성공적으로 정립하였으며, 고충실도 표현력 있는 음성 합성에 필수적인 음성 품질과 동적 범위의 미묘한 뉘앙스를 포착할 수 있음을 입증했습니다.