💬 NLP

PSP: An Interpretable Per-Dimension Accent Benchmark for Indic Text-to-Speech

본 논문은 구개음화와 파열음과 같은 특정 억양 특징을 평가하는 해석 가능한 차원별 벤치마크인 PSP(음소 치환 프로파일) 를 소개하며, 높은 표준 가독성 점수에도 불구하고 현재 상용 및 오픈소스 선도 모델들이 이러한 음운론적 미묘함을 종종 포착하지 못함을 밝힙니다.

원저자: Venkata Pushpak Teja Menta

게시일 2026-04-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Venkata Pushpak Teja Menta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

텍스트를 소리 내어 읽어줄 수 있는 로봇이 있다고 상상해 보세요. 만약 이 로봇에게 힌디어, 텔루구어, 타밀어 중 하나의 문장을 읽어달라고 요청한다면, 철자 검사기에 따르면 모든 단어가 '정확'하게 읽힐 수 있습니다. 단 하나의 단어라도 철자가 틀리지 않을 것입니다. 하지만 그 지역의 원어민이 이를 듣는다면, "그건 외국인이 내 언어를 말하려고 노력하는 소리야"라고 말할지도 모릅니다. 로봇은 철자는 올바르게 하고 있지만, 발음은 틀린 것입니다.

이 논문은 단순히 "소리가 나쁘다"거나 "소리가 좋다"고 말하는 것이 아니라, 그 발음이 정확히 어떻게 잘못되었는지를 측정하는 새로운 도구인 PSP(음소 대체 프로파일, Phoneme Substitution Profile)를 소개합니다.

다음은 이 논문의 아이디어를 간단한 비유로 풀어낸 내용입니다:

1. 문제: "완벽한 철자, 잘못된 발음"이라는 함정

현재 음성 로봇 (텍스트 - 음성 변환, TTS) 을 테스트하는 방식은 철자 대회와 같습니다. 다음을 확인합니다:

가독성: 올바른 단어를 말했는가? (단어 오류율).
자연스러움: 인간처럼 들리는가? (MOS 점수).

결함: 로봇이 철자 대회에서 100 점 만점을 받을지라도 여전히 관광객처럼 들릴 수 있습니다. 인도어에는 비원어민이 쉽게 실수하는 특정 "맛"을 내는 소리들이 있습니다:

후경음 (Retroflex sounds): 혀가 뒤로 말리는 소리 (입천장에서 만들어지는 't'나 'd'와 같은 소리).
유기음 (Aspiration): 자음 뒤에 부드러운 'h'와 같은 숨 한 모금 내쉬는 소리.
모음 길이: 소리를 더 길게 유지하는 것 (예: "cat" 대 "caat").
"자 (Zha)" 소리: 영어에는 존재하지 않는 독특한 타밀어 소리.

로봇이 "혀를 말리는" 소리를 일반적인 "평평한 혀" 소리로 바꾸면, 이는 철자 오류가 아니라 발음 오류입니다. 현재 도구들은 이를 놓치고 있습니다.

2. 해결책: "6 점 발음 성적표"

저자들은 로봇의 발음을 위한 6 차원 건강 진단과 같은 PSP 를 개발했습니다. 단일 점수 대신 6 가지 구체적인 등급이 적힌 성적표를 제공합니다:

후경음 붕괴율 (RR): 로봇이 혀를 말리지 못한 횟수는 얼마나 되는가? (숙제를 계속 잊어버리는 학생과 같음).
유기음 충실도 (AF): 필요할 때 숨을 내쉬었는가?
모음 길이 충실도 (LF): 긴 모음을 충분히 길게 유지했는가?
타밀어 "자 (Zha)" 충실도 (ZF): 그 까다로운 타밀어 소리를 올바르게 발음했는가?
오디오 거리 (FAD): "음성 공간"에서 로봇의 목소리가 원어민의 목소리로부터 얼마나 떨어져 있는가? (이것을 거리계로 생각하세요).
억양 서명 (PSD): 로봇이 올바른 리듬, 피치, 멜로디를 가지고 있는가? (노래를 평탄하게 부르는가, 아니면 올바른 감정으로 부르는가?).

마법 같은 점: 앞의 네 가지 항목은 AI 청취 도구를 사용하여 로봇의 소리를 "원어민 평균 (중심)"과 비교함으로써 측정됩니다. 마지막 두 항목은 오디오의 전체적인 "분위기"를 측정합니다.

3. 실험: 로봇 테스트

저자들은 힌디어, 텔루구어, 타밀어에 대해 네 가지 유명한 상업용 로봇 (ElevenLabs 와 Cartesia 등) 과 일부 오픈소스 로봇을 테스트했습니다.

주요 발견:

난이도 사다리: 로봇들은 힌디어를 가장 쉽게, 텔루구어를 더 어렵게, 타밀어를 가장 어렵게 찾았습니다.
- 힌디어: 로봇들은 까다로운 소리에서 거의 완벽한 점수를 받았습니다.
- 텔루구어: 로봇들은 약 40% 의 "혀를 말리는" 소리에서 실수를 하기 시작했습니다.
- 타밀어: 로봇들은 약 68% 의 그런 소리에서 실수를 했습니다.
"철자"와 "발음"의 괴리: 철자 점수 (가장 낮은 단어 오류율) 를 가장 잘 받은 로봇이 항상 발음이 가장 좋은 로봇은 아니었습니다.
- 비유: 수학 시험에서 'A'를 받았지만 필기 부분에서 낙제한 학생을 상상해 보세요. 기존 평가 시스템은 수학 점수만 보았습니다. PSP 는 둘 다 봅니다.
완벽한 로봇은 없음: 모든 분야에서 가장 뛰어난 단일 로봇은 없습니다. 한 로봇은 훌륭한 리듬 (PSD) 을 가졌지만 "혀를 말리는" 소리는 나쁠 수 있습니다. 다른 로봇은 소리는 훌륭하지만 리듬은 평탄하고 지루할 수 있습니다. 특정 작업에 맞는 올바른 도구를 선택해야 합니다.

4. "음성 프롬프트" 트릭

저자들은 또한 자신들의 로봇 (Praxy Voice) 을 테스트했습니다. 그들은 로봇에게 텔루구어를 말하는 실제 인간의 9 초 오디오 클립을 "참고 자료"로 제공했을 때, 로봇이 갑자기 훨씬 더 원어민처럼 들린다는 사실을 발견했습니다.

비유: 시험을 보기 전에 몇 초 동안 원어민의 말을 듣는 학생과 같습니다. 로봇은 언어 전체를 다시 배우지 않았음에도 불구하고 "분위기"를 파악하여 발음을 개선했습니다.

5. 왜 이것이 중요한가

이 논문은 "발음"을 모호한 느낌으로 취급하는 것을 멈춰야 한다고 주장합니다. 이를 이러한 6 가지 구체적인 차원으로 분해함으로써 개발자들은 로봇이 정확히 어디서 실패하는지 볼 수 있습니다.

"후경음" 점수가 낮다면, 혀를 말리는 소리를 고쳐야 한다는 것을 알게 됩니다.
"억양" 점수가 낮다면, 리듬과 감정을 고쳐야 한다는 것을 알게 됩니다.

간단히 말해: 이 논문은 엔지니어들에게 인도식 발음이라는 까다로운 지형을 항해할 수 있는 상세한 지도를 제공하며, 단어를 올바르게 하는 것이 반의 싸움일 뿐, 맛을 올바르게 하는 것이 나머지 반이라고 보여줍니다.

(참고: 이 논문은 명시적으로 이러한 결과가 파일럿 테스트에 기반하고 있으며, 인간 청취 점수와의 공식적인 상관관계는 차기 버전 (v2) 에서 최종 확정될 것이라고 명시하고 있습니다.)

"인도어 텍스트-음성 변환 (TTS) 을 위한 해석 가능한 차원별 억양 벤치마크인 PSP"에 대한 상세한 기술 요약입니다.

1. 문제 제기

현재 인도어 언어에 대한 텍스트 - 음성 변환 (TTS) 평가는 주로 가독성 지표(단어 오류율 - WER, 문자 오류율 - CER) 와 전체 자연스러움 점수(평균 의견 점수 - MOS, UTMOS) 에 크게 의존하고 있습니다.

격차: 합성기가 거의 완벽한 WER 과 높은 MOS 점수를 달성하더라도, 특정 음운론적 오류로 인해 여전히 "비원어민"처럼 들릴 수 있습니다.
구체적인 과제: 인도어 언어들은 비원어민 화자 (및 많은 AI 모델) 가 체계적으로 축소하거나 잘못 발음하는 체계적인 음운론적 특징을 지니고 있습니다. 여기에는 다음이 포함됩니다:
- 후경구개음 (Retroflex) 발음 (예: ṭ와 t를 구분).
- 유기음 (Aspiration) (예: kh 대 k).
- 음소적 모음 길이 (긴 모음 대 짧은 모음).
- 언어별 고유 음가 (예: 타밀어의 후경구개 접근음 /r̲/ 또는 ḻ).
기존 지표의 한계: WER 과 같은 지표는 전사 정확도를 측정할 뿐, 원어민 음운론에 대한 음향적 충실도를 측정하지는 않습니다. 프레이체 오디오 거리 (FAD) 와 같은 분포 기반 지표는 단일 스칼라 점수를 제공하지만, 어떤 음운론적 특징이 실패하는지에 대한 해석 가능성을 결여하고 있습니다.

2. 방법론: 음소 치환 프로파일 (PSP)

저자들은 "억양"을 6 가지 해석 가능한 차원별 지표로 분해하는 벤치마크인 PSP를 제안합니다. 이는 규칙 기반 전사 매칭에서 **심층 학습 임베딩을 활용한 음향 프로빙 (acoustic probing)**으로 접근 방식을 전환합니다.

핵심 메커니즘

PSP 는 언어별 Wav2Vec2-XLS-R CTC 정렬기를 통해 **강제 정렬 (forced alignment)**을 수행하여 생성된 오디오 내의 음소 구간을 위치시킵니다. 그런 다음, 정렬된 구간의 음향 임베딩을 **원어민 중심점 (centroids)**과 **대체 화자 중심점 (substitute-speaker centroids, 비원어민 오류를 대표)**과 비교하여 교정된 코사인 유사도를 계산합니다.

6 가지 차원

이 벤치마크는 두 가지 유형의 차원을 측정합니다:

음소별 차원 (음향 프로브를 통해 측정):
- 후경구개음 축소율 (RR): 후경구개 자음 (ṭ, ḍ, ṇ, ṣ, ḷ) 을 치아음 대응체와 구분하지 못하는 실패를 측정합니다.
- 유기음 충실도 (AF): 유기 파열음 (kh, gh 등) 의 보존 정도를 측정하며, 주로 힌디어에 적용됩니다.
- 길이 충실도 (LF): 원어민 사전 지식에 대한 긴 모음과 짧은 모음의 지속 시간 비율을 평가합니다.
- 타밀어 'zha' 충실도 (ZF): 타밀어 후경구개 접근음 /r̲/ (ழ) 의 생성 정도를 특별히 측정합니다.
코퍼스 수준 차원 (분포 거리를 통해 측정):
- 프레이체 오디오 거리 (FAD): Wav2Vec2-XLS-R 레이어 -9 임베딩 공간에서 생성된 오디오 분포와 원어민 오디오 분포 간의 거리를 계산합니다. 이는 음색, 공조음, 그리고 전역적인 음향 품질을 포착합니다.
- 억양 서명 발산 (PSD): 5 차원 억양 특징 공간 (음역 범위, 로그 F0 평균, 발화 속도, nPVI, 로그 지속 시간) 에서의 프레이체 거리를 계산합니다.

구현 세부 사항

참조 데이터: 원어민 중심점은 다양한 화자를 사용하여 언어별 (힌디어, 텔루구어, 타밀어) 로 스튜디오에 녹음된 500 개의 클립을 기반으로 구성됩니다.
점수 산정: 시스템은 생성된 임베딩을 원어민 중심점 ( $\mu_{nat}$ ) 과 대체 중심점 ( $\mu_{sub}$ ) 과 비교하여 충실도 점수를 계산합니다.
오픈 소스: 코드, 중심점, 참조 임베딩은 MIT 및 CC-BY 라이선스 하에 공개됩니다.

3. 주요 기여

억양 지표의 형식화: 단일 스칼라 점수를 넘어 인도어 TTS 평가를 위한 6 가지 구체적이고 해석 가능한 차원을 정의했습니다.
음향 프로브 기반 접근: 규칙 기반 시스템 (예: 영어용 PSR) 과 달리, PSP 는 음향 임베딩에 의존하므로 특정 억양에 대해 ASR 전사가 오류가 발생하기 쉬운 경우에도 견고합니다.
자원 공개: 원어민 화자 중심점, FAD 를 위한 1000 개 클립 발화 단위 임베딩, PSD 를 위한 500 개 클립 억양 행렬, 그리고 향후 벤치마킹을 위한 300 발화 "골든 세트"를 공개했습니다.
종합 벤치마킹: 힌디어, 텔루구어, 타밀어에 대해 4 가지 시스템 (ElevenLabs v3, Cartesia Sonic-3, Sarvam Bulbul, Indic Parler-TTS) 과 진행 중인 오픈 소스 시스템 (Praxy Voice) 을 평가했습니다.

4. 주요 결과 및 발견

A. "억양 대 가독성"의 분리

WER $\neq$ 억양: 가장 낮은 WER 을 가진 시스템 (예: ElevenLabs, Cartesia) 이 일관되게 억양 충실도에서 최상위를 차지하지는 않습니다.
- 예시: 힌디어에서 ElevenLabs 는 가장 낮은 WER 을 보였으나 FAD 순위는 2 위였습니다. 텔루구어에서 Cartesia 는 낮은 WER 을 보였으나 후경구개음 축소율 (50%) 은 가장 나빴습니다.
파레토 비효율성: 모든 6 가지 차원에서 최적인 단일 시스템은 존재하지 않습니다. 예를 들어, 타밀어에서 Indic Parler-TTS 는 5 개 차원 중 4 개를 우승한 반면, Sarvam Bulbul 은 FAD 만 우승했습니다.

B. 음운론적 난이도 구배

이 연구는 PSP 가 성공적으로 추적하는 인도어 TTS 에 대한 난이도의 단조 증가를 확인했습니다:

힌디어: ~1% 후경구개음 축소 (성숙, 거의 원어민 수준).
텔루구어: ~40% 후경구개음 축소.
타밀어: ~68% 후경구개음 축소 (가장 어려움).
의의: 서구 기반 상용 시스템은 목표 언어가 영어 음운론에서 멀어질수록 성능이 크게 저하되는 반면, 인도어 특화 시스템 (Sarvam, Parler) 은 더 잘 일반화됩니다.

C. 감지된 특정 실패 모드

억양 평탄화 (PSD): ElevenLabs 의 텔루구어 출력은 막대한 PSD 점수 (원어민의 ~11 대비 154) 를 보였는데, 이는 올바른 단어 발음에도 불구하고 "평탄하고 표현력이 없는" 전달 방식을 나타냅니다. WER 은 이를 완전히 놓쳤습니다.
타밀어 'zha' 축소: 타밀어 고유의 음가 /r̲/가 대부분의 상용 시스템에서 약 86% 수준으로 축소되었습니다.
학습 규모 대 음향 디코더: Praxy Voice 사례 연구 (R5 $\to$ R6) 에서 학습 데이터 증가 (85h $\to$ 1220h) 는 FAD(음향 유사성) 를 개선시켰으나, PSD(억양) 는 악화시켰고 후경구개음 축소는 변함없었습니다. 이는 음향 디코더 가중치가 올바르게 업데이트되지 않으면 더 많은 데이터만으로는 특정 음운론적 발음을 해결할 수 없음을 증명했습니다.

D. 음성 프롬프트 복구

"자신만의 참조 자료 가져오기 (Bring Your Own Reference, BYOR)" 접근 방식을 사용하여, 9 초짜리 원어민 텔루구어 클립을 Praxy R6 시스템에 입력하면 결과가 크게 개선되었습니다:

후경구개음 축소율이 40% 에서 약 27-33% 로 감소했습니다.
PSD 가 크게 개선되어 상용 기준선과 일치했습니다.
이는 억양 문제를 해결하기 위해 대량의 재학습이 필요하지 않고 원어민 참조에 조건을 부여함으로써 우회할 수 있음을 보여주었습니다.

5. 의의 및 향후 작업

패러다임 전환: PSP 는 TTS 평가를 "기계가 텍스트를 읽을 수 있는가?"(WER) 에서 "기계가 원어민처럼 들리는가?"(억양) 로 전환합니다.
진단적 유용성: 차원별 분해는 개발자가 단일 집계 점수에 의존하는 대신 특정 실패 지점을 파악할 수 있게 합니다 (예: "모델은 억양은 좋지만 후경구개음에서 실패함").
상호 보완성: PSP 는 기존 지표 (영어용 PSR 또는 MUSHRA 청취 테스트 등) 를 대체하기보다 보완하도록 설계되었습니다.
향후 로드맵 (v2): 저자들은 다음을 계획하고 있습니다:
- 원어민 평가자와의 공식 MOS 상관관계 연구 수행.
- 통계적 유의성을 위해 언어별 300 발식으로 벤치마크 규모 확대.
- 텔루구어/타밀어의 정렬 노이즈 바닥을 고려한 음소별 점수 정규화.
- 코드 믹스 입력 평가 추가.

결론: 이 논문은 인도어 TTS 에서 억양이 측정 가능하고 분해 가능한 음운론적 특징의 벡터임을 확립합니다. PSP 는 이러한 특징을 정량화하는 최초의 해석 가능한 프레임워크를 제공하여, 현재 최첨단 TTS 시스템이 높은 가독성 점수에도 불구하고 원어민 음운론을 포착하지 못하는 경우가 많음을 드러냅니다.