💻 computer science

ViTone: A Diagnostic Benchmark for Tonal Faithfulness in Vietnamese Text-to-Speech

이 논문은 최소 대립 쌍 자극, ASR로 보정된 성조 오류율(Tone Error Rate), 그리고 F0 및 후두화(laryngealisation)의 단서 수준 분석을 결합함으로써, 베트남어의 대조적인 성조 구분을 포착하지 못하는 기존 지표들의 한계를 해결하고 베트남어 텍스트 음성 합성 시스템의 성조 충실도를 직접적으로 평가하기 위해 설계된 진단 벤치마크이자 사전 등록된 평가 프로토콜인 ViTone을 소개한다.

원저자: Thanh-Son Phan, Muon Ha

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Thanh-Son Phan, Muon Ha

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

말하는 컴퓨터의 세계에서, 목소리를 자연스럽게 만드는 것은 전투의 절반에 불과합니다. 대부분의 언어에서는 기계가 유창하게 들리고 단어가 명확하다면 작업이 완료된 것으로 간주됩니다. 하지만 단어의 의미가 목소리의 높낮이와 질감에 따라 완전히 변하는 언어인 베트남어를 사용하는 이들에게, 유창함은 함정이 될 수 있습니다. 베트남어에서 하나의 음절은 마치 하나의 음표가 다양한 방식으로 연주되어 뚜렷한 멜로디를 만들어내는 것처럼, 어떻게 노래하느냐에 따라 여섯 가지의 서로 다른 의미를 가질 수 있습니다. 이러한 의미 중 일부는 단순히 음의 높낮이뿐만 아니라, '후두화(laryngealization)'라고 알려진 목구멍의 미묘하고 거친 질감에 의존합니다. 만약 컴퓨터 목소리가 음의 높낮이는 맞췄지만 이 목구멍의 질감을 놓친다면, 듣는 이에게는 매끄럽게 들릴지 몰라도 실제로는 완전히 틀린 단어를 말하게 됩니다. 이것이 바로 연구자들이 해결하려고 노력 중인 핵심 문제입니다. 즉, 기계가 단순히 좋게 들리는 것을 넘어, 어떻게 하면 언어를 진정으로 올바르게 말하고 있는지 측정하는 방법입니다.

한 연구팀은 바로 이러한 유형의 오류를 감사하기 위해 설계된 'ViTone'이라는 새로운 도구를 도입했습니다. ViTone은 단순히 목소리가 듣기 좋은지를 묻는 대신, 컴퓨터가 베트남어 단어를 정의하는 특정한 음악적, 그리고 목구멍의 신호를 보존하고 있는지 확인하는 진단 테스트 역할을 합니다. 연구진은 모든 테스트 음절이 실제 단어임을 보장하고, 음절 간에 변하는 요소가 오직 성조뿐이도록 엄격한 규칙을 사용하여 일련의 테스트 문장을 만들었습니다. 그런 다음 이 문장들을 선도적인 컴퓨터 음성 시스템에 입력하여 성능을 확인했습니다. 목표는 시스템이 자연스럽게 들리려고 노력하는 과정에서 올바른 의미를 유지할 수 있는지 확인하고, 정확히 어디에서 실패하는지를 이해하는 것이었습니다.

연구는 컴퓨터가 인간의 음성으로부터 이러한 성조를 얼마나 잘 읽어내는지에 대한 기준점(baseline)을 설정하는 것으로 시작되었습니다. 연구진은 실제 사람들이 테스트 문장을 말하는 녹음본을 듣기 위해 강력한 음성 인식 시스템을 사용했습니다. 이 시스템은 오류율이 전체적으로 단 0.40%에 불과할 정도로 매우 적은 실수를 저질렀으며, 이는 테스트 문장이 표준으로 사용되기에 충분히 명확하다는 것을 입증했습니다. 이 인간 기준점이 설정된 후, 연구진은 컴퓨터 음성 시스템에 동일한 문장을 생성하도록 요청했습니다. 결과는 극명했습니다. 컴퓨터가 말을 하려고 할 때 약 70%의 사례에서 성조를 제대로 맞추지 못했으며, 이는 거의 완벽했던 인간 기준점과 비교했을 때 거대한 격차를 드러냈습니다. 이 격차는 컴퓨터가 유창하게 들리려고 최선을 다하고 있음에도 불구하고, 언어의 미묘한 세부 사항을 포착하는 데 어려움을 겪고 있음을 보여주었습니다.

컴퓨터가 왜 실패하는지 이해하기 위해, 연구진은 단순히 최종 점수보다 더 깊이 파고들었습니다. 그들은 오류를 세분화하여 컴퓨터가 음의 높낮이를 망치고 있는지, 아니면 목구멍의 질감을 망치고 있는지 확인했습니다. 그 결과, 컴퓨터가 특정 성조를 다루는 데 어려움을 겪으며, 종종 성조를 바꾸거나 두 성조를 구분 짓는 거친 목소리를 놓친다는 것을 발견했습니다. 그러나 파일럿 테스트에서 각 성조당 생성된 점수 산정 항목의 수가 매우 적었기 때문에, 연구진은 어떤 특정 성조가 컴퓨터가 말하기 가장 어려운지 확정적으로 순위를 매길 수 없었습니다. 더욱이, 인간의 음성에서 목소리의 질감을 인식하는 컴퓨터의 능력은 기준점을 설정하기에는 충분했지만, 기계 자신의 출력물을 테스트하기 위한 용도로 쓰이기에는 신뢰도가 충분하지 않았습니다. 이는 컴퓨터 모델이 단순히 무작위적인 실수를 하는 것이 아니라, 인간이 단어를 구별할 때 사용하는 언어의 결정적인 부분을 체계적으로 무시하고 있음을 시사합니다. 또한 연구진은 컴퓨터가 이전에 들어본 화자를 흉내 낼 때와 처음 만난 화자를 흉내 낼 때 소리가 다르게 들리는지 확인했습니다. 새로운 목소리일 때 오류율이 약간 더 높았으나, 표본 크기가 너무 작아 확실하게 말할 수는 없었지만, 컴퓨터가 새로운 사람에게 일반화해야 할 때 더 어려움을 겪는다는 경향성을 보여주었습니다.

연구진은 이것이 모든 컴퓨터 음성에 대한 최종 판결이라기보다, 방법론의 작동 여부를 증명하기 위한 첫 번째 실행인 파일럿 테스트라는 점을 주의 깊게 명시했습니다. 단 하나의 컴퓨터 시스템만이 테스트되었고, 성공적으로 생성된 문장의 수도 적었습니다. 이 때문에 어떤 성조가 말하기 가장 어려운지에 대한 구체적인 수치는 최종적인 사실로 취급될 수 없지만, 방법론 자체는 이제 실행 가능하다는 것이 입증되었습니다. 이 연구의 진정한 가치는 컴퓨터의 목소리를 듣는 새로운 방식을 만드는 데 있습니다. 베트남어를 정의하는 특정한 음악적, 목구멍의 신호에 집중함으로써, ViTone은 연구자들이 기계가 언어를 이해하려고 노력하는 과정에서 정확히 어디에서 실패하고 있는지를 볼 수 있게 해줍니다. 이는 단순히 목소리가 듣기 좋은지를 묻는 수준을 넘어, 기계가 말하고자 하는 바를 실제로 말하고 있는지 보장하는 단계로 이 분야를 진전시킵니다. 연구는 베트남어와 같은 언어의 경우, 자연스러움만으로는 충분하지 않으며, 목소리가 진정으로 유용하기 위해서는 언어의 숨겨진 규칙에 충실해야 한다고 결론짓습니다.

기술 요약: ViTone – 베트남어 텍스트 음성 변환(TTS)의 성조 충실도 진단을 위한 벤치마크

문제 정의
단어 오류율(WER), 평균 의견 점수(MOS), 전역적 음향 거리(예: RMSE-F0)와 같은 기존의 베트남어 텍스트 음성 변환(TTS) 평가 지표들은 **성조 충실도(tonal faithfulness)**를 직접적으로 평가하지 못한다. 베트남어에서 어휘 성조는 대조적이며 다중 단서(multi-cue)를 가진다. 즉, 음절의 성조가 바뀌면 의미가 변한다(예: ma와 mà). 더욱이, 베트나어 성조(특히 hỏi, ngã, nặng)는 피치(F0) 윤곽뿐만 아니라 후두화(laryngealization, 성문 수축 또는 크리크 현상)와 같은 발성 단서에도 의존한다. 기존 지표들은 성조 오류를 일반적인 단어 치환이나 음향적 편차로 취급하는 경우가 많아, 시스템이 어휘적 명료성에 필요한 특정 음운론적 대조를 보존하고 있는지 여부를 가린다. 또한, 혼합 방언 코퍼스로 학습된 제로샷(zero-shot) TTS 시스템은 서로 다른 성조를 병합하는 사전 지식(prior)을 학습할 수 있으며(예: hỏi와 ngã의 남부 방언 병합), 이는 합성된 음성이 자연스럽게 들릴 수는 있으나 특정 방언에 대해서는 음운론적으로 틀린 소리를 내게 만든다.

방법론
본 논문은 전역적 자연스러움과 독립적으로 성조 충실도를 감사하기 위해 설계된 진단 벤치마크이자 사전 등록된 평가 프로토콜인 ViTone을 제안한다. 방법론은 네 가지 핵심 구성 요소로 이루어진다:

진단 코퍼스 구축:
- 자극물(Stimuli): 코퍼스는 자음과 모음의 구성(onset and rime)은 일정하게 유지하면서 성조만 변화시킨 성조 제어 최소 쌍(minimal pairs) 및 육중(sextets)을 사용한다. 여기에는 개방형/공명음 종성 음절을 위한 59개의 육중과 폐쇄음 종성 음절을 위한 255개의 쌍을 포함하여 총 865개의 대상 음절이 포함된다.
- 맥락(Context): 각 대상은 운율 경계 효과를 고려하기 위해 고립(isolation), 구절 중간(phrase-medial), 구절 끝(phrase-final)의 세 가지 운반 조건(carrier conditions)에서 실현된다.
- 생성: 항목들은 하노이 표준 음운론(Kirby)에 기반한 명시적 규칙 기반 자모-음소 변환(G2P) 시스템을 사용하여 생성되며, 이를 통해 의도된 음소 및 성조 시퀀스에 대한 결정론적 지식을 보장한다.
평가 프로토콜:
- 성조 오류율(Tone Error Rate, TER): TER은 실현된 성조가 의도된 성조와 다른 성조 함유 단위(tone-bearing units)의 비율로 계산된다. 결정적으로, 성조 점수는 분절 내용이 일치하는 음절에 대해서만 수행되어, 분절 인식 오류가 성조 오류율을 부풀리는 것을 방지한다.
- ASR 바닥값 교정(ASR Floor Calibration): 합성 오류와 스코어러(scorer) 오류를 구분하기 위해, 프로토콜은 동일한 ASR 시스템(PhoWhisper-large)을 사용하여 홀드아웃 인간 음성에 대한 TER( $TER_{human}$ )을 측정할 것을 규정한다. 최종 지표는 초과 성조 오류인 $\Delta TER = TER_{sys} - TER_{human}$ 이다.
- 단서 수준 진단(Cue-Level Diagnosis): 프로토콜은 오류를 F0 윤곽 오류와 후두화 오류로 분리한다. 성조 분류기는 F0 특징과 후두화 특징(예: 섭스트럼 피크 돌출도, H1–H2)을 사용하여 인간 음성에 대해 학습되며, 이를 통해 합성 음성이 특정 발성 단서를 실현하지 못하는지 판단한다.
- 자연스러움 비교: 프로토콜은 성조 충실도를 자연스러움(MOS 또는 UTMOS와 같은 자동 프록시로 측정)과 비교하여, 높은 자연스러움이 성조 정확도와 상관관계가 있는지 테스트한다.
실험 설계:
- 감사는 네 가지 조건(학습된 화자, 미학습 화자, 북부 방언 프롬프트, 남부 방언 프롬프트) 하에서 시스템을 테스트하도록 설계되었다.
- 가설은 자연스러움과 충실도 사이의 해리(dissociation), 방언 혼합으로 인한 hỏi/ngã의 특정 혼동, 그리고 제로샷 일반화에서의 충실도 저하를 테스트하기 위해 사전 등록되었다.

주요 결과 (파일럿 실행)
본 논문은 전체적인 비교 감사가 아닌, 파이프라인을 검증하기 위해 viXTTS를 사용한 단일 시스템 파일럿 실행 결과를 보고한다. 이 파일럿의 주요 결과는 다음과 같다:

파이프라인 실행 가능성: 엔드 투 엔드 파이프라인이 실행 가능하다.
ASR 바닥값: PhoWhisper-large ASR은 인간 음성에 대해 낮은 성조 오류 바닥값(전체 0.40%, ngã 성조의 경우 최대 1.05%)을 달려, 본 프로토콜의 주요 스코어러로서의 사용 가능성을 입증했다.
분류기 베이스라인: 인간 음성에 대해 학습된 단서 수준 분류기는 67.80%의 정확도를 달了. 그러나 ngã 성조에 대해서는 매우 어려움을 겪었으며(재현율 6.4%), 이는 현재의 특징 집합(F0 + 후두화)이 이 특정 성조를 독립적으로 견고하게 진단하기에는 불충분함을 나타낸다.
합성 성능: 제한된 17개 항목 세트에서 viXTTS는 높은 성조 오류율(학습된 프롬프트의 경우 66.7%, 미학습 프롬프트의 경우 83.3%)을 보였다. 그러나 학습된 프롬프트와 미학습 프롬프트 간의 비교는 기술적(descriptive) 용도에 불과하며, 단 6개의 쌍을 대상으로 했기에 그 차이는 통계적으로 유의미하지 않았다( $p=1.00$ ). 논문은 이 결과가 제로샷 일반화에 대한 확정적인 주장을 뒷받침하지 않는다고 명시적으로 밝히고 있다.
자연스러움 vs 충실도: UTMOS 프록시와 성조 오류 사이의 스피어먼 상관계수가 계산되었다( $\rho = 0.316, p = 0.216$ ). 그러나 논문은 H1이 이 실행을 통해 지지되거나 반박되지 않았다고 명시적으로 밝히고 있다. 분석이 사전 등록된 교차 시스템 조건이 아닌 단일 시스템에 국한되었기 때문에, 예측된 해리(dissociation)는 아직 테스트되지 않은 상태로 남아 있다.

의의 및 주장
본 논문은 ViTone을 시스템 순위를 매기기 위한 리더보드가 아니라, 성조 합성의 특정 실패 모드를 식별하기 위한 진단 도구로 포지셔닝한다.

언어적 근거: 자연스러움이 성조 언어에서 어휘적 충실도의 충분한 증거가 될 수 없음을 주장한다. 성조를 일급 평가 대상으로 격리함으로써, ViTone은 연구자들이 시스템이 F0 윤곽 오류 때문인지 혹은 발성 단서(후두화)의 상실 때문인지 판단할 수 있게 한다.
재현성: G2P 규칙, 항목 리스트, 스코어링 스크립트를 공개할 예정이므로 프로토콜은 재현 가능하도록 설계되었다.
제한적 범위: 저자들은 현재의 결과가 기술적이고 탐색적임을 명시적으로 밝힌다. 파일럿 실행은 특정 TTS 시스템의 성능보다는 방법론(ASR 바닥값 및 단서 수준 특징을 측정하는 능력)을 검증하는 데 중점을 둔다. 논문은 시스템 성능, 방언 특화 동작, 그리고 자연스러움과 충실도 간의 상관관계에 대한 확정적인 주장을 위해서는 다수의 시스템, 더 큰 샘플 크기, 그리고 방언 레이블이 지정된 인간 참조 데이터를 포함한 대규모 감사 작업이 필요함을 강조하며, 이는 향후 연구 과제로 계획되어 있다.

유사한 논문