⚡ electrical engineering

UtterTune: LoRA-Based Target-Language Pronunciation Edit and Control in Multilingual Text-to-Speech

UtterTune은 제로샷 설정에서 다른 언어의 자연스러움과 화자 유사성을 유지하면서도, 다국어 LLM 기반 텍스트 음성 변환 시스템에서 일본어 분절 발음과 고저 액센트를 정밀하게 제어할 수 있게 해주는 경량화된 LoRA 기반 방식입니다.

원저자: Shuhei Kato

게시일 2026-07-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shuhei Kato

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게는 어떤 사람이든, 어디에서든, 즉각적으로 그 목소리를 흉내 낼 수 있는 다국어 능력을 갖춘 초지능형 로봇 목소리가 있다고 상상해 보세요. 마치 스크립트를 읽는 것만으로도 유명인의 목소리를 흉내 내며 어떤 언어로든 말할 수 있는 마법 같은 DJ와 같습니다. 하지만 여기 한 가지 결함이 있습니다. 이 로봇이 일본어를 말하려고 할 때, 가끔 자기 혀에 걸려 넘어지곤 합니다. 까다로운 단어의 발음을 섞어버리거나, 음악적인 '높낮이'(고저 액센트)를 완전히 틀리게 표현하여, 원어민이 아닌 당황한 관광객처럼 들리게 만들기도 합니다.

왜 이런 일이 발생할까요? 로봇은 일본어에서 사용되는 복잡한 한자(Kanji)와 같은 순수 텍스트를 읽도록 학습되었지만, 이를 어떻게 발음해야 하는지 알려주는 내장 사전이 없기 때문입니다. 로봇은 학습 과정에서 본 패턴을 바탕으로 소리를 추측해야만 합니다. 일본어에는 수천 개의 글자가 있고 각 글자마다 여러 가지 가능한 발음이 존재하기 때문에, 로м은 종종 잘못된 추측을 합니다.

여기에 연구자 Shuhei Kato가 제안한 영리하고 가벼운 해결책인 UtterTune이 등장합니다. UtterTune을 로봇을 처음부터 다시 만드는 것이 아니라, 로봇의 뇌 속에 아주 작고 맞춤 제작된 '컨닝 페이퍼'를 끼워 넣는 것이라고 생각해보세요.

마법의 컨닝 페이퍼 (LoRA)

연구진은 LoRA(Low-Rank Adaptation)라는 기법을 사용했습니다. 로봇의 뇌를 거대한 도서관이라고 상상해 보세요. 모든 책을 새로 쓰는 대신(그것은 너무 오래 걸릴 뿐만 아니라 로봇이 다른 언어를 말하는 능력을 망칠 수도 있습니다), 단 몇 페이지에만 작은 포스트잇을 붙이는 것입니다. 이 메모들은 로봇에게 일본어 발음을 구체적으로 가르쳐 주는 아주 작고 학습 가능한 조정값입니다.

이 "컨닝 페이퍼"는 믿기 힘들 정도로 작습니다. 전체 로봇 뇌 크기의 0.5% 미만입니다. 매우 작기 때문에 로봇은 영어 나 중국어를 말하는 법을 잊어버리지 않으면서, 오직 일본어에 대한 초능력만을 얻게 됩니다.

"모드 전환" 토큰

이 컨닝 페이퍼가 작동하게 만들기 위해, 연구진은 로봇의 어휘 사전에 <PHON_START>와 <PHON_END>라는 두 가지 특별한 "마법 단어"(토큰)를 추가했습니다.

실제 작동 방식은 다음과 같습니다:

일반 모드: 문장을 평범하게 입력하면, 로봇은 평소처럼 읽습니다.
치트 모드: 만약 까다로운 단어를 저 마법 태그로 감싸면, 예: <PHON_START>チ'ミ/モーリョー<PHON_END>, 로봇은 기어를 바꿉니다. 로봇은 추측을 멈추고, 당신이 지시한 정확한 소리와 음악적 피치 드롭(pitch drops)을 따릅니다.

이는 로봇에게 "이 특정 부분에 대해서는, 평소의 추측을 무시하고 이 음성 표기대로 정확하게 읽어줘"라고 말하는 것과 같습니다.

실제로 효과가 있었을까요?

연구진은 단순히 효과가 있기를 바란 것이 아니라, 실제 데이터를 통해 테스트를 거쳤습니다.

자연스러움: 연구진은 인간 청취자들에게 목소리가 얼마나 자연스러운지를 1점에서 5점 척도로 평가하도록 요청했습니다. 수정 전, 로봇의 점수는 3.44였습니다. UtterTune을 사용한 후, 점수는 3.88로 뛰어올랐습니다. 이는 통계적으로 유의미한 향상이며, 이는 음성이 훨씬 더 인간답고 덜 로봇처럼 들린다는 것을 의미합니다.
액센트 테스트: 그들은 어려운 단어가 포함된 50개의 문장으로 "스트레스 테스트"를 실시했습니다. 수정 전, 로봇은 피치 액센트를 맞출 확률이 **47.2%**에 불과했습니다(거의 동전 던지기 수준이었습니다). UtterTune을 사용하자, 로봇은 액센트를 **97.5%**의 확률로 완벽하게 해냈습니다.
부작용 없음: 결정적으로, 다양한 화자를 흉내 내는 로봇의 능력(화자 유사도)은 떨어지지 않았습니다. 유사도 척도에서 약 0.693을 유지하며, 로봇이 여전히 흉내 내고자 하는 사람처럼 들린다는 것을 증명했습니다.

이것이 해결하지 못하는 것

이것이 무엇이 아닌지 아는 것도 중요합니다. 이것은 모든 언어 문제를 즉각적으로 해결하는 마법 지팡이가 아닙니다. 논문은 명시적으로 이 방법이 현재 일본어(특히 도쿄 일본어)를 위해 설계되었다고 밝히고 있습니다. 새로운 특정 "컨닝 페이퍼"를 학습시키지 않는 한, 이 방법이 다른 언어의 발음을 자동으로 고쳐주지는 않습니다. 또한, 로봇이 지시를 따르는 능력은 훨씬 좋아졌지만, 여다면 여전히 사용자가 마법 태그 안에 올바른 음성 표기를 제공해야 합니다. 만약 잘못된 지시를 준다면, 로봇은 그것을 충실히 따를 것입니다.

핵심 요약

UtterTune은 AI의 실수를 바로잡기 위해 거대한 AI를 다시 만들 필요가 없다는 것을 보여줍니다. 때로는 아주 작고 목표를 정밀하게 타격하는 조정—전체 뇌 용량의 0.5%도 안 되는 양—만으로도 비틀거리는 로봇을 유창한 화자로 바꾸기에 충분합니다. 연구진은 다른 사람들도 자신의 프로젝트에 적용해 보고 효과가 있는지 확인할 수 있도록 "컨닝 페이퍼"와 학습 데이터를 온라인에 공유했습니다. 이는 AI 음성을 진정으로 자연스럽게 만드는 데 있어 큰 영향을 미치는 작은 업데이트입니다.

기술 요약: UtterTune

문제 정의

CosyVoice 2와 같은 대규모 언어 모델(LLM) 기반의 다국어 텍스트 음성 변환(TTS) 시스템은 제로샷(zero-shot) 다중 화자 및 다중 언어 합성에서 놀라운 자연스러움을 달 achievement 했습니다. 그러나 이러한 모델들은 특히 일본어와 같은 언어에서 정확한 발음 구현에 어려움을 겪는 경우가 많습니다. 명시적인 음절-음소 변환(G2P) 프런트엔드를 사용하는 기존의 TTS 시스템과 달리, LLM-TTS 모델은 일반적으로 바이트 쌍 인코딩(BPE)을 통해 토큰화된 원시 텍스트를 처리합니다. 이는 구조를 단순화하고 다국어 학습을 용이하게 하지만, 모델이 분절적 발음과 운율을 순수하게 데이터로부터 학습하도록 강제합니다.

일본어는 이러한 데이터 기반 방식에 있어 다음과 같은 구체적인 과제를 안고 있습니다:

표기법의 복잡성: 일본어는 한자(표의 문자)와 가나(표음 문자)의 조합을 사용합니다. 많은 한자는 여러 가지 읽기 방식을 가지며, 특정 조합은 고유한 발음을 가집니다.
교차 언어 간섭: 일본어와 중국어는 공통된 한자 토큰을 공유하므로, 모델이 의도치 않게 중국어식 발음을 일본어 음성에 적용할 수 있습니다.
고저 액센트(Pitch Accent): 도쿄식 일본어는 단어별 고저 액센트에 의존하며, 액센트 핵(accent nucleus)의 위치가 단어 연결에 따라 달라질 수 있습니다.
제어 기능의 부재: 암시적 G2P 모델에서는 사용자가 발음 오류를 쉽게 수정할 수 없습니다. 가나(Kana)를 입력하는 것이 분절적 모호성을 해결할 수는 있지만, 고저 액센트를 제어할 수는 없으므로 명료도와 품질 저하를 초래합니다.

방법론

저자들은 전체 미세 조정(full fine-tuning)이나 재학습 없이 정밀한 발음 제어를 가능하게 하는 경량 적응 방법인 **LoRA(Low-Rank Adaptation)**를 활용한 UtterTune을 제안합니다.

핵심 아키텍처

베이스 모델: 시스템은 원시 텍스트로부터 이산적 음성 토큰을 생성하는 통합 텍스트-음성 언어 모델(Qwen2.5-0.5B)을 사용하는 CosyVoice 2(0.5B 파라미터)를 기반으로 구축되었습니다.
LoRA 통합: CosyVoice 2 백본의 원래 가중치는 동결됩니다. LoRA 레이어는 텍스트-음성 LM의 모든 셀프 어텐션 블록 내 Query, Key, Value, Output (Q, K, V, O) 투영에 삽입됩니다. 이는 유효 가중치가 $W + \alpha \cdot BC$ 가 되는 작은 행렬( $B$ 와 $C$ )을 학습하는 과정을 포함합니다.
파라미터 효율성: 학습 가능한 파라미터는 베이스 모델의 0.5% 미만으로, 메모리 요구 사항과 학습 시간을 크게 줄이는 동시에 베이스 모델의 다국어 능력을 망각하는 현상(catastrophic forgetting)을 방지합니다.

입력 표현 및 제어

발음과 운율에 대한 명시적인 제어를 제공하기 위해, UtterTune은 두 개의 새로운 특수 토큰인 <PHON_START>와 <PHON_END>를 통해 "모드 전환" 메커니즘을 도입합니다.

음소 모드(Phoneme Mode): 모델이 <PHON_START>를 만나면, 이후의 시퀀스를 명시적인 고저 액센트 마커가 포함된 음소 표기(가나)로 해석하며, <PHON_END>가 나타날 때까지 지속됩니다.
표기법: 입력은 가나가 분절적 발음을 나타내고, 아포스트로피(')는 액센트 핵을 나타내며, 슬래시(/)는 액센트 구절 경계를 나타내는 표준 표기법을 따릅니다 (예: <PHON_START>チ'ミ/モーリョー<PHON_END>).
학습: 오직 LoRA 행렬과 새로운 특수 토큰의 임베딩만이 업데이트됩니다. 학습 목표는 차기 토큰 예측을 위한 표준 교차 엔트로피를 유지합니다.

주요 기여

발음 제어를 위한 최초의 LoRA 적용: 본 연구는 언어별 분절 발음 및 운율 편집을 위해 다국어 LLM-TTS에 LoFA를 적용한 첫 사례입니다. 이는 단 두 개의 특수 토큰과 LoRA 레이어만을 필요로 하는 최소한의 개입을 도입합니다.
제로샷 능력 보존: 본 방법은 객관적 및 주관적 평가를 통해 확인된 바와 같이, 제로샷 설정에서도 자연스러움과 화자 유사성을 유지합니다.
높은 파라미터 효율성: 적응 과정에서 작은 파일 크기(<베이스 모델의 0.5%)를 요구하며, 단일 GPU(NVIDIA RTX 4090)에서 1시간 이내에 학습할 수 있습니다.
재현성: 저자들은 커뮤니티 연구를 촉진하기 위해 학습 스크립트, 평가 데이터 및 사전 학습된 LoRA 가중치를 공개했습니다.

실험 결과

방법론은 두 가지 테스트 세트(일반 자연스러움 세트 및 난독 단어와 고저 액센트 제어에 집중한 스트레스 테스트 세트)를 사용하여 일본어 음성에 대해 평가되었습니다.

자연스러움 (MOS): 일반 테스트 세트에서 UtterTune은 주관적 평균 의견 점수(MOS)를 베이스라인의 3.44에서 3.88로 향상시켰으며, 이는 통계적으로 유의미한 상승입니다 ( $p < 0.0001$ ). 객관적 MOS 예측(UTMOSv2)도 일관되게 나타나 품질 저하가 없음을 보여주었습니다.
화자 유사도: 코사인 유사도 점수(ERes2Net)는 모든 시스템에서 0.69 부근으로 안정적으로 유지되어, 적응 과정이 대상 화자의 목소리 특성을 변화시키지 않았음을 확인했습니다.
발음 및 액센트 제어:
- 음절 오류율 (CER): UtterTune은 0.0626의 CER을 달성하여, 가나 입력 베이스라인(0.0595)과 유사한 수준을 보였으며, 원시 텍스트 베이스라인(0.1005)보다 훨씬 우수한 성능을 보였습니다.
- 액센트 정확도: 이것이 주요 차별점입니다. 베이스라인 가나 입력 시스템은 0.472의 액센트 정확도(종종 올바른 음소를 읽지만 틀린 피치를 적용함)만을 기록했습니다. 반면 UtterTune은 0.975의 액센트 정확도를 달성하여, 고저 액센트 패턴에 대한 효과적인 제어를 입증했습니다.
지역화(Localization): 실험을 통해 발음 제어가 특수 토큰 내의 텍스트에 엄격히 국한되며, 태깅되지 않은 입력 부분에 영향을 주는 "누출(leakage)"이 없음을 확인했습니다.

의의 및 주장

본 논문은 UtterTune이 다른 언어의 성능을 저하시키지 않으면서, 일본어의 특정 결함(즉, G2P 매핑 및 고저 액센트 모델링의 불가능성)을 성공적으로 해결했음을 주장합니다. 미세하고 타겟팅된 업데이트(LoRA)를 통해 다국어 백본의 강력한 제로샷 능력을 보존하면서도 언어 특화적인 문제를 바로잡을 수 있음을 입증함으로써, 본 연구는 복잡한 표기법이나 운율 규칙을 가진 언어에 LLM-TTS 시스템을 적응시키기 위한 확장 가능한 경로를 제시합니다. 저자들은 이 접근 방식이 전체 재학습의 필요성을 피하고 사용자에게 직관적인 음성 출력 제어를 허용한다고 언급했습니다.