💬 NLP

Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder

Confucius4-TTS는 자기지도 학습 기반의 음성 표현으로부터 음색 특징을 추출하기 위해 학습 가능한 화자 인코더를 사용하는 2단계 구조를 채택함으로써, 전사 과정 없이도 교차 언어 음성 복제를 가능하게 하여 14개 언어에 걸쳐 높은 명료도와 화자 유사성을 달성하는 다국어 제로샷 텍스트 음성 변환 시스템입니다.

원저자: Huaxuan Wang, Huimin Wang, Ruiyu Zhang, Yingjie Li, Yitao Duan

게시일 2026-08-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Huaxuan Wang, Huimin Wang, Ruiyu Zhang, Yingjie Li, Yitao Duan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 당신이 가장 좋아하는 영화 캐릭터처럼 말하도록 가르치려 한다고 상상해 보세요. 컴퓨터 과학의 세계에서 이것은 '텍스트 음성 변환(Text-to-Speech, TTS)'이라고 불립니다. 보통 로봇이 그 캐릭터와 똑같이 들리게 하려면 두 가지가 필요합니다. 짧은 오디오 클립과 그 클립에서 말한 내용과 정확히 일치하는 텍서트(대본)입니다. 대본을 지도라고 생각한다면, 지도가 없으면 로봇은 목소리를 단어와 일치시키려다 길을 잃게 됩니다. 하지만 여기에 문제가 있습니다. 우리가 흔히 접하는 오디오 클립—예를 들어 무작위 틱톡 영상이나 팟캐스트 조각—은 대본이 딸려 오지 않는 경우가 많습니다. 즉, '전사(transcribed)되지 않은' 상태입니다. 이는 특히 원본 클립과는 다른 언어로 로봇이 말하게 하고 싶을 때, 야생에서 목소리를 복제하는 것을 매우 어렵게 만듭니다. 이 논문은 바로 그 골칫거리를 다룹니다. 즉, 원본 스크립트 없이도 어떻게 특정 인물의 목소리를 새로운 언어로 구현할 것인가에 대한 문제입니다.

여기, 마치 숙련된 목소리 카멜레온처럼 행동하는 넷이즈 유다오(Net-Ease Youdao)의 새로운 시스템인 Confucius4-TTS가 등장합니다. 연구진은 낯선 사람의 짧은 오디오 클립과 다른 언어로 된 텍스트를 입력받아, 원본 스크립트 없이도 그 낯선 사람이 새로운 언어를 말하는 것처럼 들리게 생성할 수 있는 2단계 기계를 구축했습니다.

이 시스템이 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다. 이 시스템을 두 명의 팀, 즉 번역가와 배우라고 상상해 보세요.

먼저, 번역가(Text-to-Semantic 모듈)는 당신이 말하고자 하는 대상 텍스트를 살펴봅니다. 하지만 단순히 단어를 읽는 것이 아니라, 참조 오디오 클립의 소리도 함께 듣습니다. 결정적으로, 번역가는 참조 오디오가 무엇을 말하는지 알 필요가 없습니다. 그저 누가 말하고 있는지만 알면 됩니다. 이를 위해 '학습 가능한 화자 인코더(Learnable Speaker Encoder)'라는 특수한 장치를 사용합니다. 이 인코더를 '목소리 지문 스캐너'라고 생각하세요. 이 스캐너는 전사되지 않은 무질서한 오디오를 가져와서, 특정 단어들은 무시한 채 목소리의 고유한 '음색(timbre)' 또는 '색채'—마치 기타 줄의 질감과 같은 것—를 추출합니다. 그런 다음 이 '목소리 지문'을 번역가에게 전달하며, 번역가는 이를 새로운 텍스트와 결합하여 '의미론적 토큰(semantic tokens)'을 생성합니다. 이 토큰들은 말의 설계도와 같습니다. 즉, 최종적인 소리는 아직 아니지만 의미와 리듬을 담고 있습니다.

다음으로, 배우(Semantic-to-Acoustic 모듈)는 그 설계도와 목소리 지문을 받습니다. 이 부분은 '조건부 흐름 매칭(conditional flow matching)'이라는 정교한 기술을 사용하는데, 이는 마치 조각가가 점토 덩어리를 서서히 조각상으로 만들어가는 과정과 같습니다. 이 과정은 무작위 노이즈에서 시작하여, 목소리 지문과 설계도에 부합하는 멜-스펙트로그램(소리 파동의 시각적 지도)을 점진적으로 형성해 나갑니다. 마지막으로 '보코더(vocoder, 음성 합성기)'가 그 지도를 우리가 실제로 들을 수 있는 오디오 파동으로 변환합니다.

이 논문의 주요 발견은 이 시스템이 스크립트 없이도 놀라울 정도로 잘 작동한다는 것입니다. 저자들은 중국어, 영어, 일본어, 한국어 및 여러 유럽 및 동남아시아 언어를 포함한 14개 언어를 대상으로 테스트를 진행했습니다. 이들이 교차 언어 음성 복제를 테스트하는 벤치마크인 CV3-Eval에서 Confucius4-TTS를 다른 최상위 시스템들과 겨루게 했을 때, 6개의 서로 다른 언어 방향에 대해 평균 **3.73%의 단어 오류율(WER)**을 기록했습니다. 이는 매우 낮은 오류율로, 음성이 매우 명료하다는 것을 의미합니다. 실제로 X-Voice 벤치마크에서, 이 시스템은 7개의 서로 다른 출발어-중국어 언어 쌍에서 다른 선도적인 시스템들을 이기거나 대등한 성능을 보였습니다.

연구진은 만약 참조 오디오의 스크립트를 가지고 있다면, 시스템을 '연속 복제(continuation cloning)' 모드로 전환할 수 있다는 것도 발견했습니다. 이것은 배우에게 스크립트와 목소리 지문을 모두 주는 것과 같습니다. 이렇게 하면 목소리가 원본 화자와 더욱 비슷해지지만(화자 유사도 점수 향상), 작은 트레이드오프가 발생합니다. 즉, 스크립트가 없는 버전보다 발음의 명료도가 약간 떨어질 수 있다는 점입니다. 그러나 기본 모드인 '스크립트 프리(transcript-free)' 모드가 진정한 주인공이며, 이는 지도가 없어도 목소리를 찾을 수 있음을 증명합니다.

실제 사람들이 결과를 듣고 순위를 매긴 인간 평가에서도, Confucius4-TTS는 음색 유사도(원래 인물과 얼마나 닮았는지)와 자연스러움(얼마나 인간처럼 들리는지) 항목에서 자주 1위를 차지했습니다. 예를 들어, 중국어를 영어로 변환하는 테스트에서 이 시스템은 거의 모든 카테고리에서 1위 또는 2위를 차지하며 상업적 거물들과 다른 오픈 소스 모델들을 제쳤습니다.

이 논문은 고품질의 교차 언어 복제를 위해 반드시 스크립트가 필요하다는 생각을 명시적으로 부정합니다. 기존 방식들은 강제 정렬(단어와 소리를 완벽하게 일치시키는 작업)이나 합성된 학습 쌍에 크게 의존했지만, Conf-us4-TTS는 자기 지도 학습 기반의 음성 표현(단어를 배우지 않고도 듣기만으로 언어를 이해하도록 학습된 AI)을 사용함으로써 목소리의 정체성을 직접 추출할 수 있음을 보여줍니다. 저자들은 약 50만 시간의 음성 데이터를 사용하여 대규모로 검증했으며, 다양한 공개 벤치마크와 내부 인간 평가를 통해 이 결과에 확신을 갖고 있습니다.

그렇다면 이것이 미래에는 무엇을 의미할까요? 저자들은 이것이 비디오 더빙, 오디오북, 그리고 무작위 클립에서 즉각적으로 목소리를 복제하여 어떤 언어로든 말하게 할 수 있는 접근성 도구의 문을 열어준다고 제안합니다. 그들은 심지어 코드와 모델을 공개하여 다른 사람들이 이 '스크립트가 필요 없는' 마법을 바탕으로 무언가를 구축할 수 있도록 초대했습니다. 이 시스템이 완벽하지는 않지만(여전히 작은 오류율이 있고 더 빨라질 수 있음), 이는 음성 복제를 단순히 비디오의 '재생' 버튼을 누르는 것만큼 쉽게 만드는 중요한 진전입니다.

기술 요약: Confucius4-TTS

문제 정의

최근 제로샷 텍스트 음성 변환(TTS)의 발전은 음성 품질과 목소리 복제 충실도를 크게 향상시켰습니다. 그러나 결정적인 한계가 남아 있습니다. 최첨단 제로샷 TTS 시스템 중 다수는 추론 시점에 참조 오디오 프롬프트의 전사(transcript)를 필요로 한다는 점입니다. 이러한 의존성은 교차 언어적 목소리 복제를 저해하는데, 실제 환경("in-the-wild")의 참조 오디오는 특히 저자원 언어나 방언의 경우 전사되지 않은 경우가 빈번하기 때문입니다. 일부 접근 방식은 강제 정렬(forced alignment)이나 합성 프롬프트 쌍을 사용하여 이를 완화하려고 시도하지만, 전사 요구 사항을 제거하면서도 언어를 가로질러 높은 명료도와 화자 유사성을 유지하는 강력한 솔루션은 여전히 과제로 남아 있습니다.

방법론

Confucius4-TTS는 참조 전사 없이 14개 언어에 걸쳐 미학습 화자를 복제하도록 설계된 다국어 제로샷 TTS 시스템입니다. 이 시스템은 2단계 아키텍처를 채택합니다:

1. Text-to-Semantic (T2S) 모듈

아키텍처: 시맨틱 음성 토큰을 예측하는 디코더 전용 트랜스포머(24개 레이어, 은닉 크기 1280)입니다.
입력 컨디셔닝: 모델은 타겟 텍스트 임베딩과 화자 임베딩을 입력으로 받습니다.
- 텍스트 처리: 사전 학습된 대규모 언어 모델(LLM)의 BPE 기반 토크나이저를 사용합니다. 경량 MLP가 이러한 임베딩을 T2S 은닉 차원으로 투영합니다.
- 화자 컨디셔닝: 사전 학습된 화자 검증 인코더를 사용하는 대신, 시스템은 **공동 학습된 화자 인코더(jointly trained speaker encoder)**를 활용합니다. 이 인코더는 w2v-BERT 2.0 인코더에서 유도된 자기 지도 학습(SSL) 음성 표현을 기반으로 작동합니다. 이는 프레임 수준의 SSL 특징을 고정 크기의 화자 임베딩( $e_r$ )으로 풀링합니다. 이 접근 방식은 전사 없이도 원시 오디오에서 직접 음색 특징을 추출할 수 있게 합니다.
학습: T2S 모듈은 타겟 텍스트와 화자 임베딩에 조건화된 시맨틱 토큰을 예측하기 위해 자기 회귀적 교차 엔트로피 목적 함수로 학습됩니다. 사전 학습된 LLM 임베딩 테이블은 동결된 상태로 유지됩니다.

2. Semantic-to-Acoustic (S2A) 모듈

아키텍처: Diffusion Transformer (DiT) 백본을 가진 조건부 흐름 매칭(conditional flow-matching, CFM) 모델입니다.
기능: 예측된 시맨틱 토큰을 멜-스펙트로그램으로 변환합니다.
컨디셔닝:
- 시맨틱: 시맨틱 토큰 임베딩을 T2S 모듈의 은닉 상태( $H_{T2S}$ )와 결합합니다. 이산적(discrete) 토큰과 함께 연속적인 은닉 상태를 사용함으로써 정보 병목 현상을 줄이고 운율과 음색을 위한 문맥을 보존합니다.
- 화자: 동결된 화자 검증 모델(CAM++)에서 추출된 글로벌 화자 임베딩( $g$ )을 사용합니다.
- 음향 문맥: 참조 오디오에서 유도된 프롬프트 멜-스펙트로그램을 포함합니다.
학습: 최적 운송 경로(optimal transport path)를 따른 조건부 흐름 매칭을 사용하여 최적화됩니다. 모델은 조건(시맨틱, 화자, 프롬프트)을 고정된 확률로 함께 드롭하는 분류기 없는 가이던스(classifier-free guidance, CFG)를 통해 학습됩니다.

이중 모드 추론

시스템은 동일한 모델을 사용하여 두 가지 추론 레시피를 지원합니다:

참조 복제 (기본값): 참조 오디오에서 추출된 화자 임베딩과 타겟 텍스트에만 조건화됩니다. 이 모드는 전사가 필요 없으며 운율과 스타일에 대한 유연성을 제공합니다.
연속 복제 (Continuation Cloning): 참조 전사가 있는 경우, 모델은 화자 임베딩 외에 참조 전사와 참조 시맨틱 토큰에 추가로 조건화됩니다. 이 모드는 약간 더 높은 오류율을 감수하는 대신 더 높은 화자 유사성을 제공합니다.

주요 기여

전사 없는 교차 언어 복제: Confucius4-TTS는 참조 전사 없이 14개 언어에서 미학습 화자를 복제할 수 있는 다국어 제로샷 TTS 시스템입니다.
공동 학습된 화자 인코더: 자기 지도 학습 음성 표현에서 작동하며 강제 정렬이나 합성 프롬프트 쌍 없이도 효과적인 음색 추출을 가능하게 하는, T2S 모듈과 공동 학습된 화자 인코더를 도입했습니다.
유연한 추론 모드: 단일 모델 아키텍처 내에서 전사가 없는 참조 복제와 전사 기반의 연속 복제를 모두 지원합니다.
종합적인 평가 및 공개: 오픈 소스 및 상용 베이스라인에 대한 객관적 및 주관적 평가를 제공하며, 코드, 모델 체크포인트 및 데모를 오픈 소스로 공개합니다.

실험 결과

시스템은 14개 언어(중국어, 영어, 일본어, 한국어, 독일어, 프랑스어, 스페인어, 인도네시아어, 이탈리아어, 태국어, 포르투갈어, 러시아어, 말레이어, 베트남어)를 아우르는 약 500,000시간의 다국어 음성 데이터로 학습되었습니다.

교차 언어 성능

CV3-Eval: 이 벤치마크의 교차 언어 서브셋에서 Confucius4-TTS는 6개 언어 방향에 대해 평균 단어 오류율(WER) **3.73%**를 달성했습니다. 6개 방향 중 4개 방향에서 가장 낮은 오류율을 기록했으며, 일본어-중국어 방향(4.87% vs 48.10%)과 같은 CosyVoice 2를 크게 앞질렀습니다.
X-Voice: 중국어를 대상으로 하는 7개 소스 언어에 대해 평가했을 때, 시스템은 4개 방향에서 가장 낮은 문자 오류율(CER)을 달 기록했으며, 나머지 방향에서도 최고 성능 시스템과 0.3 절대 포인트 이내의 차이를 보였습니다.

언어 내 및 다국어 성능

Seed-TTS-eval: 언어 내 제로샷 작업에서 시스템은 영어에 대해 1.49 WER 및 0.700 화자 유사도(SIM)를, 중국어에 대해 0.94 CER 및 0.765 SIM을 달성했습니다. 연속 복제는 SIM을 영어 0.715, 중국어 0.766으로 향상시켰습니다.
MiniMax-MLS-Test: 평가된 11개 언어 전반에 걸쳐, Confucius-TTS는 참조 복제 모드에서 72% 이상의 화자 유사도를 달성했습니다. 연속 복제는 전사가 있을 때 모든 언어에서 일관되게 SIM을 개선했습니다.

인간 평가

내부 교차 언어 테스트 세트(zh↔en, zh↔ko, zh↔ja)에서 Confules-TTS는 모든 언어 쌍에서 음색 유사도와 자연스러움 측면에서 1위 또는 2위를 차지했습니다. 또한 en→zh, zh→ko, zh→ja에 대한 인간 평가에서 종합 순위 1위를 차지하며 ElevenLabs 및 MiniMax-Speech와 같은 강력한 상용 시스템을 능가했습니다.

의의

Confucius4-TTS는 제로샷 TTS의 실질적인 병목 구간인 전사 의존성 문제를 해결하여, 전사되지 않은 실제 오디오에 대해서도 고충실도 음성 복제를 가능하게 합니다. 자기 지도 학습 표현과 공동 학습된 화자 인코더를 활용함으로써, 이 시스템은 보조 정렬 모듈 없이도 다양한 언어에 걸쳐 경쟁력 있는 명료도와 화자 유사성을 달성합니다. 저자들은 이 시스템이 오픈 소스 및 상용 시스템 모두에 대해 경쟁력 있는 성능을 보이며, 참조 전사를 사용할 수 없는 비디오 더빙, 오디오북, 접근성 도구 등의 애플리케이션에 강력한 솔루션을 제공한다고 주장합니다. 오픈 소스 공개는 다국어 및 교차 언어 음성 생성에 관한 추가 연구를 촉진하는 것을 목표로 합니다.