⚡ electrical engineering

OmniVoice: Towards Omnilingual Zero-Shot Text-to-Speech with Diffusion Language Models

이 논문은 오픈소스 데이터로 구성된 58 만 시간 규모의 다국어 데이터셋을 활용하여 600 개 이상의 언어를 지원하는 대규모 제로샷 TTS 모델 'OmniVoice'를 제안하며, 사전 훈련된 LLM 을 기반으로 한 새로운 확산 언어 모델 아키텍처를 통해 기존 파이프라인의 한계를 극복하고 최첨단 성능을 달성했다고 요약할 수 있습니다.

원저자: Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, Daniel Povey

게시일 2026-04-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, Daniel Povey

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

오미보이스 (OmniVoice): 전 세계 600 개 언어를 한 번에 구사하는 '언어 천재' AI

이 논문은 **오미보이스 (OmniVoice)**라는 새로운 인공지능을 소개합니다. 이 AI 는 단순히 한두 가지 언어만 아는 것이 아니라, 전 세계 600 개 이상의 언어를 듣고, 이해하고, 사람처럼 자연스럽게 말해줄 수 있는 '초능력'을 가지고 있습니다.

기존의 음성 합성 기술이 가진 한계를 깨뜨린 이 혁신적인 기술을 일상적인 비유로 쉽게 설명해 드리겠습니다.

1. 기존 방식 vs 오미보이스: "레시피대로 요리" vs "요리 천재의 직감"

기존의 고급 음성 합성 모델들은 보통 2 단계 과정을 거쳤습니다.

비유: 마치 "텍스트 (레시피) → 의미 해석 (재료 준비) → 소리 생성 (요리)" 순서로 진행하는 것입니다.
문제점: 중간에 '재료 준비' 단계에서 실수가 나면, 최종 요리인 소리의 품질이 떨어집니다. 또한, 복잡한 과정을 거치다 보니 저자원 언어 (데이터가 적은 언어) 에서는 제대로 작동하지 않았습니다.

오미보이스는 이 복잡한 과정을 한 번에 해결합니다.

비유: 오미보이스는 "텍스트 (레시피) → 바로 소리 (완성된 요리)"로 직행합니다.
핵심: 중간에 '의미 해석'이라는 복잡한 단계를 거치지 않고, 텍스트를 직접 소리로 변환합니다. 이는 마치 요리 초보자가 레시피를 보고 하나하나 재료를 썰어 넣는 게 아니라, 요리 천재가 레시피만 보고도 손끝으로 바로 완벽한 요리를 만들어내는 것과 같습니다.

2. 두 가지 핵심 비법 (기술적 혁신)

이렇게 놀라운 성능을 내기 위해 오미보이스는 두 가지 특별한 비법을 사용했습니다.

① "전체 코드를 무작위로 가리는 훈련법" (Full-Codebook Random Masking)

상황: AI 가 소리를 배우는 과정은 마치 퍼즐을 맞추는 것과 같습니다. 기존 방식은 퍼즐 조각을 한 줄씩만 가리고 맞추게 했습니다.
오미보이스의 비법: 퍼즐 조각을 전체적으로 무작위로 가리고 맞추게 합니다.
효과: AI 가 더 빠르고 효율적으로 학습하게 되어, 소리의 자연스러움과 품질이 훨씬 좋아집니다. 마치 퍼즐을 한 줄씩 맞추는 게 아니라, 전체 그림을 한눈에 보며 빠르게 완성하는 것과 같습니다.

② "거대 언어 모델 (LLM) 의 지식을 물려받기" (LLM Initialization)

상황: 소리를 내는 AI 는 문법이나 단어의 뉘앙스를 잘 모르면, 소리는 잘 나는데 "무슨 말인지 알아듣기 힘든 (Intelligibility)" 문제가 생깁니다.
오미보이스의 비법: 이미 수만 권의 책을 읽고 언어를 완벽하게 이해하는 거대 언어 모델 (LLM) 의 뇌를 그대로 가져와서 사용합니다.
효과: AI 가 처음부터 소리를 배우기 전에, 이미 "언어의 의미와 뉘앙스"를 완벽하게 알고 있는 상태에서 시작합니다. 그래서 어떤 언어를 말하든 발음이 정확하고 문맥을 잘 이해하게 됩니다.

3. 방대한 데이터: "전 세계의 목소리를 한 그릇에"

오미보이스는 58 만 시간에 달하는 방대한 데이터를 먹었습니다.

비유: 전 세계 600 개 언어의 사람들이 녹음한 목소리 데이터를 모두 모아, **거대한 '언어 스프'**를 끓인 것입니다.
특이점: 이 데이터는 모두 오픈소스 (무료 공개) 자료로만 구성되었습니다.
결과: 덕분에 영어나 중국어 같은 인기 언어뿐만 아니라, 아프리카나 남미의 소수 언어, 데이터가 거의 없던 언어까지 모두 구사할 수 있게 되었습니다. 마치 전 세계 모든 방언을 구사할 수 있는 통역사가 된 것입니다.

4. 다양한 능력: "목소리 디자이너"

오미보이스는 단순히 말을 잘하는 것을 넘어, 사용자의 요구에 따라 목소리를 자유자재로 바꿀 수 있습니다.

소음 제거 (Prompt Denoising): 녹음된 원본 소리에 잡음이 섞여 있어도, AI 가 그 잡음을 걸러내고 깨끗한 목소리로 만들어줍니다. (비유: 흐린 사진에서 노이즈를 제거하고 선명하게 만드는 것)
목소리 디자인: "남자, 30 대, 경상도 사투리"처럼 텍스트로 지시만 하면, 해당 특징을 가진 목소리를 만들어냅니다. (비유: 목소리 커스터마이징 메뉴)
감정 표현: 웃음소리나 울음소리 같은 비언어적 소리를 자연스럽게 섞어 감정 표현이 풍부한 연기를 해냅니다.

5. 결론: 왜 이것이 중요한가요?

기존의 AI 는 "영어와 중국어는 잘하지만, 나머지 600 개 언어는 못 한다"는 한계가 있었습니다. 하지만 오미보이스는 전 세계 거의 모든 언어를 한 번에 다룰 수 있는 첫 번째 모델입니다.

간단한 요약: 오미보이스는 복잡한 과정을 생략하고, 거대 언어 모델의 지식을 빌려와, 전 세계 600 개 언어를 완벽하게 이해하고 자연스러운 소리로 만들어내는 차세대 음성 AI입니다.

이 기술은 언어의 장벽을 허물고, 전 세계 누구나 자신의 모국어로 AI 와 대화할 수 있는 시대를 여는 중요한 첫걸음입니다.

OmniVoice: 기술 요약

1. 문제 정의 (Problem)

기존의 제로샷 (Zero-shot) 텍스트 음성 변환 (TTS) 모델들은 소수의 고자원 언어에 집중되어 있어, 전 세계 수백 개의 저자원 언어를 지원하지 못하는 한계가 있었습니다. 또한, 기존 고품질 TTS 모델들은 주로 두 가지 패러다임에 의존하고 있었습니다:

자기회귀 (AR) 모델: 추론 속도가 느리고 병렬 디코딩이 어렵습니다.
비자기회귀 (NAR) 모델: 추론 속도는 빠르지만, 기존 SOTA NAR 모델들은 대부분 복잡한 2 단계 파이프라인 (텍스트 $\rightarrow$ 의미 토큰 $\rightarrow$ 음향 토큰) 을 사용합니다. 이는 오차 전파 (error propagation) 와 정보 병목 현상 (information bottleneck) 을 초래하여 음질과 가독성을 저하시킵니다.

따라서 수백 개 언어를 지원하면서도, 단일 단계 (Single-stage) 구조로 고품질의 제로샷 음성을 생성할 수 있는 확장 가능한 아키텍처가 필요했습니다.

2. 방법론 (Methodology)

OmniVoice 는 확산 언어 모델 (Diffusion Language Model) 스타일의 단일 단계 비자기회귀 (NAR) 아키텍처를 기반으로 합니다. 주요 기술적 혁신은 다음과 같습니다.

단일 단계 직접 매핑 (Direct Mapping):
- 기존 2 단계 방식과 달리, 텍스트 토큰을 직접 멀티 코드북 (Multi-codebook) 음향 토큰으로 매핑합니다.
- 이를 통해 오차 전파와 정보 손실을 제거하고, 엔드 - 투 - 엔드 (End-to-End) 학습을 가능하게 합니다.
- Bidirectional Transformer를 백본으로 사용하여 양방향 문맥을 활용합니다.
전체 코드북 무작위 마스킹 (Full-Codebook Random Masking):
- 기존 NAR 모델들은 주로 '레이어별 (Per-layer)' 마스킹을 사용하여 학습 효율이 낮았습니다.
- OmniVoice 는 모든 코드북 (Codebook) 에 대해 완전 확률적 (Fully Stochastic) 마스킹 전략을 도입했습니다. 각 학습 인스턴스마다 $T \times C$ 토큰 행렬의 모든 항목을 독립적으로 마스킹하여, 평균적으로 50% 의 토큰을 손실 계산에 사용합니다. 이는 수렴 속도를 크게 향상시키고 생성 품질을 높입니다.
LLM 초기화 (LLM Initialization):
- 단일 단계 NAR 모델의 약점인 '가독성 (Intelligibility)' 문제를 해결하기 위해, 사전 훈련된 **자기회귀 (AR) 대규모 언어 모델 (LLM, Qwen3-0.6B)**의 가중치를 백본으로 초기화합니다.
- LLM 의 언어 지식을 계승하여 텍스트 - 음성 매핑의 강력한 사전 지식 (Prior) 으로 활용함으로써, NAR 모델이면서도 뛰어난 가독성을 확보했습니다.
대규모 다국어 데이터 구축:
- 오픈소스 데이터만 선별하여 58 만 시간 (581k hours) 이상의 다국어 코퍼스를 구축했습니다.
- 600 개 이상의 언어를 지원하며, 저자원 언어의 불균형을 해결하기 위해 언어별 데이터 리샘플링 (Upsampling) 전략을 적용했습니다.
다차원 제어 기능:
- 프롬프트 탈노이즈 (Prompt Denoising): 노이즈가 포함된 프롬프트에서도 깨끗한 음성을 생성.
- 화자 속성 기반 보이스 디자인: 오디오 프롬프트 없이 성별, 나이, 억양 등을 텍스트 지시어로 제어.
- 음운론적 제어: 중국어 다음자나 전문 용어 등 발음 오류를 방지하기 위한 음소 (Phoneme) 오버라이드 기능.

3. 주요 기여 (Key Contributions)

최대 규모 다국어 지원: 오픈소스 데이터만으로 600 개 이상의 언어를 지원하는 최초의 제로샷 TTS 모델입니다.
아키텍처 혁신: 확산 언어 모델 스타일의 단일 단계 NAR 구조를 TTS 에 성공적으로 적용하여, 복잡한 2 단계 파이프라인 없이도 SOTA 성능을 달성했습니다.
학습 효율성 및 가독성 향상: '전체 코드북 무작위 마스킹'과 'LLM 초기화'라는 두 가지 핵심 기법을 통해 학습 효율과 생성 음성의 가독성을 동시에 개선했습니다.
상업적 수준의 성능: 저자원 언어에서도 높은 일반화 능력을 보이며, 고자원 언어 (중국어, 영어) 에서는 기존 상용 모델들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

벤치마크 성능:
- LibriSpeech-PC (영어) 및 Seed-TTS (중/영): 가독성 (WER/CER), 화자 유사도 (SIM-o), 자연스러움 (UTMOS) 에서 기존 AR 및 NAR 모델 (IndexTTS2, CosyVoice, F5-TTS 등) 보다 우수한 성능을 기록했습니다.
- 다국어 벤치마크 (MiniMax-24, FLEURS-102): 24 개 언어 및 102 개 언어 벤치마크에서 ElevenLabs, MiniMax-Speech 등 주요 상용 모델보다 평균 SIM-o 와 WER 에서 더 높은 성능을 보였습니다.
- 저자원 언어: 10 시간 미만의 학습 데이터가 있는 언어에서도 5% 미만의 문자 오류율 (CER) 을 달성하여 강력한 일반화 능력을 입증했습니다.
추론 속도: 16 단계 반복 마스킹 해제 (Unmasking) 시, 배치 크기 1 기준 실시간 인자 (RTF) 가 0.0319로 매우 빠른 추론 속도를 보입니다.

5. 의의 및 결론 (Significance)

OmniVoice 는 음성 합성 기술의 접근성을 획기적으로 높인 모델입니다.

언어 격차 해소: 수백 개의 저자원 언어를 지원함으로써, 전 세계 인구의 상당 부분이 음성 기술에서 소외되지 않도록 합니다.
기술적 패러다임 전환: 복잡한 2 단계 파이프라인 없이 단일 단계 확산 모델로 고품질 다국어 TTS 를 구현할 수 있음을 증명했습니다.
실용성: 오픈소스 데이터만으로 구축되었음에도 상용 모델과 경쟁 가능한 성능을 보여주어, 향후 오픈소스 기반의 글로벌 음성 기술 발전의 새로운 기준을 제시합니다.

이 연구는 고품질 TTS 기술을 전 세계의 광범위한 언어로 확장하는 데 있어 중요한 이정표가 되었습니다.