Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation

이 논문은 말과 노래 음성을 통합적으로 생성하고 제어할 수 있는 'Vevo2' 프레임워크를 제안하며, 두 가지 통합 오디오 토크나이저와 새로운 학습 전략을 통해 데이터 부족 문제를 해결하고 다양한 음성 생성 및 편집 작업에서 뛰어난 일반화 능력을 입증했습니다.

핵심

🎤 Vevo2: 목소리 조립소와 변신 마법사

상상해 보세요. 목소리를 만드는 공장이 있다고 칩시다. 예전에는 '말하는 목소리'를 만드는 공장 A 와 '노래하는 목소리'를 만드는 공장 B 가 따로 있었습니다. 하지만 이 두 공장은 서로 다른 언어를 쓰고, 다른 도구를 사용해서 효율이 나빴죠.

Vevo2는 이 두 공장을 하나로 합쳐서 **'만능 목소리 조립소'**로 바꿨습니다. 이제 이 조립소는 말과 노래를 구분하지 않고, 어떤 소리가 들어와도 똑같은 원리로 처리합니다.

1. 두 가지 핵심 도구 (토크나이저)

이 조립소는 소리를 처리할 때 두 가지 특별한 '번역기'를 사용합니다.

• 도구 1: '멜로디 & 리듬 번역기' (Prosody Tokenizer)
  • 비유: 악보 없이도 노래의 '멜로디'와 말의 '억양 (리듬)'을 읽는 귀입니다.
  • 기능: 보통 노래를 만들려면 전문 악보 (노래의 높낮이와 박자를 적는 것) 가 필요했지만, Vevo2 는 그냥 소리를 들으면 자동으로 그 리듬과 멜로디를 숫자 코드로 바꿔냅니다. 심지어 피아노 소리나 휘파람 소리에서도 멜로디를 추출할 수 있어서, "휘파람으로 부른 멜로디를 노래로 바꿔줘" 같은 일도 가능해졌습니다.
• 도구 2: '내용 & 스타일 번역기' (Content-Style Tokenizer)
  • 비유: 소리의 '내용 (무슨 말인가?)'과 '스타일 (누가, 어떻게 말하는가?)'을 분리하는 분리수거함입니다.
  • 기능: 이 번역기는 소리의 '내용'과 '화자의 목소리 특징 (톤)'을 깔끔하게 분리합니다. 예를 들어, "안녕하세요"라는 말을 '김철수 씨의 목소리'로 바꾸거나, '감동적인 스타일'로 바꾸는 것이 가능해집니다.

2. 말과 노래의 '결혼' (Joint Training)

이 기술의 가장 큰 특징은 말과 노래를 함께 배운다는 점입니다.

• 이유: 노래 데이터는 구하기 어렵지만, 말 데이터는 엄청나게 많습니다. Vevo2 는 말 데이터를 많이 학습해서 노래 실력을 키우고, 반대로 노래의 감성적인 표현을 배워서 말도 더 자연스럽고 감동적으로 만듭니다.
• 결과: 말만 배우거나 노래만 배운 다른 AI 들보다 훨씬 더 유연하고 자연스러운 소리를 만들어냅니다.

3. 다목적 마법 (다양한 활용)

Vevo2 는 하나의 시스템으로 여러 가지 일을 할 수 있습니다.

• 텍스트 → 노래 (SVS): 글자를 입력하면, 원하는 멜로디와 가수의 목소리로 노래를 불러줍니다.
• 말 → 노래 (Humming-to-Singing): "휘파람"이나 "허밍"으로 멜로디를 부르면, AI 가 그 멜로디에 맞춰 가사를 불러주는 노래로 바꿔줍니다.
• 노래 → 노래 (SVC): 한 사람이 부른 노래를 다른 가수의 목소리로 바꿔줍니다. (예: 아이돌이 부른 노래를 내 목소리로 바꿔서 듣기)
• 말 → 말 (VC/Editing): 대화 내용을 바꾸거나, 억양이나 감정을 바꿔서 다시 말하게 합니다.

4. 더 똑똑하게 만들기 (후기 학습)

처음 만든 모델도 좋지만, 더 완벽하게 만들기 위해 **'수업'**을 시켰습니다.

• 지능형 학습: "말이 알아듣기 쉽게 해야 해"라는 규칙을 가르쳤습니다.
• 리듬 감각 학습: "멜로디를 정확히 따라야 해"라는 규칙도 가르쳤습니다.
• 이 두 가지 규칙을 동시에 가르쳐서, AI 가 가사도 잘 따르고 멜로디도 정확하게 따라 부르는 '완벽한 가수가' 되도록 만들었습니다.

🌟 요약하자면?

Vevo2 는 **말과 노래의 장벽을 허문 '만능 목소리 생성기'**입니다.

• 악보 없이도 멜로디를 이해하고,
• 휘파람이나 악기 소리로도 노래를 만들 수 있으며,
• 누구의 목소리로든, 어떤 감정으로든 소리를 자유자재로 변신시킬 수 있습니다.

이 기술은 앞으로 우리가 음악을 만들거나, 목소리를 편집하거나, 새로운 형태의 엔터테인먼트를 경험하는 방식을 완전히 바꿀 것으로 기대됩니다.

기술 요약

Vevo2: 음성 및 노래 음성 생성을 위한 통합 및 제어 가능 프레임워크에 대한 기술 요약

본 논문은 Vevo2라는 새로운 프레임워크를 소개하며, 이는 제어 가능한 인간의 음성 (Speech) 과 노래 음성 (Singing Voice) 생성을 통합하는 것을 목표로 합니다. 기존에 음성 생성과 노래 음성 합성 (SVS) 이 별개의 영역으로 다루어졌던 한계를 극복하고, 두 도메인을 하나의 통일된 모델에서 학습시켜 상호 이점을 얻고자 합니다.

1. 문제 정의 (Problem)

기존의 음성 생성 연구는 대규모 코퍼스의 등장으로 제로샷 텍스트 - 음성 변환 (TTS) 분야에서 괄목할 만한 성과를 거두었습니다. 그러나 노래 음성 생성은 다음과 같은 심각한 도전 과제를 안고 있습니다.

• 데이터 부족 및 주석 의존성: 노래 데이터는 일반 음성 데이터에 비해 양이 적으며, 가사와 음표의 정확한 정렬이 포함된 전문적인 악보 (Music Notation) 주석이 필수적입니다. 이는 확장성을 제한합니다.
• 제어의 복잡성: 텍스트 (가사), 프로소디 (멜로디/억양), 스타일 (감정, 억양, 노래 기법), 그리고 화자 (음색) 를 독립적으로 제어하면서도 고품질의 음성을 생성하는 것은 여전히 어렵습니다.
• 통합 모델링의 부재: 음성 생성과 노래 생성을 하나의 프레임워크에서 통합하여 학습하면 서로의 장점을 살릴 수 있다는 가설이 존재하지만, 이를 실현하는 효과적인 방법론은 부족했습니다.

2. 방법론 (Methodology)

Vevo2 는 두 단계의 아키텍처를 기반으로 하며, 음성과 노래를 통합하기 위한 세 가지 핵심 기술적 설계가 적용되었습니다.

A. 통합 오디오 토크나이저 (Unified Audio Tokenizers)

Vevo2 는 두 가지 새로운 토크나이저를 도입하여 음성 데이터의 이질성을 해결합니다.

1. 통합 프로소디 토크나이저 (Unified Prosody Tokenizer):
   • 특징: 악보 (Notation) 가 필요 없는 토크나이저로, 스피치, 노래, 심지어 악기 소리까지 프로소디와 멜로디를 포착합니다.
   • 기술: 원시 오디오의 크로마그램 (Chromagram) 특징을 기반으로 VQ-VAE 를 학습합니다. 크로마그램은 옥타브 정보를 제거하여 음성 (Speech) 과 노래 (Singing) 간의 주파수 분포 차이를 줄이고, 악기 소리에도 강건하게 작동합니다.
   • 속도: 6.25Hz 로 동작하며, 56.25bps 의 비트레이트를 가집니다.
2. 통합 콘텐츠 - 스타일 토크나이저 (Unified Content-Style Tokenizer):
   • 특징: 언어적 내용 (Content), 프로소디, 스타일을 인코딩하면서도 음색 (Timbre) 을 분리 (Disentangle) 합니다.
   • 기술: Whisper 의 숨겨진 특징 (Hidden features) 과 크로마그램 특징을 동시에 재구성 목표로 사용하여 학습합니다. 이는 노래의 정교한 멜로디와 스타일 정보를 포착하면서도 Whisper 의 한계를 보완합니다.
   • 속도: 12.5Hz 로 동작하며, 175bps 의 비트레이트를 가집니다.

B. 음성 - 노래 연합 학습 (Speech-Singing Joint Training)

콘텐츠 - 스타일 모델링 단계 (AR Transformer) 에서 음성 생성과 노래 생성의 차이를 극복하기 위해 두 가지 학습 전략을 혼합합니다.

• 명시적 프로소디 학습 (Explicit Prosody Learning, EPL): 텍스트와 함께 명시적인 프로소디 토큰을 입력받아 콘텐츠 - 스타일 토큰을 예측합니다.
• 암시적 프로소디 학습 (Implicit Prosody Learning, IPL): 텍스트만 입력받아 문맥 학습 (In-context learning) 을 통해 프로소디를 추론합니다.
• 전략: 모든 학습 데이터 (음성 및 노래) 에 대해 EPL 과 IPL 을 무작위로 적용하여 모델이 두 도메인 간의 격차를 자연스럽게 학습하도록 유도합니다.

C. 다목적 정렬 (Multi-Objective Alignment)

사전 학습된 모델의 제어 능력을 향상시키기 위해 후학습 (Post-training) 단계를 도입했습니다.

• 목표: 가독성 (Intelligibility) 과 프로소디 유사성 (Prosody Similarity) 을 동시에 최적화합니다.
• 방법: 가독성 선호도 코퍼스를 기반으로 한 보상 모델과, MIDI 렌더링된 악기 소리를 프로소디 프롬프트로 사용하여 계산한 프로소디 유사도 보상을 결합합니다.
• 알고리즘: 그룹 상대적 정책 최적화 (GRPO) 알고리즘을 사용하여 두 보상을 균형 있게 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. 새로운 토크나이저 설계: 악보가 필요 없는 통합 프로소디 토크나이저와 음색이 분리된 통합 콘텐츠 - 스타일 토크나이저를 제안하여 음성, 노래, 악기 소리를 통합적으로 모델링할 수 있게 했습니다.
2. Vevo2 프레임워크: 제안된 연합 학습 전략을 기반으로 음성 및 노래 합성, 변환, 편집 등 다양한 작업을 유연하게 수행할 수 있는 통합 프레임워크를 구축했습니다.
3. 다목적 후학습: 가독성과 프로소디 유사성을 동시에 최적화하는 후학습 작업을 제안하여 모델의 안정성과 일반화 능력을 크게 향상시켰습니다.

4. 실험 결과 (Results)

Vevo2 는 다양한 태스크에서 기존 모델 (MaskGCT, CosyVoice 2, F5-TTS, TCSinger 등) 을 능가하거나 경쟁력 있는 성능을 보였습니다.

• 통합 학습의 효과: 음성 데이터와 노래 데이터를 함께 학습한 Vevo2 는 음성 생성의 자연스러움과 가독성을 향상시켰고, 노래 생성의 가독성과 자연스러움도 크게 개선되었습니다.
• 제로샷 노래 합성 (Zero-Shot SVS): MIDI 와 텍스트를 입력받아 고품질의 노래를 생성하며, 멜로디 추종 능력 (Melody-MOS) 이 기존 SVS 모델과 비교해 우수한 성능을 보였습니다.
• 편집 및 변환 태스크:
  • 음성/노래 편집: 원본의 프로소디 (멜로디) 를 유지하면서 가사만 수정하는 등 정교한 편집이 가능합니다.
  • 음성/노래 변환 (VC/SVC): 음색을 변경하면서도 원본의 스타일과 멜로디를 잘 보존합니다.
  • 새로운 응용: 허밍 (Humming) 에서 노래로, 악기 소리에서 노래로 변환하는 등 기존에 불가능하거나 어려웠던 태스크를 성공적으로 수행했습니다.
• 제어 능력: 텍스트, 프로소디, 스타일, 음색뿐만 아니라 지속 시간 (Duration) 과 피치 영역 (Pitch Region) 을 정밀하게 제어할 수 있음이 입증되었습니다.

5. 의의 및 결론 (Significance)

Vevo2 는 음성 생성과 노래 생성을 분리된 작업이 아닌 통합된 학습 프레임워크로 접근함으로써 상호 보완적 이점을 증명했습니다.

• 확장성: 악보 주석이 없는 대규모 데이터 (크로마그램 기반) 를 활용하여 노래 데이터의 부족 문제를 해결했습니다.
• 범용성: 합성, 변환, 편집 등 다양한 음성 관련 태스크를 하나의 모델로 처리할 수 있어 시스템 복잡성을 줄였습니다.
• 창의적 응용: 악기 소리나 허밍을 노래로 변환하는 등 음악 생성 분야에서 새로운 가능성을 열었습니다.

결론적으로, Vevo2 는 제어 가능한 인간 음성 생성 분야에서 통합 모델링의 잠재력을 입증하며, 향후 다양한 오디오 도메인의 통합 및 다면적 제어 기술 발전에 중요한 이정표가 될 것으로 기대됩니다.