기술 요약: LeVo 2

문제 정의

전체 길이의 곡 생성은 기존 언어 모델 기반 시스템에서 근본적인 구조적 트레이드오프(trade-off)를 제시합니다. 혼합 토큰 모델링(보컬과 반주를 동시에 예측)을 사용하는 방식은 보컬-악기 간의 조화는 유지하지만, 상호 마스킹과 제한된 이산 어휘(discrete vocabularies)로 인해 트랙별 음향 세부 사항을 모호하게 만듭니다. 반대로, 이중 트랙 예측 전략은 음향 충실도는 향상시키지만 시퀀스 길이를 급격히 증가시켜, 글로벌 플래닝 능력을 약화시키고 장기적인 구조적 일관성을 유지하기 어렵게 만듭니다.

나아가, 이 분야는 고품질 데이터와 노이즈가 섞인 어노테이션(annotation)의 부족이라는 제약을 받고 있습니다. 기존의 선호도 정렬(preference alignment) 방법들은 다중 목적 함수(예: 제어 가능성 vs 음악성)를 동시에 최적화할 때 **그래디언트 충돌(gradient conflicts)**을 겪는 경우가 많으며, 이는 평균화 효과를 초래하여 개별 능력의 상한선을 제한합니다. 또한, 정적인 오프라인 선호도 데이터셋에 의존하는 것은 모델의 성능을 데이터 생성자의 역량에 국한시키며, 학습을 리워드 해킹(reward hacking)에 취약하게 만듭니다.

방법론

LeVo 2는 **계층적 표현 모델링(hierarchical representation modeling)**과 분리된 미학 가이드 학습 패러다임을 채택한 하이브리드 LLM-Diffusion 프레임워크를 통해 이러한 과제들을 해결합니다.

1. 계층적 아키텍처 (LeLM)

시스템의 핵심은 글로벌 세맨틱 플래닝(global semantic planning)과 트랙별 음향 정밀화(track-specific acoustic refinement)를 분리하는 **LeVo 언어 모델(LeLM)**입니다.

• 혼합 세맨틱 LM (Mixed Semantic LM): **혼합 토큰(mixed tokens)**을 예측하는 디코더 전용 트랜스포머(decoder-only Transformer)입니다. 이 토큰들은 "의사-사고 체인(pseudo-chain-of-thought)" 역할을 수행하며, 높은 수준의 구조적 정보(멜로디, 리듬, 템포)를 포착하고 시퀀스 길이를 확장하지 않으면서 글로벌 보컬-악기 조화를 보장합니다.
• 트랙별 LM (Track-Specific LM): 혼합 세맨틱 LM의 은닉 상태(hidden states)를 조건으로 하여 병렬로 작동하는 경량 모듈입니다. 이는 보컬과 반주 토큰을 각각 분리하여 예측함으로써 미세한 음향 세부 사항을 복구합니다. 포괄적인 컨텍스트를 제공하기 위해 지연 패턴(delay pattern) 메커니즘이 사용되어, 모델이 이중 트랙 예측 중에 세맨틱 플래너로부터 미래의 은닉 상태에 접근할 수 있도록 합니다.
• 음악 코덱 (Music Code-c): 디퓨전 기반 디코더는 예측된 이중 트랙 토큰을 전체 길이의 고충실도 파형으로 재구성합니다. 이는 사전 학습된 인코더(MuEncoder)와 특화된 벡터 양자화기(Vector Quantizers, VQs)를 사용하여 오디오를 토큰으로 이산화합니다.

2. 미학 가이드 3단계 학습 패러다임

LeVo 2는 음악적 선험 지식(musicality priors)을 주입하고 최적화 목적을 분리하는 새로운 학습 스케줄을 도입합니다.

• 1단계: 미학 조건부 사전 학습 (Aesthetics-Conditioned Pre-training):

  • 혼합 세맨틱 LM은 자동 음악 미학 평가 프레임워크를 사용하여 대규모 데이터로 학습됩니다. 이 프레임워크는 예측된 품질 점수에 따라 학습 데이터에 "음악성 티어(musicality-tier)" 조건(예: 상위 5%, 5-25%)을 할당합니다.
  • 이를 통해 모델은 노이즈가 있는 롱테일 데이터로부터 핵심적인 음향 및 세맨틱 지식을 학습하는 동시에 음악성에 대한 선험 지식을 구축하며, 추론 시 **음악성 인지 분류기 없는 가이드(musicality-aware Classifier-Free Guidance, CFG)**를 가능하게 합니다.
  • 반주 모델링을 강화하기 위해 순수 연주곡도 포함됩니다.

• 2단계: 분리된 점진적 사후 학습 (Decoupled Progressive Post-training):

  • 지도 미세 조정 (SFT): 데이터를 미학 점수 상위 0.5%로 필터링하여 고품질 생성 베이스라인을 구축하고 출력 분포를 좁힙s니다.
  • 대규모 오프라인 DPO: **제어 가능성(controllability)**에 집중합니다. 150,000개의 다양한 가사와 프롬프트를 사용하여 모델이 가사 환각(lyrical hallucinations)을 줄이고 프롬프트 일관성(장르, 감정, 악기 등)을 개선하도록 정렬합니다.
  • 폐쇄 루프 준 실시간 DPO (Closed-Loop Semi-Online DPO): **음악성(musicality)**에 집중합니다. 주기적으로 업데이트되는 생성기가 새로운 데이터를 샘플링하여 선호도 쌍을 생성함으로써, 모델이 정적인 오프라인 데이터셋의 한계를 넘어 나아가도록 하며, 하이브리드 검증을 통해 리워드 해킹을 방지합니다.

• 3단계: 미학 조건부 모듈 확장 (Aesthetics-Conditioned Modular Extension):

  • 정렬된 혼합 세맨틱 LM의 가중치는 동결됩니다. 트랙별 LM은 오직 음향 세부 사항을 정밀화하기 위해서만 학습됩니다.
  • **음향 증강 전략(acoustic augmentation strategy)**이 사용됩니다: 혼합 토큰이 (제한된 디퓨전 단계를 통해) 저품질 오디오로 재구성된 후 다시 토큰화됩니다. 이는 트랙별 LM이 미세한 음향적 뉘앙스를 복구하고 보충하는 방법을 학습하도록 강제합니다.

주요 기여

1. 계층적 표현 모델링: 글로벌 세맨틱 플래닝(Mixed Semantic LM)과 트랙별 음향 정밀화(Track-Specific LM)를 분리하여, 시퀀스 길이의 폭발 없이 구조적 일관성과 음향 충실도 사이의 트레이드오프를 해결하는 새로운 아키텍처를 제시합니다.
2. 미학 가이드 학습: 사전 학습 중에 음악성 티어 조건을 할 부여하는 자동 음악 미학 평가 프레임워크를 도입하여, 선호도 정렬 이전에 음악성 선험 지식을 제공합니다.
3. 분리된 점진적 사후 학습: 세 단계의 정렬 전략(SFT $\to$ 제어 가능성을 위한 오프라인 DPO $\to$ 음악성을 위한 준 실시간 DPO)을 통해 그래디언트 충돌을 완화하고 정적인 오프라인 데이터셋의 한계를 극복합니다.
4. 음향 증강을 통한 모듈 확장: 의도적인 음향 부패(acoustic corruption)를 사용하여 미세한 디테일을 복구하는 능력을 향상시키는 트랙별 LM 전용 학습 단계를 제공합니다.

결과

광범-한 평가를 통해 LeVo 2가 기존 오픈 소스 베이스라인 및 주요 상업적 시스템을 유의미하게 능가함을 입증했습니다.

• 주관적 평가: 음악 전문가들이 참여한 6개 차원의 평균 의견 점수(MOS) 테스트에서, LeVo 2는 모든 오픈 소스 모델(YuE, DiffRhythm 2, ACE-Step, HeartMuLa, LeVo)보다 전반적인 음악성, 멜로디, 편곡, 구조, 보컬 음질, 반주 음질 측면에서 우수한 성적을 거두었습니다.
• 상업적 비교: LeVo 2는 멜로디(6.12 vs 6.38), 편곡(6.42 vs 6.55), 반주 음질(7.10 vs 7.11) 등의 지표에서 Suno v5 및 Mureka v8과 같은 독점 시스템의 성능에 근접했습니다. 특히, 모든 주관적 청취 지표에서 MiniMax Music 2.5+를 능가했습니다.
• 객관적 평가: LeVo 2는 오픈 소스 시스템 중 가장 낮은 **음소 오류율(Phoneme Error Rate, PER, 8.55%)**을 기록하여 탁월한 가사 정렬 능력을 보여주었습니다. 또한 모든 평가 대상 시스템(상업적 모델 포함) 중 가장 높은 **감정 제어 점수(8.72)**를 달성했습니다.
• 절제 연구 (Ablation Studies): 계층적 아키텍처, 미학 가이드, 또는 점진적 사후 학습 단계 중 하나라도 제거할 경우 성능이 크게 저하됨을 확인하여 각 구성 요소의 필요성을 검증했습니다.

의의

본 논문은 LeVo 2가 이전 모델들의 구조적 트레이드오프를 성공적으로 해결함으로써 자동 노래 생성 분야에서 중요한 진전을 이루었다고 주장합니다. 제어 가능성과 음악성의 최적화를 별도의 단계로 분리하고 계층적 아키텍처를 활용함으로써, 프레임워크는 그래디언트 충돌을 완화하고 모델의 성능 상한선을 극대화합니다. 저자들은 LeVo 2가 미학적 선험 지식과 분리된 학습 전략에 의해 가이드될 때, 오픈 소스 아키텍처가 전체 길이 노래 생성에서 상업적 표준에 도달할 수 있음을 보여준다고 역설합니다. 모델 가중치와 코드의 공개는 고충실도, 제어 가능한 음악 생성에 관한 추가 연구를 촉진하기 위함입니다.