1. 문제 정의 (Problem)

기존의 AI 음악 생성 모델 (Autoregressive 모델 및 Diffusion 모델) 은 짧은 음악 세그먼트를 생성하는 데에는 탁월한 성능을 보이지만, 수 분 이상의 긴 형식 (Long-form) 의 음악을 생성하는 데에는 다음과 같은 심각한 한계가 존재합니다.

• 계산 및 메모리 비용: 오디오 표현 (Waveform, Mel-spectrogram 등) 은 텍스트에 비해 시간 해상도가 매우 높습니다. 예를 들어, 5 분짜리 오디오는 수만 개의 토큰 또는 시퀀스 길이를 가지며, 이는 기존 아키텍처의 메모리 한계와 계산 복잡도를 초과합니다.
• 장기적 의존성 모델링의 어려움: 긴 시간 범위에 걸친 음악의 일관성 (Global Coherence) 과 구조적 연속성을 유지하는 것이 매우 어렵습니다. 이로 인해 생성된 음악은 주제나 구조가 일관되지 않거나, 단순히 짧은 클립의 나열에 그치는 경우가 많습니다.
• 기존 해결책의 한계: 오디오 토큰화 (Codec) 나 잠재 공간 (Latent Space) 압축을 통해 시퀀스 길이를 줄이는 시도들이 있었으나, 여전히 원본 재생 속도의 오디오에서 추출된 특징을 기반으로 하므로 시간적 길이의 비례적 증가를 완전히 해결하지 못했습니다.

2. 방법론 (Methodology)

저자들은 **"시간 가속 (Temporal Speed-up)"**이라는 간단하지만 강력한 아이디어를 제안하며, 이를 구현한 프레임워크인 SqueezeComposer를 개발했습니다. 핵심 아이디어는 **"AI 모델이 실제 시간보다 2 배, 4 배, 8 배 빠르게 재생된 오디오도 이해하고 생성할 수 있다"**는 가정에 기반합니다.

핵심 프로세스: Squeeze-and-Restore (압축 및 복원)

1. 시간 압축 (Squeezing):
   • 입력 오디오를 시간 축으로 가속화 (예: 4 배, 8 배) 합니다.
   • 가속화된 오디오에서 중간 표현 (Mel-spectrogram 등) 을 추출합니다.
   • 이 과정에서 시퀀스 길이가 $1/r$ (속도비) 만큼 줄어들어 메모리 및 계산 비용이 급격히 감소합니다.
2. 가속 도메인 생성 (Generation in Accelerated Domain):
   • 압축된 (가속된) 도메인에서 Diffusion Transformer (DiT) 를 사용하여 음악을 생성합니다.
   • 이 단계에서는 음악의 **추상적이고 거시적인 구조 (Global Structure)**를 먼저 학습하고 생성합니다.
   • 생성 작업은 Continuation (연속), Completion (중간 채우기), Scratch (처음부터 생성) 등 다양한 태스크에 적용됩니다.
3. 시간 복원 및 정제 (Restoration & Refinement):
   • 생성된 가속 도메인의 오디오 표현을 원래 속도로 확장 (Time-scale Expansion) 합니다.
   • 2 단계 Diffusion 모델을 사용하여 확장된 표현을 정제합니다.
     • 1 단계 (CNN): 가속된 Mel-spectrogram 을 원래 시간 해상도로 업샘플링하여 coarse prior(대략적인 사전 정보) 를 생성합니다.
     • 2 단계 (DiT): Diffusion 과정을 통해 coarse prior 를 고품질의 세부적인 Mel-spectrogram 으로 정제합니다.
   • 최종적으로 사전 훈련된 Vocoder (예: BigVGAN) 를 사용하여 오디오 파형으로 디코딩합니다. (Vocoder 재훈련 없이도 호환 가능하나, 미세 조정 시 품질이 향상됨)

아키텍처 특징

• 계층적 생성 (Hierarchical Generation): 가속 도메인에서의 생성은 '개념적/구조적' 수준을 담당하고, 복원 과정은 '세부적/고충실도' 수준을 담당하는 계층적 접근 방식을 따릅니다.
• 모델 무관성 (Model-agnostic): 기존 생성 모델 (Diffusion 등) 에 쉽게 적용 가능한 플러그인 방식의 전략입니다.

3. 주요 기여 (Key Contributions)

1. SqueezeComposer 프레임워크 제안: 오디오 가속화를 통해 시퀀스 길이와 계산 비용을 줄이면서도 음악적 일관성을 유지하는 범용적이고 모델 무관한 프레임워크를 제안했습니다.
2. 계층적 생성 패러다임 정립: 가속 도메인을 '음악의 추상적 구조'로, 복원 과정을 '세부적 정제'로 정의하여 효율적인 장형 음악 생성을 가능하게 하는 새로운 패러다임을 제시했습니다.
3. Mel 기반 연속 도메인에서의 검증: Mel-spectrogram 기반의 Diffusion 모델을 설계하고, **긴 형식 음악 생성 (시간적 제어)**과 **전 곡 보컬 반주 생성 (트랙별 제어)**이라는 두 가지 주요 태스크에서 그 유효성을 입증했습니다.

4. 실험 결과 (Results)

저자들은 순수 음악 데이터, Lakh MIDI, 노래 데이터 등 다양한 데이터셋을 사용하여 실험을 수행했습니다.

• 생성 효율성 및 길이:
  • 기존 모델 (MusicGen, PyramidCodec 등) 이 15 초2 분 정도만 생성 가능한 반면, SqueezeComposer 는 **10 분 이상의 긴 음악을 1 분 내외의 시간 (RTF 0.0370.08)**에 생성할 수 있었습니다.
  • 가속 비율 (x4, x8) 을 높일수록 생성 가능한 길이가 기하급수적으로 늘어났습니다.
• 품질 평가 (FAD 및 Aesthetic Metrics):
  • FAD (Fréchet Audio Distance): 기존 모델 대비 더 낮은 점수를 기록하여 실제 음악과의 유사도가 높음을 보였습니다.
  • Aesthetic Metrics (AudioBox): 콘텐츠 즐거움 (CE), 유용성 (CU), 제작 복잡도 (PC), 품질 (PQ) 등 모든 지표에서 경쟁력 있는 또는 우수한 성능을 보였습니다.
• 보컬 반주 생성 (Singing Accompaniment):
  • 전체 곡의 보컬에 맞춰 일관된 리듬과 화성을 가진 반주를 생성하는 데 성공했습니다. 기존 방법들은 짧은 클립에 그쳤으나, SqueezeComposer 는 전 곡 (Whole-song) 단위의 일관성을 유지하며 생성했습니다.
• 복원 품질:
  • 가속화 및 복원 과정에서 발생하는 왜곡은 미미했으며, Vocoder 를 미세 조정 (Fine-tuning) 할 경우 원본 오디오와 거의 동일한 품질을 회복할 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 장형 (Long-form) 음악 생성의 핵심 병목 현상인 계산 비용과 장기 의존성 문제를 해결하기 위해, 복잡한 아키텍처 변경이 아닌 **"시간 가속"**이라는 직관적이고 단순한 트릭을 도입했다는 점에서 의의가 큽니다.

• 실용성: 기존 모델과 호환되며, 별도의 대규모 재학습 없이도 긴 음악 생성을 가능하게 합니다.
• 확장성: 수 분에서 수십 분에 이르는 긴 음악 구조를 효율적으로 모델링할 수 있는 길을 열었습니다.
• 미래 전망: 오디오 생성뿐만 아니라 비디오나 다른 시계열 데이터 생성에서도 '시간 압축 - 생성 - 복원' 전략이 적용될 수 있는 가능성을 제시합니다.

결론적으로, SqueezeComposer는 AI 가 인간의 청취 속도보다 훨씬 빠른 속도로 음악을 이해하고 생성할 수 있다는 통찰을 바탕으로, 효율적이고 고품질의 장형 음악 생성을 실현한 획기적인 연구입니다.