기술 요약: LiveBand – 오디오 도메인에서의 실시간 반주 생성

1. 문제 정의

본 논문은 라이브 오디오 입력 스트림으로부터 실시간 음악 반주를 생성하는 과제를 다룹니다. 핵심적인 어려움은 **엄격한 인과성(strict causality)**에 있습니다. 모델은 미래의 입력(the "future mix")에 접근할 수 없는 상태에서 낮은 지연 시간으로 고충실도(high-fidelity)의 반주 프레임을 생성해야 합니다.

기존의 접근 방식들은 이러한 환경에서 두 가지 주요 한계점에 직면합니다:

1. 노출 편향(Exposure Bias) 및 오차 누적: "교사 강요(teacher forcing)"(학습 시 정답인 과거 프레임을 입력으로 사용하는 방식)로 학습된 전통적인 자기회귀(autoregressive) 모델은 추론 시 분포 변화(distribution shift)를 겪습니다. 모델이 자신의 이전 예측값을 다시 입력으로 사용할 때, 작은 오차들이 누적되어 장기적인 드리프트(drift)와 음악적 비동기화를 초러킵니다.
2. 프레임 단위 vs 시퀀스 단위 목적 함수: 표준적인 프레임 단위 예측 목적 함수는 미세한 선행적 오류를 엄격하게 처벌합니다. 그러나 미래의 컨텍스트를 알 수 없는 실시간 환경에서는 숙련된 음악가조차 미세한 타이밍 조절을 수행합니다. 엄격한 프레-레벨 목적 함수는 자연스러운 잼 세션(jam session)에 필요한 전체적인 일관성을 포착하지 못합니다.
3. 룩어헤드(Lookahead) 의존성: 최근 연구들은 생성된 반주와 입력 믹스 사이의 강력한 부합을 위해 "룩어헤드"(미래의 믹스 프레임에 대한 접근)가 필요함을 시사하지만, 이는 엄격한 실시간 제약 조건을 위반합니다.

2. 방법론: LiveBand

LiveBand는 사전 학습된 인과적 오디오 오토인코더(causal audio autoencoder)의 **연속 잠재 공간(continuous latent space)**에서 반주를 생성하는 실시간 시스템입니다. 이 아키텍처와 학습 패러다임은 훈련과 추론 사이의 불일치를 제거하도록 설계되었습니다.

2.1 핵심 구성 요소

• 인과적 오디오 오토인코더 (Causal Audio Autoencoder, AE): CoDiCodec의 엄격히 인과적인 변형 모델입니다. 스테레오 파형(44.1 kHz)을 연속적인 잠재 시퀀스(~10 Hz, 차원 128, 다운샘플링 비율 4096×)로 인코딩합니다. 인코더와 디코더 모두 미래의 오디오 컨텍스트에 접근하지 않습니다.
• 생성기 (Generator, G): 잠재 프레임 상에서 작동하는 인과적 트랜스포머(causal transformer)입니다.
  • 입력: 각 타임스텝 $t$에서, 모델은 인과적으로 가용한 믹스 이력($m_{\le t}$)과 독립적인 가우시안 노이즈 벡터($z_t$)를 받습니다.
  • 아키텍처: 어댑티브 레이어 정규화(adaptive layer normalization)를 사용하는 Pre-norm 트랜스포머 블록, 인과적 멀티 헤드 셀프 어텐션(Query-Key 정규화 및 Rotary Position Embedding 사용), 그리고 SwiGLU 피드포워드 네트워크로 구성됩니다.
  • 메커니즘: 미래의 믹스 정보나 정답 타겟 잠재값에 접근하지 않고, 미래의 반주 프레임 $a_{t+1+\delta}$ (여기서 $\delta$는 잠재 프레임 단위의 선행 정도)를 예측합니다.
• 판별기 (Discriminator, D): (학습 중에만 사용되는) 비인과적 1D 컨볼루션 네트워크로, 대응하는 믹스에 조건화된 완전한 반주 시퀀스의 현실성을 점수화합니다. 이는 믹스와 반주 잠재값의 결합된 시퀀스를 평가합니다.

2.2 학습 패러다임: 교사 강요의 제거

핵심 혁신은 **훈련-추론 동일성(training-inference equivalence)**을 보장하기 위해 교사 강요를 제거한 것입니다:

• 정답 피드백 없음: 학습 과정 중 생성기는 정답인 과거 반주 프레임을 입력으로 받지 않습니다. 대신, 각 단계에서 내부의 셀프 어텐션과 독립적인 노이즈 벡터에 의존합니다.
• 병렬 인과적 패스(Parallel Causal Pass): 생성기가 자신의 이전 출력에 의존하지 않기 때문에, 인과적 마스크(causal mask) 하에서 전체 시퀀스를 **단일 병렬 순전파(single parallel forward pass)**로 생성할 수 있습니다. 이는 계산적으로 단계별 자기회귀 추론 과정(KV 캐시 사용)과 동일하며, 이를 통해 설계 단계에서부터 노출 편향을 제거합니다합니다.
• 시퀀스 수준의 적대적 감독: 프레임 단위의 예측 오차를 최소화하는 대신, 모델은 상대적 GAN (Relativistic GAN, R3GAN) 목적 함수를 사용하여 학습됩니다. 판별기는 생성된 전체 시퀀스를 실제 시퀀스와 비교하여 평가하며, 이는 전역적인 음악적 일관성을 장려하고 미세한 국소적 타이밍 편차를 허용하는 분포 수준의 감독을 제공합니다.

2.3 안정화 기술

• 어텐션 싱크 (Attention Sinks): KV 캐시 축출(eviction)로 인한 장기 스트리밍 시의 드리프트를 방지하기 위해, 모델은 스칼라 어텐션 싱크 메커니즘을 채택하여 초기 토큰이 계속 접근 가능하도록 보장합니다.
• 적응형 그래디언트 페널티 (Adaptive Gradient Penalty, AdaGP): 판별기의 손실 함수에서 그래디헨트 페널티 가중치($\lambda$)를 동적으로 조정하여, 판별기가 생성기보다 갖는 목표 우위($a^*$)를 일정하게 유지하는 온라인 메커니즘입니다. 이는 수동 하이퍼파라미터 튜닝 없이 적대적 학습을 안정화합니다.

3. 주요 기여

1. 적대적 감독을 사용하는 엄격한 인과적 트랜스포머: 룩어헤드 없이 작동하면서도 강력한 믹스 부합도를 달성하는, 시퀀스 수준의 적대적 감독으로 학습된 모델을 도입했습니다.
2. 훈련-추론 동일성: 설계 단계에서부터 훈련과 추론 조건을 완전히 일치시켜, 값비싼 순차적 롤아웃(sequential rollouts) 없이도 노출 편향과 오차 누적을 제거한 최초의 스트리밍 반주 모델입니다.
3. 적응형 그래디언트 페널티: 그래디언트 페널티 가중치의 수동 튜닝 필요성을 없애고 판별기 안정성을 자동으로 유지하는 새로운 방법(AdaGP)을 제시했습니다.

4. 실험 결과

모델은 Slakh2100 데이터셋(및 CLAP 조건부 변형을 위한 내부 코퍼스)을 통해 최첨단 자기회귀 베이스라인인 **StreamMusicGen (SMG)**과 비교 평가되었습니다.

• 객관적 지표: Live-Band는 동기적($\tau=0$) 및 선행적($\tau=0.1s, 1s$) 설정 모두에서 모든 지표(FAD, Beat Alignment, COCOLA)에 대해 SMG를 능가합니다.
  • 드리프트: 시간이 지남에 따라 성능이 저하되는 SMG와 달리, LiveBand는 거의 제로에 가깝거나 유리한 방향의 드리프트를 보여주며, 이는 오차가 누적되지 않음을 나타냅니다.
  • 선행(Anticipation): LiveBand는 입력 믹스보다 1초 앞서 생성하는 환경에서도 높은 성능을 유지하며, 이는 SMG가 어려움을 겪는 영역입니다.
• 주관적 청취 테스트: 19명의 참가자를 대상으로 한 연구에서, LiveBand는 오디오 품질, 시간적 일관성, 믹스 부합도 측면에서 SMG보다 유의미하게 선호되었습니다.
• 실시간 성능: 소비자용 RTX 3090 GPU에서, LiveBand는 0.1초의 선행 예산을 기준으로 1.1×(eager mode) 및 2.1×(compiled mode)의 실시간 계수(RTF)를 달와하여 소비자 하드웨어에서의 배포 가능성을 확인했습니다.

5. 의의 및 주장

본 논문은 고품질의 실시간 반주를 위해 룩어해드가 필수적이라는 제약이 근본적인 문제가 아니라, 지도 학습의 불일치(교사 강포 및 프레임 단위 목적 함수)에서 기인한 결과라고 주장합니다.

• 드리프트 해결: 다음 단계 예측 감독을 시퀀스 수준의 적대적 감독으로 대체하고 교사 강요를 제거함으로써, 모델은 오차 누적 없이 라이브 입력보다 앞서 생성할 수 있습니다.
• 전체적 일관성: 적대적 목적 함수는 모델이 장기적인 음악 구조를 보존하도록 독려하여, 실시간 공연에 필요한 자연스럽고 미세한 타이밍 조정을 허용합니다.
• 실현 가능성: 본 연구는 견고한 인터랙티브 실시간 생성 모델이 시퀀스 수준의 적대적 학습을 통해 구축될 수 있음을 입증하며, 이를 통해 음악가들이 지연 시간으로 인한 비동기 현상 없이 템포, 키, 다이내믹스에 적응하는 AI 동료와 함께 잼을 할 수 있는 길을 열었습니다.

저자들은 시스템이 강력한 음악적 일관성을 달 achieves 하지만, 오디오 품질(충실도)은 여전히 정답(ground truth)에 비해 개선의 여지가 남아 있음을 인정하며, 향로 작업이 더 높은 충실도의 인과적 오토인코더에 집중되어야 함을 시사했습니다.