기술 요약: SAME (의미 정렬 음악 오토인코더)

문제 제기

현대 생성 미디어 모델은 대부분 원시 데이터가 아닌 잠재 분포에서 작동합니다. 오디오 도메인에서 신경 오디오 코덱 (NAC) 은 원시 파형과 이러한 잠재 공간 사이의 가교 역할을 합니다. 지배적인 패러다임 (예: SoundStream, EnCodec, DAC) 은 합성곱 백본을 사용하는 벡터 양자화 (VQ) 병목 구조를 활용하는 반면, 확산 및 흐름 매칭에 필요한 연속 잠재 모델은 일반적으로 변분 오토인코더 (VAE) 에 의존합니다.

기존의 연속 NAC 는 트레이드오프에 직면해 있습니다: 하류 생성 모델링의 계산 비용을 줄이기 위해 높은 시간 압축 비율을 달성하는 것은 종종 재구성 품질이나 생성적 처리 가능성을 저하시킵니다. 또한, 표준 VAE 공식은 고압축 오디오 표현의 특정 통계적 요구 사항을 처리하는 데 어려움을 겪을 수 있습니다. 저자들은 극단적인 시간 압축 (4096 배) 을 달성하면서도 높은 재구성 충실도를 유지하고, 스테레오 이미지를 보존하며, 하류 생성 작업에 적합하도록 잠재 공간을 잘 정렬시키는 아키텍처의 필요성을 확인했습니다.

방법론

제안된 SAME(의미 정렬 음악 오토인코더) 은 트랜스포머 기반 백본과 특정 의미 정규화 전략을 결합한 스테레오 음악 및 일반 오디오 오토인코더입니다.

1. 아키텍처

모델은 세 가지 핵심 구성 요소로 구성된 인코더 - 병목 - 디코더 구조를 따릅니다:

• 패칭 프리트랜스폼 (Patching Pretransform): 스테레오 파형 $(B, 2, T)$은 채널당 $P=256$샘플의 비겹치는 패치로 분할되어 입력을 $(B, 2P, T/P)$으로 재구성합니다. 이는 학습된 매개변수 없이 256 배 시간 다운샘플링을 달성합니다.
• 트랜스포머 리샘플링 블록 (TRB): 스트라이드 합성곱 대신 SAME 은 나머지 압축을 달성하기 위해 쿼리 기반 트랜스포머 리샘플링 블록을 사용합니다.
  • 메커니즘: TRB 는 입력 임베딩과 학습 가능한 출력 임베딩을 교차 배치합니다. 인코더 모드에서는 스트라이드 $S$로 다운샘플링하고, 디코더 모드에서는 업샘플링합니다.
  • 어텐션 전략: 가변 길이 오디오를 처리하고 선형 복잡성을 보장하기 위해 모델은 성능에 선호되는 슬라이딩 윈도우 어텐션 또는 경계 아티팩트를 피하기 위한 CPU 배포용 중간 지점 시프트가 적용된 청크형 어텐션을 사용합니다.
  • 정규화: 아키텍처는 침묵 또는 저수준 노이즈 관련 문제를 피하기 위해 LayerNorm/RMSNorm 대신 **동적 탄젠트 (DyT)**를 사용합니다. 최종 디코더 레이어는 파형 수준의 세부 사항을 더 잘 재구성하기 위해 정현파 활성화 함수를 사용합니다.
• 소프트 정규화 병목: 표준 VAE 병목 대신 SAME 은 약하게 제약된 병목을 사용합니다. 이는 학습 가능한 채널별 아핀 변환을 사용하며, 지수 이동 평균을 통해 추적되는 실행 표준 편차로 나눕니다. KL 유사 정규화 손실은 시간 및 채널 축을 따라 0 평균, 단위 분산 통계를 장려하여 드리프트와 이상치를 방지합니다.

2. 훈련 목표

훈련 과정은 잠재 공간을 형성하기 위해 재구성, 적대적, 보조 손실을 결합합니다:

• 스펙트럼 재구성 손실: 7 가지 해상도로 구성된 다중 해상도 STFT 손실:
  • 스펙트럼 대비: 표준 스펙트럼 수렴을 대체하는 대칭적, 스케일 불변 손실.
  • 적응형 로그 크기: 신호 통계에 적응하는 정규화 인자 $\sigma$를 가진 로그 크기에 대한 L1 손실로, 노이즈 바닥에 의한 기울기 지배를 방지합니다.
  • 위상 미분 손실: 원시 위상 차이 대신 모델은 정규화된 복소 위상자를 작동하여 순간 주파수 (IF) 및 군 지연 (GD) 일관성을 측정하여 과도 응답 충실도와 스테레오 이미지를 보존합니다.
• 적대적 훈련: 다중 뷰 앙상블 판별기를 사용하는 상대적 쌍별 GAN 목적 함수:
  • 합성곱 판별기: 다중 스케일 STFT, PQMF 필터 뱅크, 그리고 크로마 뷰를 포함하도록 EnCodec 를 확장합니다.
  • 트랜스포머 판별기: STFT/크로마 판별기를 TRB 기반 버전으로 대체하고, 조화 에일리어싱을 방지하기 위해 패치된 파형 판별기를 추가합니다.
• 보조 손실 (의미 정렬):
  • 생성 정렬 (흐름 매칭): 하류 흐름 매칭 생성을 위한 기하학을 형성하기 위해 잠재 공간에서 무조건부 확산 트랜스포머를 공동 훈련합니다.
  • 의미 회귀: 경량 선형 회귀기가 잠재 공간에서 직접 지각적 특징 (크로마 및 양이간 레벨 차이) 을 예측하여 의미 구조를 강제합니다.
  • 대조적 잠재 정렬: 트랜스포머 기반 비평가 (critic) 가 대조 손실을 사용하여 잠재 표현을 오디오 특징 (웨이블릿 분해) 및 텍스트 임베딩 (T5Gemma) 에 정렬합니다.

3. 모델 변형

두 가지 구성이 출시됩니다:

• SAME-L: 12 개의 트랜스포머 블록 (차원 1536) 을 가진 8 억 5200 만 매개변수 모델로, 고품질에 최적화되어 있습니다.
• SAME-S: 청크형 어텐션을 사용하는 6 개의 블록 (차원 768) 으로 구성된 1 억 800 만 매개변수 증류 모델로, 엣지 장치의 CPU 배포를 위해 설계되었습니다. SAME-S 는 고정된 SAME-L 교사 모델에서 증류되었습니다.

주요 결과

이 논문은 최신 오픈 가중치 연속 잠재 오토인코더 (Stable Audio Open, $\epsilon$ar-VAE, CoDiCodec, ACE-Step) 에 대한 SAME 의 평가를 제시합니다.

• 압축 및 속도: SAME 은 4096 배 시간 압축 비율을 달성합니다 (오디오 오토인코더 표준의 두 배). 실시간 인자 (RTF) 측면에서 SAME-S 는 합성곱 VAE 베이스라인보다 6~7 배 빠르며, SAME-L 은 훨씬 더 많은 매개변수를 가지고 있음에도 불구하고 2 배 빠릅니다.
• 재구성 품질:
  • 객관적: SAME-L 은 MELlog1p(다중 해상도 로그 멜 오차) 에서 최첨단 성능을 달성했으며, $\epsilon$ar-VAE 와 비교하여 SI-SDR 및 STFTlog1p 에서 경쟁력 있는 결과를 보였습니다.
  • 주관적: MUSHRA 청취 테스트에서 SAME-L 은 최고 등급 (82.2 ± 16.6) 을 받아 $\epsilon$ar-VAE(77.6) 및 기타 베이스라인을 능가했습니다.
• 생성적 처리 가능성 (탈락 연구): 탈락 연구는 보조 손실이 결정적임을 보여줍니다. 보조 손실 없이 소프트 정규화 병목만 있는 구성은 표준 VAE 베이스라인보다 성능이 떨어졌습니다. 흐름 매칭 정렬과 의미 회귀를 추가함으로써 고압축 (4096 배) 모델은 생성 지표 (FAD-CLAP 및 MuQ-Eval) 에서 저압축 (1024 배) VAE 보다 우수한 성능을 발휘할 수 있었습니다.

중요성 및 주장

저자들은 SAME 이 잠재 공간이 적절하게 정규화된다면 높은 시간 압축이 품질이나 생성적 유용성의 트레이드오프를 필연적으로 수반하지 않음을 보여줌으로써 오디오 오토인코딩 분야에서 중요한 진전을 이루었다고 주장합니다.

구체적으로, 논문은 다음과 같이 주장합니다:

1. 의미 정규화가 핵심입니다: 흐름 매칭 정렬, 의미 회귀, 그리고 교차 모드 대조 정렬의 결합은 단순한 비-VAE 병목이 고압축 비율에서 기존 VAE 를 능가할 수 있게 합니다.
2. 트랜스포머 원시 연산은 효율적입니다: 잘 최적화된 트랜스포머 원시 연산 (TRB) 에 대한 의존성과 높은 압축의 결합은 상당한 계산적 이점을 제공하여 고품질 오디오 생성을 더 접근 가능하게 만들며, 특히 SAME-S 변형을 통한 CPU 기반 엣지 배포에 유리합니다.
3. 위상 및 스테레오 보존: 특정 위상 인식 손실과 스테레오 전용 훈련 목표는 극단적인 압축 수준에서도 과도 응답 충실도와 스테레오 이미지를 성공적으로 유지합니다.

이 연구는 SAME 이 재구성 충실도, 생성 성능, 그리고 추론 속도를 균형 있게 유지하는 차세대 생성 오디오 모델을 위한 견고한 오픈 가중치 기반을 제공한다고 결론지었습니다.