기술 요약: KVAE: 멀티모달 생성 모델을 위한 토크나이저 제품군

문제 정의

잠재 확산 모델링(Latent Diffusion Modeling, LDM)은 오디오, 이미지, 비디오 모달리티 전반에 걸쳐 텍스트 조건부 생성 작업을 위한 지배적인 패러다임이 되었습니다. 이 파이프라인의 핵심 의존 요소는 고차원의 입력 신호를 압축된 잠재 공간으로 매핑하는 인코더-디코더 쌍인 시각/오디오 토크나이저입니다. 이 잠재 공간의 품질은 다운스트림 확산 모델의 학습 속도, 생성 품질 및 다운스트림 적용 가능성을 직접적으로 결정합니다.

현재의 토크나이저들은 **재구성-생성 딜레마(reconstruction–generation dilemma)**라고 불리는 근본적인 긴장 상태에 직면해 있습니다. 즉, 높은 재구성 성능(예: 높은 PSNR)을 최적화하는 것이 반드시 다운스트림 생성 모델의 성능과 상관관계를 갖는 것은 아니며, 때로는 이를 저하시키기도 합니다. 또한, 기존의 오픈 소스 토크나이저들은 높은 압축률이 부족하여(이로 인해 이차 어텐션 복잡도가 발생함) 고대역폭 오디오 및 장기 지속 비디오 생성을 효율적으로 지원하지 못하는 경우가 많습니다. 따라서 높은 압축률, "확산 가능성(diffusability, 잠재 공간이 확산 모델링에 적합한 정도), 그리고 여러 모달리티에 걸친 고충실도 재구성을 균형 있게 조절하는 통합된 토크나이저 제품군이 필요합니다.

방법론

저자들은 텍스트 조건부 생성을 위해 특별히 설계된 토크나이저 제품군인 KVAE를 제시합니다. 이 접근 방식은 각 모달리티의 특정 제약 조건을 해결하면서 모달리티 전반에 걸친 설계 원칙을 통합합니다.

1. 시각적 토크나이저 (KVAE-3D 및 KVAE-2D)

• 아키텍처: 비디오 모델(KVAE-3D)은 어텐션 프리(attention-free) 구조이며, 캐싱을 통해 긴 시퀀스를 효율적으로 처리하기 위해 Conv3D를 주요 연산 블록으로 사용합니다. 또한 추론 시 유연한 세그먼트 크기 조절을 허용하고 인과성을 유지하기 위해 **공간 RMSNorm(spatial RMSNorm)**을 채택했습니다.
• 압축: 두 가지 구성이 제안되었습니다:
  • KVAE-4x8x8: 4x 시간적, 8x 공간적 압축 및 16개 채널.
  • KVAE-4x16x16: 4x 시간적, 16x 공간적 압축 및 64개 채널.
  • KVAE-2D: 8배 압축률과 32개 채널을 가진 이미지 모델.
• 학습 전략: 학습은 다단계 커리큘럼을 따릅니다:
  1. 재구성(Reconstruction): L1 손실, 지각 손실(LPIPS), 그리고 KL 발산을 결적으로 결합합니다.
  2. 적대적(Adversarial): 프레임 기반의 GAN 손실을 도입합니다.
  3. 정렬(Alignment): EQ-손실 및 잠재 하향 샘플링/회전을 포함합니다.
  4. 미세 조정(Fine-tuning): 생성 모델이 사용하는 잠재 공간을 변경하지 않으면서 재구성을 개선하기 위해 디코더 전용 미세 조정을 수행합니다.
• 확산 가능성 추정: 저자들은 **상관 감소 기울기(Correlation Decay Slope, CDS)**를 스크리닝 지표로 활용합니다. CDS는 잠재 특징의 공간적 탈상관화율을 측정하며, 가파른 감소(높은 CDS)는 다운스트림 생성 품질과 강한 상관관계를 가집니다. 이는 값비싼 확산 모델을 학습시키기 전에 토크나이저를 선택하는 대리 지표 역할을 합니다.

2. 오디오 토크나이저 (KVAE-Audio)

• 전대역 동작: 16–24 kHz에서 작동하거나 멜-스펙트로그램을 압축하는 기존 코덱들과 달리, KVAE-Audio는 **48 kHz 파형에서 엔드 투 엔드(end-to-end)**로 작동합니다.
• 아키텍처: DAC(Discrete Audio Codec) 백본을 기반으로 하지만 연속적 잠재 확산을 위해 수정되었습니다. 잔차 벡터 양자화(residual vector quantization)를 가우시안 병목(Gaussian bottleneck)(연속 VAE)으로 대체했습니다.
• 주요 수정 사항:
  • 스트라이드 래더(Stride Ladder): 960배의 압축률을 달성하기 위해 스트라이드를 [2, 3, 4, 5, 8]로 재구조화하여, 50 Hz 잠재 프레임 레이트와 64개 채널을 구현했습니다.
  • 병목 어텐션(Bottleneck Attention): 로컬 컨볼루션 윈도우를 넘어 문맥을 포착하기 위해 잠재 투영 전 단계에 단일 셀프 어텐션 블록을 추가했습니다.
  • 표현 정렬(Representation Alignment): 확산 가능성과 프롬프트 준수 능력을 향 향상시키기 위해 인코더를 동결된 오디오 파운데이션 모델에 정렬하도록 규제합니다.
• 학습: 파형 재구성, 다중 스케일 스펙트럴 손실, 적대적 손실, 그리고 지각/정렬 항을 결합합니다. 느린 엔벨로프와 음악적 구조를 포착하기 위해 짧은 크롭(0.38초)에서 시작하여 5초까지 늘려가는 크롭 길이 스케줄을 사용합니다.

주요 기여

1. 통합 토크나이저 제품군: 단순한 재구성이 아닌, 확산 기반 생성을 최적화하는 것을 목표로 설계된 KVAE-Audio, KVAE-3D(비디오), KVAE-2D(이미지)를 소개합니다.
2. 높은 압축률 및 효율성: 비디오(최대 4x16x16) 및 오디오(960배)에서 높은 압축률을 달성하는 동시에 인과적 추론 능력을 유지하여, 다운스트림 모델의 토큰 수를 줄이고 추론 비용을 절감합니다.
3. 설계 지표로서의 확산 가능성: CDS 및 기타 스펙트럼 진단 도구를 통해 생성 품질을 예측할 수 있음을 검증함으로써, 재구성 지표만으로는 토크나이저 선택에 불충분하다는 점을 입증했습니다.
4. 전대역 오디오: KVAE-Audio는 위상(phase)을 버리고 대역폭을 제한하는 멜-스펙트로그램 기반 방식의 한계를 해결하는 연속적인 전대역(48 kHz) 토크나이저를 제공합니다.
5. 오픈 릴리스: 모든 모델, 학습 세부 사항 및 절제 연구(ablation studies)는 MIT 라이선스 하에 오픈 소스로 공개됩니다.

결과

저자들은 KVAE 토크나이저를 최첨단 오픈 소스 대안들(예: Wan-2.2, HunyuanVideo-1.5, FLUX.2, MovieGen, StableAudio, MMAudio)과 비교 평가했습니다.

• 재구성:

  • 비디오: KVAE-3D 모델은 MCL-JCV 데이터셋에서 HunyuanVideo 및 Wan에 비해 LPIPS 손실의 미미한 증가와 함께 더 높은 PSNR(평균 >1 dB 이득)을 달성했습니다.
  • 이미지: KVAE-2D-2.0은 OmniDoc-TokenBench에서 PSNR, SSIM 및 NED 측면에서 FLUX.1-dev 및 FLUX.2-dev를 능가합니다.
  • 오디오: KVAE-Audio는 일반 오디오 및 음악에 대한 스펙트럴 거리(MEL, STFT)에서 우수하며, 훨씬 적은 파라미터(166.9M)와 잠재 채널(64)을 사용함에도 불구하고 SAME-L(852.1M, 256 채널)과 같은 경쟁 모델보다 높은 성능을 보이거나 대등한 수준의 명료도 지표(PESQ, SI-SDR)를 기록했습니다.

• 생성:

  • 이미지/비디오: 사이드 바이 사이드 인간 평가에서, KVAE-4x16x16은 프롬프트 준수, 시각적 품질, 의미적 품질 측면에서 HunyuanVideo-1.5를 일관되게 능가했습니다. 그러나 Wan-2.2와 비교했을 때, 시각적 외형을 희생하더라도 프롬프트 준수를 우선시하는 경 경향을 보였으나, 종합 평가에서는 여전히 선호되는 선택지였습니다. 객관적 지표(FID, CLIP)는 KVAE 토크나이저를 사용할 때 더 빠른 수렴과 낮은 분산을 보여줍니다.
  • 오디오: 고정된 0.6B 파라미터 생성기를 사용한 통제된 토크나이저 교체 실험에서, KVAE-Audio는 AudioCaps(일반 사운드)와 음성(LibriSpeech)의 FAD, CE 및 명료도 측면에서 경쟁 모델을 능가했습니다. 음악(Song Describer)의 경우, 미적 구성 요소(CE, PQ)에서 앞서 나갔으나, MMAudio가 FAD 및 CLAP 점수에서 우위를 유지했습니다.

• 절제 연구(Ablation Studies):

  • 채널 수: 비디오의 경우, 채널을 64로 늘리면 재구성과 생성 모두 개선되었습니다. 오디오의 경우, 64개 채널이 최적의 트레이드오프를 나타냈습니다. 채널을 이 이상 늘리면 재구성은 개선되지만, 더 넓은 잠재 공간을 디노이징하는 데 어려움이 생겨 생성 품질이 저하되었습니다.
  • 정규화: 비디오 토크나이저에서 GroupNorm을 공간 RMSNorm으로 교체함으로써 품질 저하 없이 인과성 위반 문제를 제거했습니다.
  • 디코더 미세 조정: 잠재 공간을 고정한 상태에서 디코더를 미세 조정하면, 해당 잠재 공간에서 학습된 생성 모델에 부정적인 영향을 주지 않으면서 재구성 지표를 크게 개선할 수 있었습니다.

의의

본 논문은 KVAE 토크나이저가 멀티모달 생성 AI의 인프라로서 중요한 진전임을 주장합니다. 재구성 충실도와 생성 품질이 별개의 축이며, 이를 공동으로 최적화해야 한다는 점을 입증함으로써 저자들은 "확산 가능한(diffusible)" 토크나이저를 설계하기 위한 프레임워크를 제공합니다.

이 연구의 의의는 다음과 같습니다:

1. 성능: 객관적 및 주관적 지표 모두에서 최첨단 오픈 소스 토크나이저와 대등하거나 이를 능가합니다.
2. 효율성: 고압축, 인과적 토킹을 가능하게 하여 다운스트림 확산 모델의 계산 부담을 줄입니다.
3. 방법론: CDS와 표현 정렬을 토크나이저 선택을 위한 실질적인 도구로 확립하여, 잠재 공간을 평가하기 위해 값비싼 전체 모델 학습 사이클을 반복할 필요성을 줄였습니다.
4. 접근성: 커뮤니티에 고품질의 전대역 오디오 토크나이저와 고압축 비디오 토크나이저를 제공함으로써 차세대 텍스트-오디오-비디오 시스템 개발을 촉진합니다.

저자들은 이러한 발견이 채널 수, 압축률, 그리고 잠재 스펙트럼 특성을 개별적으로 최적화하는 것이 아니라, 하나의 결합된 시스템으로 취급하는 것이 중요하다는 점을 강조한다고 결론지었습니다.