기술 요약: 적응형 1D 비디오 확산 오토인코더 (One-DVA)

1. 문제 정의

최근의 비디오 생성 모델은 픽셀 공간의 비디오를 잠재 표현(latent representations)으로 압축하기 위해 비디오 오토인코더에 크게 의존합니다. 그러나 기존의 비디오 오토인코더는 세 가지 결정적인 한계점을 가집니다:

1. 고정된 비율의 압축 (Fixed-Rate Compression): 현재 모델들은 비디오의 복잡도와 상관없이 고정된 토큰 수를 사용합니다. 이는 단순한 비디오에는 토큰을 낭비하고, 복잡한 질감이나 움직임이 있는 비디오에는 효율성을 최적화하지 못해 성능이 저하되는 문제를 야기합니다. 즉, 단순한 장면은 복잡한 장면보다 더 적은 토큰을 필요로 함에도 불구하고 이를 반영하지 못합니다.
2. 유연하지 못한 CNN 아키텍처: 전통적인 합성곱 신경망(CNN)은 고정된 크기의 커널과 인간이 설계한 사전 지식(priors)에 의존하므로, 가변적인 형태의 입력이나 가변 길이의 잠재 변수를 처리하는 데 부적합합니다.
3. 결정론적 디코더 (Deterministic Decoders): 표준 디코더는 결정론적이며 고도로 압축된 잠재 변수로부터 적절한 세부 사항을 복원하는 데 어려움을 겪습니다. 토큰 수가 적을 때, 손실 압축(lossy compression)은 디코더가 누락된 세부 정보를 추론하도록 강제하며, 이는 종종 재구성 오류로 이어집니다.

2. 방법론

저자들은 적응형 1D 인코딩과 확산 기반 디코딩을 위해 설계된 트랜스포머 기반 프레임워크인 **One-Dimensional Diffusion Video Autoencoder (One-DVA)**를 제안합니다.

아키텍처

• 인코더 (Query-based Vision Transformer): 인코더는 비전 트랜스포머(ViT) 백본을 활용하여 입력 비디오 프레임으로부터 시공간적 특징을 추출합니다. 이 모델은 학습 가능한 **1D 쿼리(queries)**를 사용하여 셀프 어텐션(self-attention)을 통해 이러한 특징들과 상호작용함으로써 필수적인 시각적 콘텐츠를 추출합니다. 이를 통해 다음과 같은 하이브리드 잠재 표현을 생성합니다:
  • 구조적 잠재 변수 (Structural Latents): ViT 백본에서 유도되며, 공간적 구조를 포착합니다.
  • 1D 잠재 시퀀스 (1D Latent Sequence): 쿼리 메커니즘을 통해 추출됩니다.
• 가변 길이 드롭아웃 (Variable-Length Dropout): "마트료시카(matryoshka)" 학습 전략이 적용되어, 1D 잠재 시퀀스를 꼬리 부분에서 머리 방향으로 동적으로 절단하는 가변 길이 드롭아웃 메커니즘을 수행합니다. 드롭아웃 비율은 픽셀 차이를 통해 계산된 모션 스코어(motion score)를 기반으로 샘플링되며, 이를 통해 모델이 비디오의 복잡도에 따라 잠재 변수의 크기를 조절할 수 있게 합니다.
• 디코더 (Pixel-Space Diffusion Transformer): 디코더는 픽셀 공간에서 작동하는 디퓨전 트랜스포머(DiT)입니다. 디코더는 잠재 표현(구조적 및 1D 잠재 변수)을 조건부 입력으로 취급하며, 비디오를 재구성하기 위해 확산 과정을 수행합니다. 이러한 생성적 접근 방식은 디코더가 데이터셋의 분포를 학습하고 누락된 세부 사항을 보완할 수 있게 합니다.

학습 전략

One-DVA는 높은 재구성 충실도와 생성 능력을 보장하기 위해 2단계 학습 전략을 채택합니다:

1. 1단계: 결정론적 사전 학습 (Deterministic Pretraining): 인코더가 핵심 특징을 추출하도록 최적화됩니다. 디코더는 순수한 무작위 노이즈를 전달받으며(확산 과정을 우회), 전체 잠재 입력을 받습니다. 이는 인코더가 디코더의 생성적 사전 지식에 의존하지 않고 모든 필요한 정보를 캡처하도록 강제합니다.
2. 2단계: 확률적 사후 학습 (Stochastic Post-Training): 확산 타임스텝 샘플링과 가변 길이 드롭아웃이 도입됩니다. 모델은 확산 손실(flow-matching), 지각 손실(perceptual loss), KL 발산(잠재 분포 정규화용), 그리고 REPA 손실을 포함한 복합 손실 함수를 사용하여 학습됩니다.

다운스트림 생성을 위한 적응

다운스트림 잠재 확산 모델(LDM)을 지원하기 위해 다음을 수행합니다:

• 잠재 공간 정렬 (Latent Space Alignment): 코사인 유사도 최소화와 자기 유사성 최대화를 통해 1D 잠재 변수를 구조적 잠재 변수와 정렬하는 정규화 항을 사용하여, 1D 쿼리에 구조적 사전 지식을 주입합니다.
• 디코더 미세 조정 (Decoder Fine-tuning): 디코더는 (그라운드 트루스 잠재 변수가 아닌) 학습된 LDM에서 샘플링된 잠재 변수를 사용하여 미세 조정됩니다. 이는 훈련과 추론 사이의 간극을 메워, 생성 과정에서의 예측 오류로 인한 아티팩트를 완화합니다.

3. 주요 기여

• 적응형 1D 인코딩: 쿼리 기반 메커니즘과 가변 길이 드롭아웃을 갖춘 트랜스포머 기반 인코더를 도입하여, 비디오 콘텐츠에 맞춤화된 동적 압축 비율을 가능하게 했습니다.
• 생성적 디코딩: 픽ixel 공간의 디퓨전 트랜스포머를 디코더로 구현하여, 재구성 패러다임을 결정론적 매핑에서 조건부 생성으로 전환함으로써 손실된 세부 사항을 복구합니다.
• 2단계 학습 및 정규화: 특징 추출 최적화와 생성적 디코딩을 분리하는 새로운 학습 파이프라인을 제공하며, 다운스트림 비디오 생성을 위해 잠재 공간을 최적화하는 특정 정렬 및 미세 조정 기법을 결과적으로 결합했습니다.

4. 실험 결과

모델은 비디오 재구성 및 생성 작업(class-to-video 및 text-to-video)에 대해 평가되었습니다.

• 재구성 성능: 표준 압축 비율(4×16×16)에서 One-DVA는 최첨단 3D-CNN VAE(예: CogVideoX, HunyuanVideo, Wanx2.1/2.2)와 대등하거나 더 나은 재구성 지표(PSNR, SSIM, rFVD)를 달성했습니다.
  • PSNR: 36.48 (HunyuanVideo의 35.54 대비).
  • rFVD: 56.96 (낮을수록 좋음).
• 적응형 압축: 적응형 잠재 길이(모션 스코어 기반)가 고정 길이 베이스라인보다 우수함을 실험을 통해 입증했습니다. 움직임이 많은 비디오는 품질 유지를 위해 더 긴 잠재 변수가 필요하며, 단순한 비디오는 더 공격적으로 압축될 수 있습니다.
• 생성 품질: LDM의 백본으로 사용되었을 때, One-DVA는 210.9의 class-to-video gFVD를 달성하여 Hi-VAE + DiT의 성능과 일치하는 결과를 보였습니다.
  • 절제 연구(Ablation studies)를 통해 디코더 미세 조정 단계가 매우 중요하다는 것을 확인했습니다. 이 단계를 생략할 경우 성능이 크게 저하됩니다 (gFVD 274.2).
  • 구조적 잠재 변수만 사용하는 경우(1D 0%)에는 어느 정도 합리적인 결과가 나오지만, 고주파 정보의 부족으로 인해 한계가 있습니다.

5. 의의 및 주장

본 논문은 One-DVA가 단일 트랜스포머 프레임워크 내에서 적응형 비디오 토큰화와 확산 기반 생성적 디코딩을 성공적으로 통합했다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 효율성: 가변 길이 인코딩을 지원함으로써 토큰 사용을 최적화하고, 단순한 콘텐츠에 대한 낭비를 방지합니다.
2. 유연성: 어텐션 메커니즘을 통해 임의의 형태를 가진 입력과 출력을 처리할 수 있게 함으로써 CNN의 구조적 경직성을 극복합니다.
3. 생성적 재구성: 비디오 재구성을 생성 서브태스크로 재정의하여, 데이터 분포 학습을 통해 공격적인 압축 중에 손실된 세부 사항을 복구할 수 있게 합니다.
4. 차세대 비디오 합성을 위한 고품질 다운스트림 잠재 확산 모델을 지원하도록 특화된 잠재 공간과 디코더를 제공합니다.

저자들은 One-DVA가 고급 3D-CNN VAE와 대등한 재구성 품질을 달면서도, 차세대 비디오 합성에 필요한 유연성과 생성 능력을 제공한다고 결론짓습니다.