Next-Frame Decoding for Ultra-Low-Bitrate Image Compression with Video Diffusion Priors

1. 문제 정의 (Problem)

초저비트레이트 이미지 압축 (ULB-IC, Ultra-Low-Bitrate Image Compression) 은 저장 및 전송 부담을 줄이기 위해 필수적이지만, 기존 방식들은 다음과 같은 한계를 겪고 있습니다.

• 기존 확산 모델 기반 방법의 한계: 기존 이미지 확산 모델 (Image Diffusion Models, IDM) 기반 압축은 조건부 신호 (latent) 를 통해 노이즈 제거 과정을 제어합니다. 그러나 가우스 초기화 (Gaussian initialization) 의 불확실성과 조건부 신호의 영향력이 명확하지 않아, 의미적 편향 (semantic drift) 이 발생하거나 원본 이미지의 충실도 (faithfulness) 가 떨어지는 문제가 있습니다.
• 계산 비용: 반복적인 노이즈 제거 (iterative denoising) 과정으로 인해 디코딩 지연 시간이 길고 계산 비용이 매우 높습니다.
• 핵심 과제: ULB-IC 의 핵심 과제는 (1) 강력한 지각적 사실성 (perceptual realism), (2) 원본 콘텐츠에 대한 충실도 (source-content faithfulness), (3) 실용적인 추론 효율성을 동시에 달성하는 것입니다.

2. 방법론 (Methodology)

저자들은 이미지 복원을 정적 과정이 아닌 가상의 시간적 진화 (virtual temporal evolution) 과정으로 재해석했습니다. 이를 위해 비디오 확산 모델 (Video Diffusion Model, VDM) 을 사전 학습된 시공간적 사전 지식 (priors) 으로 활용합니다.

핵심 아이디어: 다음 프레임 예측 (Next-Frame Prediction)

• 컴팩트 앵커 프레임 (Compact Anchor Frame): 고주파 세부 정보는 버리고 장면 기하학, 의미적 레이아웃, 거친 외관만 보존하는 중간 상태 (앵커) 를 정의합니다. 이는 VAE 기반 코덱으로 인코딩되어 비트스트림으로 전송됩니다.
• 가상 비디오 구성: 디코딩 시, 이 앵커 프레임을 비디오의 첫 번째 프레임으로, 원래 이미지를 두 번째 프레임 (목표) 으로 간주합니다.
• 과업 전환: 이미지 복원 문제를 VDM 을 이용한 다음 프레임 예측 (Next-Frame Prediction) 문제로 변환합니다. 즉, 흐릿한 앵커에서 선명한 원본으로의 "초점 맞추기 (defocus-to-focus)" 시간적 전환을 학습시킵니다.

2 단계 학습 파이프라인

이러한 접근을 효율적으로 구현하기 위해 2 단계 학습 전략을 제안합니다.

1. 1 단계: 다음 프레임 디코딩 적응 (Next-Frame Decoding Adaptation)

   • 목표: VDM 의 다중 프레임 생성 능력을 이미지 압축에 맞는 단일 구간 (single-interval) 예측에 적응시킵니다.
   • 방식: 프리트레인된 VDM (CogVideoX) 과 앵커 코덱을 공동 미세 조정 (finetune) 합니다.
   • 조건부 입력: 텍스트 토큰, 앵커 프레임 토큰, 노이즈가 추가된 목표 프레임 토큰을 결합하여 입력합니다.
   • 손실 함수: 노이즈 예측 손실, 앵커 재구성 손실 (MSE, LPIPS), 비트레이트 페널티를 함께 최적화하여 원치 않는 시간적 아티팩트 (물체 이동, 장면 깜빡임) 를 억제하고 세부 정보를 합성합니다.

2. 2 단계: 1-스텝 생성 바이패스 (One-Step Generative Bypass)

   • 목표: 반복적인 노이즈 제거 (다중 스텝) 를 제거하여 단일 스텝 (One-step) 생성을 가능하게 하고 지연 시간을 획기적으로 줄입니다.
   • 조건부 앵커 인코딩 (Conditional Anchor Encoding): 압축 VAE 와 생성 VAE 의 잠재 공간 (latent space) 차이를 줄이기 위해, 원본 이미지의 Video-VAE 잠재 변수를 조건으로 사용하여 앵커 인코더를 조정합니다.
   • 바이패스 정제 (Bypass Refinement): 앵커 디코딩 경로에서 추출한 특징을 Transformer 를 통해 매핑하여, 확률적 노이즈 대신 의미가 정렬된 초기 잠재 변수 (bypass latent) 를 생성합니다.
   • 결과: 이 바이패스 잠재 변수를 사용하여 VDM 이 단일 스텝으로 최종 이미지를 복원합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 ULB-IC 패러다임: 이미지 디코딩을 "컴팩트 앵커에서 충실한 사실적 복원까지의 가상 시간적 전환"으로 재정의했습니다.
2. 효율적인 생성적 디코딩: 2 단계 학습 파이프라인을 통해 VDM 을 압축 인식 다음 프레임 예측에 적응시키고, 단일 스텝 생성을 가능하게 하여 디코딩 속도를 획기적으로 개선했습니다.
3. SOTA 성능: 실험을 통해 기존 방법들보다 뛰어난 지각적 사실성과 충실도를 달성했으며, 디코딩 속도가 최대 5 배 빨라졌습니다.

4. 실험 결과 (Results)

• 데이터셋: CLIC2020, Kodak, DIV2K 에서 평가 수행.
• 성능 비교 (DiffC 대비):
  • 비트레이트 절감: LPIPS, DISTS, FID, KID 등 모든 지각적 메트릭에서 50% 이상의 비트레이트 절감 효과를 보였습니다. (예: DIV2K 에서 LPIPS 기준 87% 이상 절감).
  • 왜곡 메트릭: PSNR 및 MS-SSIM 에서도 기존 생성형 코덱 (StableCodec, GLC 등) 보다 우수한 성능을 기록하여 사실성과 충실도를 동시에 달성함을 입증했습니다.
• 효율성:
  • 디코딩 속도: 기존 확산 기반 방법 (DiffEIC 등) 대비 5.5~8.6 배 빠른 디코딩 속도를 달성했습니다. (DIV2K 기준 약 6.83 초).
  • 단일 스텝의 효과: 2 단계 학습 (One-step bypass) 을 적용하지 않은 경우 디코딩 시간이 30 초~296 초로 급증하여, 1 스텝 생성의 필요성을 입증했습니다.
• Ablation Study:
  • 앵커 프레임의 명시적 사용과 시간적 진화 패러다임이 단순한 채널 연결 (channel concatenation) 이나 텍스트 기반 조건부 생성보다 훨씬 효과적이었습니다.
  • 바이패스 정제 (Bypass Refinement) 와 조건부 인코딩이 의미적 일관성을 유지하는 데 결정적 역할을 했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 확산 모델 (VDM) 의 시공간적 일관성 (temporal consistency) 을 이미지 압축에 성공적으로 적용한 사례입니다.

• 패러다임 전환: 이미지 복원을 단순한 노이즈 제거가 아닌, "흐릿한 상태 (앵커) 에서 선명한 상태 (원본) 로의 자연스러운 시간적 진화"로 모델링함으로써, 생성 모델이 가진 강력한 사전 지식 (world knowledge) 을 효과적으로 활용했습니다.
• 실용성: 기존 생성형 압축의 치명적인 단점인 높은 계산 비용과 지연 시간을 1 스텝 생성 기술로 해결하여, 초저비트레이트 환경에서도 실시간에 가까운 속도와 높은 화질을 동시에 제공할 수 있음을 증명했습니다.
• 미래 전망: 제안된 NeFIC (Next-Frame Image Compression) 아키텍처는 향후 더 효율적인 VDM 백본과 결합되어 초저비트레이트 멀티미디어 통신의 새로운 표준이 될 잠재력을 가집니다.