💻 computer science

Taming Sampling Perturbations with Variance Expansion Loss for Latent Diffusion Models

이 논문은 잠재 확산 모델의 생성 품질을 저하시키는 표본 추출 노이즈에 대한 민감성을 해결하기 위해, 재구성 정확도를 유지하면서 잠재 공간의 강건성을 향상시키는 '분산 확장 손실 (Variance Expansion Loss)'을 제안합니다.

원저자: Qifan Li, Xingyu Zhou, Jinhua Zhang, Weiyi You, Shuhang Gu

게시일 2026-03-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qifan Li, Xingyu Zhou, Jinhua Zhang, Weiyi You, Shuhang Gu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎨 1. 문제 상황: "너무 꽉 찬 방"의 함정

생각해 보세요. AI 가 이미지를 그릴 때, 먼저 이미지를 간단한 언어 (잠재 공간, Latent Space) 로 번역하고, 그 언어를 가지고 그림을 그리는 과정을 거칩니다.

기존의 AI 들은 이 번역 과정을 너무 완벽하게 하려고 했습니다.

비유: 마치 "사진을 언어로 번역할 때, 단 하나의 오차도許하지 않고, 단어 하나하나를 딱딱하게 고정해버리는 것"과 같습니다.
결과: AI 는 원래 사진을 복원하는 능력 (재현도) 은 매우 뛰어났습니다. 하지만 문제는 그림을 그릴 때 (샘플링) 발생했습니다.

AI 가 그림을 그리는 과정은 마치 미끄러운 얼음 위를 걷는 것과 같습니다. AI 는 "이 단어를 선택해야 해"라고 결정하는 순간, 아주 작은 실수 (노이즈) 가 생길 수 있습니다.

기존 방식의 문제: 번역된 언어가 너무 꽉 차고 딱딱하게 고정되어 있어서, 작은 실수 하나만 생겨도 AI 는 길을 잃어버립니다. (예: "개"를 그리려다 "고양이"가 되거나, 아예 엉뚱한 괴물이 나오는 것).
논문에서 발견한 사실: "재현도가 100% 완벽할수록, 오히려 AI 가 그림을 그릴 때 더 취약해진다"는 역설적인 현상을 발견했습니다.

💡 2. 해결책: "약간의 여유"를 주는 '분산 확장 손실 (Variance Expansion Loss)'

저자들은 이 문제를 해결하기 위해 새로운 규칙 (손실 함수) 을 만들었습니다. 이름은 '분산 확장 손실 (VE Loss)' 입니다.

비유:
- 기존 방식: AI 에게 "이 단어는 정확히 이 위치에만 있어야 해!"라고 강요했습니다. (너무 좁은 길)
- 새로운 방식 (VE Loss): "이 단어는 이 정도 범위 내에 있으면 괜찮아!"라고 약간의 여유 공간을 만들어 주었습니다. (넓은 길)

이렇게 약간의 유연성 (분산) 을 주면, AI 가 그림을 그리는 과정에서 작은 실수 (노이즈) 가 생기더라도 길을 잃지 않고 원래 목적지 (올바른 이미지) 로 돌아올 수 있게 됩니다.

🤝 3. 어떻게 작동할까요? (재현 vs. 유연함의 줄다리기)

여기서 중요한 점은, 유연함을 주면 원래 사진을 복원하는 능력이 떨어지지 않을까? 하는 걱정입니다.

저자들의 아이디어: "재현 (복원)"과 "유연성 (분산)"은 서로 줄다리기를 하는 관계입니다.
- 재현을 너무 잘하려고 하면 유연성이 사라집니다.
- 유연성만 주면 재현이 안 됩니다.
VE Loss 의 역할: 이 두 가지가 최적의 균형을 이루도록 AI 를 훈련시킵니다. 마치 줄다리기에서 양쪽이 너무 세지 않게, 하지만 너무 약하지도 않게 적당한 힘을 조절해 주는 중재자 역할을 하는 것입니다.

🚀 4. 결론: 왜 이것이 중요한가요?

이 논문의 결론은 매우 명확합니다.

"완벽한 복원력보다, 작은 실수를 견딜 수 있는 '튼튼함 (Robustness)'이 더 중요합니다."

기존의 AI 들은 사진을 똑같이 복사하는 데만 집중하다가, 실제로 그림을 그릴 때 (생성할 때) 자꾸 망가뜨렸습니다. 하지만 이 새로운 방법 (VE Loss) 을 쓰면:

원래 사진 복원 능력은 거의 그대로 유지됩니다.
새로운 그림을 그릴 때 훨씬 더 안정적이고 아름다운 결과를 냅니다.

한 줄 요약:
AI 가 그림을 그릴 때, 너무 빡빡하게 정해진 길을 걷게 하면 작은 실수에도 넘어집니다. 대신 약간의 여유 공간을 만들어주면, AI 는 실수를 극복하고 훨씬 더 멋진 그림을 그려냅니다. 이것이 바로 이 논문이 제안하는 '약간의 유연함이 만드는 혁신' 입니다.

1. 문제 정의 (Problem Statement)

잠재 확산 모델 (Latent Diffusion Models, LDMs) 은 고해상도 이미지 생성의 표준 프레임워크로 자리 잡았으나, 기존 연구들은 주로 **잠재 공간 (Latent Space) 의 재구성 정확도 (Reconstruction Accuracy)**와 **의미론적 정렬 (Semantic Alignment)**에 집중해 왔습니다.

하지만 본 논문은 다음과 같은 중요한 문제를 지적합니다:

샘플링 섭동에 대한 취약성: 재구성 정확도가 높고 확산 손실 (Diffusion Loss) 이 낮은 모델조차 시각적으로 열악한 생성 결과를 낳는 경우가 있습니다.
과도하게 컴팩트한 잠재 매니폴드: 기존 LDM 에서 널리 사용되는 $\beta$ -VAE 기반 토크나이저는 재구성 손실을 최소화하기 위해 잠재 분산 ( $\sigma^2$ ) 을 과도하게 축소시킵니다. 이로 인해 잠재 매니폴드가 너무 좁고 뾰족한 (needle-like) 형태로 붕괴됩니다.
결과: 이러한 과도한 컴팩트함은 확산 샘플링 과정에서 발생하는 작은 확률적 섭동 (Stochastic Perturbations) 에 매우 민감하게 반응하게 만들어, 샘플이 데이터 매니폴드 밖으로 쉽게 이탈하게 합니다. 이는 디코딩 실패나 생성 품질 저하로 이어집니다.

2. 방법론 (Methodology)

저자들은 재구성 정확도를 유지하면서 확산 샘플링에 강인한 잠재 공간을 구축하기 위해 **분산 확장 손실 (Variance Expansion Loss, VE Loss)**을 제안합니다.

핵심 아이디어

기존 VAE 의 한계: 기존 VAE 는 KL 발산 (KL Divergence) 항을 사용하여 잠재 분포를 사전 분포 (가우시안) 에 맞추려 합니다. 그러나 LDM 에서는 확산 과정 자체가 잠재 분포의 구조를 학습하므로 KL 항이 불필요하며, 오히려 재구성 품질을 해칠 수 있습니다.
분산 붕괴의 이론적 분석: 재구성 손실은 분산 $\sigma$ 가 0 으로 수렴하도록 하는 기울기 (Gradient) 를 생성합니다. 이는 잠재 공간의 강인성을 떨어뜨립니다.
VE Loss 의 도입:
- 재구성 손실과 **적대적 (Adversarial)**인 관계를 형성하여 분산 붕괴를 방지합니다.
- VE Loss 식: $L_{var}(\sigma) = \frac{1}{\sigma^2 + \delta}$ $L_{v a r} (σ) = \frac{1}{σ ^{2} + δ}$
  - 이 항은 분산 $\sigma$ 가 작아질수록 급격히 커지는 페널티를 부과하여 분산이 0 으로 붕괴되는 것을 막습니다.
- 정규화 항: 전체 손실 크기가 과도하게 커지는 것을 방지하기 위해 $L_{reg} = e^{|z|-\tau}$ 와 같은 경험적 정규화 항을 추가합니다.
- 최종 목적 함수: $L = L_{rec} + \lambda_1 L_{var} + \lambda_2 L_{reg}$

작동 원리

이 방식은 디코더의 민감도 (Local Sensitivity) 에 따라 잠재 분산이 **적응형 (Adaptively)**으로 조절되도록 합니다. 곡률이 큰 영역에서는 안정성을 위해 분산을 유지하고, 부드러운 영역에서는 유연성을 확보하여, 확산 과정 중의 무작위 섭동을 흡수할 수 있는 충분한 여유 공간 (Robustness) 을 확보합니다.

3. 주요 기여 (Key Contributions)

새로운 통찰 발견: 기존 LDM 의 잠재 공간이 확산 샘플링 섭동에 대한 강인성 (Robustness) 이 부족하여 생성 품질 저하를 초래한다는 사실을 이론적 및 실험적으로 규명했습니다.
VE Loss 제안: 재구성 품질을 해치지 않으면서 잠재 공간의 강인성을 높이는 간단하고 효과적인 손실 함수 (Variance Expansion Loss) 를 제안했습니다. 이는 KL 정규화의 대안으로, 분산 붕괴를 방지하고 적응형 분산을 학습하게 합니다.
광범위한 실험 검증: 다양한 토크나이저 (Vanilla VAE, VA-VAE 등) 와 아키텍처 (DiT, LightningDiT 등) 에서 일관되게 생성 품질이 향상됨을 입증했습니다. 특히 재구성 정확도는 유지하거나 미세하게 개선되면서 생성 성능 (FID) 이 크게 개선되었습니다.

4. 실험 결과 (Results)

생성 성능 향상: ImageNet 256x256 데이터셋에서 제안된 방법을 적용한 모델은 기존 최첨단 (SOTA) 모델들보다 우수한 FID 점수를 기록했습니다.
- 예: 530 에포크 학습 시 FID 1.18 달성 (기존 SOTA 모델들은 보통 더 많은 에포크나 파라미터를 필요로 함).
재구성 품질 유지: VE Loss 를 사용하더라도 재구성 지표 (rFID, PSNR, SSIM 등) 는 기존 모델과 비교해 경쟁력 있는 수준을 유지하거나 오히려 개선되었습니다.
KL 정규화의 한계 확인: KL 항의 가중치 ( $\beta$ ) 를 단순히 조절하는 것만으로는 재구성과 분산 사이의 트레이드오프를 해결할 수 없으며, VE Loss 가 이를 적응적으로 해결함을 보였습니다.
아키텍처 독립성: DiT, LightningDiT 등 다양한 확산 모델 백본에서 일관된 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 잠재 확산 모델의 설계에 있어 재구성 정확도와 의미론적 정렬 외에 샘플링 섭동에 대한 강인성이 생성 품질을 결정하는 핵심 요소임을 처음으로 체계적으로 증명했습니다.

패러다임 전환: 단순히 재구성을 완벽하게 만드는 것보다, 확산 과정 중 발생할 수 있는 노이즈를 견딜 수 있는 '여유 있는 (Robust)' 잠재 공간을 만드는 것이 더 중요할 수 있음을 시사합니다.
실용적 가치: 제안된 VE Loss 는 구현이 간단하고 기존 모델에 쉽게 적용 가능하며, 추가적인 계산 비용 없이 생성 모델의 안정성과 화질을 동시에 향상시킵니다.
미래 연구 방향: 생성 친화적 (Generative-friendly) 잠재 공간 설계에 대한 새로운 기준을 제시하며, 향후 잠재 표현 학습 연구에 중요한 지침을 제공합니다.

요약하자면, 이 연구는 과도하게 컴팩트해진 잠재 공간이 생성 실패의 원인임을 지적하고, **분산 확장 손실 (VE Loss)**을 통해 이를 해결함으로써 더 안정적이고 고품질의 이미지 생성을 가능하게 하는 획기적인 방법을 제시했습니다.