1. 문제 정의 (Problem)

최근 확산 모델 (Diffusion Models) 은 고품질 이미지 생성 분야에서 지배적인 패러다임으로 자리 잡았습니다. 기존 연구들은 저수준의 VAE 잠재 공간 (Latent Space) 과 고수준의 사전 훈련된 시각 인코더 (예: DINOv2, MOCOv3 등) 에서 추출된 의미론적 특징 (Semantic Features) 을 결합하여 생성 성능을 향상시키는 '공동 생성 모델링 (Joint Generative Modeling)' 방식을 시도했습니다.

그러나 기존 접근법에는 다음과 같은 근본적인 한계가 존재했습니다:

• 고정된 표현 공간 (Fixed Representation Space): 사전 훈련된 시각 특징을 잠재 공간으로 매핑하는 방식 (예: PCA 또는 경량 오토인코더) 이 생성 목적과 무관하게 사전에 정의되어 있으며, 훈련 중에도 **변하지 않음 (Fixed)**에 있었습니다.
• 생성 목표와의 불일치: 고정된 표현 공간은 이미지 합성 (Image Synthesis) 에 최적화되지 않았기 때문에, 생성 모델이 이 공간의 구조를 효과적으로 활용하는 데 한계가 있었습니다.
• 특징 붕괴 (Feature Collapse): 표현 공간과 생성 모델을 단순히 결합하여 최적화할 경우, 손실 함수를 최소화하기 위해 표현이 퇴화하거나 (Degenerate solutions), 특징 채널들이 중복된 정보를 담거나 무의미한 값으로 수렴하는 문제가 발생했습니다.

핵심 질문: 확산을 이끄는 표현 공간이 고정되어야 하는가, 아니면 생성 모델과 함께 적응적으로 진화 (Adapt) 해야 하는가?

2. 방법론 (Methodology)

저자들은 **CoReDi (Coevolving Representation Diffusion)**라는 새로운 프레임워크를 제안합니다. 이는 사전 훈련된 시각 특징의 투사 (Projection) 를 확산 모델과 함께 학습하여 표현 공간이 생성 작업에 맞춰 진화하도록 하는 방식입니다.

주요 구성 요소 및 기술적 혁신

1. 학습 가능한 적응형 투사 (Learnable Adaptive Projection):

   • 고정된 PCA 대신, 사전 훈련된 인코더의 출력에 적용되는 **학습 가능한 선형 투사 레이어 ($g_\phi$)**를 도입합니다.
   • 이 투사 레이어는 확산 모델과 함께 엔드 - 투 - 엔드 (End-to-End) 방식으로 최적화되어, 이미지 합성에 가장 유용한 표현 구조를 스스로 발달시킵니다.

2. 안정적인 공진화 (Stable Coevolution) 를 위한 3 가지 필수 요소:
   단순한 결합 학습은 붕괴를 초래하므로, 다음 세 가지 기법이 필수적으로 적용됩니다.

   • Stop-Gradient (SG): 표현 손실 (Representation Loss) 계산 시, 깨끗한 (Clean) 표현 타겟에 대한 그래디언트 흐름을 차단합니다. 이를 통해 모델이 타겟을 임의로 변형하여 손실을 줄이는 '퇴화 (Trivial Minimization)'를 방지합니다.
   • 배치 정규화 (Batch Normalization): 학습 가능한 투사 후 배치 정규화를 적용하여 특징의 스케일을 안정화하고, 노이즈 스케줄을 왜곡되지 않게 유지하며, 샘플 붕괴를 방지합니다.
   • 명시적 정규화 (Explicit Regularization): 특징 붕괴 (Feature Collapse) 를 방지하기 위해 명시적인 정규화 항을 도입합니다.
     • 특징 분산 정규화 (Feature Variance Regularization): 각 채널이 충분한 변이성을 가지도록 유도합니다.
     • 직교성 정규화 (Orthogonality Regularization): 투사 행렬의 열들이 직교하도록 하여 특징 간 중복을 줄입니다.
     • 공분산 정규화 (Covariance Regularization): 채널 간 상관관계를 낮추어 중복 정보를 방지합니다.
     • 실험 결과, '특징 분산 정규화'가 가장 효과적이었습니다.

3. 픽셀 공간 확장 (Pixel-Space Extension):

   • CoReDi 는 VAE 잠재 공간뿐만 아니라 픽셀 공간 (Pixel Space) 확산 모델 (DeCo 기반) 에도 적용 가능합니다.
   • VAE 의 재구성 병목 현상을 제거하고, 원본 픽셀과 의미론적 특징이 함께 진화하도록 하여 고해상도 생성 성능을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. CoReDi 프레임워크 제안: 생성 모델과 의미론적 표현 공간이 **함께 진화 (Coevolve)**하도록 하는 최초의 프레임워크를 제안했습니다.
2. 안정적 학습을 위한 핵심 요소 규명: Stop-Gradient, 배치 정규화, 명시적 정규화 (특히 특징 분산) 가 공진화 학습의 안정성과 성능에 필수적임을 체계적으로 분석하고 증명했습니다.
3. 공간 구조의 진화 발견: 훈련 과정에서 학습된 표현 공간이 고정된 PCA 보다 더 명확하고 의미 있는 **공간적 구조 (Spatial Organization)**를 발달시킨다는 것을 정량적/정성적으로 입증했습니다.
4. 범용성 입증: VAE 잠재 공간과 픽셀 공간 모두에서 기존 방법 (ReDi, REPA 등) 보다 빠른 수렴 속도와 더 높은 샘플 품질을 달성했습니다.

4. 실험 결과 (Results)

ImageNet 256x256 생성 작업에서 다양한 모델 규모 (SiT-B/2, SiT-XL/2, DeCo-L/16) 로 실험을 수행했습니다.

• 잠재 공간 (Latent Space) 성능:

  • 수렴 속도: CoReDi 는 ReDi 보다 약 13 배 빠르게 수렴했습니다 (SiT-XL/2 기준 2M 스텝에서 ReDi 의 4M 스텝과 동등한 FID 3.3 달성).
  • 품질: Classifier-Free Guidance (CFG) 사용 시, 400 에포크에서 FID 1.58을 기록하여 REPA(1.80) 와 ReDi(1.72) 를 모두 능가했습니다.
  • 인코더 일반화: DINOv2, MOCOv3, SigLIPv2, MAE 등 다양한 시각 인코더를 사용했을 때 일관된 성능 향상을 보였습니다.

• 픽셀 공간 (Pixel Space) 성능:

  • DeCo 기반 모델에서 CoReDi 를 적용한 결과, 100K 스텝에서 200K 스텝의 DeCo 와 유사한 성능 (FID 31.5) 을 보여주어 2 배 빠른 수렴을 입증했습니다.
  • 200K 스텝까지 훈련 시 FID 21.5 로 성능이 지속적으로 향상되었습니다.

• 정량적 분석:

  • 정규화 제거 시: 정규화 (특히 SG 와 BN) 를 제거하면 FID 가 급격히 악화되거나 (50.8 → 223.9) 학습이 완전히 붕괴됨을 확인했습니다.
  • 공간적 구조: 훈련이 진행됨에 따라 CoReDi 의 표현 공간이 LDS, CDS, RMSC 등의 공간적 자기유사성 지표를 통해 고정된 PCA 보다 더 풍부한 공간 구조를 발달시킴을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 생성 모델링에서 **표현 공간 (Representation Space)**이 단순히 고정된 입력이 아니라, 생성 목표에 맞춰 동적으로 진화해야 하는 학습 가능한 구성 요소임을 증명했습니다.

• 이론적 통찰: 고정된 사전 훈련된 특징을 단순히 사용하는 것을 넘어, 생성 모델의 필요에 따라 특징 공간의 구조를 재구성할 수 있음을 보여주었습니다.
• 실용적 가치: CoReDi 는 VAE 의 병목 현상을 우회하거나, 기존 잠재 공간 모델의 수렴 속도를 획기적으로 단축하여 고품질 이미지 생성의 효율성을 높입니다.
• 미래 방향: 이 연구는 생성 모델의 성능 향상을 위해 적응적 표현 공간 (Adaptive Representation Space) 을 활용하는 새로운 연구 방향을 제시하며, 향후 더 정교한 멀티모달 생성 모델 개발의 기초를 마련했습니다.

요약하자면, CoReDi는 "생성 모델이 무엇을 만들어야 하는지에 따라, 그 모델을 이끄는 의미론적 지도 (Representation) 도 함께 변해야 한다"는 통찰을 바탕으로, 안정적이고 효율적인 공진화 학습 메커니즘을 성공적으로 구현한 획기적인 연구입니다.