Unsupervised Decomposition and Recombination with Discriminator-Driven Diffusion Models

이 논문은 **"Discriminator-Driven Diffusion Models 를 통한 비지도 분해 및 재조합 (Unsupervised Decomposition and Recombination with Discriminator-Driven Diffusion Models)"**을 주제로 하며, 복잡한 데이터를 인과적 요인 (factors) 단위로 분해하고 이를 재조합하여 새로운 합성 데이터를 생성하는 방법을 제안합니다. 특히, 요인 수준의 지도 학습 (supervision) 없이도 이러한 분해와 재조합의 품질을 극대화하기 위해 **적대적 학습 신호 (adversarial training signal)**를 도입한 것이 핵심입니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

---

1. 문제 정의 (Problem)

• 배경: 복잡한 데이터 (이미지, 로봇 비디오 등) 를 배경, 조명, 객체 속성, 동작 구성 요소와 같은 의미 있는 요인 (factors) 으로 분해하면 재사용 가능한 구성 요소를 발견하고, 이를 재조합하여 새로운 합성 샘플을 생성할 수 있습니다.
• 한계: 기존의 비지도 분해 (disentanglement) 방법 (예: $\beta$-VAE, InfoGAN 등) 은 완전한 분해가 이론적으로 불가능하거나 (Locatello et al., 2019), 재조합 시 물리적/시각적 일관성이 깨지는 문제가 있습니다.
• 핵심 과제: 확산 모델 (Diffusion Models) 기반의 비지도 학습에서 요인 (latent factors) 을 효과적으로 발견하고, 서로 다른 소스의 요인을 섞어 재조합했을 때 **물리적/의미적 일관성 (physical and semantic consistency)**을 유지하는 합성 데이터를 생성하는 것입니다.

2. 방법론 (Methodology)

저자는 Discomp Diffusion을 기반으로 하되, 재조합 품질을 향상시키기 위해 **판별자 (Discriminator)**를 활용한 적대적 학습을 도입했습니다.

A. 요인화된 생성 모델 (Factorized Generative Model)

• 입력 데이터 $x$를 $K$개의 잠재 요인 $z = (z_1, ..., z_K)$로 인코딩합니다.
• 확산 모델의 역과정 (denoising) 에서 각 요인별 기여도 ($\epsilon_\theta(x_t, t, z_k)$) 를 학습하며, 최종 예측은 이들을 평균한 값으로 구성됩니다. 이는 에너지 기반 모델 (EBM) 의 가법적 구조와 유사합니다.

B. 재조합 (Compositional Recombination)

• 추론 단계에서 두 개의 서로 다른 소스 이미지 (또는 비디오) $A$와 $B$의 잠재 요인을 섞어 새로운 잠재 코드 $\tilde{z}$를 생성합니다.
  • $\tilde{z}_k = S_k z^A_k + (1-S_k) z^B_k$ (여기서 $S$는 이진 마스크).
• 기존 방법들은 단순히 요인을 섞으면 데이터 매니폴드 (manifold) 에서 벗어난 비현실적인 결과 (artifacts) 를 생성하는 경우가 많았습니다.

C. 판별자 기반 피드백 (Discriminator-Driven Feedback)

이 방법론의 핵심은 **재조합 판별자 (Recombination Discriminator)**입니다.

1. 판별자 학습: 판별자 $D_\psi$는 '단일 소스 (single-source) 에서 생성된 샘플'과 '재조합된 (recombined) 샘플'을 구별하도록 학습됩니다.
2. 생성자/인코더 학습: 생성자 (디코더) 와 인코더는 판별자를 속이도록 (recombined samples 를 실제 단일 소스 샘플과 구별 불가능하게 만듦) 적대적으로 학습됩니다.
3. 목적: 이 과정은 재조합된 샘플이 데이터 매니폴드 상에 존재하도록 강제하여, 요인들이 독립적으로 조작 가능하고 재조합 시 일관성을 유지하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 적대적 학습 신호 도입: 요인화된 잠재 확산 모델에 판별자 기반의 피드백을 도입하여, 요인 발견 (factor discovery) 과 구성적 생성 (compositional generation) 의 품질을 동시에 향상시켰습니다.
2. 다양한 데이터셋에서의 성능 입증: CelebA-HQ(얼굴), Virtual KITTI(주행 장면), CLEVR(객체), Falcor3D(3D 장면) 등 여러 이미지 데이터셋에서 기존 베이스라인 (Decomp Diffusion 등) 을 능가하는 성능을 보였습니다.
3. 로봇 공학 적용 (LIBERO 벤치마크): 로봇 비디오 궤적에 적용하여, 학습된 행동 구성 요소를 재조합함으로써 상태 공간 (state-space) 탐색 범위를 크게 확장했습니다. 이는 기존에 관찰되지 않았던 새로운 작업 시나리오를 생성할 수 있음을 의미합니다.

4. 실험 결과 (Results)

A. 이미지 생성 및 분해 능력

• 시각적 품질 (FID): 모든 데이터셋에서 재조합된 샘플의 FID (Fréchet Inception Distance) 점수가 기존 방법보다 현저히 낮아졌습니다 (예: CelebA-HQ 에서 82.70 $\to$ 43.98). 이는 재조합된 이미지가 더 자연스럽고 일관성이 있음을 의미합니다.
• 분해 능력 (Disentanglement): MIG (Mutual Information Gap) 와 MCC (Mean Correlation Coefficient) 지표를 통해 요인 분해 능력을 평가했습니다. 판별자 피드백을 적용한 모델은 Falcor3D 데이터셋에서 MIG 와 MCC 점수가 모두 향상되어, 요인들이 더 잘 분리되었음을 확인했습니다.
• 합성 데이터 실험: 인위적으로 만든 데이터 (synthetic data) 실험을 통해, 판별자 피드백만으로도 잠재 공간의 기하학적 구조가 재조합에 적합하도록 변형됨을 증명했습니다.

B. 로봇 공학 적용 (LIBERO)

• 상태 공간 탐색: LIBERO 시뮬레이션 환경 (Scene 5, 6) 에서 재조합된 비디오 계획을 실행했을 때, 기존 베이스라인 대비 Scene 5 에서 35.8%, Scene 6 에서 73.8% 더 넓은 상태 공간 (joint-state coverage) 을 탐색했습니다.
• 물리적 일관성: 생성된 비디오가 실제 로봇 제어 정책 (pre-trained policy) 에 의해 실행되었을 때 물리적으로 일관된 행동을 수행함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 이론적 통찰: 이 연구는 재조합 (recombination) 이 데이터 매니폴드 상에서 유효하려면 잠재 공간이 카테시안 곱 (Cartesian product) 구조를 가져야 함을 보여주며, 판별자 피드백이 잠재 요인 간의 통계적 의존성을 줄여 분해 (disentanglement) 를 촉진함을 이론적으로 뒷받침했습니다.
• 실용적 가치:
  • 일반화 능력: 학습 데이터에 없는 새로운 구성 (예: 다른 배경에 다른 객체 배치) 을 자연스럽게 생성할 수 있어, 데이터 효율성과 일반화 능력을 높입니다.
  • 로봇 학습: 제한된 로봇 시연 데이터 (demonstration) 에서만 학습하는 전통적인 접근법의 한계를 극복하고, 재조합을 통해 다양한 시나리오를 생성하여 로봇의 탐색 (exploration) 능력을 획기적으로 개선합니다.
• 미래 방향: 이 방법은 비지도 학습과 환경 피드백을 결합하여 복잡한 환경에서의 구성적 일반화 (compositional generalization) 를 달성하는 강력한 프레임워크를 제시합니다.

요약하자면, 이 논문은 확산 모델에 판별자 기반의 적대적 학습을 접목하여, 비지도 환경에서도 고품질의 요인 분해와 물리적으로 일관된 재조합 생성을 가능하게 함으로써 컴퓨터 비전과 로봇 공학 분야에서 중요한 진전을 이룩했습니다.