Towards Controllable Image Generation through Representation-Conditioned Diffusion Models

기술 요약: 표현 조건부 확산 모델을 통한 제어 가능한 이미지 생성

문제 제기
확산 모델이 고품질 이미지 합성 및 편집을 혁신해 왔음에도 불구하고, 특정 출력을 생성하도록 이를 제어하는 것은 여전히 중요한 과제입니다. 생성적 적대 신경망 (GAN) 은 정밀한 세밀한 수정을 용이하게 하는 잘 구조화되고 분리된 잠재 공간을 제공하는 반면, 확산 모델은 직접적인 제어를 위한 동등하게 효과적인 잠재 공간을 갖추지 못했습니다. 텍스트 프롬프트나 의미 지도와 같은 기존 조건부 방법들은 종종 광범위하게 주석 처리된 데이터셋이나 복잡한 프롬프트 엔지니어링에 의존하며, 이는 정밀도와 비구조화된 데이터에 대한 적응성을 제한할 수 있습니다. 더 나아가, 무조건부 생성 품질을 개선하기 위해 표현 조건부 확산 모델이 탐구되어 왔으나, 제어 가능한 잠재 공간을 제공할 수 있는 잠재력은 충분히 검증되지 않았습니다.

방법론
저자들은 사전 훈련된 자기 지도 학습 모델을 활용하여 생성 과정을 안내하는 표현 조건부 확산 모델 (RCDM) 을 제안합니다. 이 아키텍처는 두 가지 주요 구성 요소로 이루어져 있습니다 (그림 1 참조):

1. 표현 추출: 사전 훈련된 자기 지도 학습 인코더 (특히 DINO) 가 입력 이미지를 저차원 표현 분포로 매핑합니다.
2. 조건부 생성: 노이즈 분포를 이미지 분포로 매핑하도록 훈련된 디노이징 U-Net(잠재 확산 모델, LDM 기반) 은 인코더가 추출한 표현을 조건으로 합니다.

훈련 파이프라인은 두 단계로 진행됩니다. 먼저 SSL 인코더를 사용하여 이미지를 표현 공간에 매핑한 다음, 이러한 표현을 조건으로 하여 확산 모델이 노이즈를 제거하도록 훈련합니다. 저자들은 MoCo v3 와 MAGE 를 사용한 이전 연구의 방법들을 적용하되, DINO 표현을 조건으로 하는 LDM 프레임워크 내에서 적용했습니다. 실험은 LSUN Churches 와 Celeb-A 데이터셋에서 수행되었습니다.

주요 기여 및 실험
본 논문은 제어 가능한 생성을 위한 표현 공간의 유효성을 검증하기 위한 초기 실험을 제시하며, 다음 세 가지 핵심 속성에 초점을 맞춥니다:

• 교란 강건성: 저자들은 가우시안 노이즈로 표현 벡터를 교란시킴 ($\hat{C} = C + \lambda\epsilon$) 으로써 모델의 안정성을 테스트했습니다. 결과는 확산 역변환 (Diffusion Inversion) 이 높은 노이즈 수준 ($\lambda > 0.4$) 에서 심각한 품질 저하를 겪는 반면, RCDM 은 콘텐츠를 수정하면서도 이미지 품질과 일관성을 유지함을 나타냅니다.
• 보간 매끄러움: 두 표현 벡터 간의 선형 보간 ($\hat{C} = \alpha C_1 + (1-\alpha)C_2$) 을 수행했습니다. RCDM 은 중간 부분에서 구별이 불가능해진 확산 역변환과 갑작스러운 전환을 보인 Stable Diffusion 에 비해 참조 이미지 간에 의미론적으로 더 매끄러운 전환을 보여주었습니다.
• 의미 방향 발견:
  • 지도 학습: 특정 속성 (예: Celeb-A 의 금발) 의 평균 표현을 계산하여 참조 벡터에 추가함으로써 모델은 성공적으로 특징을 수정했습니다. 그러나 저자들은 데이터셋 상관관계 (예: 대머리가 남성 성별과 상관관계가 있음) 가 의도하지 않은 속성 변경에 영향을 줄 수 있음을 지적했습니다.
  • 비지도 학습: 표현 공간에 주성분 분석 (PCA) 을 적용하여 이마 크기, 머리 길이, 배경 색상과 같은 의미론적 변화에 해당하는 방향들을 식별했습니다. 이러한 방향들이 GAN 만큼의 분리도를 달성하지는 못했지만, 비지도 방향 발견의 실현 가능성을 입증했습니다.

결과 및 주장
본 논문은 표현 조건부 확산 모델이 조건부 공간에서 매끄러움과 일정 수준의 분리라는 유망한 속성을 보인다고 주장합니다. 실험 결과에 따르면, 사전 훈련된 자기 지도 학습 모델의 표현을 사용하는 것은 무조건부 이미지 생성의 품질을 향상시킬 뿐만 아니라 제어된 생성에 적합한 잠재 공간을 확립합니다.

의의
저자들은 이 작업을 생성 모델링을 위한 유망한 방향에 대한 예비 탐구로 위치시킵니다. 그들은 표현 조건부 방식이 텍스트 기반 조건부 방식이 요구하는 주석 처리된 데이터셋에 대한 중대한 의존 없이 확산 모델의 품질과 제어 가능성을 모두 향상시키는 매력적인 접근법이라고 주장합니다. 논문은 향후 연구가 분리도를 더욱 개선하기 위해 표현을 적응시키고, 이러한 발견들을 무조건부 확산 모델의 이미지 편집 및 데이터 증강에 적용하는 데 초점을 맞출 수 있다고 결론지었습니다.