기술 요약: 확산 모델을 이용한 창의적 이미지 생성

1. 문제 정의

현재의 텍스트-이미지 생성 모델(예: Stable Diffusion, DALL-E)은 훈련 데이터 분포와 일치하는 고품질 이미지를 생성하는 데 탁월합니다. 그러나 이들은 근본적인 "역창의성 편향(counter-creative bias)"을 보입니다. 이들의 손실 함수와 평가 지표(FID 등)는 전형성과 재구성 충실도를 우선시하기 때문에, 출력물이 종종 관습적이거나 지루하거나, 혹은 기존 개념을 단순히 복제하는 수준에 머무르게 됩니다.

본 논문이 다루는 핵심 문제는 수동적인 프롬프트 엔지니어링, 명시적인 개념 혼합, 또는 알려진 하위 범주의 배제에 의존하지 않고 어떻게 진정한 창의성—즉, 존재 확률이 낮은 고품질의 새로운 출력을 생성하는 것—을 유도할 것인가 하는 점입니다. 기존 방식들은 이미지 품질과 새로움 사이의 트레이드오프를 조절하는 데 어려움을 겪으며, 종-종 저품질의 "도메인 외(out-of-domain)" 노이즈를 생성하거나 안전하지만 창의성이 없는 이미지를 생성하는 데 그칩니다.

2. 방법론

저자들은 창의성을 확률 문제로 재정의하는 프레임워크를 제안합니다. 즉, 창의적인 이미지는 이미지 임베딩 분포의 저확률 꼬리(low-probability tails) 부분에 존재한다는 것입니다. 이 방법은 잠재 확산 모델(Latent Diffusion Model, 구체적으로 Kandinsky 2.1)에서 작동하며, 네 가지 주요 구성 요소로 이루어집니다.

2.1. 사전 분포 샘플링 (Prior Distribution Sampling)

시스템은 먼저 주어진 텍스트 프롬프트에 대해 확산 사전 $\epsilon_\theta$에 의해 생성된 이미지 임베딩($e$)의 기저 분포를 설정합니다.

• 과정: 대량의 샘객을 추출하고, 주성분 분석(PCA)을 사용하여 저차원 공간으로 투영한 뒤, 다변량 가우시안 분포 $\hat{G}$에 적합(fitting)시킵니다.
• 목표: 이 $\hat{G}$는 "전형적"이거나 "지루한" 의미 공간을 나타냅니다.

2.2. 창의적 최적화 (Creative Optimization)

창의적인 출력을 생성하기 위해, 모델은 $\hat{G}$의 평균으로부터 벗어나 그 꼬리 부분을 향하도록 최적화됩니다.

• 개념 공간: 최적화는 학습 가능한 토큰 임베딩(예: 대상인 "vehicle")과 확산 사전의 LoRA(Low-Rank Adaptation) 파라미터의 결합 공간에서 수행됩니다.
• 창의적 손실 ($L_{creative}$): 목적 함수는 생성된 임베딩의 기저 분포에 대한 로그 가능도(log-likelihood)를 최소화하는 것입니다.
  $$L_{creative}(\tilde{e}) = \log \hat{G}(\tilde{e})$$
  이 손실을 최소화함으로써 임베딩을 확률이 낮은 영역으로 밀어내며, 이는 이론적으로 "각성 잠재력(arousal potential)"(새로움과 놀라움)을 증가시킵니다.

3.3. 풀백 메커니즘 (Pullback Mechanisms)

저확률 영역을 탐색하는 동안 모델이 일관성 없는 노이즈(도메인 외 실패)로 퇴보하는 것을 방지하기 위해 두 가지 제약 조건이 적용됩니다.

1. 앵커 손실 ($L_{anchor}$): 생성된 이미지 임베딩과 원래 프롬프트($P_{pos}$)의 텍스트 임베딩 간의 코사인 유사도를 최대화하여 의미적 정렬을 강제합니다.
2. 의미 타당성 검사기 (MLLM): 생성된 이미지를 주기적으로 렌더링하고, 멀티모달 거대 언어 모델(예: Janus 또는 LLaVA)에 *"이것이 여전히 {subject}인가? 예 또는 아니오"*라는 프롬프트를 질의합니다. 만약 MLLM이 이미지를 거부하면 해당 최적화 시도는 종료됩니다. 이는 단순한 CLIP 제약 조건이 놓칠 수 있는 적대적 실패(adversarial-like failures)를 방지하는 강력한 가드 역할을 합니다.

2.4. 방향성 제어 (Directionality Control)

단순히 "보기 흉한" 혹은 바람직하지 않은 저확률 영역으로 수렴하는 것을 피하기 위해, 시스템은 **부정 클러스터 모델링(Negative Cluster Modeling)**을 사용합니다.

• 만약 최적화 결과가 시각적으로 매력적이지 않은 출력을 생성한다면, 해당 임베딩들을 수집하여 부정 가우시안 분포 $\hat{G}_{neg}$를 형성합니다.
• 이 특정 "불호" 방향으로부터 모델을 밀어내도록 손실 함수에 페널티 항($L_{neg}$)을 추가하여, 모델이 새로우면서도 미학적으로 즐거운 영역을 탐색하도록 유도합니다.

3. 주요 기여

1. 창의성에 대한 확률적 관점: 본 논문은 창의성을 CLIP 임베딩 공간에서의 이미지 존재 확률의 역수로 명시적으로 정의함으로써, 수동적인 개념 혼합에서 벗어난 프레임워크를 도입했습니다.
2. 창의성 지향적 최적화: 모델을 저확리 임베딩 영역으로 몰아넣기 위해 설계된 특화된 손실 함수를 통해 새로움을 직접적으로 최적화합니다.
3. 풀백 및 방향성 제어: 앵커 손실과 MLLM 기반의 의미 검사기를 도입하여, 높은 창의성이 의미적 충실도나 시각적 일관성을 해치지 않도록 보장합니다. 또한, 부정 클러스터 모델링을 통해 바람직하지 않은 창의적 방향으로부터 모델을 조절합니다.
4. 효율성: 본 방법은 약 50단계 내외의 빠른 수렴 속도를 보여주며, 이는 반복적인 하위 범주 제외 방식보다 훨씬 빠릅니다.

4. 실험 결과

• 시각적 품질: 본 방법은 다양한 카테고리(예: 건물, 차량, 외계인, 과일)에 대해 시각적으로 흥미롭고 표준적인 출력과는 구별되는 새로운 이미지를 성공적으로 생성합니다.
• 분포 변화: 임베딩 공간의 시각화를 통해, 훈련 과정 동안 생성된 분포가 기저 분포의 꼬리 쪽으로 점진적으로 이동함을 확인했습니다.
• 인간 평가: 8명의 피험자를 대상으로 한 사용자 연구에서, 제안된 방법은 대부분의 경우(예: 외계인 이미지의 경우 70.8%, 차량의 경우 75%) 베이스라인(ConceptLab)보다 선호되었습니다. 사용자들은 제안된 방식의 출력이 더 창의적이고 매력적이라고 평가했습니다.
• 절제 연구 (Ablation Studies):
  • 최적화 대상: LoRA 파라미터와 대상 토큰을 최적화했을 때는 일관된 창의적 결과를 얻었으나, 이미지 임베딩을 직접 최적화했을 때는 품질이 급격히 저하되었습니다.
  • 풀백의 필요성: MLLM 검사기를 제거하면 "기만적인" 프롬프트 준수 현상(예: 과일 형태에 과일 문양을 입힌 인간 형상으로 변형)이 발생했으며, 앵커 손실을 제거하면 모델이 도메인을 완전히 벗어났습니다.
  • 방향성: 부정 클러스터 모델링은 모델이 매력적이지 않은 미적 스타일에 안주하는 것을 성공적으로 방지하여, 더 다양하고 즐거운 창의적 방향을 발견하도록 강제했습니다.
• 비교: 명확한 하위 클래스가 없는 개념(예: "외계인")에 대해 효과가 떨어지는 ConceptLab과 달리, 본 방법은 확률 분포에 직접 작용하여 더 효율적이고 광범위하게 창의성을 달ras합니다.

5. 의의 및 주장

본 논문은 생성 모델의 창의성에 대한 새로운 관점을 제공한다고 주장하며, 훈련 분포를 모방하는 것에서 벗어나 임베딩 공간의 저확률 꼬리를 탐색하는 데 초점을 맞춥니다. 저자들은 이 접근 방식이 수동적인 프롬프트 엔지니어링이나 명시적인 하위 범주 제외에 의존하지 않고도 시각적 콘텐츠 합성에서 혁신을 촉진할 수 있는 원칙적인 방법을 제공한다고 강조합니다.

이 연구는 더욱 표현력이 풍부하고 유연한 AI 시스템을 향한 기초적인 단계로 제시되며, 강력한 풀백 메커니즘을 통해 의미적 타당성을 유지하면서도 "각성 잠재력"(새로움과 놀로움이라는 심리학적 개념)을 수학적으로 정의하고 최적화할 수 있음을 입증합니다. 저자들은 이를 알려진 하위 범주의 존재 여부에 의존하지 않는 최초의 텍스트-이미지 생성용 확률적 창의성 프레임워크로 규정합니다.