Color Conditional Generation with Sliced Wasserstein Guidance

"Color Conditional Generation with Sliced Wasserstein Guidance" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 텍스트-이미지 확산 모델에서의 색상 조건부 이미지 생성 과제를 다룹니다. 자연어 프롬프트는 사물과 장면을 설명할 수 있지만, 정확한 색상 팔레트를 지정하는 데에는 종종 부정확합니다 (예: "청록색"은 다양한 톤으로 나타남). 기존 해결책은 두 가지 주요 한계를 안고 있습니다:

• 후처리 색상 전이: 확산 모델로 생성된 이미지에 색상 전이 알고리즘 (예: WCT, 히스토그램 매칭) 을 적용하면 종종 의미적 불일치가 발생합니다. 색상 스타일은 전이되지만, underlying 콘텐츠가 왜곡되거나 생성된 사물과 색상이 의미적으로 일치하지 않을 수 있습니다.
• 스타일화된 생성: 어텐션 메커니즘이나 가중치를 수정하여 스타일을 제어하는 방법 (예: IP-Adapter, InstantStyle) 은 종종 색상을 다른 스타일적 특징 (질감, 붓터치, 구성) 과 엮어버립니다. 이로 인해 참조 이미지에서 원치 않는 고차원 특징을 전이하지 않고 색상을 독립적으로 제어하기 어렵습니다.

목표는 텍스트 프롬프트가 지시하는 의미적 콘텐츠를 유지하고 비색상적 스타일적 요소의 전이를 피하면서 참조 색상 팔레트를 엄격히 준수하는 이미지를 생성하는 것입니다.

2. 방법론: SW-Guidance

저자들은 확산 모델의 샘플링 과정을 수정하는 학습 불필요 (training-free) 접근법인 SW-Guidance를 제안합니다. 가중치를 미세 조정하거나 어텐션 어댑터를 사용하는 대신, Sliced 1-Wasserstein (SW1) 거리에 기반한 미분 가능한 손실 함수를 사용하여 탈노이즈 궤적을 안내합니다.

핵심 메커니즘

이 방법은 역확산 과정 (특히 DDIM 스케줄러 사용) 내에서 작동합니다. 각 시간 단계 $t$에서 알고리즘은 참조 색상 분포를 향해 잠재 표현을 이동시키기 위한 최적화 단계를 수행합니다.

1. 잠재 예측: 잡음이 섞인 잠재 $x_t$가 주어지면, 모델은 깨끗한 잠재 $\hat{x}_0$를 예측합니다. 이는 이미지 $\hat{y}_0$로 디코딩됩니다.
2. 색상 분포 추출: 생성된 이미지 ($\pi_{\hat{y}_0}$) 와 참조 이미지 ($\pi_{ref}$) 의 색상 분포가 RGB 공간에서 추출됩니다.
3. Sliced Wasserstein 손실: 알고리즘은 이 두 분포 간의 Sliced 1-Wasserstein 거리를 계산합니다.
   • 왜 Sliced 인가? 표준 Wasserstein 거리는 고차원에서 계산 비용이 많이 들고 미분 불가능합니다. Sliced Wasserstein 은 문제를 1 차원 투영으로 축소하여 거리를 쉽게 계산하고 미분 가능하게 만듭니다.
   • 왜 1-Wasserstein 인가? 저자들은 1 차원 분포의 경우 1-Wasserstein 거리가 역 CDF (quantile 함수) 를 계산할 필요 없이 누적 분포 함수 (CDF) 간의 $L_1$ 거리로 계산될 수 있음을 보여주는 이론적 명제 (Proposition 1) 를 활용합니다.
   • 미분 가능성: CDF 는 픽셀 값을 정렬함으로써 근사되며, 이는 미분 가능한 연산이므로 그래디언트가 잠재 공간으로 역전파될 수 있습니다.
4. 그래디언트 기반 안내: 보조 제어 벡터 $u$가 잠재 $x_t$에 추가됩니다. 알고리즘은 SW 거리를 최소화하기 위해 $M$개의 내부 단계에 걸쳐 $u$를 최적화합니다:
   $$\min_u \text{SW}_1(\pi_{\hat{y}_0(x_t+u)}, \pi_{ref})$$
5. 샘플링 업데이트: 최적화된 이동 $u^*$가 잠재에 적용되고, 표준 탈노이즈 단계 (클래스프리 안내 포함) 가 $t-1$로 진행됩니다.

이론적 정당성

이 논문은 Sliced Wasserstein 거리를 최소화하는 것이 생성된 색상 분포가 모든 모멘트 (평균, 분산 등) 의 수렴을 포함하여 참조 분포로 **약수렴 (weak convergence)**함을 보장한다는 이론적 증명 (Lemma 2) 을 제공합니다.

3. 주요 기여

• 새로운 조건부 메커니즘: 색상 제어를 위한 확산 모델의 조건부 설정에 미분 가능한 Sliced Wasserstein 거리를 최초로 통합했습니다.
• 색상과 스타일의 분리: 이 방법은 참조 이미지에서 발견되는 질감, 붓터치, 구성의 전이를 피하면서 오직 색상 팔레트만 성공적으로 전이합니다 (어텐션 기반 스타일화 방법과 달리).
• 학습 불필요: 이 접근법은 확산 모델 가중치의 미세 조정이 필요 없으므로, 사전 훈련된 모든 잠재 확산 모델 (예: SD1.5, SDXL) 에 적용 가능합니다.
• 이론적 기반: 최적화 절차의 수렴 속성과 CDF 차이를 통한 1-Wasserstein 거리 사용의 효율성에 대한 증명을 제공합니다.

4. 실험 결과

이 방법은 ContraStyles 데이터셋 (1000 개 프롬프트) 과 Unsplash Lite(1000 개 참조 이미지) 를 사용하여 SD1.5와 SDXL에서 평가되었습니다.

정량적 지표

• 색상 유사성: 생성된 색상 분포와 참조 색상 분포 간의 2-Wasserstein 거리로 측정됩니다.
  • 결과: SW-Guidance 는 모든 베이스라인 (고급 색상 전이 알고리즘인 PhotoWCT2: 0.1028 및 스타일화 방법인 InstantStyle: 0.1758 포함) 과 비교하여 **가장 낮은 거리 (0.0297)**를 달성했습니다.
• 콘텐츠 충실도: 텍스트 프롬프트와 이미지 간의 유사성을 나타내는 CLIP-T로 측정됩니다.
  • 결과: SW-Guidance 는 스타일화된 생성 방법 중 **가장 높은 CLIP-T 점수 (0.270)**를 달성하여, 스타일과 콘텐츠를 엮는 방법들보다 텍스트 프롬프트를 더 잘 따르는 것을 나타냅니다.
• 이미지 품질: CLIP-IQA로 측정됩니다.
  • 결과: SW-Guidance 는 높은 품질 (0.285) 을 유지하여 무조건부 생성 다음으로 2 위를 차지했으며, 많은 스타일 전이 베이스라인을 크게 능가했습니다.

정성적 분석

• 시각적 비교: 시각적 예시들은 InstantStyle 과 같은 방법들이 색상과 함께 "분위기" (예: 붓터치, 사진적 사실성) 를 전이하는 반면, SW-Guidance 는 생성된 이미지의 원래 구성과 질감을 보존하면서 색상 팔레트에 엄격히 준수를 보여줍니다.
• 호환성: 이 방법은 ControlNet(예: Canny, Depth) 과 호환되어 색상 조건부 설정과 함께 레이아웃 제어가 가능합니다.

5. 의의 및 한계

의의:

• 정밀 제어: AI 아트에서의 "색상 명명" 문제를 해결하여, 모호한 텍스트 설명 대신 참조 이미지를 통해 팔레트를 정의할 수 있게 합니다.
• 모듈성: 현재의 단일화된 스타일 전이 모델로는 어려운 콘텐츠 생성 (텍스트 프롬프트), 레이아웃 (ControlNet), 색상 (SW-Guidance) 간의 깔끔한 분리를 제공합니다.
• 효율성: 학습 기반 방법이나 복잡한 후처리 파이프라인에 비해 계산 오버헤드를 최소화합니다 (RTX 4090 에서 SD1.5 기준 약 30 초).

한계:

• 텍스트 - 색상 충돌: 텍스트 프롬프트가 참조 팔레트와 명시적으로 모순되는 색상을 설명하는 경우 (예: 프롬프트는 "빨간 사과"지만 참조는 파란색), 시각적 아티팩트가 발생할 수 있습니다.
• 미분 요구 사항: 현재 구현은 U-Net 을 통한 미분을 필요로 하므로, 미분 불가능한 후처리 방법에 비해 계산 집약적입니다.
• 스타일화와의 상호작용: SW-Guidance 를 InstantStyle 과 같은 다른 강력한 스타일화 방법과 결합하면, 둘 다 생성 과정을 수정하려 하기 때문에 충돌이 발생할 수 있습니다.

결론적으로, SW-Guidance는 의미적 무결성과 이미지 품질을 보존하는 정밀한 색상 전이를 위한 수학적으로 근거 있고 학습 불필요한 솔루션을 제공함으로써, 제어 가능한 이미지 생성 분야에서 중요한 진전을 이루었습니다.