ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts

기술 요약: ContrastiveCFG

문제 정의
Classifier-Free Guidance (CFG)는 사후 분포를 날카롭게 만듦으로써 조건 정렬(condition alignment)을 개선하는 확산 모델 샘플링의 표준이 되었습니다. 그러나 CFG의 흔한 적용 방식인 "네거티브 프롬프팅(Negative Prompting, NP)"은 사용자가 단순히 CFG 가이던스 벡터를 부정함으로써(즉, $p(x)/p(c|x)^\gamma$) 원치 않는 특징을 필터링하려고 시도합니다. 본 논문은 이러한 나이브한 접근 방식에 결정적인 결함이 있음을 지적합니다. 즉, 가이던스를 부정하는 것은 역전된 확률 분포(inverted probability distribution)를 생성한다는 것입니다. 가이던스 스케일 $\gamma$가 증가함에 따라, 이 역전된 분포가 주변 데이터 분포(marginal data distribution)를 지배하게 되어, 샘플이 저밀도 영역으로 표류하거나 원래의 데이터 지지 영역(data support) 밖으로 완전히 벗어나게 됩니다. 이는 결과적으로 샘로 품질의 심각한 저하와 아티팩트(artifacts)를 초래합니다. 최근 Dynamic Negative Guidance (DNG)와 같은 방법들은 상보적인 조건(complementary conditions)을 사용하여 이를 완화하려고 시도하지만, 긍정적 조건과 부정적 조건이 서로 배타적이지 않은 경우(예: 중첩되는 텍스트 프롬프트)에는 어려움을 겪으며, 원하는 개념을 훼손하지 않으면서 원치 않는 개념을 완전히 제거하는 데 종종 실패합니다.

방법론
저자들은 **ContrastiveCFG (CCFG)**를 제안합니다. 이는 노이즈 대조 추정(Noise Contrastive Estimation, NCE)에서 유도된 **대조 손실(contrastive loss)**을 사용하여 조건부 샘플링을 최적화 문제로 재정의한 새로운 가이던스 전략입니다.

1. 핵심 개념: CCFG는 확률 분포를 역전시키는 대신, 가이던스를 대조 손실 함수를 사용하여 예측된 노이즈 방향을 긍정적 조건($c_+$)으로 끌어당기거나 부정적 조건($c_-$)으로부터 밀어내는 목적 함수로 취급합니다.
2. 유도 과정:
   • 이 방법은 사전 훈련된 확산 모델을 사용하여 데이터 분포 $p_\theta(x)$를 매개변수화하고, 무조건부(또는 대안적) 예측에 기반하여 노이즈 분포 $q(x)$를 정의합니다.
   • 긍정적 가이던스의 경우, 모델은 예측된 노이즈 $\epsilon$이 조건부 노이즈 $\hat{\epsilon}_{c}$와 일치하도록 유도하는 동시에 무조건부 노이즈 $\hat{\epsilon}_{\emptyset}$와는 구별되도록 하는 손실을 최소화합니다.
   • 부정적 가이던스의 경우 역할이 반전됩니다. 모델은 예측된 노이즈가 원치 않는 조건 $\hat{\epsilon}_{c_-}$로부터 멀어지도록 밀어내는 동시에 무조건부 베이스라인과는 가깝게 유지하는 손실을 최소화합니다.
3. 샘플링 전략:
   • 저자들은 대조 손실의 그래디언트를 기반으로 디노이징 방향 $\hat{\epsilon}$에 대한 폐쇄형 업데이트 규칙(closed-form update rule)을 도출합니다.
   • 결과적인 가이던스 항은 동적 가중치 계수(조건부와 무조건부 예측 사이의 거리에 의존함)를 포함합니다.
   • 결정적으로, 현재 샘플이 부정적 조건과 점점 더 관련이 없어짐에 따라 부정적 가이던스의 강도는 자동으로 감쇠됩니다. 이는 표준 NP에서 나타나는 "과도한 밀어냄(over-repelling)"과 분포 이동을 방지합니다.
   • 이 방법은 추가적인 계산 오버헤드 없이 기존의 결정론적 DDIM 샘플링에 원활하게 통합되며, 조건부 및 무조건부 모델에 대한 추가적인 순방향 패스(forward passes)만을 요구합니다.

주요 기여

• 새로운 가이던스 공식화: 본 논문은 표준 네거티브 프롬프팅에 내재된 확률 분포 역전의 수학적 함정을 피하는 대조 손실 기반의 확산 가이던스 프레임워크를 도입합니다.
• 동적 감쇠(Dynamic Attenuation): 정적인 부정 방식과 달리, CCFG는 밀어내는 힘을 자동으로 제어합니다. 가이던스 힘은 샘플이 원치 않는 개념으로부터 멀어질수록 감소하며, 이를 통해 샘플링 과정이 유효한 데이터 매니폴드 내에 머물도록 보장합니다.
• 통합 프레임워크: 이 접근 방식은 긍정적 조건과 부정적 조건을 단일하고 일관된 수학적 공식 내에서 처리하여, 복잡한 경험적 조정이나 충돌 해결을 위한 하이퍼파라미터 튜닝 없이도 원하는 개념으로의 인력(attraction)과 원치 않는 개념으로부터의 척력(repulsion)을 동시에 수행할 수 있게 합니다.

실험 결과
저자들은 클래스 조건부 생성(MNIST, CIFAR10, ImageNet-1k) 및 텍스트-투-이미지(T2I) 생성(StableDiffusion 1.5, SDXL)을 포함한 다양한 시나리오에서 CCFG를 평가했습니다.

• 클래스 조건부 생성: ImageNet-1k에서 CCFG는 CFG++, NP, DNG, Perp-Neg, SLD와 같은 베이스라인과 비교하여 가장 높은 "전체 정확도(Overall Accuracy)"(동시 긍정 정렬 및 부정 배제)를 달al성했습니다. CCFG는 유사한 품종(예: 말티즈와 시베리안 허스키를 구분)을 성공적으로 구분해내면서도 높은 미적 점수와 이미지 품질을 유지한 반면, NP는 이미지 품질을 저하시켰고 DNG는 중첩되는 클래스를 완전히 배제하는 데 실패했습니다.
• 텍로-이미지(T2I) 생성: T2I 작업에서 CCFG는 긍정적 프롬프트를 왜곡하거나 아티팩트를 도입하지 않으면서, 복잡하고 중첩되는 텍스트 프롬프트에서 원치 않는 개념을 제거하는 데 탁월한 성능을 보였습니다. 시각적 예시를 통해, NP는 종종 전체 카테고리를 제거하거나(예: "딸기"를 제거하라고 했을 때 모든 빨간 과일을 제거함) 이미지 일관성을 저해하는 반면, CCFG는 원치 않는 특징만을 정밀하게 타겟팅함을 보여주었습니다.
• 정량적 벤치마크: 제안된 PIE-Bench-Neg 데이터셋에서 CCFG는 긍정적 프롬프트 정렬(CLIP, ImageReward, HPS-v2로 측정)과 부정적 프롬프트 억제 모두에서 최첨단(SOTA) 성능을 달성하며 다른 고급 네거티브 가이던스 방법들을 앞질렀습니다.

의의 및 주장
본 논문은 ContrastiveCFG가 기존 네거티브 가이던스 방법들의 한계에 대해 이론적으로 타당하고 실용적으로 효과적인 솔루션을 제공한다고 주장합니다. 확률의 단순한 역전을 대조 최적화 목적 함수로 대체함으로써, CCFG는 긍정적 조건에 대해서는 전통적인 CFG와 유사한 가이던스 효과를 달성하는 동시에, 네거티브 프롬프팅과 관련된 샘플 품질 저하 및 분포 이동 문제를 극복합니다. 저자들은 이 방법이 샘플 품질을 희생하지 않으면서도 원치 않는 개념을 충실히 제거하며, 특히 긍정적 조건과 부정적 조건이 중첩되는 시나리오에서도 강력한 제어력을 발휘하여 확산 모델의 미세한 제어를 위한 견고한 도구가 된다는 점을 강조합니다.