기술 요약: 제프리 가이던스(Jeffrey Guidance)를 이용한 확산 모델의 보다 일반적인 제어 연구

1. 문제 정의

확산 모델(Diffusion models)은 신경망을 재학습시키지 않고도 샘플링 시점에 가이던스 메커니즘을 통해 출력 제어를 가능하게 함으로써 생성 작업에서 상당한 유연성을 제공한다. 분류기 가이던스(classifier guidance)와 같은 표준 가이던스 기법들은 특정 클래스에 대한 조건부 샘플링을 효과적으로 처리하지만, 타겟 분포가 암시적이거나 휴리스틱으로만 정의된 더 복적인 목적 함수를 다루는 데는 한계가 있다.

공정성, 개념 제어, 구성적 생성과 같은 작업에 사용되는 기존 방식들은 샘포링 역학에 휴리스틱한 수정을 가하는 방식에 의존하는 경우가 많다. 이러한 방법들은 원래의 분포를 기울게 만들기는 하지만, 명시적으로 정의된 타겟 분포가 결여되어 있어 실제 목적 함수를 특성화하거나 해석하기 어렵다. 따라서 모델의 조건부 구조를 보존하면서 정해진 타겟 분포를 향해 주변 분포(marginal distribution)를 업데이트할 수 있는 원칙적인 프레임워크가 필요하며, 이를 통해 표준적인 조건부 샘플링으로는 표현할 수 없는 복잡한 통계적 특성(예: 속성 독립성 또는 임베딩 분포 매칭)을 제어할 수 있어야 한다.

2. 방법론: 제프리 가이던스(Jeffrey Guidance)

본 논문은 확산 모델을 업데이트하기 위해 **제프리의 조건부 규칙(Jeffrey's rule of conditioning)**을 활용하는 제프리 가이던스 프레임워크를 제안한다. 특정 사건에 대해 조건화하는 베이즈 기반 접근 방식(표준 조건부 샘플링)과 달리, 제프리의 규칙은 특정 마진 분포를 일치시키는 것과 같은 복잡한 술어(predicate)에 대해서도 조건화를 허용한다.

이론적 기초

$x$를 이미지 공간, $y$를 속성/특성으로 하는 결합 모델 $p(x, y)$가 주어졌을 때, 목표는 조건부 구조 $p(x|y)$를 보존하면서 주변 분포 $p(y)$를 타겟 분포 $p^\star(y)$로 업데이트하는 것이다. 제프리의 규칙에 따라, 업데이트된 결합 분포는 다음과 같이 정의된다:
$$p^\star(x, y) = p(x|y)p^\star(y)$$
이 업데이트는 마진 제약 조건을 만족하면서 원래의 결합 분포에 대한 섭동(perturbation)을 최소화한다(정보 투영).

본 논문은 $x$에 대한 주변 분포의 재가중치(reweighting) 공식을 도출한다:
$$p^\star(x) = p(x) \int p(y|x)\rho(y) dy$$
여기서 $\rho(y) = p^\star(y)/p(y)$는 밀도 비(density ratio)이다. 특성이 이미지로부터 결정론적으로 도출되는 경우(예: $y = u(x)$), 이는 다음과 같이 단순화된다:
$$p^\star(x) = p(x)\rho(u(x))$$

확산 모델에서의 구현

이를 스코어 기반 확산 모델에 적용하기 위해, 저자들은 가이드된 스코어 함수를 도출한다. 표준 스코어 $\nabla_{x_t} \log p_t(x_t)$는 밀도 비에 기반한 보정 항(correction term)에 의해 증강된다:
$$\nabla_{x_t} \log \tilde{p}^\star_t(x_t) = \nabla_{x_t} \log p_t(x_t) + \nabla_{x_t} \log \int p(y|\hat{x}_0(x_t, t))\rho(y) dy$$
여기서 $\hat{x}_0(x_t, t)$는 트위디 공식(Tweedie's formula)을 통해 얻은 깨끗한 샘플의 추정치이다.

결정론적 특징 매핑(예: 임베딩 공간)의 경우, 가이던스는 다음과 같이 단순화된다:
$$\nabla_{x_t} \log \tilde{p}^\star_t(x_t) = \nabla_{x_t} \log p_t(x_t) + \nabla_{x_t} \log \rho(u(\hat{x}_0(x_t, t)))$$

이 프레임워크는 보정 항의 크기를 조절하여 샘플 품질과 타겟 분포에 대한 충실도 사이의 트레이드오프를 제어하는 하이퍼파라미터 $\lambda$를 도입한다. 밀도 비 $\rho$는 타겟 분포의 샘플과 현재 모델의 분포를 구분하도록 훈련된 이진 분류기를 사용하여 추정된다.

3. 주요 기여

본 논문의 세 가지 주요 기여는 다음과 같다:

1. 제프리 가이던스 프레임워크: 표준 분류기 가이던스를 일반화하는 새로운 플러그 앤 플레이(plug-and-play) 방식의 가이던스 방법이다. 제프리의 규칙을 사용하여 생성된 출력 분포를 임의의 타겟 분포와 일치시킴으로써, 기존 가이던스로는 접근할 수 없었던 목적 함수들을 제어할 수 있게 한다.
2. 임베딩 분포 매칭: 임베딩 공간(구체적으로 Inception 임베딩)에서 모델 출력 분포를 타겟 분포와 일치시키는 능력을 입증하는 개념 증명이다. 이 적용을 통해 재학습 없이 FID(Fréchet Inception Distance)를 크게 감소시켰다.
3. 공정성을 위한 속성 분포 제어: 이미지 속성 분포를 제어하여 공정성 목표를 달는 과정을 보여주었다. 이 방법은 성별 균등(분포 매칭)을 강제하고, 생성된 얼굴에서 속성 간의 상관관계(예: "남성"과 "젊음")를 제거하는 데 성공하였으며, 이는 표준 분류기 가이던스로는 직접 해결할 수 없는 과제들이다.

4. 실험 결과

저자들은 CIFAR-10, FFHQ, CelebA-HQ 데이터셋에 대해 제프리 가이던스를 평가하였다.

임베딩 가이던스 (FID 감소)

• 설정: 방법론은 훈련 데이터의 Inception 임베딩 분포를 타겟으로 삼았다.
• 결과: CIFAR-10의 경우, FID가 훈련 세트에서 $\approx 5.88$에서 $\approx 2.55$로, 테스트 세트에서 $\approx 9.76$에서 $\approx 6.71$로 개선되었다. FFHQ의 경우 FID가 $\approx 20.13$에서 $\approx 12.91$로 감소했다.
• 관찰: 저자들은 FID가 급격히 감소했음에도 불구하고 생성된 이미지의 시각적 변화는 미미했다는 점을 언급하며, 이는 순수하게 지각적인 지표로서의 FID의 한계를 시사한다고 밝혔다. 최상의 결과는 마지막 디노이징 단계($\delta=10$)에만 가이던스를 적용했을 때 얻어졌다.

공정성 응용

• 성별 균등 (분포 매칭): CelebA-HQ에서 이 방법은 "남성" 속성의 비율을 $\approx 0.296$에서 $\approx 0.522$로 조정하여(목표값 0.5), 공정성 불일치(Fairness Discrepancy, FD)를 $0.288$에서$0.032$로 줄였다. 이는 FID의 저하를 최소화하면서($21.61$대 베이스라인$22.30$) 달성되었다.
• 속성 탈상관화 (Attribute Decorrelation): 이 방법은 "남성"과 "젊음" 속성을 성공적으로 탈상관화하여, $\lambda=3.0$에서 피어슨 상관 계수를 $-0.541$에서 거의 0($0.005$)에 가깝게 줄였다. 이는 주요 결합 모드(젊은 여성 샘플)를 줄이면서도 주변 분포를 비교적 안정적으로 유지함으로써 달성되었으며, 약 1점 정도의 미미한 FID 상승이 있었다.
• 비교: 표준 가이던스가 결합된 조상 샘플링(ancestral sampling) 베이스라인과 비교했을 때, 제프리 가이던스는 더 낮은 FID 비용으로 유사한 공정성 지표를 달면서도 더 적은 수의 샘플을 수정하였다. 이는 샘플을 단일 클래스로 완전히 밀어붙이는 대신 샘플링 궤적을 따라 클래스 방향을 연속적으로 균형 있게 조절하기 때문이다.

5. 의의 및 주장

본 논문은 제프리 가이던스를 확산 모델 제어의 원칙적인 확장으로 위치시킨다. 그 의의는 다음과 같다:

• 일반화: 표준 분류기 가이던스를 제프리 조건화의 특수 사례로 재맥락화함으로써, 이러한 접근 방식들을 더 넓은 이론적 프레임워크 아래 통합한다.
• 표현력: 이전에 휴리스틱이나 암시적 방법으로만 가능했던 복잡한 목적 함수(예: 속성 독립성)를 위해 명시적인 타겟 분포를 지정할 수 있게 한다.
• 실용성: 확산 모델의 재학습 없이, 샘플링 중 보정 항을 추가하고 경량 밀도 비 추정기를 훈련하는 것만으로 가능하다.

저자들은 본 연구를 "개념 증명"으로 규정하며 겸손한 어조를 유지한다. 그들은 현재 구현이 초기 분류기 가이던스와 유사하게 밀도 비를 추정하기 위해 분류기에 의존하고 있음을 인정하며, 향후 연구가 분류기 프리(classifier-free) 변형으로 발전하기를 기대한다고 밝혔다. 또한, 이 방법이 유익한 응용 분야(공정성, 기억 완화 등)를 위한 새로운 표현력을 제공하지만, 동시에 악의적인 행위자가 해로운 출력을 생성하는 데 힘을 실어줄 위험도 내포하고 있음을 언급하였다.