Step-level Denoising-time Diffusion Alignment with Multiple Objectives

논문 요약: 다중 목적을 위한 단계별 (Step-level) 노이즈 제거 시간 확산 정렬 (MSDDA)

1. 문제 정의 (Problem)

• 배경: 확산 모델 (Diffusion Models) 은 인간 선호도에 맞춰 조정 (Alignment) 하는 과정에서 강화학습 (RL) 을 활용합니다. 기존 방법은 주로 단일 보상 함수를 최적화하거나, KL 정규화 제약 하에 작동합니다.
• 현실적 한계: 인간의 선호도는 본질적으로 다원적 (pluralistic) 이며, 미적 품질 (Aesthetic quality) 과 텍스트 - 이미지 일관성 (Text-image consistency) 등 여러 하위 목표를 동시에 만족해야 합니다.
• 기존 방법의 결함:
  • 다중 목적 RL 미세 조정 (Fine-tuning): 다양한 선호도 가중치 ($w$) 를 모두 커버하기 위해 모델 수를 기하급수적으로 늘려야 하거나, 충돌 방지 업데이트 방향을 계산하는 등 계산 비용이 매우 큽니다.
  • 노이즈 제거 시간 (Denoising-time) 정렬: 기존에 정렬된 모델들을 추론 시에 융합하는 방식은 훈련 비용은 줄였으나, 대부분 보상 함수의 값 (Reward values) 이나 기울기 (Gradients) 에 접근해야 하거나, 근사 오차 (Approximation error) 를 발생시킵니다. 특히 기존 연구들 (DB-MPA, DERADIFF 등) 은 확산 역학의 일부 항을 생략하여 근사 오차를 도입했습니다.
• 핵심 질문: "보상 함수에 대한 접근 없이, 추가적인 재훈련 없이, 그리고 근사 오차 없이 다중 목적 확산 모델을 정렬할 수 있는가?"

2. 방법론 (Methodology)

이 논문은 MSDDA (Multi-objective Step-level Denoising-time Diffusion Alignment) 라는 새로운 프레임워크를 제안합니다.

가. 단계별 RL 미세 조정 (Step-level RL Fine-tuning) 재정의

• 기존 RL 미세 조정 (Eq. 1, 2) 은 정책 ($\pi_\theta$) 에서 샘플링해야 하므로 최적 정책을 추적하기 어렵고, 이를 해결하기 위해 근사에 의존했습니다.
• 해결책: TRPO(Trust Region Policy Optimization) 에서 영감을 받아, 보상과 KL 항을 모두 단계별 (Step-level) 로 분해하여 문제를 재형성했습니다.
• Step-level DPO: 이 새로운 RL 형식을 바탕으로, 명시적인 보상 함수 없이 선호도 쌍 (Preference pairs) 만으로 모델을 학습할 수 있는 Step-level DPO 목적 함수를 유도했습니다. 이는 선호되지 않는 경로에서는 사전 학습 모델에 더 가깝게 유지하고, 선호되는 경로에서는 자유롭게 이동하도록 하는 구조를 가집니다.

나. 다중 목적 정렬 및 폐쇄형 해 (Closed-form Solution)

• 핵심 아이디어: 각 단일 목적 ($r_i$) 에 대해 최적화된 모델 ($\pi_i$) 들이 주어졌을 때, 임의의 선호도 가중치 벡터 $w$에 대한 최적의 역방향 노이즈 제거 분포 ($p_w$) 를 재훈련 없이 직접 계산할 수 있음을 증명했습니다.
• 수학적 유도:
  • Lemma 2 를 통해 단일 목적의 최적 정책이 지수 함수 형태로 표현됨을 보였습니다.
  • Theorem 1 을 통해 다중 목적의 최적 정책은 각 단일 목적 정책의 가중치 곱 (Weighted Product) 으로 표현됨을 증명했습니다.
  • 각 단일 목적 모델의 역방향 분포가 가우시안 ($N(\mu_i, \sigma_i^2)$) 이라고 가정할 때, 결합된 분포 $p_w$ 역시 가우시안이며, 그 평균 ($\mu_w$) 과 분산 ($\sigma_w^2$) 은 다음과 같은 폐쇄형 (Closed-form) 식으로 구해집니다:
    $$\sigma_w^2 = \left( \sum_{i=1}^M \frac{w_i}{\sigma_i^2} \right)^{-1}$$
    $$\mu_w = \sigma_w^2 \sum_{i=1}^M \frac{w_i}{\sigma_i^2} \mu_i$$
• 알고리즘: 알고리즘 1 에서 제시된 바와 같이, 각 노이즈 제거 단계에서 기존 모델들의 평균과 분산을 위 식에 따라 단순히 가중 평균하여 새로운 샘플을 생성합니다.

3. 주요 기여 (Key Contributions)

1. Step-level RL 형식화: 확산 모델의 RL 미세 조정 문제를 단계별로 재정의하여, 기존 방법의 비실용적인 순환 의존성 (Circular dependence) 문제를 해결하고 정확한 해를 유도할 수 있는 기반을 마련했습니다.
2. 오차 없는 폐쇄형 정렬 (Exact Closed-form Alignment): 다중 목적 정렬을 위해 별도의 훈련이나 보상 함수 접근 없이, 기존 단일 목적 모델들의 평균과 분산을 결합하여 근사 오차 없이 최적의 역방향 분포를 얻는 방법을 제시했습니다. 이는 기존 방법들 (DB-MPA, DERADIFF) 이 도입하던 근사 오차를 제거한 것입니다.
3. 이론적 동등성 증명: 제안된 노이즈 제거 시간 정렬 방법이 Step-level RL 미세 조정의 최적 해와 정확히 동일 (Exactly equivalent) 함을 수학적으로 증명했습니다.
4. DB-MPA 일반화: DB-MPA 는 모든 목표가 동일한 분산을 가진다는 제한적인 가정을 기반으로 하지만, MSDDA 는 이 가정을 완화하여 이질적인 분산 (Heterogeneous-variance) 을 가진 경우에도 유효하게 작동하도록 일반화했습니다.

4. 실험 결과 (Results)

• 실험 설정: Stable Diffusion v1.5 를 기반으로, '미적 품질 (VILA)'과 '텍스트 - 이미지 일관성 (ImageReward)' 두 가지 보상을 사용하여 실험했습니다.
• 성능 비교:
  • 정량적 평가: 다양한 선호도 가중치 ($w$) 에서 제안된 MSDDA 는 기존 방법들 (Reward Soup, CoDe, RGG 등) 보다 두 보상 지표 모두에서 일관되게 더 높은 점수를 기록했습니다. 특히 Pareto 프론트 (Pareto front) 분석에서 기존 방법들보다 우월한 성능을 보였습니다.
  • 생성 품질: 텍스트 프롬프트 (예: "분홍색 바나나", "빨간 사과가 있는 보라색 배낭") 에 대한 이미지 생성 시, MSDDA 는 기존 방법 (RS 등) 보다 프롬프트를 훨씬 정확하게 따르는 이미지를 생성했습니다.
  • 효율성: 재훈련이 필요 없으며, 보상 함수를 매 단계 계산할 필요가 없어 추론 시간이 짧습니다. (SD/RS 보다 약 2 배 느리지만, 보상 기울기를 계산하는 CoDe/RGG 보다 훨씬 빠름).

5. 의의 및 결론 (Significance)

이 논문은 다중 목적 확산 모델 정렬 분야에서 중요한 이론적, 실용적 진전을 이루었습니다.

• 이론적 엄밀성: 기존 노이즈 제거 시간 정렬 방법들이 피할 수 없었던 근사 오차를 제거하고, 최적 해에 대한 엄밀한 이론적 보장을 제공했습니다.
• 실용성: 별도의 재훈련 비용 없이, 기존에 학습된 단일 목적 모델들을 유연하게 결합하여 사용자의 다양한 선호도를 실시간으로 반영할 수 있는 효율적인 프레임워크를 제시했습니다.
• 확장성: 이 접근법은 LLM 의 디코딩 시간 정렬뿐만 아니라, 다양한 생성 모델의 다중 목적 최적화 문제에 적용 가능한 새로운 패러다임을 제시합니다.

요약하자면, MSDDA 는 **"재훈련 불필요, 보상 함수 접근 불필요, 근사 오차 제로"**라는 세 가지 조건을 모두 만족하면서 다중 목적 확산 모델을 정렬하는 최초의 방법론으로 평가받습니다.