기술 요약: 직접 확산 스코어 선호도 최적화 (Direct Diffusion Score Preference Optimization, DDSPO)

문제 정의

확산 모델(Diffusion models)은 생성 작업, 특히 텍스트-이미지 합성 분야에서 상당한 성공을 거두었습니다. 그러나 이러한 모델들은 종종 미세한 사용자 의도와 정렬되거나 일관된 높은 미적 품질을 유지하는 데 어려움을 겪습니다. Diffusion DPO와 같은 기존의 선호도 기반 학습 방법은 최종 샘플에 대한 쌍별(pairwise) 선호도를 학습함으로써 이러한 문제를 해결하려고 시도합니다.

현재 Diffusion DPO와 같은 접근 방식의 결정적인 한계는 최종 샘플($x_0$)에서 유도된 순방향 과정 $q(x_{t-1} | x_t, x_0)$를 사용하여 역방향 디노이징 전이를 근사하는 데 의존한다는 점입니다. 이러한 근사는 추론 시 모델의 실제 역방향 디노이징 과정을 반영하지 못합니다. 결과적으로, 제공되는 감독 신호(supervision signal)는 모델의 실제 디노이징 궤적과 정렬되지 않으며, 효과적인 단계별 감독을 제공하지 못합니다.

방법론

저자들은 **직접 확산 스코어 선호도 최적화 (DDSPO)**를 제안합니다. 이 프레임워크는 선호도 감독을 최종 샘플 공간이 아닌, 각 확산 타임스텝에서의 스코어 공간(score space)에서 직접 정식화합니다.

핵심 개념: 단계별 대조적 정책 쌍 감독 (Stepwise Contrastive Policy-Pair Supervision)

최종 출력 $(x_0^w, x_0^l)$에 대해 선호도를 정의하는 이전 방법들과 달리, DDSPO는 각 타임스텝에서 **대조적 정책 쌍(contrastive policy pair)**의 디노이징 스코어를 비교함으로써 단계별 감독을 도입합니다. 선호도 레이블은 선호되는 및 선호되지 않는 디노이징 정책으로부터 유도된 디노이징 전이 튜플 $((x_t^w, x_{t-1}^w), (x_t^l, x_{t-1}^l))$로 확장됩니다.

목적 함수는 모델의 디노이징 예측을 각 단계에서의 선호되는 행동 및 선호되지 않는 행동에 대응하는 타겟 $\boldsymbol{\epsilon}_\star^w$ 및 $\boldsymbol{\epsilon}_\star^l$로 최적화합니다. 손실 함수는 다음과 같이 정의됩니다:
$$\mathcal{L}_{\text{DDSPO}}(\theta) = - \mathbb{E} \left[ \log \sigma \left( - \beta \cdot \left[ \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_\theta(x_t^w, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_{\text{ref}}(x_t^w, t, c) \|_2^2 - (\| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_\theta(x_t^l, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_{\text{ref}}(x_t^l, t, c) \|_2^2) \right) \right) \right]$$
여기서 $\boldsymbol{\epsilon}_\star^w$와 $\boldsymbol{\epsilon}_\star^l$은 대조적 정책 쌍으로부터 얻은 디노이징 스코어 타겟이며, 순방향 과정의 근사가 아닌 실제 역방향 디노이징 전이를 유지합니다.

대조적 정책 쌍의 구체화 방식

본 논문은 대조적 정책 쌍을 구현하는 두 가지 실질적인 방법을 제안합니다.

1. 데이터 기반 대조적 정책 쌍 (Data-Driven Contrastive Policy Pair, DD-CPP):

   • 이미지 쌍 $(x_0^w, x_0^l, c)$로 구성된 선호도 레이블 데이터셋이 필요합니다.
   • 사전 훈련된 초기화 모델로부터 두 개의 별도 모델을 미세 조정합니다: 선호되는 샘플에 대한 "승리(winning)" 모델 $\phi^w$와 선호되지 않는 샘플에 대한 "패배(losing)" 모델 $\phi^l$입니다.
   • 감독 타겟은 이 특화된 모델들이 예측한 디노이징 스코어입니다: $\boldsymbol{\epsilon}_\star^w \leftarrow \boldsymbol{\epsilon}_{\phi^w}(x_t, t, c)$ 및 $\boldsymbol{\epsilon}_\star^l \leftarrow \boldsymbol{\epsilon}_{\phi^l}(x_t, t, c)$.

2. 학습 불필요 대조적 정책 쌍 (Training-Free Contrastive Policy Pair, TF-CPP):

   • 추가적인 학습이나 선호도 레이블 데이터가 필요하지 않습니다.
   • 단일 사전 훈련된 참조 모델을 활용합니다.
   • 원래의 프롬프트 $c$ (선호됨)와 의미적으로 퇴화된 변형 $c^-$ (선호되지 않음)를 사용하여 대조 쌍을 구성합니다.
   • 선호되는 타겟은 $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c)$이며, 선호되지 않는 타겟은 $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c^-)$입니다.
   • 이 접근 방식은 큰 타임스텝에서 역방향 업데이트가 주로 조건부 신호에 의해 주도된다는 관찰을 활용하여, 특정 선호되지 않는 이미지 $x_0^l$를 생성하지 않고도 $c^-$가 의미 있는 부정적 스코어 타겟을 제공할 수 있게 합니다.

주요 기여

1. DDSPO 프레임워크: 순방향 과정 근사에 의존하지 않고, 대조적 정책 쌍을 통해 스코어 공간 내 중간 디노이징 단계에 대한 직접적인 감독을 가능하게 하는 선호도 최적화 프레임워크입니다.
2. 실용적인 구체화 방식: 레이블된 데이터로부터 정책을 학습하는 DD-CPP와, 프롬프트 퇴화를 통해 참조 모델로부터 대조 방향을 구축하는 TF-CPP를 도입하였습니다. 후자는 보상 모델이나 수동 주석을 필요로 하지 않습니다.
3. 경험적 검증: 단계별 감독이 순방향 과정 기반의 감독보다 텍스트-이미지 정렬 및 미적 품질 작업 모두에서 더 효과적임을 입증하는 광범akan한 실험을 수행했습니다.

실험 결과

저자들은 Stable Diffusion 변형 모델(SD-1.4, SD-1.5, SDXL)과 DiT 기반 모델(SANA, SD3-M)을 사용하여 텍스트-이미지 정렬 및 미적 품질 개선 작업에 대해 DDSPO를 평가했습니다.

• 텍스트-이미지 정렬:

  • TF-CPP(인간 주석 데이터 없이)를 사용했을 때, DDSPO는 GenEval 및 T2I-CompBench 벤치마크에서 Diffusion DPO, DSPO 및 기타 베이스라인과 비교하여 최첨단(SOTA) 결과를 달성했습니다.
  • DDSPO는 인간 주석 데이터나 보상 모델 없이도 CompBench에서 Itercomp 및 CaPO와 같은 SOTA 방법들을 능가했습니다.
  • 정성적 결과는 Diffusion DPO 및 DSPO와 비교하여 조건부 분포 간의 명확한 분리와 복잡한 프롬프트에 대한 더 나은 준수 능력을 보여주었습니다.

• 미적 품질:

  • Pick-a-Pic 데이터셋에 DD-CPP를 적용했을 때, DDSPO는 SD-1.5 및 SDXL 대비 HPSv2 및 PickScore 지표를 개선하였으며, Diffusion DPO 및 Diffusion KTO를 능가했습니다.
  • (인간 데이터를 사용하지 않는) TF-CPP 변형 역시 지도 학습 방식들과 경쟁력 있는 성능을 보였습니다.

• 절제 연구 (Ablation Studies):

  • 다양한 프롬프트 퇴화 전략(예: 무작위 토큰 제거 vs. LLM 기반 재작성)을 테스트했습니다. 정렬 측면에서는 무작위 제거가 가장 좋은 성능을 보였고, 미적 품질 측면에서는 미적 요소에 맞춤화된 LLM 기반 퇴화가 가장 좋은 성능을 보였습니다.
  • 부정적 타겟을 위해 선호되는 이미지를 재사용하여 (명시적인 선호되지 않는 이미지 생성을 피하는) 효율적인 TF-CPP 변형은 전체 설정과 유사한 성능을 보여주며 프레임워크의 유연성을 입증했습니다.

의의 및 주장

본 논문은 DDSPO의 주요 의의가 모델의 실제 역방향 디노이징 과정과 정렬된 단계별 감독을 제공할 수 있는 능력에 있다고 주장합니다. 순방향 과정의 대리물(surrogates)에 의존하는 대신, 로컬 역방향 전이($x_t \to x_{t-1}$)에 대해 직접 선호도를 정의함으로써, DDSPO는 더 풍부한 전이 수준의 감독을 제공합니다.

저자들은 이 접근 방식이 디노이징 궤적 전반에 걸쳐 더 강력한 학습 신호를 제공하여, 의미적 정렬과 미적 품질 모두에서 일관된 향상을 가져온다고 단언합니다. 또한, **학습 불필요 대조적 정책 쌍 (TF-CPP)**은 인간의 선호도 주석을 수집하거나 보상 모델을 훈련하는 비용 없이도 고품질의 선호도 최적화가 달성될 수 있음을 보여주며, 이 방법의 높은 확장성과 데이터 효율성을 입증합니다. 이 연구는 DDSPO를 확산 모델과 흐름 기반(flow-based) 생성 모델 모두에 적용 가능한 일반화된 프레임워크로 포지셔닝합니다.