기술 요약: 확산 모델을 위한 단계별 가이드 기반 per-step 최적화 (SGPO)

문제 정의

확산 모델(Diffusion models)은 생성 작업에서 탁월한 성능을 보이지만, 표준 학습 목표가 특정 목표를 최적화하기보다는 데이터 분포를 재구성하는 데 집중되어 있기 때문에 특정 사용자 선호도와 정렬(alignment)하는 데 어려움을 겪습니다. 강화 학습(RL)이 선호도 정렬을 위한 경로를 제공하지만, 다음과 같은 중대한 과제에 직면해 있습니다:

1. 보상 희소성 (Reward Sparsity): 선호도 보상은 생성 과정이 완료된 시점(최종 타임스텝)에서만 정확하게 평가될 수 있으므로, 중간 잠재 상태(latent states)에는 직접적인 피드백이 남지 않습니다.
2. 시간적 목표 불일치 (Temporal Objective Mismatch): 기존 방법들은 희소성을 완화하기 위해 단일 최종 보상을 이전의 모든 디노이징 단계로 역전파합니다. 그러나 이는 모든 디노이징 단계가 최적으로 동등하다는 가정을 전제로 하는데, 이는 확산 역학의 단계별 특성과 모순됩니다.
3. 보상 해킹 (Reward Hacking): 단일 최종 보상을 모든 단계에 균일하게 적용하면 시간적 불일치가 발생합니다. 초기 단계는 혼돈스럽고 노이즈가 지배적이어서, 행동과 최종 보상 사이의 상관관계가 약합니다. 이는 모델이 의미 있는 행동을 배우기보다 "지름길"을 찾도록 유도하여, 다양성과 충실도(fidelity)를 저하시키는 모드 붕괴(mode collapse), 반복적인 구조 또는 과도하게 증폭된 국소적 패턴을 초래하는 보상 해킹을 조장합니다.

방법론: 단계별 가이드 기반 per-step 최적화 (SGPO)

저자들은 확산 생성의 본질적인 단계별 역학을 인식하는 적응형 RL 프레임워크인 SGPO를 제안합니다. SGPO는 균일한 최적화 대신, 실시간으로 모니터링되는 의미론적 변화와 신호 대 잡음비(SNR)를 기반으로 현재 생성 단계에 따라 최적화 목표를 동적으로 전환합니다.

1. 적응형 단계 탐지 (Adaptive Stage Detection)

이 방법은 두 가지 지표를 사용하여 생성 과정을 세 가지 뚜렷한 단계로 나눕니다:

• 의미론적 진화율 ($\Delta E(t)$): 인접한 잠재 상태와 프롬프트 사이의 의미론적 정렬(예: CLIP 점수)의 변화.
• 신호 대 잡음비 ($\gamma(t)$): 잠재 상태 내 신호와 노이즈의 비율.

전환점은 이 지표들의 2차 도함수가 0에 가까워지는 지점으로 정의됩니다:

• 단계 I (혼돈/노이즈 단계): $0 \le t < t_c^{(1)}$. 높은 노이즈와 불안정한 의미론이 특징입니다.
• 단계 II (안정적 선호도 단계): $t_c^{(1)} \le t < t_c^{(2)}$. 의미론이 안정화되며, 행동과 최종 보상 사이의 상관관계가 강해집니다.
• 단계 III (안정적 수렴 단계): $t \ge t_c^{(2)}$. 전역적 구조가 고정되었으며, 국소적 세부 사항만이 민감하게 반응합니다.

2. 단계별 최적화 목표 (Stage-Specific Optimization Objectives)

SGPO는 생성 역학에 맞춰 각 단계에 서로 다른 보상 함수를 할당합니다:

• 단계 I (혼돈): 혼돈스러운 노이즈 영역을 빠르게 벗어나는 것이 목표입니다. 여기서는 최종 보상이 신뢰할 수 없으므로, 초기 노이즈 기원으로부터의 거리를 최대화하는 데 집중합니다.

  • 보상 함수: $r_t^{(I)} = \lambda_t \|x_t - x_T\|^2$, 여기서 $\lambda_t$는 SNR에 따라 스케일링됩니다.

• 단계 II (안정적 선호도): 이 단계는 선호도 최적화를 위한 주요 단계입니다. 모델은 최종 선호도 보상($r(x_0, z)$)을 최적화하는 동시에, 조기 수렴을 방지하기 위해 다양성을 적극적으로 유지합니다.

  • 보상 함수: $r_t^{(II)} = r(x_0, z) + \Delta E(t) \| \hat{x}_0(x_t) - \hat{x}_0(x_{t-1}) \|^2$.
  • 두 번째 항은 의미론적 진화율 $\Delta E(t)$에 의해 조절되는 탐색 보너스로 작용하여, 의미론적 정렬을 깨뜨리지 않으면서도 다양성을 높이는 통제된 편차를 장려합니다.

• 단계 III (수렴): 전역적 구조가 대부분 고정되었습니다. 추가적인 선호도 최적화는 과적합을 초의하고 분포를 불안정하게 만들 위험이 있습니다. 목표는 실제 분포로의 안정적인 수렴으로 전환됩니다.

  • 보상 함수: $r_t^{(III)} = -\frac{1}{2} \| \hat{x}_0(x_t) - x_0^{pre} \|^2$, 여기서 $x_0^{pre}$는 사전 학습된 모델의 출력입니다. 이는 안정적인 사전 학습 분포로부터의 불필요한 이탈에 페널티를 부여합니다.

주요 기여

1. 단계 인식 RL 프레임워크: 이 논문은 모든 타임스텝에 걸친 균일한 최적화 가정을 탈피하여, 확산 모델의 단계별 생성 역학을 명시적으로 모델링하는 패러다임을 도입했습니다.
2. 보상 해킹 완화: 단계별 특성(혼돈 탈출, 다양성 탐색, 안정적 수렴)에 맞춰 훈련 신호를 정렬함으로써, SGPO는 보상 해킹을 효과적으로 완화하고 생성 품질을 개선합니다.
3. 적응형 메커니즘: 이 방법은 실시간 의미론 및 SNR 모니터링을 활용하여 최적화 전략을 동적으로 전환함으로써, 훈련 신호가 각 생성 단계의 요구 사항과 일치하도록 보장합니다.

실험 결과

저자들은 다양한 데이터셋(HPSv2, Pick-a-Pic, GenEval, Simple Animals)과 모델 아키텍처(Stable Diffusion v1.4–v2.1, SDXL, SD 3.5, FLUX)에 대해 16가지 비교 실험을 수행했습니다.

• 성능 향상: SGPO는 베이스라인 대비 생성 품질(보상 점수로 측정)에서 평균 26.7%의 이득을, 수렴 속도에서 36.7%의 개선을 달aged했습니다.
• 다양성 및 충실도: 이 방법은 LPIPS, IS, FID와 같은 지표에서 베이스라인을 크게 앞지르며 다양성을 8.51%, 세부 충실도를 41.93% 향상시켰습니다.
• 보상 해킹 저항성: 고정된 미적 점수(AES)를 맞추도록 훈련된 평가에서, SGPO는 충실도, 다양성, 풍부함 지표 모두에서 상위 2위의 성능을 일관되게 유지한 반면, 다른 방법들은 과도한 최적화 및 모드 붕해 징후를 보였습니다.
• 제어 가능한 생성: SGPO는 객체 수, 색상, 공간 관계를 포함하는 복잡한 프롬프트에서 DDPO, DPOK, Flow-GRPO와 같은 베이스라인보다 우수한 지시 이행 능력을 입증했습니다.
• 효율성: 단계 탐지에 따른 오버헤드에도 불구하고, 빠른 수렴 덕분에 전체적인 실제 실행 시간(wall-clock time) 효율성이 베이스라인보다 현저히 높았습니다.

의의 및 주장

본 논문은 디노이징의 모든 단계에 최종 보상을 무분별하게 적용하는 것이 확산 RL에서 보상 해킹과 최적화 비효율성의 근본 원인이라고 주장합니다. SGPO는 확산 과정의 단계별 구조(특히 혼돈스러운 노이즈에서 안정적인 의미론을 거쳐 수렴에 이르는 과정)를 존중함으로써 더 견고하고 효율적인 미세 조정을 가능하게 합니다.

저자들은 자신들의 방법이 다음과 같은 결과를 가능하게 하는 현재의 확산 모델 RL 관행에 대한 필수적인 교정책을 제공한다고 주장합니다:

• 다양성을 희생하지 않으면서 특정 선호도와 더 잘 정렬됨.
• 모델이 허구적 상관관계를 악용하는 "보상 지름길" 현상을 방지함.
• 복잡한 생성 작업에서의 제어 능력 향상.

이 연구는 향로의 생성 모델을 위한 RL 미세 조정이 궤적을 동질적인 상태의 시퀀스로 취급하는 대신, 생성 과정의 시간적 역학을 반드시 고려해야 함을 시사합니다.