기술 요약: DeDPO: 확산 모델을 위한 편향 제거 직접 선호도 최적화 (Debiased Direct Preference Optimization for Diffusion Models)

1. 문제 정의

직접 선호도 최적화(Direct Preference Optimization, DPO)는 별도의 보상 모델 없이도 인간의 선호도에 맞춰 확산 모델을 정렬할 수 있는 효율적인 대안을 제공함으로써, 인간 피드백으로부터 강화 학습(RLHF)을 대체하는 표준적인 방법이 되었습니다. 그러나 DPO는 대규모의 고품질 인간 선호도 레이블에 의존한다는 결정적인 확장성 병목 현상에 직면해 있으며, 이는 이를 확보하는 데 막대한 비용과 시간이 소요된다는 점에서 매우 비효율적입니다.

이를 해결하기 위해 합성 선호도(AI 모델에 의해 생성된 선호도)를 사용하는 최근의 시도들은 합성 레이블이 노이즈가 많거나, 실제 인간의 판단과 일치하지 않거나, 체계적인 편향을 유발할 수 있기 때문에 종종 실패합니다. 이러한 불완전한 피드백으로 직접 학습하는 것은 불안정한 정렬과 성능 저하를 초래합니다. 핵심 과제는 소수의 고품질 인간 레이블만을 사용하여, 저렴하고 방대한 양의 합성 데이터를 활용하면서도 그 내재적인 노이즈와 편향을 교정하는 것입니다.

2. 방법론: DeDPO (Debiased DPO)

저자들은 인과 추론(Causal Inference)의 편향 제거 추정 기법을 DPO 목적 함수에 통합한 반지도 학습 프레임워크인 DeDPO를 제안합니다. 이 방법은 데이터의 일부는 정답인 인간 선호도로 레이블링되어 있고, 더 큰 규모의 데이터는 비용 효율적인 AI 피드백(예: 시각-언어 모델 또는 셀프 트레이닝)을 통해 생성된 합성 선호도로 레이블링된 환경에서 작동합니다.

2.1. 이진 분류로서의 DPO 재정의

저자들은 먼저 표준 Diffusion-DPO 손실을 이진 분류 문제로 재해석합니다. 이미지 쌍 $(x_0, x_1)$과 프롬프트 $c$에 대해, 선호도 레이블 $z$는 어떤 이미지가 선호되는지를 나타냅니다. DPO 손실은 모델의 암묵적 마진 예측기(implicit margin predictor)인 $G_\theta$를 사용하여 이진 교차 엔트로피 손실 $L(G_\theta(y), z)$로 다시 쓰여집니다.

2.2. 편향 제거 손실 함수 (The Debiased Loss Function)

나이브한 반지도 학습 방식에서는 누락된 인간 레이블을 합성 레이블 $\hat{G}(y)$로 단순히 대체하여 편향된 결과 회귀(Outcome Regression, OR) 추정치를 만들 수 있습니다. 대신 DeDPO는 레이블된 데이터와 레이블되지 않은 데이터를 결합하는 편향 제거 손실(식 8)을 제안합니다.

$$L_{DeDPO}(\theta) = \mathbb{E}_{n_l+n_u} [L(G_\theta(y), \hat{G}(y))] + \mathbb{E}_{n_l} [L(G_\theta(y_l), z_l) - L(G_\theta(y_l), \hat{G}(y_l))]$$

여기서:

• $n_l$과 $n_u$는 각각 레이블된 샘플과 레이블되지 않은 샘플의 수입니다.
• $z_l$은 정답인 인간 레이블입니다.
• $\hat{G}(y)$는 합성 레이블입니다.

교정 메커니즘:

• 레이블되지 않은 데이터: 손실 함수는 합성 의사 레이블(pseudo-labels) $\hat{G}(y)$를 직접 감독 신호로 사용합니다.
• 레이블된 데이터: 손실 함수는 합성 레이블을 실제 인간 레이블 쪽으로 이동시키는 교정 항 $(z_l - \hat{G}(y_l))$을 도입합니다. 이 교정은 레이블된 데이터의 희소성을 반영하는 중요도 가중치 $\frac{n_l + n_u}{n_l}$에 의해 증폭됩니다.
• 이론적 특성:
  1. 불편성(Unbiasedness): DeDPO 손실의 기댓값은 합성 레이벨의 정확 여부와 관계없이 모집단 수준의 DPO 손실과 일치합니다. 만약 합성 레이블이 완벽하다면 모든 데이터를 활용하며, 완전히 틀리다면 점근적으로 레이블된 데이터만을 사용하는 방식으로 돌아갑니다.
  2. 합성 모델 수렴에 대한 강건성: 저자들은 타겟 확산 모델 $\theta$가 합성 모델 $\hat{G}$보다 훨씬 느린 속도로 수렴하더라도(구체적으로 에러 항이 합성 모델 오차의 4제곱에 의존함) 최적의 수렴 속도를 달달성할 수 있음을 증명했습니다. 이를 통해 합성 어노테이터가 불완전하더라도 시스템의 강건성을 확보할 수 있습니다.

2.3. 합성 선호도 출처

이 프레임워크는 두 가지 주요 합성 레이블 출처를 지원합니다.

1. 셀프 트레이닝 (Self-Training): 현재 정책 $\theta$(이전 반복 단계)의 암묵적 보상 마진을 사용하여 레이블을 생성합니다. 저자들은 오버피팅을 피하기 위해 합성 모델이 이상적으로는 DPO 학습 세트와 독립적인 데이터로 학습되어야 한다고 언급합니다.
2. 사전 학습된 시각-언어 모델 (VLMs): Qwen이나 CLIP 같은 모델을 사용하여 이미지 쌍을 어노테이션합니다. 이는 동일한 레이블 데이터에 대한 셀프 트레이닝에서 발생하는 독립성 위반 문제를 피할 수 있기 때문에 본 논문의 설정에서 더 선호됩니다.

3. 주요 기여

• 확산을 위한 편향 제거 추정: 본 논문은 인과 추론의 편향 제거 추정 기법을 확산 모델의 선호도 최적화 문제에 처음으로 적용했습니다.
• 반지도 학습 기반 정렬: 적은 양의 인간 레이벨(예: 25%)을 대규모 합성 레이블로 보강하여, 별도의 보상 모델 없이도 확산 모델을 정렬할 수 있는 강력한 프레임워크를 구축했습니다.
• 이론적 보장: 제안된 손실 함수가 불편(unbiased)하며, 합성 모델이 독립적인 데이터로 학습되었다는 전제하에 학습 과정이 합성 모델의 오류에 대해 강건하다는 이론적 증명을 제공합니다.

4. 실험 결과

저자들은 SD1.5 및 SDXL 백본을 사용하여 FiFA-5K 및 HPDv2 데이터셋에 대해 DeDPO를 평가했습니다.

• 전체 지도 학습 DPO와의 성능 비교: 25%의 인간 레이블과 75%의 합성 레이블로 학습된 DeDPO는 100% 인간 레이블로 학습된 DPO의 성능과 일치하거나 이를 약간 상회하는 성능을 일관되게 보여주었습니다.
  • SD1.5 기반의 FiFA-5K에서 DeDPO는 PickScore 21.91, HPSv2 27.80을 달성하여, 전체 지도 학습 DPO 베이스라인(21.88 PS, 27.79 HPSv2)을 넘어섰습니다.
  • SDXL의 경우, DeDPO는 전체 지도 학습 성능과 일치하는 결과(22.83 PS vs 22.84 PS)를 보였습니다.
• 노이즈에 대한 강건성: 반면, (편향 제거 없이) 합성 레이블을 DPO와 혼합하는 나이브한 접근 방식은 일관되게 낮은 성능을 보였으며, 이는 교정 없이 단순히 합성 데이터를 추가하는 것이 정렬 성능을 저하시킬 수 있음을 보여줍니다.
• 확장성: 합성 데이터의 크기가 증가함에 따라(최대 98K 쌍), 일반적인 DPO 성능은 노이즈가 많은 레이블의 누적으로 인해 크게 저하된 반면, DeDPO는 안정적인 성능을 유지했습니다.
• 질적 개선: 시각적 비교 결과, DeDPO는 인간 레이블이 적은 모델이나 나이브한 합성 혼합 모델에 비해 미세한 디테일과 구성적 제약 조건(예: 복잡한 프롬프트 내 특정 객체)을 더 잘 포착하는 것으로 나타났습니다.
• AI-as-a-Judge: 인간 정렬 기반의 AI 심판(Gemini 2.5 Flash)은 일반 선호도 및 시각적 매력도 측면에서 DeDPO를 전체 지도 학습 DPO보다 약 57%, 반지도 학습 DPO보다 약 76% 더 선호했습니다.

5. 의의 및 주장

본 논문은 DeDPO가 확산 모델의 인간-AI 정렬을 위한 확장 가능하고 비용 효율적인 솔루션을 제공한다고 주장합니다. 편향 제거 추정을 통합함으로써, 이 방법은 저렴하고 노이즈가 많은 합성 피드백을 신뢰할 수 있는 학습 신호로 성공적으로 전환합니다.

저자들은 DeDPO가 다음과 같은 성과를 거두었다고 단언합니다:

1. 데이터 병목 현상 극려: 적은 비율의 인간 레이블만으로도 고품질의 정렬을 가능하게 하여, 과도한 비용 없이 대규모 선호도 최적화를 실현합니다.
2. 강건성 보장: 합성 어노테이터(셀프 트레이닝 및 VLM 포함)의 변동성과 노이즈에 탄력적으로 대응하여, AI 생성 선호도로 학습할 때 흔히 발생하는 불안정성을 방지합니다.
3. 최첨단 효율성 달성: 인간 레이블이 완전히 부여된 데이터셋으로 학습된 모델과 대등하거나 때로는 이를 능가하는 성능을 달성함으로써, 효율적인 선호도 최적화의 새로운 기준을 제시합니다.

결론적으로, 적절히 편향이 제거된 합성 피드백은 광범한 인간 레이블링을 대체할 수 있는 실행 가능하고 신뢰할 수 있는 대안이며, 생성 모델을 인간의 가치에 맞추기 위한 실질적인 경로를 제시합니다.