기술적 요약: 일반적 선호 정렬을 향하여: 내쉬 균형의 확산 모델

문제 제기

인간 피드백을 통한 강화학습 (RLHF) 과 그 계산 효율적인 변형인 직접 선호 최적화 (DPO) 는 텍스트 - 이미지 (T2I) 확산 모델을 인간의 선호도와 정렬시키는 표준으로 자리 잡았습니다. 그러나 확산 모델 정렬을 위한 기존 선호 기반 방법들은 대부분 RLHF 패러다임을 계승하여, 브래들리 - 테리 (BT) 모델에 의해 유도된 암시적 보상 신호에 의존합니다. 저자들은 BT 모델의 전이성 가정 (A > B 이고 B > C 이면 A > C) 이 인간의 선호도가 가질 수 있는 비전이성 (예: 가위바위보 순환) 을 포착하지 못한다고 주장합니다. 또한, 현재 방법들은 최적화 전에 인간의 선호도를 보상 유도 함수로 변환하는 경우가 많으며, 선호 관계를 직접 모델링하지는 않습니다. 본 논문은 게임 이론적 관점, 특히 인간 피드백을 통한 내쉬 학습 (NLHF) 이 BT 모델의 제한적인 전이성 가정을 피하면서 확산 모델 정렬을 위한 더 견고한 프레임워크를 제공한다고 제시합니다.

방법론: 확산 내쉬 선호 최적화 (Diff.-NPO)

저자들은 내쉬 균형 관점에서 도출된 일반적 선호 최적화 프레임워크인 Diff.-NPO를 제안합니다. BT 유도 확률을 최대화하는 대신, Diff.-NPO 는 현재 정책 ($\pi$) 과 이전 정책 ($\pi_{prev}$) 간의 2 인 제로섬 게임으로 정렬을 공식화하며, 참조 정책 ($\pi_{ref}$) 에 의해 정규화됩니다.

핵심 프레임워크

1. 게임 이론적 공식화: 목적 함수는 '최대화 플레이어 (현재 정책)'가 '최소화 플레이어 (이전 정책)'의 샘플보다 선호되는 샘플을 생성하려 시도하고, 두 정책 모두 분포 이탈을 방지하기 위해 참조 정책 ($\pi_{ref}$) 에 가깝게 유지되도록 정규화된 미니맥스 게임으로 정의됩니다.
2. 온라인 미러 디센트 (OMD): 안정적인 학습 동역학을 보장하고 탐욕적 최적 응답 업데이트의 불안정성을 피하기 위해, 이 방법은 엔트로피 정규화 (Hedge) 가 적용된 낙관적 미러 디센트를 사용합니다. 이는 정책 업데이트가 참조 정책에 의해 제약된 이전 정책에 대한 최적 응답이 되는 자기 플레이 (self-play) 목적 함수로 이어집니다.
3. 손실 함수 유도:
   • 이 방법은 이미지 수준의 선호도를 역방향 궤적 공간으로 확장합니다.
   • 궤적 확률의 로그 비율에 기반한 쌍별 로지스틱 손실을 유도합니다.
   • 최종 목적 함수인 $L_{Diff.-NPO}$는 현재 정책 ($p_\theta$) 을 참조 정책 ($p_{ref}$) 과 이전 정책 ($p_{prev}$) 모두와 대조합니다.
   • 손실 함수는 다음과 같이 공식화됩니다:
     $$L_{Diff.-NPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \left[ \delta_\theta - \frac{\tau}{\eta}\delta_{ref} - \frac{\eta-\tau}{\eta}\delta_{prev} \right] \right) \right]$$
     여기서 $\delta$ 항은 선호되는 샘플 ($x^+$) 과 기각된 샘플 ($x^-$) 간의 암시적 보상 (노이즈 예측 오차) 차이를 나타냅니다.
   • 하이퍼파라미터 $\gamma = \tau/\eta$는 참조 정책 (DPO 스타일, $\gamma=1$) 과 이전 정책 (순수 자기 플레이, $\gamma=0$) 간의 보간을 제어합니다.

기존 방법과의 주요 차이점

• Diffusion-DPO 대비: Diffusion-DPO 가 오프라인이며 현재 정책을 고정된 참조 정책과만 대조하는 반면, Diff.-NPO 는 본질적으로 온라인이며 자기 플레이 지향적입니다. 이는 현재/이전 정책에 의해 생성된 샘플에 대한 업데이트를 평가합니다.
• INPO (반복 내쉬 정책 최적화) 대비: INPO 는 실제 오라클 기반 순위 매김에서 성립하지 않을 수 있는 특정 인구 집단에 대한 가정을 근거로 한 제곱 손실을 사용하는 것과 달리, Diff.-NPO 는 쌍별 로지스틱 손실을 사용합니다. 이는 확률적 선호 분포에서 샘플링된 것이 아니라 오라클 (생성된 샘플 순위 매김) 에 의해 결정적으로 순서가 매겨진 선호 쌍일 때 더 안정적이라고 주장됩니다.

주요 기여

1. 이론적 기반: 본 논문은 인간 피드백을 통한 내쉬 학습 (NLHF) 과 확산 모델 정렬 간의 간극을 메우며, 브래들리 - 테리 가정을 피하는 일반적 선호 게임으로서 확산 정렬을 공식화합니다.
2. 알고리즘 제안: 표준 DPO 와 자기 플레이 패러다임을 단일 공식화 내에서 통합하고, 정규화 계수가 이러한 영역 간을 보간하는 새로운 온-정책 일반 선호 최적화 알고리즘인 Diff.-NPO를 소개합니다.
3. 명시적 모델링 가정: 이 프레임워크는 선호 최적화 뒤의 가정을 명시적으로 만들어, 목적 함수를 참조 정책, 이전 정책, 그리고 선호 신호로 구성된 타겟 분포에 적합시키는 것으로 해석합니다.
4. 실증적 검증: Pick-a-Pic, Parti-Prompts, HPSV2 데이터셋을 사용한 Stable Diffusion 1.5 (SD1.5) 및 SDXL 에 대한 광범위한 실험을 통해 방법의 유효성을 입증했습니다.

실험 결과

저자들은 Diff.-NPO 를 Online-SFT, Online-DPO, SPIN, Seppo 등 베이스라인과 비교 평가했습니다.

• 승률: Diff.-NPO 는 SD1.5 와 SDXL 모두에 대해 모든 평가 데이터셋 (Pick-a-Pic, Parti-Prompts, HPSV2) 에서 일관되게 가장 높은 평균 승률을 달성했습니다.
  • Parti-Prompts 를 사용한 SDXL 에서 Diff.-NPO 는 Online-Diff-DPO 대비 ImageReward 승률을 8.6% 향상시키고, Aesthetic Score 승률을 10.8% 향상시켰습니다.
  • Pick-a-Pic 과 HPSV2 에서는 Online-DPO 보다도 우수한 성과를 보였습니다.
• 자동 지표: 이 방법은 베이스라인에 비해 자동 지표 (PickScore, HPSV2, CLIP, ImageReward, Aesthetic Score) 에서 우수한 성능을 보였습니다.
• 애블레이션 연구:
  • $\tau/\eta$ 비율: 연구는 중간 값 (특히 $\tau/\eta = 1/2$) 이 최상의 성능을 낸다는 것을 확인하여, 참조 정책 (DPO) 만에 의존하거나 이전 정책 (순수 자기 플레이) 만에 의존하는 것은 최적이지 않다는 가설을 검증했습니다.
  • 손실 함수: 쌍별 로지스틱 목적 함수를 INPO 에서 사용된 제곱 거리 목적 함수로 대체하면 성능이 크게 저하되어, 결정적 오라클 순위 매김을 위한 로지스틱 손실의 설계 선택을 지지했습니다.
• 정성적 분석: 시각적 비교 결과, Diff.-NPO 는 베이스라인에 비해 더 나은 의미론적 정렬, 해부학적 정확성 (예: 전신 초상화), 그리고 시각적 일관성을 가진 이미지를 생성함을 보여주었습니다.

중요성과 주장

본 논문은 Diff.-NPO 가 참조 정책 정규화를 갖춘 자기 플레이 스타일 목적 함수를 통해 상대적 선호 확률을 직접 최적화함으로써, 온라인 확산 정렬을 위한 간단하고 안정적인 접근법을 제공한다고 주장합니다.

저자들은 내쉬 스타일의 온라인 학습이 확산 모델 정렬을 위한 보상 중심 공식화에 대한 유망한 대안이라고 단언합니다. 브래들리 - 테리 모델의 전이성 가정에서 벗어나함으로써, 이 방법은 선호 정렬에 대한 더 일반적인 관점을 제공합니다. 이 연구는 게임 이론적 렌즈를 통해 DPO 와 자기 플레이를 통합함으로써 더 우수한 정렬 품질을 달성할 수 있음을 보여주며, 확산 모델을 위한 내쉬 스타일 학습에 대한 향후 연구의 기반을 마련합니다.

본 논문은 겸손하게 한계를 지적합니다: 현재 선호도 구성은 5 개 점수 모델의 평균 순위에 의존하며, 더 넓은 범위의 점수 모델을 통합하면 더 포괄적인 신호를 제공할 수 있습니다. 향후 연구는 프레임워크를 더 강력한 온라인 데이터 수집 전략과 더 넓은 확산 생성 및 편집 작업으로 확장할 계획입니다.