기술 요약: 오프라인 보상으로서의 아레나 (ArenaPO)

문제 제기

인간 피드백을 통한 강화 학습 (RLHF) 은 텍스트-이미지 (T2I) 확산 모델을 인간의 선호도와 효과적으로 정렬시켰지만, 명시적 보상 모델을 훈련하고 온라인 추론을 배포해야 한다는 요구로 인해 계산 비효율성을 겪습니다. 직접 선호도 최적화 (DPO) 는 명시적 보상 모델링 없이 정적 오프라인 데이터셋을 활용함으로써 더 효율적인 대안으로 등장했습니다. 그러나 표준 DPO 는 이진 피드백(선택된 대 거부된 쌍) 으로 제한되어 조밀한 최적화를 초래합니다. 실제로 이미지 쌍 간의 품질 차이는 크게 변동합니다. 모든 '선택된' 이미지를 '거부된' 이미지보다 동등하게 우월하다고 취급하는 것은 선호도의 크기를 무시하여, 최적이지 않은 정렬로 이어질 수 있습니다. 핵심적인 과제는 명시적이고 계산적으로 비용이 많이 드는 보상 모델에 의존하지 않고 세밀한 선호 신호를 효율적인 DPO 프레임워크에 통합하는 방법입니다.

방법론: ArenaPO

저자들은 DPO 훈련을 강화하기 위해 '모델 아레나'에서 세밀한 오프라인 보상을 추출하는 ArenaPO 프레임워크를 제안합니다. 이 방법은 세 가지 명확한 단계로 작동합니다:

1. 모델 아레나 구축

이미지를 고립적으로 취급하는 대신, 저자들은 각 이미지의 소스 모델을 경쟁자로 삼는 '모델 아레나'를 구축합니다.

• 확률론적 모델링: Thurstone 의 Case V 이론에 따라 각 모델의 능력은 고정된 점이 아닌 가우시안 분포 $\theta \sim \mathcal{N}(\mu, \sigma^2)$로 모델링됩니다. 여기서 $\mu$는 평균 능력을, $\sigma$는 불확실성을 나타냅니다.
• 베이지안 업데이트: 데이터셋은 일련의 쌍별 비교로 간주됩니다. 주석된 쌍별 선호도를 순회하면서 베이지안 추론을 사용하여 각 모델의 능력 분포를 반복적으로 업데이트합니다. 이진 레이블 (승/패) 은 사전 분포를 업데이트하는 가능도 함수로 작용하여, 모델의 실제 능력을 특징짓는 사후 분포로 수렴합니다.

2. 품질 격차 추정을 위한 잠재 변수 추론

데이터셋의 임의의 이미지 쌍 $(y_w, y_l)$에 대해, 이 방법은 보상 모델 없이 절대적인 품질 격차를 추정합니다.

• 정식화: 이미지의 품질은 소스 모델의 능력 분포에서 추출된 단일 표본으로 간주됩니다. 문제는 관측된 사건 $Q_w > Q_l$이 주어졌을 때 품질 차이 $Q_D = Q_w - Q_l$의 사후 기대값을 추정하는 것으로 공식화됩니다.
• 절단 정규 분포: 두 개의 독립적인 가우시안 변수 간의 차이 또한 가우시안이며, 관측치가 한쪽 방향 제약 ($Q_D > 0$) 을 부과하므로, 저자들은 절단 정규 분포의 특성을 활용합니다.
• 폐형 해: 추정된 품질 격차 $Q_D^*$는 조건부 기대값 $E[Q_D | Q_D > 0]$으로 계산됩니다. 이 값은 사전 평균 차이 ($\mu_w - \mu_l$) 와 불확실성 ($\sigma_w, \sigma_l$) 및 관측된 이진 선호도에서 유도된 보정 항을 모두 포함합니다. 이 $Q_D^*$는 세밀하고 인스턴스별 보상 신호로 작용합니다.

3. 세밀한 DPO 훈련

추정된 품질 격차는 Diffusion-DPO 목적 함수에 통합됩니다.

• 마진 기반 Bradley-Terry 모델: 단순한 이진 순서를 강제하는 대신, 선호도 확률은 마진으로 모델링됩니다: $p(y_w \succ y_l) = \sigma(r(y_w) - r(y_l) - Q_D^*)$.
• 손실 함수: 표준 DPO 손실은 $Q_D^*$를 스케일링 인자 (계수 $\gamma$로 가중) 로 포함하도록 수정됩니다. 이는 정책이 단순히 어떤 이미지가 더 나은지 학습하는 것을 넘어, 선호도 격차의 크기에 맞춰 얼마나 더 나은지도 학습하도록 장려합니다.
• 효율성: 전체 파이프라인은 오프라인입니다. 아레나 구축과 품질 격차 추정은 훈련 전에 계산되므로 추가적인 온라인 추론이나 보상 모델 훈련이 필요하지 않아 DPO 의 계산 효율성을 유지합니다.

주요 기여

1. ArenaPO 프레임워크: Arena 점수를 오프라인 보상으로 활용하여 DPO 에 정교한 피드백을 제공하는 방법론 제안. 명시적 보상 모델 없이 RLHF 의 풍부한 보상 신호와 DPO 의 효율성을 모두 달성합니다.
2. 잠재 변수 추론: 모델 능력 분포와 이진 선호도만을 사용하여 이미지 쌍 간의 절대적 품질 격차를 추정하기 위해 절단 정규 분포 기반의 새로운 추론 방법 도입.
3. 경험적 우위: Pick-a-Pic v2 및 HPD v3 데이터셋에 대한 광범위한 실험을 통해 ArenaPO 가 여러 평가 지표 (PickScore, HPS, Aesthetic, CLIP, ImageReward) 에서 기존 베이스라인 (Diffusion-DPO, MaPO, DSPO, SDPO 포함) 을 일관되게 능가함을 입증.

실험 결과

저자들은 Pick-a-Pic v2 및 HPD v3 데이터셋을 사용하여 Stable Diffusion 1.5 와 Stable Diffusion XL 에서 ArenaPO 를 평가했습니다.

• 성능 향상: ArenaPO 는 모든 테스트된 벤치마크에서 최첨단 결과를 달성했습니다. 예를 들어, Stable Diffusion 1.5 를 사용한 Pick-a-Pic v2 데이터셋에서 ArenaPO 는 PickScore 를 0.2143 (SDPO) 에서 0.2151 로, ImageReward 를 0.5546 에서 0.6063 으로 향상시켰습니다.
• 승률: 원래 Stable Diffusion 1.5 에 대한 정면 대결 비교에서 ArenaPO 는 **79.0%**의 승률을 기록하여 다른 DPO 변형들을 크게 능가했습니다.
• 애블레이션 연구:
  • 세밀한 대 균일 마진: 적응형 $Q_D^*$를 고정된 균일 마진으로 대체하면 성능이 현저히 저하되어, 세밀하고 적응형 보상의 필요성을 검증했습니다.
  • 확장성: ArenaPO 를 다른 고급 방법 (예: DSPO) 과 결합하면 추가적인 성능 향상을 이루어, 이 접근 방식이 분리되어 있으며 다른 최적화 전략과 호환됨을 시사합니다.
  • 초매개변수 민감도: 스케일링 계수 $\gamma$는 상대적으로 민감하지 않은 것으로 나타났으며, $1 \times 10^{-3}$에서 최적의 성능을 보였습니다.

중요성 및 주장

이 논문은 ArenaPO 가 DPO 의 효율성과 RLHF 의 풍부함 사이의 간극을 효과적으로 연결한다고 주장합니다. 모델 능력을 분포로 모델링하고 잠재 변수 추론을 사용함으로써, 이 방법은 보상 모델 훈련의 오버헤드 없이 기존 이진 데이터셋에서 세밀한 선호 정보를 추출합니다. 저자들은 이 접근 방식이 더 효과적인 정렬로 이어져, 모델이 선호도의 방향뿐만 아니라 그 강도까지 학습할 수 있게 한다고 단언합니다. 이 방법은 온라인 보상 모델링을 위한 계산 자원이 제한된 실제 응용 분야에서 T2I 확산 모델을 개선하기 위한 실용적이고 확장 가능한 솔루션으로 제시됩니다.