기술 요약: SIPO (안정화 및 개선된 선호도 최적화)

1. 문제 제기

확산 모델이 이미지 및 비디오 생성 분야에서 혁신을 일으켰음에도 불구하고, 이를 인간의 선호도와 정렬시키는 것은 여전히 어렵습니다. 기존 정렬 기술, 특히 Diffusion-DPO(직접 선호도 최적화) 는 안정적이고 효과적인 훈련을 방해하는 두 가지 근본적인 문제에 시달리고 있습니다:

1. 훈련 불안정성: 확산 모델의 탈노이즈 과정은 다양한 시간 단계 (timesteps) 를 가진 장기적 궤적을 포함합니다. 해당 논문은 훈련 불안정성이 주로 초기 시간 단계에서 발생한다고 규명했는데, 이는 낮은 중요도 가중치와 높은 기울기 분산을 갖기 때문입니다. 이로 인해 비단조적 손실 역학, 매개변수 민감성 (특히 온도 하이퍼파라미터 $\beta$에 대한 민감성), 그리고 시간이 지남에 따라 성능이 저하되는 잠재적 훈련 붕괴가 발생합니다.
2. 오프-폴리시 편향: 선호도 최적화 데이터는 일반적으로 현재 정책 모델이 아닌 고정된 참조 모델이나 분포 외 (out-of-distribution) 소스에서 구축됩니다. 이로 인해 훈련 데이터가 상태 - 행동 공간의 좁은 부분집합만 포착하는 반면, 모델은 더 넓은 공간 전반에 걸쳐 일반화해야 하는 분포적 격차가 발생합니다. 이러한 불일치는 부정확한 오프-폴리시 점수 추정, 보상 해킹, 그리고 시간적 일관성이 중요한 비디오 생성에서 특히 심화된 일반화 저하로 이어집니다.

2. 방법론: SIPO 프레임워크

저자들은 확산 궤적에 대한 체계적인 분석과 중요도 샘플링 메커니즘의 도입을 통해 aforementioned 불안정성과 편향을 해결하도록 설계된 SIPO(Stabilized and Improved Preference Optimization, 안정화 및 개선된 선호도 최적화) 프레임워크를 제안합니다.

2.1. 확산 궤적 분석

Stable Diffusion 1.5 에 대한 체계적인 분석을 통해 저자들은 다음과 같은 사실을 관찰했습니다:

• 초기 시간 단계(특히 $t \in [0, 63]$) 는 낮은 중요도 가중치에 해당하며 훈련을 불안정하게 만드는 노이즈가 있는 기울기를 도입합니다.
• 중기에서 후기 시간 단계는 선호도 정렬을 위한 가장 정보적인 신호를 제공합니다.
• 균일한 시간 단계 샘플링은 중간 단계에 집중하는 것보다 성능이 떨어집니다.

2.2. DPO-C&M (클리핑 및 마스킹)

불안정성을 해결하기 위해 저자들은 표준 Diffusion-DPO 목적 함수를 수정한 DPO-C&M을 도입합니다:

• 중요도 가중치: 학습된 역전환 $p_\theta(x_{t-1}|x_t)$와 전방향 사후확률 $q(x_{t-1}|x_t, x_0)$을 비교하여 중요도 가중치 $w(t)$를 계산합니다.
• 클리핑 및 마스킹: 낮은 중요도 가중치 (신뢰할 수 없거나 노이즈가 있는 기울기를 나타냄) 를 가진 시간 단계는 마스킹되거나 클리핑됩니다. 구체적으로, 가중치는 높은 분산을 방지하기 위해 $[1-\epsilon, 1+\epsilon]$ 범위로 클리핑됩니다. 이는 전방향 및 역방향 경로가 크게 발산하는 영역에서의 기울기를 억제하는 소프트 마스크 역할을 합니다.

2.3. 시간 단계 인식 중요도 재가중

오프-폴리시 편향을 완화하기 위해 SIPO 는 시간 단계별 클리핑된 중요도 재가중 방식을 통합합니다:

• 오프-폴리시 보정: 프레임워크는 중요도 샘플링을 사용하여 선호도 최적화 목적 함수를 재해석합니다. 현재 정책 $p_\theta$와 오프-폴리시 샘플링 분포 $q$ 사이의 가능도 비율에 기반하여 업데이트를 재가중합니다.
• KL 정규화 목적 함수: 이 방법은 보상 피드백과 사전 선호도를 균형 있게 유지하는 '형상화된' 목표 분포 $p^*$와 현재 모델 간의 KL 발산을 최소화하도록 최적화를 공식화합니다.
• 적응형 단계 크기: 재가중된 로그 비율 항은 업데이트를 적응적으로 조절합니다. 이는 과소평가된 선호 샘플을 강화하고 과신된 샘플의 가중치를 낮춥니다. 이는 참조 분포 주변의 소프트 상한선을 도입하여 보상 해킹을 방지하고 $\beta$ 하이퍼파라미터에 대한 민감성을 줄입니다.

최종 SIPO 손실 함수는 이러한 클리핑된 중요도 가중치를 각 탈노이즈 단계의 쌍별 선호도 신호에 통합하여, 고정된 오프-폴리시 데이터셋에서 훈련할 때에도 안정적인 업데이트를 보장합니다.

3. 주요 기여

논문은 세 가지 주요 기여를 제시합니다:

1. 체계적 분석: 확산 기반 선호도 최적화 역학에 대한 상세한 조사를 통해, 초기 시간 단계가 DPO 훈련을 불안정하게 만드는 반면 중기에서 후기 시간 단계가 성능 향상을 주도함을 규명했습니다.
2. SIPO 프레임워크: 샘플 가능도와 시간 단계 품질에 따라 기울기를 재가중함으로써 훈련을 안정화하고 오프-폴리시 불일치를 완화하는 원칙에 입각한 중요도 가중 최적화 프레임워크를 제안했습니다.
3. 실증적 검증: SIPO 가 이미지 및 비디오 생성 작업 전반에 걸쳐 기존 대안 (예: Diffusion-DPO, DPO-C&M) 보다 일관되게 선호도 최적화 과정을 안정화하고 우월한 성능을 발휘함을 보여주는 광범위한 실험을 수행했습니다.

4. 실험 결과

저자들은 Stable Diffusion 1.5, SDXL, CogVideoX-2B/5B, Wan2.1-1.3B를 포함한 다양한 베이스라인 모델에서 SIPO 를 평가했습니다.

• 텍스트 - 비디오: CogVideoX-2B 에서 Diffusion-DPO 는 1000 단계 후 심각한 저하를 보였습니다 (총 VBench 점수가 80.91 에서 67.28 로 하락). 반면 SIPO 는 안정적으로 유지되며 개선되었습니다 (81.68). SIPO 는 테스트된 모든 비디오 모델에서 총점, 품질, 의미론적 점수 전반에 걸쳐 Diffusion-DPO 및 DPO-C&M 보다 일관되게 우월한 성능을 보였습니다.
• 텍스트 - 이미지: Pick-a-Pic 데이터셋을 사용한 SD1.5 및 SDXL 에서 SIPO 는 Diffusion-DPO 와 Diffusion-KTO, SPO 와 같은 다른 베이스라인 대비 네 가지 지표 중 세 가지 (PickScore, HPSv2, Aesthetics) 에서 최고 점수를 기록했습니다.
• 매개변수 민감성: SIPO 는 온도 매개변수 $\beta$에 대해 훨씬 더 높은 견고성을 보여주었습니다. Diffusion-DPO 는 다양한 $\beta$ 값에 따라 성능이 극심하게 요동친 반면, SIPO 는 넓은 범위에서 일관된 성능을 유지했습니다.
• 인간 평가: 200 개의 프롬프트와 12 명의 주석가를 대상으로 한 연구에서 SIPO 는 67% 의 승리율 (1 위 순위) 을 달성하여 Diffusion-DPO 및 베이스 모델보다 현저히 우월한 성과를 거두었습니다.
• 온라인/반복 학습: 반복적 훈련 시나리오에서 SIPO 는 안정적인 성능을 유지한 반면, Diffusion-DPO 는 보상 해킹과 분포적 드리프트로 인해 성능이 저하되었습니다.

5. 중요성 및 주장

이 논문은 SIPO 가 시간 단계 인식 정렬의 중요성을 강조함으로써 개선된 선호도 최적화를 위한 가치 있는 지침을 제공한다고 주장합니다. 저자들은 그들의 방법이 다음과 같다고 단언합니다:

• 훈련 안정화: 정보성이 없는 초기 시간 단계를 식별하고 마스킹함으로써 Diffusion-DPO 에서 자주 발생하는 훈련 붕괴를 방지합니다.
• 오프-폴리시 편향 완화: 중요도 재가중 방식은 복잡한 온-폴리시 탐색 없이 고정된 오프라인 데이터셋에서 효과적인 훈련을 가능하게 합니다.
• 우수한 일반화: 이 접근법은 다양한 모델 아키텍처 (WanX 와 같은 흐름 기반 모델 포함) 와 모달리티 (이미지 및 비디오) 에서 효과적입니다.

저자들은 SIPO 가 확산 기반 생성을 인간의 선호도와 정렬시키기 위한 확장 가능하고 원칙적인 접근법을 제공하며, 기본 모델 이상의 새로운 생성 능력을 요구하지 않으면서 출력을 더 일관되고 제어 가능하게 만든다고 결론지었습니다. 그들은 이 최적화를 신중한 데이터셋 큐레이션 및 안전 필터링과 함께 병행할 것을 권장합니다.