기술 요약: 1단계 생성 모델을 위한 드리프팅 선호도 최적화 (Drifting Preference Optimization)

문제 정의

1단계 텍_to-이미지 생성기(예: SD-Turbo, SDXL-Turbo)는 단 한 번의 순방향 패스(forward pass)로 이미지를 생성할 수 있어 저지연 및 자원 제한적 애플리케이션에 적합하므로 배포 측면에서 매우 매력적입니다. 그러나 이러한 모델을 사후 학습(post-training)을 통해 인간의 선호도에 맞게 정렬하는 것은 여전히 어려운 과제입니다.

RLHF(Reinforcement Learning from Human Feedback)나 DPO(Direct Preference Optimization)와 같은 표준 정렬 방법들은 일반적으로 확률적 정책 확률(stochastic policy probabilities), 밀도 비율(density ratios), 또는 디노이징 궤적(denoising trajectories)에 의존하지만, 이러한 구조들은 결정론적(deterministic) 1단계 생성기에서는 정의되지 않거나 사용 불가능합니다. 생성된 이미지에 대해 미분 가능한 보상을 직접 역전파하는 것이 대안이 될 수 있으나, 이는 VLM(Vision-Language Model) 기반 보상 모델의 경우 계산 비용이 매우 높으며, 블랙박스 또는 이산적 평가기(예: 규칙 기반의 정확성 검사)의 경우에는 불가능합니다. 따라서 다음과 같은 조건을 충족하는 선호도 미세 조정 방법이 필요합니다:

1. 결정론적 1단계 생성기와 작동할 것.
2. 보상 모델을 통한 역전파를 피할 것.
3. 거대하고 블랙박스 형태이거나 미분 불가능한 보상을 지원할 것.
4. 단일 순방향 패스 추론 능력을 보존할 것.

방법론: 드리프팅 선호도 최적화 (Drifting Preference Optimization, DrPO)

저자들은 보상 랭킹 샘플을 미분 없이 특징 공간(feature-space) 업데이트 방향으로 변환하는 온라인 선호도 미세 조정 방법인 DrPO를 제안합니다. 이 방법은 명시적인 밀도 추정 대신 특징 공간의 드리프트 필드(drift fields)를 사용하는 "드리프팅 모델(Drifting Models)"에서 영감을 얻었습니다.

핵심 메커니즘

DrPO는 잠재 특징 공간(latent feature space)에서 **비매개변수적 쌍극자 선호도 필드(non-parametric dipole preference field)**와 **참조 드리프트 필드(reference drift field)**를 구축하여 작동합니다.

1. 후보 샘플링 및 랭킹:
   주어진 프롬프트에 대해 현재 생성기 $g_\theta$는 일련의 후보군을 샘플링합니다. 타겟 보상 모델 $R$은 이 후보들을 랭킹합니다. 이 랭킹을 바탕으로, 방법론은 양의 샘플(높은 점수)과 음의 샘플(낮은 점수) 쌍을 형성합니다.

2. 쌍극자 선호도 필드 ($V_{pref}$):
   보상 함수의 그래디언트를 사용하는 대신, DrPO는 커널 가중치 기반의 인력-척력(attraction-repulsion) 메커니즘을 사용하여 업데이트 방향을 합성합니다.

   • 인력(Attraction): 양의 샘플은 현재의 특징 표현을 자신 쪽으로 끌어당깁니다.
   • 척력(Repulsion): 음의 샘플은 특징 표현을 자신으로부터 밀어냅니다.
     이는 쌍극자 필드로 공식화되며, 여기서 업데이트 속도는 특징 공간 내 양의 샘플의 평균 이동(mean-shift)과 음의 샘플의 평균 이동 사이의 차이입니다. 이 필드는 국소적(local)입니다. 즉, 관찰된 샘플에서 멀리 떨어진 지점은 업데이트를 거의 받지 않아 외삽 오류(extrapolation errors)를 줄입니다.

3. 참조 드리프트 ($V_{ref}$):
   생성기가 원래의 분포에서 너무 멀어지는 것(모드 붕괴 또는 충실도 상실)을 방지하기 위해, 동결된 베이스 생성기($g_{ref}$)로부터 참조 드리프트를 추정합니다. 이는 표준 RLHF의 KL 정규화와 유사하지만, 확률 밀도 비(likelihood ratios) 대신 샘플 기반 드리프트를 통해 추정됩니다.

4. 최적화 목적 함수:
   전체 업데이트 필드는 선호도 필드와 가중치가 적용된 참조 필드의 합입니다: $V_{DrPO} = V_{pref} + \lambda V_{ref}$.
   생성기는 자신의 현재 특징 출력과 분리된 타겟(detached target) 사이의 거리를 최소화하도록 학습됩니다:
   $$z^* = \text{sg}(z + \eta V_{DrPO}(z))$$
   여기서 $z$는 생성된 이미지의 특징 표현이며, $\text{sg}$는 스톱 그래디언트(stop-gradient) 연산자, $\eta$는 속도 스케일입니다. 손실 함수는 현재 특징과 분리된 타겟 사이의 단순 평균 제곱 오차(MSE)입니다.

주요 특성

• 보상 불가지론(Reward Agnosticism): 보상 모델은 샘플을 랭킹하고 양(+)과 음(-)의 집합을 형성하는 데만 사용되므로, 보상 함수 자체를 미분할 필요가 없습니다. 이를 통해 VLM 기반 보상(예: HPSv3) 및 이산적 작업 평가기(예: GenEval)를 사용할 수 있습니다.
• 1단계 추론: 학습 과정에서 생성기의 가중치를 수정하지만, 추론 시에는 업데이트된 생성기의 단일 순방향 패스만 수행하면 됩니다. 테스트 타임 최적화나 탐색이 필요하지 않습니다.
• 오프라인 확장: 저자들은 고정된 데이터셋에서 선호도 쌍을 추출하는 나이브한 오프라인 변형을 제안하지만, 이는 오프-폴리시 희소성(off-policy sparsity)을 주의 깊게 다뤄야 한다고 언급합니다.

주요 기여

1. DrPO 알고리즘: 결정론적 1단계 생성기를 위해 보상 역전파 없이 랭킹된 샘플을 분리된 드리프팅 업데이트로 변환하는 새로운 온라인 선호도 미세 조정 방법입니다.
2. 쌍극자 선호도 필드: 전통적인 보상 그래디언트를 샘플 기반 드리프팅 업데이트로 대체하여, 양의 샘플과 음의 샘플로부터 잠재 공간 업데이트 방향을 구축하는 비매개변수적 메커니즘입니다.
3. 경험적 검증: SD-Turbo 및 SDXL-Turbo에 대해 다양한 보상 모델(PickScore, HPSv3, ImageReward, GenEval)을 사용하여 종합적인 평가를 수행했습니다. DrPO는 보상 그래디언트가 없는 베이스라인들 사이에서 우수한 성능을 입증했습니다.
4. 효율성 향ung: 보상 모델의 역전파를 제거함으로써 대규모 VLM 기반 보상을 사용할 때의 학습 계산량을 크게 줄임을 입증했습니다.

실험 결과

저자들은 Pick-a-Pic v2, Parti-Prompts, GenEval을 포함한 벤치마크를 통해 SD-Turbo 및 SDXL-Turbo에 대한 DrPO를 평가했습니다.

• 성능: SDXL-Turbo에서 DrPO는 PickScore, 미적 점수(AES), ImageReward 측면에서 보상 그래디언트가 없는 1단계 베이스라인(DPO1-step, PSO, GRPO1-step) 중 가장 높은 상승을 달 achievement 했습니다. 또한 보상 그래디언트 기반 방법(DRaFT 등)의 성능에 근접하거나 일치하면서도, 보상 모델을 통한 역전파의 계산 비용은 피할 수 있었습니다.
• 인간/VLM 선호도: Qwen3-VL을 이용한 쌍체 비교 평가(pairwise evaluation) 결과, DrPO로 생성된 이미지는 베이스라인 1단계 방법들과 베이스 모델보다 일관되게 선호되었으며, 이는 더 나은 프롬프트 충실도와 시각적 일관성을 나타냅니다.
• 비미분 보상: DrPO는 GenEval 점수(구성적 제약 조건에 대한 이산적, 비미분적 지표)를 성공적으로 활용하여, 그래디언트 기반 방법들이 실패하는 개수 세기, 색상 배치, 객체 결합 등의 작업에서 성능을 개선했습니다.
• 효율성: 대규모 HPSv3 보상 모델을 사용하여 학습할 때, DrPO는 동일한 유효 배치 설정 하에서 보상을 통해 역전파하는 베이스라인 대비 업데이트 시간을 3.51배 단축했습니다.
• 절제 실험(Ablations): 실험을 통해 후보 풀(candidate pool)의 크기를 키우면 안정성이 향상된다는 점과, 드리프트 계산 시 Raw Latent 특징보다 Latent-MAE 특징이 더 우수하다는 것을 확인했습니다. 또한 커널 선택 및 속도 스케일에 대해 견고함을 보였습니다.

의의 및 주장

본 논문은 DrPO가 복잡하고 비용이 많이 들거나 미분 불가능한 보상 신호에 대해 1단계 생성 모델을 정렬하기 위한 실질적인 해결책을 제공한다고 주장합니다. 보상 평가를 최적화 그래디언트로부터 분리함으로써, DrPO는 역전파의 막대한 계산 비용 없이도 최첨단 VLM 기반 보상 모델(HPSv3 등)을 사용하여 빠른 생성기를 미세 조정할 수 있게 합니다.

저자들은 DrPO를 속도와 인간 선호도 정렬이 모두 중요한 인터랙티브 애플리케이션을 위해 고품질의 저지연 이미지 생성을 가능하게 하는 중요한 단계로 포지셔닝합니다. 또한, 오프라인 실험은 예비적인 수준이지만, 샘플 기반의 그래디디언트 합성 접근 방식이 온라인 샘플링이 불가능한 오프라인 환경으로 선호도 최적화를 확장하는 데 유망한 방향임을 언급합니다.

이 연구는 모든 정렬 문제를 해결한다고 주장하지 않습니다. 드리프트 필드의 품질은 최적화하려는 특정 속성을 인코딩하는 특징 추출기의 능력에 달려 있으며, 방법론이 사용하는 기본 보상 모델의 한계를 그대로 계승한다는 점을 인정합니다.