🤖 machine learning

D2PO: Optimizing Diffusion Samplers via Dynamic Preference

본 논문은 사전 학습된 스코어 네트워크로부터 유도된 에너지 기반 모델을 사용하여 해당 과업을 동적 선호도 정렬 문제로 재구성함으로써, 기존의 회귀 기반 방식이 가진 충실도 한계를 극복하고 낮은 NFE 제약 조건에서도 우수한 지각적 품질을 달성하는 새로운 확산 샘플링 정책 최적화 프레임워크인 D2PO를 제안한다.

원저자: Jinkyu Kim, Jinyoung Choi, Bohyung Han

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinkyu Kim, Jinyoung Choi, Bohyung Han

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 D2PO 논문을 일상적인 언어와 비유를 사용하여 쉽게 설명한 내용입니다.

거대한 문제: "모방"의 함정

당신이 걸작을 그리는 법을 배우고 있다고 상상해 보세요. 하지만 당신에게는 단 4번의 붓질(이를 "저효율 NFE" 또는 낮은 계산 비용이라고 합니다)만 허용됩니다. 당신에게는 100번의 붓질을 통해 완벽하고 세밀한 이미지를 만들어내는 거장(즉, "선생님")이 있습니다.

과거의 연구자들은 4번의 붓질만 할 수 있는 학생에게 이렇게 가르치려 했습니다. "거장의 100번 붓질로 완성된 그림을 봐. 너의 4번 붓질 버전이 저 그림과 똑같아지도록 노력해봐."

결함: 학생은 능력이 매우 제한되어 있기 때문에 미세한 디테일(예: 동물의 털 질감이나 물결의 잔물결)을 복제할 수 없습니다. 형태를 제대로 잡으려다 보니 결국 디테일을 뭉개버리게 됩니다. 그 결과, 형태는 맞지만 흐릿하고 가짜처럼 보이는 그림이 탄생합니다. 학생은 큰 그림을 맞출 것인지, 아니면 디테일을 맞출 것인지 선택해야 하는 상황에 놓이며, 대개 디테일을 희생하게 됩니다.

해결책: D2PO (Dynamic Direct Preference Optimization)

이 논문의 저자인 Kim, Choi, Han은 다음과 같이 말합니다. "고정된 거장을 따라 하려고 하지 마세요. 대신, 학생이 자기 자신보다 더 나아지는 법을 배우게 하세요."

그들은 D2PO라는 새로운 학습 방법을 만들었습니다. 이 방법이 어떻게 작동하는지 세 가지 간단한 개념으로 나누어 설명하겠습니다.

1. "자기 개선 루프" (동적 선호도)

변하지 않는 고정된 선생님 대신, D2PO는 동적인 선생님을 사용합니다.

학생: 4번의 붓질을 하는 화가.
선생님: 동일한 것을 그리되, 8번의 붓질(두 배 더 많은 횟수)이 허용되는 동일한 학생의 조금 더 나은 버전.

학생이 그림을 그리려고 할 때마다, 시스템은 4번의 붓질 버전과 8번의 붓질 버전을 비교합니다. 8번의 붓질 버전은 더 많은 디테일을 가지고 있기 때문에 항상 "선호"됩니다. 학생은 다음과 같이 배웁니다. "나의 4번 붓질 그림을 나의 8번 붓질 잠재력에 최대한 가깝게 만들어야 해."

왜 더 좋은가: 학생은 멀고 불가능한 목표(100번 붓질을 하는 거장)를 향해 달려가는 것이 아닙니다. 대신 자기 자신의 가장 높은 버전이 되는 것을 목표로 합니다. 학생이 실력이 좋아짐에 따라, "8번 붓질 선생님"도 함께 실력이 좋아집니다. 이는 학생이 낮은 품질에 정체되지 않도록, 학생이 발전함에 따라 목표 지점도 함께 올라가는 자기 개선 루프입니다.

2. "마법의 성적표" (Score-Based Energy)

컴퓨터에게 어떤 그림이 더 나은지 어떻게 알려줄까요?

기존 방식: 표준 자(LPIPS나 FID 같은 것)를 사용합니다. 이것들은 픽셀이 얼마나 가까운지를 측정합니다. 형태가 개의 모양과 일치하는지는 잘 잡아내지만, 털이 얼마나 사실적인지는 놓치는 경우가 많습니다.
D2PO 방식: AI 자신의 뇌에서 유도된 마법의 성적표를 사용합니다. 이 논문은 AI의 "스코어 네트워크"(노이즈를 이미지로 바꾸는 법을 이해하는 부분)를 사용하여 그림을 판단합니다.

AI의 뇌를 음악 평론가라고 생각해 보세요. 평론가는 노래가 어떻게 들려야 하는지 정확히 알고 있습니다. 만약 음이 약간만 틀려도 평론가는 즉시 알아차립니다. D2PO는 이 평론가에게 묻습니다. "이 4번 붓질 그림이 8번 붓질 그림과 동일한 '음악적 규칙'을 따르고 있는가?" 이를 통해 시스템은 표준적인 자들이 놓치는 미세한 고주파 디테일(질감이나 가는 선 등)을 감지할 수 있습니다.

3. "정교화" 게임

학습 과정은 "뜨겁다 차갑다(Hot and Cold)" 게임과 같습니다.

학생이 4번의 붓질로 그림을 그립니다.
시스템은 그 그림을 바탕으로 8번의 붓질로 다듬어 "승리한" 버전을 만듭니다.
시스템은 4번의 붓질 그림을 약간 흐리게 만들거나 품질을 떨어뜨려 "패배한" 버전을 만듭니다.
AI에게 명령합니다: "8번 붓질 버전이 승자이고, 흐릿한 버전이 패자다. 네 4번 붓질 기술을 조정해서 승자처럼 보이도록 만들어라."

결과

이 논문은 인기 있는 이미지 생성기(Stable Diffusion 등)에 이 방법을 테스트하여 다음을 발견했습니다.

더 선명한 디테일: 매우 적은 단계(4~5단계)로 이미지를 생성할 때, D2PO는 기존 방식에 비해 훨씬 더 선명한 질감을 만들어내며 흐릿한 아티팩트(왜곡)가 훨씬 적습니다.
더 나은 정렬(Alignment): 이미지가 텍스트 프롬프트와 더 잘 일치합니다 (예: "빨간 버스"를 요청하면, 버스가 단순히 빨간 덩어리가 아니라 실제로 빨갛고 버스처럼 보입니다).
추가 학습 불필요: 이 방법은 거대한 AI 모델 자체를 다시 학습시키지 않습니다. 오직 "샘플링 스케줄"(AI가 그림을 그리는 단계)만을 최적화하는데, 이는 자동차 전체를 새로 만드는 것이 아니라 엔진을 튜닝하는 것과 같습니다.

요약 비유

당신이 달리기 경주를 배우고 있다고 상상해 보세요.

기존 방식: 당신은 100미터를 9초에 달리는 올림픽 챔피언처럼 달리려고 노력합니다. 하지만 당신은 40미터만 달릴 수 있습니다. 당신은 챔피언의 보폭을 따라 하려 하지만, 다리가 너무 짧아서 비틀거리고 맙니다.
D2PO 방식: 당신은 자신의 40미터를 달립니다. 그다음, 완벽한 자세로 80미터를 달리는 자신의 모습을 상상합니다. 당신의 40미터 달리기와 당신의 80미터 잠재력을 비교합니다. 당신은 자신의 잠재력에 맞춰 보폭을 조절합니다. 당신이 빨라질수록, 당신의 80미터 잠재력도 함께 빨라집니다. 당신은 올림픽 챔피언이 될 필요 없이 계속해서 더 나아집니다.

요약하자면: D2PO는 확산 모델(Diffusion Models)이 멀리 있는 완벽한 스승을 흉내 내려고 애쓰는 대신, 자신의 작업을 끊임없이 정교하게 다듬도록 가르쳐서, 계산 능력이 제한된 상황에서도 더 높은 품질의 이미지를 만들어내도록 합니다.

기술 요약: D2PO – 동적 선호도를 통한 확산 샘플러 최적화

1. 문제 정의

확산 확률 모델(Diffusion Probabilistic Models, DPMs)은 이미지, 텍스트-투-이미지 및 비디오 생성 분야에서 최첨단 성능을 달아가고 있으나, 많은 함수 평가(NFE)를 요구하는 반복적인 샘플링 과정으로 인해 높은 계산 비용 문제를 겪고 있습니다. 다양한 가속화 방법론(수치 솔버 및 지식 증류 등)이 존재하지만, **학생-교사 회귀 프레임워크(student-teacher regression frameworks)**에는 근본적인 한계가 존재합니다.

이러한 프레임워크에서 저-NFE(low-NFE) "학생(student)" 샘플러는 고정된 고-NFE(high-NFE) "교사(teacher)"의 궤적이나 출력을 회귀 손실(예: $\ell_2$ 또는 LPIPS)을 사용하여 모방하도록 학습됩니다. 본 논문은 여기서 중요한 구조적 병목 현상을 식별합니다. 즉, 학생의 NFE와 교사의 NFE 사이의 간격이 넓어질수록(공격적인 가속화를 위해 흔히 발생하는 상황), 회귀 목적 함수는 학생이 교사의 거친(coarse) 궤적에 대한 저수준 정렬에 우선순위를 두도록 강제합니다. 이는 고주파 텍스처와 미세한 디테일의 억제로 이어지며, 결과적으로 교사 모델이 고충실도(high-fidelity)임에도 불구하고 지각적 품질(perceptual quality)의 저하를 초래합니다. 기존 방식들은 교사의 이산화(discretization)에 의해 정의된 정적인 오차 하한선(error floor)에 묶여 있기 때문에, 저-NFE 제약 조건 하에서 고품질 교사의 잠재력을 온전히 활용하지 못합니다.

2. 방법론: D2PO

이를 해결하기 위해, 저자들은 샘플러 최적화를 회귀 작업에서 선호도 기반 정렬(preference-based alignment) 문제로 재정의하는 프레임워크인 **D2PO (Dynamic Direct Preference Optimization)**를 제안합니다.

2.1 결정론적 정책을 위한 에너지 기반 대리 모델 (Energy-Based Surrogate for Deterministic Policies)

확산 샘플러에 직접 선호 최적화(DPO)를 적용할 때 발생하는 주요 과제는 샘플링 정책이 결정론적(고정된 수치 솔버에 의해 유도됨)이어서 출력의 가능도(likelihood)가 퇴화하고 미분 불가능하다는 점입니다. D2PO는 이를 극복하기 위해 샘플링 정책을 **에너지 기반 모델(Energy-Based Model, EBM)**로 모델링합니다.

정책 $\pi_\phi$ 는 후보 샘플 $\mathbf{x}$ 와 결정론적 샘플러 출력 $\mathbf{x}_\phi$ 사이의 거리를 에너지 $E(\mathbf{x})$ 로 정의하는 매끄러운 대리 모델(smooth surrogate)로 정의됩니다.
이러한 정식화는 DPO에 필요한 로그 확률 비율(log-probability ratio)을 에너지 값의 차이로 표현할 수 있게 하여 최적화를 가능하게 합니다.

2.2 새로운 스코어 기반 거리 메트릭 (Novel Score-Based Distance Metric)

고주파 텍스처 오류를 포착하는 데 실패하는 경우가 많은 LPIPS나 $\ell_2$ 와 같은 표준 지각 메트릭 대신, D2PO는 사전 학습된 확산 스코어 네트워크 $s_\theta$ 로부터 직접 유도된 스코어 기반 에너지 메트릭을 도입합니다.

에너지는 다양한 노이즈 레벨에 걸쳐 후보 샘플과 샘플러 출력 간의 스코어 예측값 사이의 불일치로 정의됩니다.
구체적으로, 거리 $d_\theta$ 는 다양한 타임스텝에서의 노이즈 예측( $\epsilon_\theta$ ) 간의 제곱 $\ell_2$ 차이를 측정합니다.
특정 가중치( $w(t) = \sigma_t^2$ )를 사용하여 노이즈 스케줄에 따라 이러한 불일치를 통합함으로써, 이 메트릭은 거친 구조적 일관성(높은 노이즈 레벨)과 미세한 질감 디테일(낮은 노이즈 레벨)을 모두 포착하여 기존 메트릭보다 더 풍부한 선호 신호를 제공합니다.

2.3 동적 선호 메커니즘 (Dynamic Preference Mechanism)

D2PO는 정적인 교사 감독을 대신하여 학생 정책과 함께 진화하는 **동적 참조 메커니즘(dynamic reference mechanism)**을 도입합니다.

학생 샘플러 ( $\phi$ ): 최적화 대상이 되는 정책 (매개변수: 타임스텝 스케줄 $S$ 및 CFG 가중치 $\omega$ ).
패배 샘플 ( $x_l$ ): 희소하고 빠른 스케줄을 사용하는 학생에 의해 생성된 후, 낮은 품질의 출력을 시뮬레이션하기 위해 열화(예: 저역 통과 필터링)된 샘플.
승리 샘플 ( $x_w$ ): 현재 학생의 매개변수로부터 유도된 **동적 교사( $\phi'$ )**에 의해 생성된 샘플. 동적 교사는 학생의 현재 스케줄을 보간하여 생성된 더 정밀하고 조밀한 타임스텝 스케줄(예: 학생의 $N$ 단계 대비 $2N$ 단계)을 사용합니다.
참조 정책 ( $\phi_{ref}$ ): 최적화를 고정하기 위해 학생의 이력을 추적하는 정책 (EMA를 통해 CFG 가중치를 업데이트하고, 에포크 단위로 타임스텝을 복사함).

이 동적 루프는 학생이 자신의 더 높은 충실도를 가진 조밀한 스케줄 근사치와 정렬하도록 유도합니다. 이론적으로, 이는 외부 교사가 부과하는 고정된 잔차 오차에 수렴하는 대신, 학생 자신의 이산화 오차를 최소화하도록 만듭니다.

3. 주요 기여

D2PO 프레임워크: 결정론적 정책을 에너지 기반 대리 모델로 모델링하여 다루기 쉬운 정렬 목적 함수를 구축하는 확산 샘플러용 선호도 기반 최적화 프레임워크.
스코어 기반 에너지 메트릭: 사전 학습된 스코어 네트워크에서 유도되어 다중 스케일의 구조적 및 질감적 불일치를 포착하며, 기존의 지각 손실보다 이산화 오류를 더 잘 감지하는 새로운 거리 메트릭.
동적 선호 루프: "교사"가 현재 학생 정책의 동적으로 정제된 버전인 자기 개선 메커니즘. 이는 고정된 오차 하한선을 제거하고 학생이 자신의 이산화 오차를 최소화하도록 유도합니다.
포괄적인 검증: 다양한 솔버와 데이터셋에 대해 D2PO가 기존의 회귀 기반 방식(예: LD3, GITS, DMN)보다 우수한 성능을 보임을 입증하는 광범위한 실험.

4. 실험 결과

저자들은 Stable Diffusion v1.5, ImageNet-256 (잠재 공간), 그리고 InstaFlow 모델을 사용하여 텍스트-투-이미지 합성에 대해 D2PO를 평가했습니다.

정량적 성능:
- 저-NFE (4-5 단계): D2PO는 베이스라인 대비 최첨단 지각 품질(HPSv2 및 Aesthetic 점수)을 달성하고 현저히 낮은 FID 점수를 기록했습니다. 이는 회귀 기반 방식이 유발하는 흐릿함(blurriness)이나 아티팩트와 같은 근본적인 결함을 효과적으로 수정합니다.
- 고-NFE (6-7 단계): D2PO는 지각 점수에서 상당한 우위를 유지합니다. FID 점수는 베이스라인과 비슷해지지만(품질-다양성 트레이드오프 반영), 지각적 품질을 향한 D2PO의 최적화는 여전히 우수합니다.
- 일반화: 이 방법은 다양한 ODE 솔버(iPNDM, UniPC, DPM-Solver++)와 현대적인 백본(Stable Diffusion 3.5-Medium)에 일반화되며, 일관되게 베이스라인을 능가합니다.
절제 연구 (Ablation Studies):
- **동적 선호(dynamic preference)**를 제거하면(고정된 교사로 되돌림) 성능이 저하되어, 자기 개선 루프의 필요성을 확인했습니다.
- 스코어 기반 에너지를 LPIPS로 교체하면 충실도가 크게 떨어지며, 이는 해당 메트릭이 미세한 오류를 포착하는 능력을 검증합니다.
인간 평가: 블라인드 사용자 조사에서 D2PO는 전체 선호도에서 **60.3%**의 표를 얻어, LD3(27.6%)와 GITS(12.1%)를 크게 앞질렀으며, 이는 메트릭의 개선이 인간이 인지하는 품질로 직결됨을 확인시켜 줍니다.
의미론적 정렬 (Semantic Alignment): D2PO는 베이스라인보다 높은 CLIP 점수를 달성하여, 선호도 정렬을 위한 최적화가 경직된 점별 회귀(pointwise regression)보다 프롬프트 관련성을 더 잘 보존함을 시사합니다.

5. 의의 및 주장

본 논문은 D2PO가 확산 샘플러 최적화의 핵심적인 성능 병목 현상을 해결한다고 주장합니다. 회귀-교사 패러다임에서 동적 선호 정렬 패러다임으로 전환함으로써, D2PO는 정적인 이산화 오차에 구애받지 않고 고품질 교사의 잠재력을 완전히 끌어냅니다.

저자들은 이 접근 방식이 생성 백본을 동결한 채 저차원의 샘플링 정책만을 독점적으로 최적화하기 때문에 기존의 가중치 튜닝 방법들과 **경량이며 직교적(orthogonal)**이라고 단언합니다. 동적 교사 메커니즘은 학생이 자신의 이산화 오차를 최소화하도록 강제하는 이론적으로 근거 있는 학습 신호를 제공하며, 이를 통해 엄격한 저-NFE 제약 조건 하에서도 실제 연속 시간 프로세스와 더 일관되고 지각적으로 우수한 샘플링 궤적을 생성합니다.