🤖 machine learning

Linear-DPO: Linear Direct Preference Optimization for Diffusion and Flow-Matching Generative Models

본 논문은 표준 시그모이드 기반 유틸리티를 선형 유틸리티와 EMA 업데이트 참조 모델로 대체하여 확산 및 흐름 매칭 모델 모두에 대한 일반화된 목적 함수를 유도함으로써 목적 함수 불일치를 극복하고 텍스트-이미지 생성 정렬을 개선하는 통합 선호도 최적화 프레임워크인 Linear-DPO 를 제안한다.

원저자: Kesong Li, Yixuan Xu, Kuo-kun Tseng, Weiyi Lu, Kan Liu, Tao Lan

게시일 2026-05-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kesong Li, Yixuan Xu, Kuo-kun Tseng, Weiyi Lu, Kan Liu, Tao Lan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 당신의 설명을 바탕으로 그림을 그릴 수 있는 매우 재능 있는 화가가 있다고 가정해 봅시다. 이 화가는 인터넷상의 수십억 개의 이미지와 텍스트 캡션을 살펴보며 학습했습니다. 이 화가는 사물을 사실적으로 묘사하는 데 뛰어나지만, 항상 사람들이 실제로 선호하는 바를 정확히 아는 것은 아닙니다. 때로는 기술적으로 정확하지만 다소 기이하거나, 추하거나, 혹은 당신이 요청한 것과 전혀 다른 그림을 그리기도 합니다.

이를 해결하기 위해 우리는 화가가 인간의 피드백에 귀 기울이도록 가르쳐야 합니다. 이 논문은 바로 그 가르침을 위한 새롭고 더 지적인 방법인 Linear-DPO를 소개합니다.

다음은 일상적인 비유를 사용하여 작동 방식을 간단히 설명한 것입니다:

1. 문제: "일괄 적용식" 교사

과거 연구자들은 DPO(Direct Preference Optimization, 직접 선호도 최적화) 라는 방법을 사용하여 이러한 AI 화가들을 가르쳤습니다. DPO 는 "정답을 맞추면 훌륭해! 틀리면 즉시 그만두어"라고 말하는 엄격한 교사라고 생각하세요.

문제점: 이 "즉시 중단" 규칙은 올바른 단어를 선택하기만 하면 되는 언어 모델 (예: 챗봇) 에서는 잘 작동합니다. 하지만 이미지 생성에서는 마치 큰 덩어리만 깎아내어 조각상을 만든 뒤, 모양이 괜찮아 보이는 순간 작업을 중단하는 것과 같습니다. 교사가 피드백을 너무 일찍 중단하기 때문에 미세한 디테일을 결코 올바르게 잡을 수 없습니다.
격차: 또한, 기존 방법은 "Diffusion" 모델이라는 한 가지 특정 유형의 AI 화가에게만 적용되었습니다. 더 빠르고 새로운 화가들 (Flow-Matching 모델) 은 수업에서 완전히 배제되었습니다.

2. 해결책: 통합 교실

이 논문의 저자들은 기존의 "Diffusion" 화가들과 새로운 "Flow-Matching" 화가들이 실제로는 약간 다른 방식으로 동일한 일을 하고 있음을 깨달았습니다. 그들은 통합 프레임워크를 구축했습니다.

비유: 기존 방법은 파란색 셔츠를 입은 학생들에게만 말하던 교사였습니다. 새로운 방법은 "파란색 셔츠" 학생들과 "빨간색 셔츠" 학생 모두가 완벽하게 이해하는 보편적인 언어를 구사하는 교사입니다. 이를 통해 처음으로 SD3 와 같은 최신이자 가장 강력한 AI 화가들을 선호도 학습을 통해 훈련시킬 수 있게 되었습니다.

3. 비장의 무기: "선형 (Linear)" 유틸리티

가장 큰 혁신은 교사가 피드백을 주는 방식을 변경한 것입니다.

기존 방식 (Sigmoid): 기존 방법은 "Sigmoid" 함수를 사용했습니다. 전등 스위치를 상상해 보세요. 꺼짐 (0) 이나 켜짐 (1) 두 가지 상태뿐입니다. 학생이 답을 "충분히 좋게" 맞추자마자 스위치가 켜지고 교사는 더 이상 수정을 하지 않습니다. 이로 인해 학생은 "충분히 좋은" 수준에 머무르게 되고 더 이상 발전하지 못합니다.
새로운 방식 (Linear-DPO): 저자들은 전등 스위치를 조광기 (dimmer switch, 선형 함수) 로 교체했습니다.
- 작동 원리: 학생이 잘하고 있을 때도 교사는 작고 부드러운 자극을 계속 줍니다. 마치 그림이 이미 완성된 후에도 "잘했어, 하지만 색상을 아주 조금 더 밝게 해 보자"라고 말하는 코치와 같습니다.
- 결과: 이로써 학습 과정은 매끄럽고 연속적으로 유지됩니다. 화가는 "좋음" 점수에 도달했다고 해서 발전을 멈추지 않고, 그림이 진정으로 아름다워질 때까지 디테일을 계속 다듬습니다.

4. "이동하는 목표" 기준

학습 과정에서 학생의 작업을 "기준 (베이스라인 모델)"과 비교하여 방향을 잃지 않도록 합니다.

기존 방식: 기준은 얼어붙고 정적인 조각상이었습니다. 학생이 그 조각상보다 더 나아지면 비교는 무의미해졌습니다.
새로운 방식: 저자들은 EMA(Exponential Moving Average, 지수 이동 평균) 기준을 사용합니다. 마치 기준이 학생을 천천히 따라가는 그림자라고 상상해 보세요. 학생이 나아질수록 그림자도 함께 움직입니다. 이는 학생이 항상 현재 자신보다 약간 더 나은 것을 하도록 도전하게 하여 게으름이나 정체 현상을 방지합니다.

5. 결과

이 논문은 SD1.5, SDXL, 그리고 최신 SD3 등 여러 유명한 AI 화가들에게 이 새로운 방법을 테스트했습니다.

결과: Linear-DPO 로 훈련된 화가들이 생성한 이미지는 인간 평가에서 훨씬 더 높은 점수를 받았습니다. 더 사실적으로 보였고, 지시를 더 정확하게 따랐으며, 풍부한 디테일을 보여주었습니다.
증거: 직접 비교 테스트에서 새로운 방법은 기존 방법 (일반 DPO 나 단순 파인튜닝 등) 을 거의 매번 압도했습니다. 특히 최신이자 가장 강력한 모델에서 그 차이가 두드러졌습니다.

요약

Linear-DPO는 전등 스위치(켜짐/꺼짐, 너무 일찍 중단) 를 사용하는 교사에서 조광기(매끄럽고 연속적인 피드백) 를 가진 교사로의 업그레이드라고 생각하세요. 또한 이 교사가 기존 모델뿐만 아니라 모든 유형의 AI 화가를 가르칠 수 있도록 했습니다. 그 결과, 인간이 실제로 보고 싶어 하는 것과 훨씬 더 유사한 AI 생성 예술이 탄생했습니다.

기술 요약: Linear-DPO

문제 정의

직접 선호도 최적화 (DPO) 는 대규모 언어 모델 (LLM) 을 인간의 선호도와 정렬시키는 데 효과적임이 입증되었으나, 텍스트 - 이미지 (T2I) 생성에 적용될 때는 상당한 도전에 직면합니다. Diffusion-DPO 와 같은 기존 접근 방식은 두 가지 주요 문제로 제한됩니다:

모델 아키텍처 한계: 현재 이론적 분석과 구현은 U-Net 아키텍처 기반의 디노이징 확산 모델 (예: SD1.5, SDXL) 로 제한되어 있습니다. 이들은 Rectified Flow 와 MMDiT 아키텍처를 활용하며 고해상도 합성의 최첨단 (state-of-the-art) 이 된 흐름 매칭 모델 (예: SD3-Medium, Qwen-Image) 을 간과합니다.
목적 함수 불일치: 이산 언어 모델링에서 유도된 표준 DPO 목적 함수는 "마진 최대화"를 장려하는 시그모이드 기반 유틸리티 함수에 의존합니다. 이러한 패러다임에서 선택된 샘플과 거부된 샘플 간의 확률 차이가 충분히 커지면 기울기가 급격히 소실됩니다. 이러한 동작은 미세한 시각적 세부 사항을 지속적으로 정제하기 위해 장시간의 안정적인 소규모 단계 업데이트가 필요한 회귀 기반 생성 작업 (확산 및 흐름 매칭) 에 적합하지 않습니다. 표준 DPO 의 급격한 기울기 감쇠는 "가짜 수렴 (pseudo-convergence)" 함정을 초래하여 모델이 경직되고 학습 초기에 세부 사항 정지를 중단하게 만듭니다.

방법론

1. 확산 및 흐름 매칭을 위한 통합 SDE 프레임워크

저자들은 단일 확률 미분 방정식 (SDE) 프레임워크 하에서 확산 및 흐름 매칭 모델을 통합하는 일반화된 DPO 목적 함수를 유도합니다.

흐름 매칭 재해석: 흐름 매칭은 일반적으로 결정론적 상미분 방정식 (ODE) 으로 정의되지만, 저자들은 이를 속도 기반 SDE 로 재구성합니다. 필요한 확률적 요소를 도입함으로써, 저자들은 확산 모델의 수학적 조건부 확률 ( $q(x_{t-1}|x_t)$ ) 과 수학적으로 동등한 흐름 매칭의 조건부 확률을 유도합니다.
통합 손실 공식화: 이를 통해 두 패러다임 모두에 적용 가능한 단일 DPO 손실 함수 (식 11) 를 유도할 수 있습니다. 이 손실은 예측 대상 (확산의 경우 노이즈 $\epsilon$ , 흐름 매칭의 경우 속도 $v$ ) 에 대한 정책 모델의 제곱 오차와 기준 모델의 제곱 오차 차이의 로지스틱 함수입니다.

2. 기울기 분석 및 Linear-DPO

기울기 관점 분석을 통해 저자들은 표준 DPO 가 시그모이드 함수로 가중치가 조절되는 감독 미세 조정 (SFT) 으로 작용함을 확인했습니다. 그들은 이것이 생성 작업에 부적합하다고 주장합니다. 그 이유는 다음과 같습니다:

과도하게 큰 업데이트: 확산 맥락에서의 스케일링 인자 $\bar{\beta}$ 는 NLP 에 비해 훨씬 커서 변동성이 큰 기울기를 유발합니다.
결합된 하이퍼파라미터: 동일한 파라미터가 판별 온도와 업데이트 크기를 모두 제어합니다.
조기 포화: 시그모이드 함수가 빠르게 포화되어 미세한 정제가 완료되기 전에 학습을 중단시킵니다.

이를 해결하기 위해 Linear-DPO가 제안되었으며, 두 가지 핵심 수정 사항이 포함됩니다:

선형 유틸리티 함수: 공격적인 시그모이드 게이팅이 $[\eta, 1]$ 범위로 클립된 지속적 선형 유틸리티 함수 ( $u_{linear}(x) = 0.2x + 0.5$ ) 로 대체됩니다. 이는 선호도가 분리되어 있더라도 모델이 세부 사항을 정제하기 위해 작고 지속적인 기울기를 계속 받도록 하여 "가짜 수렴" 함정을 피합니다.
EMA 업데이트 기준 모델: 정책 모델이 기준 모델을 능가하면 개선이 저해될 수 있는 고정된 기준 모델이나 급격한 업데이트 대신, Linear-DPO 는 정책 모델의 지수 이동 평균 (EMA) 을 기준으로 유지합니다. 이는 지속적인 최적화를 장려하고 학습을 안정화합니다.

주요 기여

일반화된 DPO 목적 함수: 역방향 시간 SDE 관점을 통해 확산 및 흐름 매칭 생성 모델을 연결하는 통합된 DPO 공식화 수립.
기울기 분석 및 Linear-DPO: 회귀 기반 생성 작업에 대한 시그모이드 기반 목적 함수의 부적합성을 이론적으로 분석하여, 선형 유틸리티 함수와 EMA 기준 업데이트를 갖춘 Linear-DPO 를 제안.
실증적 검증: 표준 확산 모델 (SD1.5, SDXL) 에서부터 고급 흐름 매칭 모델 (SD3-Medium) 에 이르는 다양한 모델에 걸쳐 Linear-DPO 의 효과성과 확장성을 입증.

실험 결과

저자들은 Pick-a-Pic v2 와 HPDv3 의 고품질 부분집합과 같은 데이터셋을 사용하여 SD1.5, SDXL, SD3-Medium 에서 Linear-DPO 를 평가했습니다.

정량적 성능: Linear-DPO 는 PickScore, HPSv2/v3, Aesthetics, CLIP, Image Reward 를 포함한 여러 자동화 지표에서 SFT, Diffusion-DPO, Diffusion-KTO, DSPO, MaPO, DMPO 와 같은 베이스라인을 일관되게 능가했습니다. 특히 인간 선호도 정렬 및 시각적 품질 측면에서 최첨단 결과를 달성했습니다.
정성적 개선: 시각적 비교 결과, Linear-DPO 는 SD1.5 에서 구조적 왜곡을 크게 줄이고 텍스트 - 이미지 정렬을 개선했습니다. 고용량 SD3-M 의 경우 미적 품질, 색상 조화, 배경 세부 사항을 더욱 향상시켰습니다.
어블레이션 연구: 실험은 선형 유틸리티 함수가 Kahneman-Tversky, Loss-Averse, Risk-Seeking 과 같은 다른 유틸리티 형태보다 우수함을 확인했습니다. 또한, 감쇠 인자 $\gamma=0.995$ 를 가진 EMA 기준 모델을 사용하는 것이 고정되거나 급격히 업데이트된 기준과 관련된 불안정성을 방지하면서 최상의 성능을 발휘했습니다.

의의

이 논문은 Linear-DPO 가 대규모 생성 모델에서의 선호도 학습을 위한 원칙적인 경로를 제공한다고 주장합니다. 확산과 흐름 매칭 사이의 이론적 격차를 해소하고 표준 DPO 의 최적화 불일치를 수정함으로써, 이 방법은 우수한 정렬 성능과 확장성을 모두 지원하는 다목적 프레임워크를 제공합니다. 저자들은 Linear-DPO 를 "가짜 수렴" 문제의 해결책으로 위치시켜, 고충실도 이미지 생성에 필수적인 장기간 학습 기간 동안 모델이 세부 사항 정지를 지속할 수 있게 합니다.