기술 요약: DreOPD

문제 정의

Flow-matching 모델은 텍스트-이미지 생성 분야의 주류 패러다임이 되었습니다. 그러나 이러한 모델을 프롬프트 준수, 텍스트 렌더링, 미학(aesthetics), 인간 선호도와 같은 다양한 다운스트림 목적에 적응시키기 위해서는 일반적으로 사후 학습(post-training)이 필요합니다. 이러한 적응 과정은 두 가지 주요 과제에 직면합니다:

1. 목적 간의 충돌 (Conflict of Objectives): 특정 태스크를 위한 최적화 목적 함수들은 종종 암묵적인 충돌을 보이며, 이로 인해 단일 모델이 여러 능력을 동시에 향상시키는 것이 어렵습니다.
2. 기존 사후 학습 방법의 한계:
   • 강화 학습 (RL): RL은 태스크별 보상을 직접 최적화하고 기존 모델을 넘어서는 잠재적 개선을 가능하게 하지만, 궤적 수준(trajectory-level)의 최적화는 높은 그래디언트 분산, 보상 착취(reward exploitation), 그리고 이질적인 목적들 사이의 간섭 문제를 겪을 수 있습니다.
   • 온-폴리시 증류 (On-Policy Distillation, OPD): OPD는 학생(student)의 롤아웃을 교사(teacher)의 예측과 일치시킴으로써 조밀하고 안정적인 감독을 제공합니다. 그러나 전통적인 OPD는 모방 기반입니다. 즉, 학생은 전문화된 교사들 사이를 보간(interpolate)할 뿐, 체계적으로 그들을 능가하지는 못합니다.

실질적인 질문이 제기됩니다: 어떻게 하면 학생 모델이 여러 강력한 교사들을 통합하고, 쉽게 구할 수 있는 더 약한 모델들(예: 초기 체크포인트 또는 성능이 저하된 버전)을 활용하며, 교사 자체보다 더 나은 성능을 낼 수 있을 것인가?

방법론: DreOPP

저자들은 Flow-matching 모델을 위해 안정적인 모방과 보상 외삽(reward extrapolation) 사이의 간극을 메우는 방법인 DreOPD(Degraded-reference extrapolative On-Policy Distillation)를 제안합니다.

1. 암묵적 보상 외삽에서 폐쇄형 속도 타겟으로의 전환

핵심적인 이론적 기여는 (이전에 자기회귀 언어 모델에서 확립된) 분포 수준의 보상 외삽 원리를 flow-matching의 고유한 속도 회귀(velocity-regression) 목적 함수로 변환하는 것입니다.

• 이론적 유도: 공유 공분산 가우시안 전이(shared-covariance Gaussian transitions) 가정 하에, 저자들은 조건부 전이 목적 함수에 대한 폐쇄형 옵티마이저(closed-form optimizer)를 유도합니다.
• 타겟: 학생이 방문한 상태에서의 최적 속도 타겟 $v^\star_\lambda$는 다음과 같습니다:
  $$v^\star_\lambda = v_T + (\lambda - 1)(v_T - v_{ref})$$
  여기서 $v_T$는 교사 속도, $v_{ref}$는 참조(reference) 속도, $\lambda \ge 1$은 외삽 강도입니다.
  • $\lambda = 1$일 때, 타겟은 교사 모방($v_T$)으로 축소됩니다.
  • $\lambda > 1$일 때, 타겟은 교사와 참조 간의 대비(contrast)에 의해 정의된 방향을 따라 교사를 넘어섭니다.
• 학습: 학생은 자신의 생성된 궤적 상에서 예측된 속도와 이 외삽된 타겟 $v^\star_\lambda$ 사이의 거리를 최소화하는 온-폴리시 회귀를 통해 학습됩니다.

2. 보상 해석 및 조건

본 논문은 이러한 기하학적 외삽이 보상 극대화와 일치하는 조건을 규명합니다.

• 보상 틸트 가정 (Reward-Tilt Assumption): 만약 교사가 KL 정규화된 보상 최적화 문제의 해라면 (즉, $p_T \propto p_{ref} \exp(r/\beta)$), 교사와 참조 간의 로그 밀도 비율이 보상 신호를 복구합니다.
• 단조성 (Monotonicity): 이 가정 하에서, 외삽된 분포의 기대 보상은 보상이 상수가 아닌 한 $\lambda$에 따라 단조 증가합니다. 이는 교사를 넘어 외삽하는 것을 정당화합니다.

3. 저하된 참조를 통한 외삽 증폭

외삽의 크기는 벡터 $(v_T - v_{ref})$에 의해 결정됩니다. 교사에 가까운 참조는 약한 신호를 생성합니다.

• 전략: 저자들은 생성기의 구조적 무결성을 유지하면서 교사-참조 대비를 키우기 위해 약하게 저하된 참조($v_{deg}$)를 도입합니다.
• 구현: 저하는 가중치 양자화(예: 8-bit)나 베이스 모델의 속도 출력에 미세한 노이즈를 주입하는 것과 같은 제어된 오염(controlled corruption)을 통해 달성됩니다.
• 이론적 근거: Proposition 3은 보상 정렬 모델 내에서, 더 낮은 보상 정렬($\rho_d < \rho_n < 1$)을 가진 참조를 사용하는 것이 보상 방향을 바꾸지 않으면서 유효한 보상 틸트 계수와 국소적 보상 변화율을 증가시킨다는 것을 보여줍니다.

4. 학습 절차

학습 루프(Algorithm 1)는 다음 과정을 반복합니다:

1. 특정 태스크를 위한 프롬프트를 샘플링합니다.
2. 현재 학생 모델을 롤아웃하여 궤적을 생성합니다.
3. 방문한 상태에서 태스크별 교사와 공유된 저하된 참조를 쿼리합니다.
4. 폐쇄형 외삽 타겟 $v^\star_\lambda$를 계산합니다.
5. 이 타겟을 향한 회귀를 통해 학생 모델을 업데이트합니다.

주요 기여

1. 폐쇄형 타겟 유도: 저자들은 단순한 교사 모방을 넘어 보상 외삽으로 flow 기반 OPD를 확장하는 폐쇄형 속도 타겟을 유도했습니다.
2. 대비(Contrast)의 특성 규명: 교사-참조 대비가 보상과 정렬되는 조건을 규명하고, 이 대비를 강화하기 위해 제어된 참조 저하를 도입했습니다.
3. 실험적 우위: 단일 및 다중 교사 설정 모두에서, DreOPD는 베이스라인들 중 가장 우수한 평균 성능을 달 기록했으며 대부분의 지표에서 전문화된 교사들을 능가했습니다.

실험 결과

SD3.5-M을 사용하여 세 가지 태스크(GenEval: 구성적 프롬프트 준수, OCR: 텍스트 렌더링, Aesthetics: 인간 선호도)에 대해 실험을 진행했습니다.

단일 교사 증류 (Single-Teacher Distillation)

• DreOPD는 표준 OPD 베이스라인(Flow-OPD, DiffusionOPD)과 전문화된 교사 자체보다 뛰어난 성능을 보였습니다.
• 지표: GenEval은 0.9470(교사)에서 0.9710으로, OCR은 0.9239에서 0.9364로, HPSv2.1은 0.3460에서 0.3497로 향상되었습니다.
• 저하된 참조를 사용하는 것이 저하되지 않은 변형보다 일관된 이득을 제공했습니다.

다중 교사 증류 (Multi-Teacher Distillation)

• 세 개의 전문화된 교사를 통합하는 설정에서, DreOPD는 다중 태스크 RL 베이스라인(Flow-GRPO, GRPO-Guard, DiffusionNFT) 및 기타 OPD 방법들과 비교하여 가장 높은 평균 점수(0.9939)를 달성했습니다.
• GenEval, OCR, HPSv2.1, Aesthetic 지표에서 해당 교사들을 능가했으며, PickScore와 ClipScore에서는 성능을 유지하거나 대등한 수준을 보였습니다.
• 절제 연구(Ablation studies)를 통해 외삽 강도 $\lambda = 1.25$가 최적의 교차 태스크 균형을 제공하며, 8-bit 속도 양자화가 가장 효과적인 저하 전략임을 확인했습니다.

의의 및 주장

본 논문은 DreOPD가 전문화된 flow 모델들을 통합하기 위한 효과적인 프레임 워크로서 보상 외삽을 확립한다고 주장합니다. 암묵적 보상 외삽을 폐쇄형 속도 회귀로 변환함으로써, 이 방법은 온-폴리시 증류의 안정성을 유지하면서도 학생 모델이 교사보다 체계적으로 뛰어난 성능을 낼 수 있게 합니다. 저하된 참조의 도입은 생성 구조를 방해하지 않으면서 외삽 신호를 강화하는 실질적인 메커니즘으로 강조됩니다. 결과적으로, 하나의 모델이 다양한 차원에서 우수한 성능을 발휘할 수 있음을 시사하며, 이는 일반적으로 다중 태스크 RL이나 단순한 교사 보간에서 나타나는 트레이드오프를 극복합니다.