1. 문제 정의 (Problem)

이미지 생성 모델 (Flow Matching 및 Diffusion 모델) 의 학습 라이프사이클은 일반적으로 사전 학습 (Pre-training) 과 후속 학습 (Post-training) 으로 나뉩니다.

• 현황: 후속 학습 단계에서는 모델의 출력 분포를 고품질 타겟 분포에 정렬 (Alignment) 시키는 것이 목표입니다. 현재 주류 방법은 지도 미세 조정 (SFT) 과 선호도 최적화 (Preference Optimization, 예: RLHF, DPO) 입니다.
• 한계점:
  • SFT: 전문가 데이터에 직접 모방하지만, 전문가가 보지 않은 상태 (Unseen states) 에서 정책이 이탈하는 분포 이동 (Distribution Shift) 문제를 해결하지 못해 오류가 누적됩니다.
  • 선호도 최적화 (RLHF, DPO): 분포 이동 문제를 해결하지만, 고품질의 선호도 쌍 (Preference pairs) 이나 정확한 보상 모델 (Reward Model) 학습이 필요하여 비용이 많이 들고 복잡합니다. 또한 보상 모델이 부실할 경우 보상 해킹 (Reward Hacking) 이 발생하여 실제 품질은 떨어지는데 점수만 올라가는 문제가 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 Flow Matching 모델의 후속 학습을 모방 학습 (Imitation Learning, IL) 문제로 재정의하고, 이를 해결하기 위해 FAIL (Flow Matching Adversarial Imitation Learning) 프레임워크를 제안했습니다. FAIL 은 명시적인 보상 모델이나 쌍별 비교 없이, 생성자 (Policy) 와 판별자 (Discriminator) 간의 적대적 훈련을 통해 정책과 전문가 분포 간의 발산을 최소화합니다.

핵심 알고리즘 두 가지:

1. FAIL-PD (Pathwise Derivative):

   • 원리: Flow Matching 의 ODE 솔버가 미분 가능 (Differentiable) 하다는 특성을 활용합니다. 판별자의 신호를 생성 과정 (Denoising steps) 을 통해 역전파하여 정책 파라미터를 직접 업데이트합니다.
   • 장점: 낮은 분산 (Low-variance) 의 경사 신호를 제공하여 더 풍부하고 정밀한 학습이 가능하며, 최종 성능이 뛰어납니다.
   • 적용: 미분 가능한 화이트박스 (White-box) 환경에 최적화되어 있습니다.

2. FAIL-PG (Policy Gradient):

   • 원리: 판별자 출력을 스칼라 보상 (Scalar Reward) 으로 간주하고, Score Function Estimator 를 사용하여 정책 경사를 추정합니다. (GAIL 의 연속적 흐름에 적용된 형태)
   • 장점: 직접적인 역전파가 불가능한 경우 (이산 토큰 생성, 거대한 판별자 등) 에 사용 가능한 블랙박스 (Black-box) 대안입니다.
   • 적용: 계산 제약이 있거나 이산적 (Discrete) 인 생성 작업에 적합합니다.

학습 안정화 전략:

• 하이브리드 모방 (Hybrid Imitation): 온라인 정책 샘플과 전문가 데이터를 혼합하여 학습하며, 전문가 샘플을 '완벽한 롤아웃'으로 간주하여 탐색을 제한합니다.
• 초기화 및 웜업: 행동 복제 (Behavior Cloning) 로 초기화하고, 판별자가 의미 있는 신호를 제공할 수 있도록 초기 단계에서 정책 업데이트를 멈추는 웜업 단계를 거칩니다.

3. 주요 기여 (Key Contributions)

1. 수학적 동치성 제시: Flow Matching 모델의 후속 학습을 적대적 모방 학습 (Adversarial Imitation Learning) 문제로 공식화하여, SFT 와 RL 간의 간극을 메웠습니다.
2. 실용적 알고리즘 개발:
   • 고성능 정렬을 위한 FAIL-PD (경로 미분 활용).
   • 이산적/블랙박스 시나리오를 위한 FAIL-PG (정책 경사 활용).
3. 효율성과 일반화: 13,000 개의 소규모 데이터셋 (Gemini 3 Pro 생성 이미지) 으로 FLUX 모델을 미세 조정하여 경쟁력 있는 성능을 달성했습니다. 또한, 이산 이미지 생성 및 비디오 생성 영역으로도 일반화됨을 입증했습니다.
4. 정규화 효과: FAIL 은 기존 보상 기반 최적화 (RL) 와 결합했을 때 보상 해킹을 방지하는 강력한 정규화제 (Regularizer) 로 작용함을 증명했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • FLUX 모델 미세 조정: 13,000 개의 데이터로 FLUX.1 Dev 를 기반으로 FAIL-PD 를 적용한 결과, UniGen-Bench에서 61.61 → 73.70, DPG-Bench에서 73.70 → 87.32 로 크게 향상되었습니다. 이는 FLUX.1 Ultra 나 Imagen-3.0 같은 폐쇄형 모델과 경쟁 가능한 수준입니다.
  • 미적 품질 (HPDv3): FAIL-PD 는 11.28 점으로 베이스 모델 (10.43) 을 크게 상회하며, 인간 선호도 정렬에 성공했습니다.
• 수렴 및 안정성 비교:
  • FAIL-PG: 초기 수렴이 빠르지만, 장기 훈련 시 정책 붕괴 (Mode Collapse) 가 발생할 수 있습니다.
  • FAIL-PD: 초기 수렴은 느리지만, 장기적으로 안정적이며 성능이 지속적으로 향상됩니다.
• 보상 해킹 방지: 기존 Reward Gradient 방법만 사용할 경우 Unigen/DPG 점수가 하락하는 보상 해킹이 발생했으나, FAIL-PD 를 결합한 경우 모든 지표 (HPSv3, UnifiedReward 등) 에서 최고 성능을 기록했습니다.
• 다양한 모달리티 적용:
  • 이산 이미지 (Xomni): FAIL-PG 를 적용하여 SFT 대비 성능을 크게 개선했습니다.
  • 비디오 생성 (Wan2.1): VBench 에서 의미 점수 (Semantic Score) 를 유의미하게 향상시켰습니다.

5. 의의 및 의의 (Significance)

• 비용 효율성: 고비용의 선호도 쌍 데이터나 복잡한 보상 모델 학습 없이, 소량의 전문가 데이터만으로 고품질 생성 모델을 정렬할 수 있는 새로운 패러다임을 제시했습니다.
• 안정성 확보: 적대적 학습의 불안정성을 해결하고, 기존 RL 기반 방법론의 치명적 결함인 '보상 해킹'을 방지하는 정규화 메커니즘을 제공했습니다.
• 범용성: 연속적인 Flow Matching 모델뿐만 아니라 이산적 생성 모델과 비디오 생성까지 확장 가능하여, 생성 모델 정렬을 위한 범용 프레임워크로서의 가능성을 입증했습니다.

이 논문은 생성형 AI 의 후속 학습 단계에서 적대적 모방 학습이 가지는 잠재력을 체계적으로 규명하고, 이를 실용적인 알고리즘 (FAIL-PD/PD) 으로 구현하여 현재 주류 방법론들의 한계를 극복하는 중요한 기여를 했습니다.