DiffusionNFT: Online Diffusion Reinforcement with Forward Process

이 논문은 확산 모델의 온라인 강화 학습을 위해 전진 과정을 최적화하는 새로운 패러다임인 DiffusionNFT 를 제안하며, 이는 기존 방법론의 한계를 극복하고 더 높은 효율성과 성능을 달성합니다.

핵심

DiffusionNFT: 그림을 그리는 AI 를 더 똑똑하게 만드는 새로운 방법

이 논문은 DiffusionNFT라는 새로운 기술을 소개합니다. 이 기술은 AI 가 그림을 그리는 능력 (확산 모델) 을 강화학습을 통해 더 잘하도록 돕는 방법인데, 기존 방식의 문제점을 해결하고 훨씬 더 빠르고 효율적으로 작동합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 배경: 그림을 그리는 AI 와 '수정'의 문제

기존의 상황 (FlowGRPO 등):
AI 가 그림을 그리는 과정은 마치 거꾸로 흐르는 강물을 상상해 보세요.

• 시작: 완벽한 그림 (깨끗한 물) 이 있습니다.
• 과정: AI 는 이 그림에 점점 노이즈 (진흙) 를 섞어서 완전히 흐리게 만듭니다.
• 역과정 (그림 그리기): AI 는 다시 이 흐린 물에서 진흙을 걷어내며 원래 그림을 복원합니다.

기존의 강화학습 방법들은 이 '역과정 (진흙 걷어내기)' 단계에서 AI 를 훈련시켰습니다.

• 문제점: 역과정은 매우 복잡하고 계산이 어렵습니다. 마치 거꾸로 흐르는 강물을 거꾸로 따라가며 배를 조종하는 것처럼, 특정 종류의 엔진 (솔버) 만 쓸 수 있고, 계산이 너무 느리며, 때로는 AI 가 길을 잃고 엉뚱한 그림을 그릴 수도 있습니다.

2. DiffusionNFT 의 혁신: '앞으로 흐르는 강물'을 이용하다

이 논문은 발상을 전환했습니다. 역과정 (거꾸로) 대신, **정방향 (앞으로)**인 '진흙을 섞는 과정'을 이용해서 AI 를 훈련시키자는 것입니다.

비유: 요리사 훈련

• 기존 방식 (역과정): 요리사가 완성된 요리를 보고 "어떻게 재료를 섞었지?"라고 추리하며 배우는 것입니다. (매우 어렵고 추측이 필요합니다.)
• DiffusionNFT 방식 (정방향): 요리사가 재료를 섞는 과정 자체를 관찰하며 배우는 것입니다. "이 재료를 섞으면 맛이 어떻게 변하는지"를 직접 경험하는 것이죠.

이 방식의 핵심은 두 가지 다른 결과물을 비교하는 것입니다.

3. 핵심 원리: "좋아하는 것"과 "싫어하는 것"의 차이

DiffusionNFT 는 AI 가 그린 그림을 평가할 때, **점수 (리워드)**를 기준으로 그림을 두 그룹으로 나눕니다.

1. 긍정적 그룹 (Positive): "와, 이 그림은 정말 잘 그렸네!" (점수가 높은 그림)
2. 부정적 그룹 (Negative): "음, 이 그림은 별로네." (점수가 낮은 그림)

핵심 아이디어:
기존 방식은 '좋은 그림'만 보고 "더 잘 그려라"라고 가르쳤습니다. 하지만 DiffusionNFT 는 **"나쁜 그림은 왜 나쁜지, 그리고 좋은 그림은 왜 좋은지"**를 동시에 비교합니다.

• 비유: 미술 선생님에게 "이 그림은 훌륭해 (A)"라고만 말해주면 학생은 어떻게 해야 할지 막막할 수 있습니다. 하지만 **"이 그림은 훌륭하고, 저 그림은 엉망이야. 두 그림의 차이를 보고 다음엔 저렇게 하지 말고 이렇게 그려"**라고 가르치면 훨씬 빠르게 실력이 늘죠.

이 논문의 기술은 이 **'차이 (Negative-aware)'**를 수학적으로 계산해서, AI 가 나쁜 그림을 그리지 않도록 자연스럽게 유도합니다.

4. 왜 이 방식이 더 좋은가요? (장점)

1. 어떤 도구든 쓸 수 있음 (솔버 자유도):
   • 기존 방식은 특정 종류의 엔진 (SDE 솔버) 만 써야 했지만, DiffusionNFT 는 어떤 엔진 (ODE 솔버 등) 을 써도 됩니다. 마치 차량 엔진을 바꾸더라도 운전하는 법은 똑같다는 뜻입니다.
2. 계산이 훨씬 빠름 (효율성 25 배):
   • 전체 그림을 그리는 과정을 다 기억할 필요가 없습니다. 최종 결과물 (깨끗한 그림) 만 있으면 됩니다.
   • 결과: FlowGRPO 라는 기존 기술이 5,000 번의 훈련으로 0.95 점에 도달했다면, DiffusionNFT 는 1,000 번의 훈련으로 0.98 점을 달성했습니다. 시간과 비용이 25 배나 절약된 셈입니다.
3. 복잡한 설정 불필요 (CFG 제거):
   • 기존에는 그림의 질을 높이기 위해 'CFG'라는 복잡한 설정을 따로 해줘야 했습니다. DiffusionNFT 는 이 설정 없이도, 훈련을 통해 스스로 그 기능을 배우게 됩니다.

5. 요약: 이 기술이 가져오는 변화

• 이전: AI 를 가르치려면 거꾸로 흐르는 강을 거슬러 올라가야 했고, 매우 느리고 비쌌습니다.
• 이제 (DiffusionNFT): AI 가 재료를 섞는 과정 (정방향) 을 관찰하며, "좋은 결과"와 "나쁜 결과"의 차이를 통해 빠르게 배웁니다.

결론적으로, DiffusionNFT 는 AI 그림 그리기 기술을 더 빠르고, 더 저렴하며, 더 똑똑하게 만들어주는 혁신적인 방법입니다. 마치 비행기 조종사를 가르칠 때, 복잡한 역학 이론 대신 실제 비행 경험을 통해 직관적으로 가르치는 방식으로 바뀐 것과 같습니다.

기술 요약

DiffusionNFT: Forward Process 기반 온라인 확산 모델 강화학습 기술 요약

이 논문은 Diffusion Negative-aware Fine-Tuning (DiffusionNFT) 을 제안하며, 이는 확산 모델 (Diffusion Models) 에 대한 온라인 강화학습 (RL) 을 새로운 패러다임으로 접근한 연구입니다. 기존의 역과정 (Reverse Process) 기반 RL 방법론의 한계를 극복하고, 확산 모델의 정방향 과정 (Forward Process) 에서 직접 정책을 최적화하는 방식을 제시합니다.

---

1. 문제 정의 (Problem)

확산 모델의 후학습 (Post-training) 에 강화학습을 적용하려는 시도는 다음과 같은 근본적인 어려움에 직면해 있습니다:

• 가능도 (Likelihood) 계산의 불가능성: 기존 정책 경사 (Policy Gradient) 알고리즘 (예: PPO, GRPO) 은 모델의 정확한 가능도 계산이 전제되어야 합니다. 그러나 확산 모델은 확률적 미분방정식 (SDE) 또는 오일러-오일러 (ODE) 근사를 통해 가능도를 추정해야 하므로 계산 비용이 크고 편향이 발생합니다.
• 역과정 기반 RL 의 한계 (FlowGRPO 등): 최근 연구들은 역샘플링 과정을 이산화하여 GRPO 스타일의 훈련을 가능하게 했습니다. 하지만 이는 다음과 같은 치명적인 단점을 가집니다:
  1. 정방향 불일치 (Forward Inconsistency): 역과정만 최적화하면 모델이 정방향 확산 과정의 확률 밀도 함수 (Fokker-Planck 방정식) 를 따르지 않게 되어, 모델이 단순한 가우시안 연쇄로 퇴화할 위험이 있습니다.
  2. 솔버 제한: 데이터 수집을 1 차 SDE 솔버에 의존하게 되어, ODE 기반의 고품질/고효율 솔버를 활용하기 어렵습니다.
  3. CFG 통합의 복잡성: Classifier-Free Guidance (CFG) 를 적용하려면 조건부 및 무조건부 두 모델을 동시에 최적화해야 하는 비효율적인 구조가 필요합니다.

2. 방법론 (Methodology)

DiffusionNFT 는 정책 경사 (Policy Gradient) 대신 지도학습 (Supervised Learning) 기반의 Flow Matching 목적 함수를 사용하여 정방향 과정에서 직접 정책을 개선합니다.

핵심 아이디어: 부정적 인식 미세조정 (Negative-aware Fine-Tuning)

기존의 긍정 데이터 (Positive Data) 만을 사용하는 Rejection Fine-Tuning (RFT) 과 달리, DiffusionNFT 는 긍정 (Positive) 과 부정 (Negative) 생성 샘플을 대비시켜 개선 방향을 정의합니다.

1. 강화 가이드 (Reinforcement Guidance):

   • 보상 신호에 따라 생성된 이미지를 긍정 ($D^+$) 과 부정 ($D^-$) 집합으로 나눕니다.
   • 기존 정책 $v_{old}$와 이상적인 긍정 정책 $v_+$, 부정 정책 $v_-$ 사이의 분포 차이를 분석하여 개선 방향 $\Delta$ 를 유도합니다.
   • 이론적으로 $\Delta$는 $v_+ - v_{old}$와 $v_{old} - v_-$ 사이의 선형 관계로 표현되며, 이를 통해 보상 신호를 모델에 주입합니다.

2. 암시적 파라미터화 (Implicit Parameterization):

   • 별도의 가이드 모델이나 역과정 수정 없이, 단일 모델 $v_\theta$를 최적화합니다.
   • 학습 목적 함수는 다음과 같이 정의됩니다:
     $$\mathcal{L}(\theta) = \mathbb{E} \left[ r \|v^+_\theta - v\|^2 + (1-r) \|v^-_\theta - v\|^2 \right]$$
     여기서 $v^+_\theta$와 $v^-_\theta$는 각각 긍정/부정 가중치를 적용한 암시적 정책으로, 실제 모델 $v_\theta$와 기준 모델 $v_{old}$의 선형 조합으로 표현됩니다.
   • 이 방식은 가능도 추정 (Likelihood Estimation) 이 불필요하며, 정방향 일관성 (Forward Consistency) 을 유지합니다.

3. 실용적 특징:

   • 솔버 유연성: 데이터 수집 시 임의의 블랙박스 솔버 (고차 ODE 등) 를 사용할 수 있습니다.
   • 경로 불필요: 전체 샘플링 궤적을 저장할 필요 없이, 최종 깨끗한 이미지와 보상 값만 있으면 됩니다.
   • CFG-Free: CFG 없이도 훈련이 가능하며, RL 후학습을 통해 CFG 의 기능을 모델이 직접 학습하게 됩니다.

3. 주요 기여 (Key Contributions)

1. 새로운 RL 패러다임 제안: 확산 모델 RL 을 역과정이 아닌 정방향 과정 (Forward Process) 에서 수행하는 DiffusionNFT 를 처음 제안했습니다.
2. 이론적 우위: 가능도 추정이 불필요하며, 정방향 확산 과정의 수학적 일관성을 유지하여 모델의 안정성을 보장합니다.
3. 효율성 극대화: FlowGRPO 대비 최대 25 배 빠른 훈련 속도를 달성했습니다.
4. CFG-Free 성능 달성: 별도의 CFG 모델 없이도, 기존 CFG 기반 모델보다 우수한 생성 품질을 달성했습니다.

4. 실험 결과 (Results)

SD3.5-Medium 모델을 기반으로 한 실험에서 DiffusionNFT 의 우수성을 입증했습니다.

• GenEval 태스크:
  • DiffusionNFT: 1,000 스텝 내에서 GenEval 점수를 0.24 에서 0.98로 향상.
  • FlowGRPO: 5,000 스텝 이상과 추가 CFG 사용에도 불구하고 0.95에 그침.
  • 효율성: DiffusionNFT 는 FlowGRPO 대비 25 배 더 효율적임.
• 다중 보상 (Multi-Reward) 훈련:
  • GenEval, OCR, PickScore, ClipScore, HPSv2.1 등 다양한 보상을 동시에 학습시켰을 때, SD3.5-Medium 모델이 CFG 기반의 더 큰 모델 (SD3.5-L, FLUX.1-Dev) 보다도 모든 벤치마크에서 우수한 성능을 보임.
• Ablation Study:
  • 부정적 손실 (Negative Loss) 의 중요성: 부정 데이터 ($D^-$) 를 제거하면 온라인 훈련 중 보상이 즉시 붕괴됨 (LLM 의 RFT 와는 다른 점).
  • 솔버 영향: ODE 솔버가 SDE 솔버보다 성능이 우수함.
  • 소프트 업데이트: 온-폴리시 (On-policy) 와 오프-폴리시 (Off-policy) 사이의 균형을 잡는 소프트 업데이트 전략이 훈련 안정성에 필수적임.

5. 의의 및 결론 (Significance)

DiffusionNFT 는 확산 모델의 강화학습 분야에서 다음과 같은 중요한 의의를 가집니다:

• 이론적 통합: 지도학습 (Flow Matching) 과 강화학습을 자연스럽게 통합하여, 확산 모델에 특화된 RL 알고리즘의 표준을 제시합니다.
• 실용적 효율성: 복잡한 SDE 솔버 의존성과 CFG 기반의 이중 모델 구조를 제거함으로써, 대규모 확산 모델의 후학습을 훨씬 더 빠르고 저렴하게 만듭니다.
• 확장성: 텍스트, 이미지, 비디오 등 다양한 모달리티에 적용 가능한 범용적인 RL 레시피로 발전할 잠재력을 가집니다.

결론적으로, 이 연구는 확산 모델의 RL 후학습을 가능하게 하는 가능도 불필요 (Likelihood-free), 정방향 일관성, 고효율을 동시에 달성한 획기적인 방법론입니다.