1. 문제 정의 (Problem Statement)

Flow-Matching 기반 생성 모델 (Stable Diffusion 3.5, Wan 등) 의 성능을 향상시키기 위해 최근 **GRPO (Group Relative Policy Optimization)**가 선호 최적화 (Preference Optimization) 기법으로 널리 사용되고 있습니다. 그러나 기존 Flow-GRPO 는 다음과 같은 근본적인 한계로 인해 학습 효율성이 매우 낮습니다.

• 온-폴리시 (On-Policy) 학습의 비효율성: GRPO 는 매 학습 단계마다 최신 정책 (Policy) 하에서 새로운 샘플 (Trajectory) 을 생성하고, 학습이 끝난 직후 이를 폐기합니다. 고품질 샘플조차 재사용되지 않아 샘플 효율성이 극히 낮고, 학습에 필요한 GPU 시간이 과도하게 소요됩니다.
• 보상 신호의 붕괴: 작업이 너무 어려울 경우 모델이 성공적인 샘플을 거의 생성하지 못해 보상이 0 에 수렴하고, 이로 인해 이점 (Advantage) 과 기울기 신호가 소실되어 학습이 정체됩니다.
• 오프-폴리시 적용의 어려움: 기존 RL 의 오프-폴리시 (Off-Policy) 학습을 Flow-Matching 에 직접 적용하기 어렵습니다. 과거 정책에서 생성된 샘플을 재사용할 때 발생하는 **분포 이동 (Distribution Shift)**이 GRPO 의 클리핑 (Clipping) 메커니즘을 왜곡시켜 학습 불안정을 초래합니다. 또한, 노이즈가 거의 사라지는 후기 (Late) 디노이징 단계에서는 조건부 데이터 분포가 매우 집중되어 중요도 가중치 (Importance Weights) 가 수치적으로 불안정해집니다.

2. 제안 방법론: OP-GRPO

저자들은 위 문제들을 해결하기 위해 Flow-Matching 모델에 특화된 최초의 오프-폴리시 GRPO 프레임워크인 OP-GRPO를 제안합니다. 주요 구성 요소는 다음과 같습니다.

가. 고품질 리플레이 버퍼 (High-quality Replay Buffer)

• 활성 샘플 선택: 학습 중 생성된 샘플 중 보상이 높은 고품질 궤적 (Trajectory) 을 선별하여 리플레이 버퍼에 저장합니다.
• 유니크성 제약: 동일한 조건 (Prompt) 에 대해 버퍼 내 최대 하나의 궤적만 유지하여 데이터의 다양성을 확보하고 단순 반복을 방지합니다.
• 단계적 감쇠 (Stepwise Decay): 버퍼 내 샘플의 보상에 시간 감쇠를 적용하여, 오래된 샘플은 쉽게 교체되도록 하여 현재 정책과 너무 멀어지는 것을 방지합니다.
• 하이브리드 롤아웃: 학습 배치에서 일부 샘플은 버퍼에서 가져오고 (오프-폴리시), 나머지는 현재 정책으로 새로 생성 (온-폴리시) 하여 샘플 다양성과 재사용 효율을 동시에 확보합니다.

나. 시퀀스 레벨 중요도 샘플링 보정 (Sequence-level Importance Sampling Correction)

• 문제: 오프-폴리시 샘플을 단순히 GRPO 목적식에 적용하면, 클리핑 메커니즘이 현재 정책 ($\pi_{old}$) 과 과거 정책 ($\pi_{off}$) 간의 차이를 측정하게 되어 오히려 많은 샘플이 잘려나가고 (Clipping) 학습이 불안정해집니다.
• 해결:
  1. 기존 GRPO 의 클리핑 메커니즘은 여전히 현재 정책과 $\pi_{old}$ 간의 차이만 측정하도록 유지합니다.
  2. 분포 이동으로 인한 편향을 보정하기 위해 시퀀스 레벨의 중요도 보정 항을 목적식에 추가합니다.
  3. 이 방식은 클리핑되지 않은 샘플에 대해서만 분포 보정을 적용하여, 클리핑 비율을 40% 이상에서 11.8% 로 대폭 낮추고 학습 안정성을 확보합니다.

다. 궤적 트렁케이션 (Trajectory Truncation)

• 문제: Flow-Matching 모델에서 노이즈가 0 에 가까워지는 후기 디노이징 단계에서는 전이 분포가 거의 결정론적이 되어, 중요도 가중치가 수치적으로 매우 불안정해집니다 (Ill-conditioned).
• 해결: 오프-폴리시 샘플을 학습에 사용할 때, 불안정한 후기 단계 (Late steps) 를 잘라내고 (Truncation) 그 이후의 단계는 현재 정책으로 다시 생성 (Re-generate) 하는 혼합 궤적 전략을 사용합니다.
• 효과: 수치적 불안정성을 제거하면서도 생성된 이미지/비디오의 시각적 품질에는 거의 영향을 주지 않습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 오프-폴리시 GRPO 프레임워크: Flow-Matching 모델에 특화된 오프-폴리시 학습 프레임워크를 최초로 제안했습니다.
2. 고효율 리플레이 메커니즘: 고품질 궤적을 선별하여 재사용하는 리플레이 버퍼와 하이브리드 롤아웃 방식을 도입하여 샘플 효율성을 극대화했습니다.
3. 안정적인 분포 보정: 시퀀스 레벨 중요도 보정을 통해 오프-폴리시 샘플의 분포 이동 문제를 해결하면서도 GRPO 의 클리핑 안정성을 유지했습니다.
4. 수치적 안정성 개선: 후기 디노이징 단계의 수치적 불안정성을 이론적으로 분석하고, 궤적 트렁케이션 전략을 통해 이를 해결했습니다.

4. 실험 결과 (Results)

이미지 (SD3.5-M) 및 비디오 (Wan2.1-1.4B) 생성 벤치마크에서 다음과 같은 성과를 보였습니다.

• 학습 효율성: OP-GRPO 는 Flow-GRPO 가 달성하는 최종 성능에 도달하는 데 평균 34.2% 의 학습 단계 (Steps) 만이 필요했습니다. (비디오 생성의 경우 30.1% 수준)
• 성능 향상: 학습 효율성 향상과 동시에, 구성적 이미지 생성, 시각적 텍스트 렌더링, 인간 선호도 정렬 등 다양한 태스크에서 Flow-GRPO 와 동등하거나 더 우수한 성능을 달성했습니다.
• 일반화 능력: 훈련된 태스크 외의 메트릭 (Aesthetic, DeQA, ImageReward 등) 에서도 경쟁력 있는 성능을 보여주어, 오프-폴리시 학습이 과적합을 유발하지 않고 모델의 일반화 능력을 향상시킴을 입증했습니다.
• 비교 실험: 오프-폴리시 비율이 낮을 때는 수렴 속도가 느리고, 너무 높으면 불안정해지는 경향을 보였으며, 제안된 방법론이 이 균형을 잘 유지함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 Flow-Matching 기반 생성 모델의 RL 기반 정렬 (Alignment) 과정에서 발생하는 샘플 비효율성과 학습 불안정성을 해결하는 중요한 전환점을 제시합니다.

• 비용 절감: 기존 온-폴리시 방식에 비해 학습 시간을 획기적으로 단축하여 대규모 모델의 정렬 비용을 절감할 수 있습니다.
• 기술적 확장성: 오프-폴리시 학습의 어려움을 이론적으로 분석하고 구체적인 해결책 (보정, 트렁케이션) 을 제시함으로써, 향후 오디오나 3D 생성 등 다른 도메인으로의 확장에 대한 토대를 마련했습니다.
• 실용성: 고품질 생성 모델을 더 빠르게, 더 안정적으로 학습시킬 수 있는 실용적인 알고리즘을 제공하여 산업적 적용 가능성을 높였습니다.

요약하자면, OP-GRPO는 Flow-Matching 모델의 학습 효율성을 비약적으로 높이는 동시에 생성 품질을 유지하는 혁신적인 오프-폴리시 강화학습 프레임워크입니다.