기술 요약: Flash-GRPO

문제 제기

비디오 확산 모델은 사실적인 콘텐츠 생성에서 상당한 진전을 이루었으나, 이러한 모델을 인간의 선호도 (미적 품질, 프롬프트 준수, 물리적 타당성) 와 정렬시키는 것은 여전히 중요한 과제로 남아 있습니다. 정렬을 위한 지배적인 패러다임으로 부상한 강화 학습 (RL), 특히 그룹 상대 정책 최적화 (GRPO) 는 심각한 계산 병목 현상에 직면해 있습니다. 표준 GRPO 는 전체 시공간 탈노이즈 궤적을 통해 기울기를 역전파해야 하므로, 대규모 모델 (예: 14B 파라미터) 의 경우 수백 개의 GPU 일 (GPU days) 을 요구합니다.

기존의 효율성 개선 방법들은 시간 단계 (timesteps) 를 부분 표본 추출 (예: 슬라이딩 윈도우 접근법) 함으로써 이러한 비용을 완화하려 시도합니다. 그러나 저자들은 이러한 단순한 부분 표본 추출 전략이 근본적으로 최적화를 훼손한다고 지적합니다. 이러한 방법들은 심각한 학습 불안정성을 보이며 전체 궤적 학습의 성능 한계에 도달하지 못합니다. 이 논문은 이러한 실패를 두 가지 근본 원인으로 귀결합니다:

1. 시간 단계 혼란 우위 추정 (Timestep-Confounded Advantage Estimation): 우위 그룹 내에서 시간 단계를 혼합하면 보상 변동성이 서로 다른 노이즈 수준의 고유한 난이도와 얽히게 되어, 실제 정책 신호가 흐려집니다.
2. 시간 의존적 기울기 스케일링: 정책 기울기에는 확률 미분 방정식 (SDE) 이산화에서 유도된 시간 의존적 스케일링 인자가 내재되어 있습니다. 이 인자는 확산 궤적 전반에 걸쳐 수 차례의 크기 차이를 보이며, 실제 중요도와 관계없이 초기 시간 단계가 파라미터 업데이트를 지배하게 만들어 최적화 불균형을 초래합니다.

방법론: Flash-GRPO

저자들은 전체 궤적 성능을 달성하면서도 학습 롤아웃당 단 하나의 시간 단계만 활용하도록 설계된 단일 단계 학습 프레임워크인 Flash-GRPO를 제안합니다. 이 방법은 두 가지 핵심 메커니즘을 통해 식별된 불안정성을 해결합니다:

1. 등시성 그룹화 (Iso-Temporal Grouping)

시간 단계 혼란 변동성을 제거하기 위해 Flash-GRPO 는 프롬프트 그룹 내에서 시간적 일관성을 강제합니다.

• 메커니즘: 주어진 프롬프트에 대해, 그룹 내의 모든 $G$개 롤아웃은 정확히 동일한 시간 단계 $t_k$를 공유하지만 서로 다른 가우시안 노이즈로 초기화됩니다.
• 과정: 그룹은 할당된 시간 단계 $t_k$에서 단일 단계 ODE-to-SDE 전이를 수행하여 탐색과 기울기 계산을 가능하게 합니다. 궤적의 나머지 모든 시간 단계는 고품질 생성과 정확한 보상 신호를 보장하기 위해 결정론적 상미분 방정식 (ODE) 샘플링을 사용합니다.
• 효과: 이는 우위 계산을 인수분해하여 정책 유발 변동성을 시간 단계 유발 변동성으로부터 분리합니다. 이로 인해 상대적 성능 비교가 동일한 탈노이즈 조건 하에서 이루어지며, 정책 성능이 시간 단계 난이도로부터 분리됩니다.

2. 시간적 기울기 정정 (Temporal Gradient Rectification)

기울기 스케일 이질성을 해결하기 위해 저자들은 역방향 생성 과정에 대한 명시적 정책 기울기를 유도합니다.

• 유도: 기울기는 시간 의존적 계수 $\lambda(t) = \frac{\sqrt{\Delta t}}{\sigma_t} + \frac{\sigma_t\sqrt{\Delta t}(1-t)}{2t}$에 의해 스케일링되는 것으로 나타납니다. 다양한 시간 단계를 가진 단일 단계 설정에서는 이로 인해 기울기 크기가 극도로 불일치하게 됩니다.
• 메커니즘: Flash-GRPO 는 기울기를 $1/\lambda(t)$로 명시적으로 정규화하는 시간적 기울기 정정을 도입합니다.
• 효과: 이는 모든 시간 단계에 대해 $\lambda(t) \to 1$이 되도록 강제하여, 확산 궤적 내 시간 단계의 위치에 관계없이 파라미터 업데이트에 균일한 기여를 보장합니다. 이는 이산화로 인한 편향을 제거하고 최적화 역학을 안정화합니다.

주요 기여

1. 불안정성 원인 규명: 이 논문은 단일 단계 비디오 GRPO 의 두 가지 특정 불안정성 원인 (시간 단계 혼란 우위 추정 및 시간 의존적 기울기 스케일링) 에 대한 이론적 유도 및 실증적 검증을 제공합니다.
2. Flash-GRPO 프레임워크: 정밀한 우위 추정을 위한 등시성 그룹화와 균형 잡힌 최적화를 위한 시간적 기울기 정정을 결합한 원칙적인 단일 단계 학습 프레임워크입니다.
3. 확장성 및 효율성: 1.3B 에서 14B 파라미터에 이르는 모델들에 대한 검증을 통해, 이 방법이 전통적인 효율성 - 품질 트레이드오프를 제거하고 계산 비용을 대폭 줄이면서도 최첨단 정렬 품질을 달성함을 입증했습니다.

실험 결과

저자들은 HPSv3 보상 모델과 VBench 지표를 사용하여 Wan2.1 비디오 모델 (1.3B 및 14B 파라미터) 에서 Flash-GRPO 를 평가했습니다.

• 학습 효율성: Flash-GRPO 는 표준 전체 궤적 방법에 비해 학습 비용을 6 배 가속화했습니다.
• 안정성: 치명적인 최적화 붕괴와 보상 변동성을 겪는 단순한 단일 단계 방법 (예: Flow-GRPO-Fast1) 과 달리, Flash-GRPO 는 안정적이고 단조로운 보상 성장을 유지합니다.
• 성능:
  • 1.3B 모델에서 Flash-GRPO 는 비교된 방법 중 가장 높은 미적 품질 (66.43) 과 주제 일관성 (98.70) 을 달성하여 Flow-GRPO 와 Flow-GRPO-Fast1 모두를 능가했습니다.
  • 14B 모델에서 Flash-GRPO 는 일관된 안정성과 단조로운 성장을 보인 반면, Flow-GRPO 는 느린 수렴과 불안정성을 나타냈습니다.
  • 정성적 개선: 시각적 비교 결과, 기존 베이스라인에 비해 향상된 시간적 역동성 (깜빡임 감소), 개선된 시각적 충실도 (풍부한 디테일), 그리고 더 나은 프롬프트 준수가 확인되었습니다.

의의 및 주장

이 논문은 Flash-GRPO 가 비디오 확산 모델에서 계산 효율성과 정렬 품질 간의 근본적인 트레이드오프를 해결한다고 주장합니다. 단일 단계 최적화의 특정 수학적 인공물 (혼란된 변동성과 기울기 스케일링) 을 해결함으로써, 이 방법은 고품질 비디오 RL 정렬을 실용적이고 확장 가능하게 만듭니다. 저자들은 그들의 접근 방식이 모델들이 낮은 계산 예산 하에서도 작동하면서 전체 궤적 학습의 성능 한계에 도달할 수 있게 하여, 대규모 비디오 모델 정렬을 위한 견고한 대안이 된다고 주장합니다.