Principled RL for Flow Matching Emerges from the Chunk-level Policy Optimization

기술 요약: 청크 수준 정책 최적화를 통한 흐름 매칭을 위한 원칙 기반 강화 학습

문제 제기
최근 사후 훈련 텍스트-이미지 (T2I) 흐름 매칭 모델의 발전은 생성된 이미지를 인간의 선호도와 정렬시키기 위해 그룹 상대 정책 최적화 (GRPO) 를 활용해 왔습니다. 그러나 GRPO 는 부정확한 이점 귀속이라는 치명적인 한계를 겪고 있습니다. 표준 GRPO 에서는 생성된 이미지로부터 얻은 최종 보상이 생성 궤적의 모든 단계에 균일하게 귀속됩니다. 이는 우수한 최종 결과가 모든 중간 단계에서도 우수한 정책을 의미한다는 가정에 의존합니다. 저자들은 이 가정이 자주 위반됨을 입증했습니다. 더 나은 최종 보상을 산출하는 궤적이더라도, 더 나쁜 최종 보상을 가진 궤적에 비해 열등한 정책을 가진 중간 단계를 포함할 수 있습니다. 이러한 잘못된 귀속은 노이즈가 포함된 최적화 신호를 도입하여 훈련 불안정성을 초래합니다. 프로세스 인식 보상 모델이 이론적으로 이를 해결할 수 있지만, 현재는 사용 불가능한 노이즈가 있는 중간 이미지에 대한 방대한 양의 선호도 데이터가 필요합니다.

방법론: 그룹 청킹 정책 최적화 (GCPO)
프로세스 보상을 도입하지 않고 부정확한 이점 귀속 문제를 해결하기 위해, 저자들은 **그룹 청킹 정책 최적화 (GCPO)**를 제안합니다. 이 접근법은 정책 최적화 패러다임을 단계 수준에서 청크 수준으로 전환합니다.

1. 청크 수준 집계: 각 생성 단계를 독립적인 행동으로 취급하는 대신, GCPO 는 연속된 단계를 일관된 "행동 청크"로 집계합니다. 정책은 이러한 청크에 대해 최적화되며, 각 청크는 단일 원자 행동으로 간주됩니다. 이 집단은 개별 단계에서의 이점 귀속 오류로 인한 기울기 변동을 완화합니다.
2. 시간적 역학 기반 청킹: 저자들은 흐름 매칭이 서로 다른 단계가 최종 이미지에 불균등하게 기여하는 뚜렷한 시간적 역학을 보인다고 관찰했습니다. 잠재 공간에서의 상대적 $L_1$ 거리 ($L1_{rel}(x, t)$) 를 사용하여 변화율을 정량화합니다. 유사한 시간적 역학 (예: 유사한 잠재 변화율) 을 가진 단계는 동일한 청크로 그룹화되고, 뚜렷한 역학을 가진 단계는 분리됩니다. 적응형 전략을 사용하여 상대적 거리의 미분을 재귀적으로 분석하여 궤적을 의미 있는 청크로 분할합니다.
3. 원칙적 중요도 비율: 최적화 목적 함수는 청크 수준 중요도 비율을 사용하도록 재구성됩니다. 이 비율은 청크 크기로 정규화된 전체 청크의 가능성에 기반하여 계산되어 안정성을 보장합니다.
4. 가중 샘플링 (선택 사항): 성능을 더욱 향상시키기 위해 선택적 가중 샘플링 전략이 도입됩니다. 고노이즈 영역 (초기 단계) 이 선호도 정렬에 더 크게 기여하지만 불안정성을 겪는다는 제거 실험 결과에 기반하여, 이 전략은 평균 $L1_{rel}$ 값이 높은 청크에 더 높은 샘플링 가중치를 부여합니다.

주요 기여

• 선구적인 청크 수준 강화 학습: 이 논문은 T2I 생성에서 사후 훈련 흐름 매칭을 위한 최초의 청크 수준 강화 학습 접근법을 소개합니다.
• 이점 귀속 문제 완화: 연속된 단계를 단일 행동으로 취급함으로써, GCPO 는 단계 수준 GRPO 에 내재된 부정확한 이점 귀속의 부정적 영향을 효과적으로 완화하여 더 안정적인 훈련을 이끕니다.
• 시간적 역학 통합: 이 방법은 원칙적인 청크 수준 중요도 비율과 시간적 역학 기반 청킹을 통합하여, 최적화 과정을 흐름 매칭의 고유 구조와 정렬시킵니다.
• 성능 향상: 광범위한 실험을 통해 GCPO 가 선호도 정렬과 표준 T2I 벤치마크 모두에서 GRPO 기준 대비 최대 **43%**의 상대적 개선을 달성하여 우수한 성능을 보임을 입증했습니다.

실험 결과
저자들은 FLUX.1 Dev 모델을 HPDv2.1 데이터셋에서 평가하여 Dance-GRPO 및 Flow-GRPO 와 같은 기준 모델과 비교했습니다.

• 선호도 정렬: GCPO 는 도메인 내 (HPSv3) 및 도메인 외 (ImageReward) 지표에서 상당한 개선을 달성하여 기준 모델보다 최대 43% 를 상회했습니다.
• 표준 벤치마크: GenEval 및 DPG 벤치마크에서 GCPO 는 가장 강력한 성능을 보였으며, 기준 모델 대비 최대 3 배에 달하는 상대적 개선을 기록했습니다.
• 사용자 연구: 40 개의 프롬프트에 걸친 인간 선호도 연구에서, GCPO 변형은 72.5% 의 경우에서 Dance-GRPO 보다 선호되었습니다.
• 제거 실험:
  • 청킹 전략: 시간적 역학 기반 청킹이 고정 크기 청킹보다 우월하여, 최적화를 고유한 시간적 구조와 정렬하는 것의 중요성을 확인했습니다.
  • 가중 샘플링: 이 전략은 선호도 정렬을 개선했지만, 표준 T2I 벤치마크에서는 혼합된 효과를 보였으며, 고노이즈 영역에서 이미지 구조를 불안정하게 만드는 경우가 있었습니다.

의의 및 주장
이 논문은 GCPO 가 최적화 세분성의 변화를 통해 부정확한 이점 귀속이라는 근본적인 문제를 해결함으로써 흐름 매칭을 위한 강화 학습의 원칙적 발전이라고 주장합니다. 저자들은 생성 과정의 고유한 시간적 역학에 의해 안내되는 단계 수준에서 청크 수준으로의 최적화 전환이 프로세스 보상 모델을 위한 사용 불가능한 데이터를 필요로 하지 않는 견고한 해결책을 제공한다고 논증합니다. 이 연구는 청크 수준 정책 최적화가 생성 흐름 모델의 사후 훈련을 안정화하고 개선하기 위한 유망한 방향임을 강조합니다. 저자들은 서로 다른 청크 간의 이질적 보상을 결합함으로써 추가적인 개선이 가능할 수 있다는 잠재적 한계와 딥페이크 생성과 같은 오용 가능성을 포함한 고급 생성 AI 와 관련된 일반적인 위험을 겸손하게 인정합니다.