DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment

이 논문은 흐름 매칭 모델의 정렬 과정에서 발생하는 희소 보상 문제를 해결하기 위해, 각 디노이징 단계의 세밀한 기여도를 평가하는 밀집 보상을 예측하고 이를 기반으로 탐색 공간을 적응적으로 조정하는 'DenseGRPO' 프레임워크를 제안합니다.

핵심

🎨 그림을 그리는 AI에게 "단계별 칭찬"을 주는 방법: DenseGRPO

이 논문은 텍스트를 입력하면 그림을 만들어내는 AI(생성형 AI) 가 더 좋은 그림을 그리도록 가르치는 새로운 방법을 소개합니다. 기존 방법의 문제점을 지적하고, 이를 해결하는 'DenseGRPO' 라는 혁신적인 기술을 제안합니다.

이 내용을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: "한 번에 점수만 주는" 나쁜 선생님

기존의 AI 학습 방법 (Flow-GRPO 등) 은 그림을 그리는 과정을 다음과 같이 가르쳤습니다.

• 상황: AI 가 100 단계에 걸쳐 흐릿한 노이즈에서 선명한 그림을 그려낸다고 가정해 봅시다.
• 기존 방식: AI 가 100 단계까지 다 그렸을 때, 최종 결과물 하나만 보고 "이 그림은 80 점이다!"라고 점수를 매겼습니다.
• 문제점: AI 는 1 단계에서 무엇을 잘못했는지, 50 단계에서 무엇을 잘했는지 전혀 모릅니다. 마치 수학 시험을 다 본 후, 100 점짜리 문제 하나만 보고 전체 점수를 매겨서 "너는 1 단계 계산도 틀렸는데 왜 80 점이야?"라고 혼내는 것과 같습니다.
  • AI 는 "어디가 잘못됐지?"를 알 수 없어, 다음에 어떻게 고쳐야 할지 막막해합니다. 이를 '희소 보상 (Sparse Reward)' 문제라고 부릅니다.

2. 해결책 1: DenseGRPO (밀집 보상) - "단계별 피드백"

이 논문은 DenseGRPO를 제안하며, 이 방식은 "매 단계마다 피드백을 주는" 훌륭한 선생님 역할을 합니다.

• 비유: 그림을 그리는 동안, AI 가 1 단계, 2 단계, 3 단계... 할 때마다 선생님이 옆에 서서 "지금 이 붓질은 좋았어!", "이 색칠은 조금 어색해" 라고 즉각적인 코칭을 해줍니다.
• 어떻게 하나요?
  • AI 가 현재 그리는 중간 단계의 그림을 잠시 멈추고, **"이 상태라면 최종 그림이 어떻게 될까?"**를 빠르게 예측합니다 (이걸 'ODE 디노이징'이라는 기술로 합니다).
  • 예측된 그림을 보고 점수를 매긴 뒤, 이전 단계와의 점수 차이를 계산합니다.
  • 결과적으로, AI 는 **"내가 지금 한 단계가 전체 점수를 얼마나 올렸는지 (또는 내렸는지)"**를 정확히 알게 됩니다.
  • 효과: AI 는 실수가 어디서 시작되었는지 정확히 파악하고, 각 단계마다 최선을 다해 고칠 수 있게 됩니다.

3. 해결책 2: 탐색 공간 보정 - "적당한 난이도 조절"

그런데 여기서 또 다른 문제가 생겼습니다. AI 가 새로운 그림을 시도할 때 (탐색), 너무 많이 흔들리거나 너무 안 흔들리는 문제가 생기는 것입니다.

• 비유: AI 가 그림을 그릴 때, 약간의 실수 (노이즈) 를 섞어서 다양한 시도를 해야 합니다.
  • 기존 방식: 모든 단계에서 똑같은 양의 실수를 섞었습니다.
  • 문제점: 그림을 그리는 초반에는 실수를 많이 해도 괜찮지만, 마무리 단계에서는 실수가 너무 많으면 그림이 망가집니다. 반대로 초반에는 실수가 너무 적으면 새로운 아이디어를 못 냅니다. 마치 등산할 때, 출발할 때와 정상에 가까울 때 똑같은 강도로 걷게 하는 것과 같습니다.
• DenseGRPO 의 해결책:
  • AI 가 매 단계마다 받은 점수 (보상) 를 분석합니다.
  • **"지금 단계에서는 실수를 조금 더 섞어도 괜찮을까? 아니면 줄여야 할까?"**를 스스로 판단하여, 단계마다 다른 강도의 실수 (노이즈) 를 섞어줍니다.
  • 효과: AI 는 항상 적당한 난이도에서 다양한 시도를 할 수 있게 되어, 더 창의적이고 좋은 그림을 찾아냅니다.

4. 결론: 왜 이 기술이 중요한가요?

이 연구는 AI 가 그림을 그릴 때, 결과만 보고 점수를 매기는 것이 아니라, 과정 하나하나를 꼼꼼히 평가하고 가르치는 것이 얼마나 중요한지 보여줍니다.

• 기존: "최종 결과 80 점. (어디가 잘못됐는지 모름)" -> AI 는 막연하게 노력함.
• DenseGRPO: "1 단계: 1 점 상승, 2 단계: 0.5 점 하락, 3 단계: 2 점 상승... 최종 85 점. (정확한 피드백)" -> AI 는 정확히 고쳐서 더 좋은 그림을 그림.

이 기술을 적용한 AI 는 텍스트를 입력했을 때, 더 정확한 색상, 더 자연스러운 텍스트, 더 멋진 구도를 가진 그림을 만들어냅니다. 마치 초보 화가를 가르칠 때, 한 번에 "완성품"만 보는 것이 아니라, 붓질 하나하나를 코칭해 주는 것과 같은 효과를 낸다고 할 수 있습니다.

---

한 줄 요약:

"그림을 그리는 AI 에게 '최종 점수'만 주는 게 아니라, '각 붓질마다' 피드백을 주고, 단계별로 적절한 난이도를 맞춰주어 더 똑똑하게 그림을 그리게 만든 기술입니다."

기술 요약

1. 문제 정의 (Problem)

최근 Flow Matching 기반 텍스트 - 이미지 생성 모델은 인간 선호도 정렬 (Human Preference Alignment) 을 위해 강화학습 (RL), 특히 **GRPO (Group Relative Policy Optimization)**를 활용한 접근법이 큰 성과를 거두고 있습니다. 그러나 기존 방법론 (Flow-GRPO, DanceGRPO 등) 은 다음과 같은 희소 보상 (Sparse Reward) 문제에 직면해 있습니다.

• 전체 궤적 보상의 불일치: 기존 GRPO 는 전체 디노이징 (denoising) 궤적이 끝난 후 최종 생성된 이미지 하나에 대해서만 하나의 보상을 계산합니다. 이 단일 보상을 전체 디노이징 과정의 모든 중간 단계 (intermediate steps) 에 동일하게 적용합니다.
• 세밀한 기여도 무시: 각 디노이징 단계는 전체 결과에 서로 다른 기여도를 가지지만, 전체 궤적 수준의 보상을 모든 단계에 할당함으로써 '할당된 피드백'과 '각 단계의 실제 미세한 기여도' 사이에 불일치 (mismatch) 가 발생합니다. 이는 정책 최적화 (Policy Optimization) 를 오도하여 학습 효율을 저하시킵니다.
• 탐색 공간의 부적절성: 기존 GRPO 기반 방법들은 탐색을 위해 SDE(SDE) 샘플러를 사용하지만, 시간 단계 (timestep) 에 따라 변하는 노이즈 강도 특성을 고려하지 않은 균일한 (Uniform) 노이즈 주입 방식을 사용합니다. 이는 특정 시간 단계에서 과도하거나 부족한 확률적 탐색을 유발하여 보상의 불균형을 초래합니다.

2. 제안 방법론 (Methodology: DenseGRPO)

저자들은 위 문제를 해결하기 위해 DenseGRPO라는 새로운 프레임워크를 제안합니다. 이는 인간 선호도를 **밀집 보상 (Dense Reward)**과 정렬하여 각 디노이징 단계의 세밀한 기여도를 평가합니다.

2.1 단계별 밀집 보상 추정 (Step-wise Dense Reward Estimation)

기존의 단일 보상 대신 각 단계별 보상을 예측하여 피드백 신호를 밀집화합니다.

• 보상 이득 (Reward Gain) 예측: 각 시간 단계 $t$에서의 보상은 현재 단계와 다음 단계의 잠재 공간 (latent) 간의 보상 변화량으로 정의합니다 ($\Delta R_t = R_{t-1} - R_t$).
• ODE 기반 보상 추정: 별도의 학습된 크리틱 (Critic) 모델 없이, Flow Matching 모델의 ODE(Ordinary Differential Equation) 샘플러의 결정론적 특성을 활용합니다.
  1. 중간 잠재 변수 $x_t$에서 ODE 디노이징을 통해 해당 단계에 대응하는 '클린 이미지 (Clean Image)'를 추정합니다.
  2. 기존 reward model 을 이 클린 이미지에 적용하여 해당 단계의 잠재 보상을 산출합니다.
  3. 단계별 보상 이득을 계산하여 각 디노이징 단계에 정확한 보상을 할당합니다.
• 효과: 이는 각 단계의 실제 기여도와 보상 피드백을 정렬시켜, 정책 최적화를 더욱 효과적으로 만듭니다.

2.2 탐색 공간 보정 (Exploration Space Calibration)

추정된 밀집 보상을 바탕으로 기존 SDE 샘플러의 탐색 공간 문제를 해결합니다.

• 문제 인식: 균일한 노이즈 주입 설정은 시간 단계에 따라 생성 과정의 특성이 변하는 것과 맞지 않아, 특정 단계에서는 탐색이 부족하거나 과도하게 이루어져 보상 분포가 불균형해집니다 (예: 후기 단계에서 대부분의 샘플이 음수 보상을 받는 현상).
• 보상 인지형 보정 (Reward-aware Scheme):
  • 각 시간 단계 $t$별로 적응형 노이즈 강도 $\psi(t)$를 도입합니다.
  • 알고리즘 1 에 따라, 각 단계에서 양수/음수 보상을 받는 샘플의 분포가 균형을 이룰 때까지 노이즈 레벨을 동적으로 조정합니다.
  • 목표: 모든 시간 단계에서 적절한 탐색 공간 (적당한 확률적 다양성과 보상 균형의 조화) 을 유지하여 GRPO 학습의 안정성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. DenseGRPO 프레임워크 도입: ODE 기반 접근법을 통해 각 디노이징 단계의 기여도를 정밀하게 평가하는 신뢰할 수 있는 단계별 밀집 보상을 추정합니다.
2. 탐색 공간 보정 기법: 추정된 밀집 보상을 기반으로 SDE 샘플러의 노이즈 주입을 시간 단계별로 적응형으로 조정하여, 모든 단계에서 유효한 탐색 공간을 보장합니다.
3. 성능 입증: 다양한 텍스트 - 이미지 벤치마크 (구성적 이미지 생성, 시각적 텍스트 렌더링, 인간 선호도 정렬) 에서 SOTA(State-of-the-Art) 성능을 달성하며, Flow Matching 모델 정렬에서 유효한 밀집 보상의 중요성을 입증했습니다.

4. 실험 결과 (Results)

저자들은 Compositional Image Generation (GenEval), Visual Text Rendering (OCR), Human Preference Alignment (PickScore) 등 세 가지 주요 태스크에서 DenseGRPO 를 기존 방법 (Flow-GRPO, CoCA 등) 과 비교했습니다.

• 성능 향상:
  • Human Preference Alignment: PickScore 에서 기존 Flow-GRPO 대비 1.01 점 이상 크게 향상되었습니다 (23.53 $\to$ 24.55).
  • Compositional Image Generation: GenEval 점수에서 0.97 로 가장 높은 성능을 기록했습니다.
  • Visual Text Rendering: OCR 정확도에서 0.95 로 경쟁사보다 우세했습니다.
• 학습 곡선: DenseGRPO 는 학습 초기부터 더 빠르고 안정적인 수렴을 보이며, 특히 인간 선호도 정렬 태스크에서 다른 방법론을 압도했습니다.
• 생성 품질: "Ladybug on top of a toadstool"과 같은 복잡한 공간 관계나 텍스트 정합성에서 기존 방법론이 실패한 경우에도 DenseGRPO 는 정확한 위치 관계와 텍스트를 생성하는 등 시각적 및 의미적 품질이 우수했습니다.
• Ablation Study:
  • 희소 보상 대비 밀집 보상의 도입이 성능 향상의 핵심임을 확인했습니다.
  • 균일 노이즈 설정 대비 시간별 적응형 노이즈 보정 ($\psi(t)$) 이 학습 안정성과 최종 성능을 모두 개선함을 입증했습니다.
  • ODE 디노이징 단계 수 ($n$) 를 증가시킬수록 (단일 단계 대비 $n=t$) 보상 추정의 정확도가 높아져 성능이 향상됨을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 Flow Matching 기반 생성 모델의 RL 정렬 과정에서 발생하는 보상 신호와 단계별 기여도 간의 불일치라는 근본적인 문제를 해결했습니다.

• 기술적 혁신: 별도의 추가 모델 학습 없이 ODE 의 특성을 활용하여 효율적으로 밀집 보상을 추정하는 방법을 제시했습니다.
• 학습 안정성: 시간 단계에 따른 노이즈 강도의 동적 조정을 통해 RL 학습의 탐색 공간을 최적화함으로써, 기존 GRPO 방법론의 한계를 극복했습니다.
• 미래 영향: DenseGRPO 는 텍스트 - 이미지 생성 모델이 인간의 복잡한 선호도를 더 정교하게 학습할 수 있는 새로운 표준을 제시하며, 생성 모델의 정렬 (Alignment) 연구 분야에서 중요한 이정표가 될 것으로 기대됩니다.