📊 statistics

dFlowGRPO: Rate-Aware Policy Optimization for Discrete Flow Models

본 논문은 디노이징을 마르코프 결정 과정으로 공식화하여 GRPO 스타일 최적화를 일반 이산 흐름 모델로 확장하는 통합 강화 학습 프레임워크인 dFlowGRPO 를 소개하며, 기존 방법들에 비해 텍스트-이미지 생성 및 멀티모달 이해에서 우수한 성능을 입증합니다.

원저자: Zhengyan Wan, Yidong Ouyang, Panwen Hu, Qiang Sun

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhengyan Wan, Yidong Ouyang, Panwen Hu, Qiang Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 그림을 그리거나 질문에 답하는 법을 가르친다고 상상해 보세요. 보통 우리는 로봇에게 수백만 개의 예시를 보여주고, 한 번에 아주 작은 조각씩 다음 단계를 추측하도록 가르칩니다. 이는 화가가 한 번에 한 붓질씩 그림을 그리고, 다음 붓질을 하기 전에 페인트가 마르기를 기다리는 것과 같습니다.

하지만 **이산 흐름 모델 (Discrete Flow Models, DFMs)**이라는 더 새롭고 빠른 방법이 있습니다. 이 모델들은 붓질 하나하나씩 그림을 그리는 대신, 섞여 있는 퍼즐 조각들처럼 엉망으로 뒤섞인 상태 (messy, scrambled mess) 에서 시작해, 한 번에 명확한 그림이나 올바른 답을 "해독"하려고 시도합니다. 이는 노이즈를 제거하기 위해 여러 개의 작은 단계를 거치는 방식으로 이루어집니다.

그러나 운 좋게 정답을 맞힌 학생처럼, 이러한 모델들도 일관되게 올바른 답을 얻는 방법을 배우기 위해 더 나은 교사가 필요합니다. 바로 **강화 학습 (Reinforcement Learning, RL)**이 그 역할을 합니다. 이는 로봇이 그림을 그리는 작업을 마친 후 코치가 점수를 매기는 것과 같습니다. "눈은 잘 그렸는데, 코가 잘못됐네."

문제: "일률적"인 코치

이전에는 연구자들이 RL 을 사용하여 이러한 "해독" 로봇들을 코치하려 했지만, 대부분 단순한 "마스킹" 게임 (이미지의 일부를 가리고 추측하는 방식) 처럼 작동하는 매우 구체적인 유형의 로봇 (dLLMs) 에만 집중했습니다.

문제는 더 새롭고 유연한 로봇들 (일반적인 DFMs) 은 다르게 작동한다는 점입니다. 그들은 단순히 조각들을 가리는 것이 아니라, 엉망인 상태에서 깔끔한 상태로 이동하는 방식을 결정하기 위해 복잡한 규칙을 사용합니다. 기존의 코치 방법들은 이러한 복잡한 규칙을 이해하지 못했기 때문에 좋은 피드백을 줄 수 없었습니다. 이는 체스 선수를 바둑 규칙으로 코치하려는 것과 같습니다.

해결책: dFlowGRPO ("속도 인지형" 코치)

이 논문의 저자들은 dFlowGRPO를 소개합니다. 이는 이러한 로봇들이 데이터를 해독하는 방식의 특정 "물리 법칙"을 이해하는 초지능 코치라고 생각하면 됩니다.

간단한 비유를 통해 작동 방식을 살펴보겠습니다:

"속도 (Rate)"는 속도 제한입니다: 로봇이 엉망인 도시 (노이즈) 에서 깔끔한 도시 (정답) 로 운전한다고 상상해 보세요. "전이 속도 (transition rate)"는 모든 교차로에서의 속도 제한과 교통 규칙입니다. 어떤 길은 빠르고, 다른 길은 느립니다.
"후사 (Posterior)"는 GPS 입니다: 이는 로봇이 현재 목적지가 어디라고 추측하는 것입니다.
기존 코치: 최종 목적지만 보았습니다. "여기에 도착했으니, 잘했네!" 로봇이 위험한 지름길을 갔거나 규칙을 따르지 않았는지에는 관심이 없었습니다.
dFlowGRPO 코치: GPS(로봇의 추측) 와 속도 제한(전이 속도) 모두를 봅니다. 도로 규칙을 고려할 때 로봇이 그 경로를 선택했을 확률을 정확히 계산합니다.

이 두 가지 정보를 결합함으로써 dFlowGRPO 는 로봇에게 다음과 같이 알려줄 수 있습니다. "정답은 맞았지만, 통계적으로 매우 드문 이상한 경로를 택했어. 다음에는 주요 도로를 따르도록 해." 이는 로봇이 어떻게 개선해야 하는지에 대해 훨씬 더 명확한 지시를 제공합니다.

테스트 내용

저자들은 FUDOKI라는 로봇에서 이 새로운 코치 방법을 테스트했는데, 이 로봇은 두 가지 분야에서 뛰어납니다:

그림 그리기: 텍스트 설명을 이미지로 변환합니다.
세계 이해: 이미지와 관련된 질문 (예: 과학 퀴즈) 에 답합니다.

결과:

그림 그리기: dFlowGRPO 로 FUDOKI 를 코치했을 때, 로봇의 그림 실력이 크게 향상되었습니다. "매트에 앉아 있는 고양이"와 같은 설명과 그림이 일치하는지 확인하는 테스트에서 더 높은 점수를 받았습니다. 시험 문제를 부정하거나 암기하지 않고도 "보통" 점수에서 "훌륭한" 점수로 향상되었습니다.
이해: 과학 질문에 적용했을 때, 로봇의 정확도가 크게 뛰어났습니다. 정답률이 약 75% 에서 81% 이상으로 상승했습니다.
비교: 이 새로운 코치를 다른 방법들과 비교했습니다. 기존 방법들은 불안정했습니다 (로봇이 혼란을 겪고 학습을 중단함) 또는 그다지 개선되지 않았습니다. dFlowGRPO 가 가장 안정적이고 효과적이었습니다.

결론

이 논문은 유연한 "해독" AI 모델을 훈련시키기 위한 새로운 통합 방식을 제시합니다. 이러한 모델들이 혼란에서 질서로 이동하는 방식의 특정 규칙 (속도) 을 이해하는 코치 시스템을 구축함으로써, 저자들은 모델들이 이미지 생성과 복잡한 질문 이해 모두에서 훨씬 더 뛰어난 성과를 내도록 만들었습니다. AI 에게 그 고유의 메커니즘에 기반한 올바른 피드백을 제공할 때, AI 는 더 빠르게 학습하고 더 잘 수행한다는 것을 증명했습니다.

기술 요약: dFlowGRPO

문제 정의

이산 흐름 모델 (DFM) 은 이산 데이터를 위한 유연한 생성 모델 클래스를 나타내며, 일반적인 확률 경로와 비마스크 원본 분포를 지원함으로써 이산 확산 대규모 언어 모델 (dLLM) 보다 더 넓은 설계 공간을 제공합니다. 강화 학습 (RL) 이 생성 품질을 향상시키기 위해 dLLM 에 성공적으로 적용되어 왔지만, 기존 방법들은 일반 DFM 으로 확장될 때 상당한 어려움에 직면합니다. 주요 장애물은 DFM 의 로그 가능도 추정이 어렵다는 점이며, 이는 자기회귀 모델에서와 같이 자연스럽게 분해될 수 없습니다. dLLM 을 위한 현재 RL 접근법들은 종종 일반 DFM 고유의 특정 조건부 전이율과 사후 역학을 고려하지 못하는 근사 (예: 평균장 또는 ELBO 기반) 에 의존합니다. 결과적으로, 조건부 전이율과 사후 모델 모두를 포함한 DFM 의 전체 궤적 정보를 효과적으로 활용하는 통합된 RL 프레임워크가 부재합니다.

방법론

저자들은 DFM 을 위해 특별히 설계된 통합된 속도 인식 정책 최적화 프레임워크인 dFlowGRPO(Discrete Flow-GRPO) 를 제안합니다. 방법론은 다음과 같은 주요 단계를 거칩니다:

MDP 공식화: DFM 의 탈잡음 과정은 마르코프 결정 과정 (MDP) 으로 공식화되며, 여기서 상태는 현재 토큰 시퀀스와 시간 단계를 포함하고, 행동은 다음 상태로의 전이입니다.
궤적 확률 유도: 핵심 이론적 기여는 오일러 샘플러를 사용하여 DFM 에 대한 전체 궤적 확률을 유도하는 것입니다. 저자들은 현재 정책과 이전 정책 간의 전이 확률 비율이 속도 의존 항으로 재가중된 토큰별 기대 사후 비율의 곱으로 표현될 수 있음을 증명합니다.
- 구체적으로, 비율 $r_k(\theta)$ 는 다음과 같이 유도됩니다:
  $r_k(\theta) = \prod_{d \in [D]} \mathbb{E}_{X^d_1 \sim p^{\theta_{old}}_{1|t_k}} \left[ w^{\theta_{old}, d}_{Q,k} \cdot \mathbb{E}_{X^d_1 \sim p^{\theta_{old}}_{1|t_k}} \left[ \frac{p^\theta_{1|t_k}(X^d_1|x_{t_k})}{p^{\theta_{old}}_{1|t_k}(X^d_1|x_{t_k})} \right] \right]$
  (주: 원문 수식과 일치하도록 재구성)
- 여기서 $w^{\theta_{old}, d}_{Q,k}$ 는 조건부 전이율에서 유도된 속도 의존 가중치이며, 두 번째 항은 사후 비율입니다.
효율적 추정: 이 프레임워크는 추가적인 순방향 통과 없이 사후 모델에서 몬테카를로 (MC) 샘플을 사용하여 이 전이 확률 비율을 추정할 수 있게 합니다. 이를 통해 조건부 전이율과 사후 모델의 정보를 모두 RL 목적 함수에 통합할 수 있습니다.
최적화 목적 함수: GRPO(그룹 상대 정책 최적화) 프레임워크를 기반으로 하여, dFlowGRPO 는 유도된 전이 확률 비율과 그룹 정규화된 이점 추정치를 포함하는 클리핑 목적 함수를 사용하여 정책을 최적화합니다. 목적 함수에는 정책 붕괴를 방지하기 위한 KL 정규화 항이 포함됩니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

통합 프레임워크: 조건부 속도와 사후 모델로부터의 정보를 활용하여 일반적인 확률 경로와 조건부 속도를 지원하는 DFM 을 위한 통합된 속도 인식 정책 최적화 프레임워크인 dFlowGRPO 의 제안.
이론적 유도: 탈잡음 궤적에 대한 전이 확률 비율의 유도. 이는 속도 의존 항으로 재가중된 토큰별 기대 사후 비율의 곱으로 분해될 수 있음을 보여줍니다. 이 항은 추가 순방향 통과 없이 MC 샘플을 통해 추정 가능함이 입증되었습니다.
실증적 검증: 멀티모달 DFM(FUDOKI) 에 dFlowGRPO 를 적용하여, 기존 RL 방법 대비 텍스트 - 이미지 생성 및 멀티모달 이해 작업 모두에서 유의미한 개선을 입증했습니다.

실험 결과

저자들은 두 가지 도메인에서 베이스 모델로 FUDOKI를 사용하여 dFlowGRPO 를 평가했습니다:

텍스트 - 이미지 생성:
- GenEval, PickScore, DrawBench에서 평가되었습니다.
- 분류기 없는 안내 (CFG) 없이, dFlowGRPO 는 FUDOKI 의 PickScore 를 20.87 에서 23.00 으로, GenEval 점수를 61% 에서 93% 로 향상시켰습니다.
- GenEval 벤치마크에서 dFlowGRPO 는 전체 점수 0.93을 달성하여 다른 통합 멀티모달 모델을 능가했으며, 더 적은 탈잡음 단계 (8 NFE) 와 CFG 없이도 전용 생성 전용 모델을 능가하거나与之 견주었습니다.
- 이 방법은 보상 해킹에 대한 견고성을 보여주었으며, 여러 지표 (HPSv3, 미적 점수 등) 에서 일관된 개선을 보였습니다.
멀티모달 이해:
- ScienceQA, POPE, MME-P, SEED, MMB, GQA에서 평가되었습니다.
- ScienceQA 에서 dFlowGRPO 는 LLM 추출 시 정확도를 75.1% 에서 **81.1%**로, LLM 추출 없이 54.1% 에서 59.1% 로 향상시켰으며, 보상 해킹은 최소화되었습니다.
- GQA, SEED, MMB 벤치마크에서도 성능 향상이 관찰되었습니다.
절차 연구 (Ablation Studies):
- MC 샘플: MC 샘플 수를 증가시킴 ( $n=1$ 에서 $n=24$ 로) 에 따라 학습 수렴이 가속화되었고 최종 보상이 향상되었습니다.
- KL 정규화: KL 정규화 없이 학습하면 높은 보상을 달성했으나, KL 정규화 ( $\beta=0.01$ ) 를 추가하면 보상 해킹이 현저히 완화되고 보조 지표에서의 성능이 향상되었습니다.
- 비교: dFlowGRPO 는 일반 확률 경로에 대해 덜 안정적이거나 덜 효과적인 것으로 밝혀진 평균장 근사 방법 (diffu-GRPO, diffu-GSPO) 및 온라인 DPO 변형들을 일관되게 능가했습니다.

중요성과 주장

본 논문은 dFlowGRPO 가 특정 dLLM 구성으로 제한되거나 부정확한 근사에 의존했던 이전 방법들의 한계를 해결하며, 일반 이산 흐름 모델에 강화 학습을 적용하기 위한 통합적이고 효과적인 솔루션을 제공한다고 주장합니다. 정확한 전이 확률 비율을 유도하고 속도 의존 가중치를 통합함으로써, 이 프레임워크는 DFM 의 전체 구조적 정보를 활용합니다.

저자들은 dFlowGRPO 를 마스킹 확산 모델뿐만 아니라 더 넓은 범주의 DFM 에 RL 을 성공적으로 적용할 수 있음을 보여주며, 이산 흐름 모델을 인간의 선호도와 작업별 목표에 정렬시키는 중요한 진전으로 위치시킵니다. 결과는 dFlowGRPO 가 Flow-GRPO 를 사용하여 훈련된 연속 흐름 기반 모델과 경쟁력 있는 성능을 달성하면서도 이해 작업에서 강력한 능력을 유지함을 시사합니다. 논문은 현재 평가가 단일 DFM(FUDOKI) 으로 제한되어 있음을 겸손하게 언급하며, 향후 연구가 다른 조건부 속도를 가진 다른 dLLM 에 이러한 속도 인식 기법을 적용할 수 있음을 제안합니다.