🤖 machine learning

Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models

이 논문은 구조적으로 부적합한 PPO의 비율 클리핑(ratio clipping)을 정확하고 효율적인 KL 발산 제약 조건으로 대체하여 더 높은 보상, 안정적인 다중 에포크 학습, 그리고 더 나은 다중 목적 최적화를 달성하는 플로우 매칭 모델을 위한 새로운 강화 학습 알고리즘인 Flow-DPPO를 제안한다.

원저자: Bowen Ping, Xiangxin Zhou, Penghui Qi, Minnan Luo, Liefeng Bo, Tianyu Pang

게시일 2026-06-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bowen Ping, Xiangxin Zhou, Penghui Qi, Minnan Luo, Liefeng Bo, Tianyu Pang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 유능한 예술가(AI 이미지 생성기)에게 특정 지침에 따라 더 나은 그림을 그릴 수 있도록 가르치고 있다고 상상해 보세요. 이 예술가는 이미 그림을 그릴 줄 알지만, 당신은 "세 마리의 흰 양 위에 있는 파란 개"와 같은 복잡한 프롬프트를 더 잘 따르도록 만들고 싶습니다.

이를 위해 당신은 **강화 학습(Reinforcement Learning, RL)**이라는 방법을 사용합니다. 예술가에게 몇 가지 버전을 그리게 한 뒤, 지침을 얼마나 잘 따랐는지에 따라 점수(보상)를 주고, "좋은" 버전처럼 더 많이 그리고 "나쁜" 버전처럼은 덜 그리도록 유도합니다.

이 논문은 이렇게 유도하는 더 똑똑한 방법인 Flow-DPPO를 소개합니다. 다음은 이들이 해결한 문제와 그 해결책을 쉬운 비유를 들어 설명한 내용입니다.

문제점: "노이즈 섞인 속삭임" vs "진정한 거리"

이전 방식들(Flow-GR0P 등)은 예술가가 자신의 화풍을 너무 급격하게 바꾸지 못하도록 노력했습니다. 그들은 **비율 클리핑(Ratio Clipping)**이라는 규칙을 사용했습니다.

비유: 당신이 학생이 선생님으로부터 너무 멀리 도망가지 못하게 막으려 한다고 상상해 보세요. 기존 방식은 학생에게 "얼마나 멀리 이동했니?"라고 물었지만, 안개가 자욱한 방 안에 서 있는 흔들리는 목격자 한 명에게 질문을 던지는 것과 같았습니다.
문제점: "목격자"(데이터 샘플)가 흔들리고 안개가 끼어 있었기 때문에(노이즈), 선생님은 종종 잘못된 판단을 내렸습니다. 때로는 학생이 아주 조금 움직였을 뿐인데 안개 때문에 거대한 도약처럼 보여서 선생님이 당황하여 학생을 멈춰 세웠고(과잉 제약), 반대로 학생이 멀리 달아났는데도 안개가 이를 가려서 선생님이 너무 멀리 가게 내버려 두기도 했습니다(과소 제약).
결과: 예술가는 혼란에 빠졌습니다. 너무 자주 제지당해서 학습을 멈추거나, 혹은 원래의 기술을 망가뜨릴 정도로 너무 멀리 방치되곤 했습니다.

해결책: Flow-DPPO (정밀한 자)

저자들은 Flow Matching 모델(여기서 사용되는 AI 유형)이 특별한 초능력을 가지고 있다는 사실을 깨달았습니다. 바로 가우시안(정규 분포) 수학을 기반으로 구축되었다는 점입니다. 이는 이전 화풍과 새로운 시도 사이의 "거리"를 추측이나 노이즈 없이 정확하게 계산할 수 있음을 의미합니다.

비유: 흔들리는 목격자에게 묻는 대신, Flow-DPPO는 선생님에게 레이저 측정기를 쥐여줍니다.
작동 원리:
1. 정밀한 측정: 시스템은 예술가의 이전 화풍과 새로운 시도 사이의 정확한 수학적 거리를 계산합니다. 여기에는 노이즈가 없습니다.
2. 스마트한 문지기 (비대칭 마스크): 이것이 핵심적인 부분입니다. 시스템은 "신뢰 구역(Trust Zone)"(안전 거리)을 설정합니다.
  - 만약 예술가가 원래의 화풍에서 벗어나 선을 넘으려고 하면, 문지기가 문을 쾅 닫아버립니다.
  - 중요한 점: 만약 예술가가 실수를 깨닫고 원래의 화풍으로 다시 돌아오려고 한다면, 문지기는 절대로 그들을 막지 않습니다. 예술가가 즉시 경로를 수정할 수 있도록 허용합니다.

이것이 왜 중요한가 (결과)

논문은 이 새로운 방식을 여러 AI 모델에 테스트했으며, 기존의 "안개 낀 목격자" 방식보다 훨씬 더 효과적이라는 것을 발견했습니다.

더 나은 품질: AI는 지침(예: "일곱 개의 초록색 크로와상")을 훨씬 더 정확하게 따르는 법을 배웁니다.
"기억 상실" 방지: 기존 방식에서는 AI가 특정 테스트에 너무 집중한 나머지 일반적인 그림 실력을 잊어버리는 경우가 많았습니다. Flow-DPPO는 특정 기술을 개선하면서도 AI의 전반적인 기술을 온전히 유지해 줍니다.
안정적인 학습: 기존 방식은 동일한 연습 예제를 여러 번 재사용하려고 하면 불안정해졌습니다. Flow-DPPO는 예제를 재사용할 수 있을 만큼 안정적이어서 학습 과정을 더 빠르고 저렴하게 만듭니다.

요약

Flow-DPPO를 혼란스러워하고 안개가 낀 듯한 심판을 정밀한 레이저 가이드 코치로 교체하는 것이라고 생각하세요. 이 코치는 예술가가 얼마나 벗어났는지 정확히 알고 있습니다. 만약 예술가가 잘못된 방향으로 너무 멀리 떠난다면 코치는 그들을 멈춰 세웁니다. 하지만 예술가가 실수를 바로잡고 중심으로 돌아오려 한다면, 코치는 그들을 응원합니다. 그 결과, 더 빨리 배우고, 실수를 덜 하며, 원래의 재능을 잊지 않는 AI가 탄생합니다.

기술 요약: Flow-DPPO

문제 정의

최근의 연구들은 온라인 강화 학습(RL)이 이미지 및 비디오 생성을 위한 플로우 매칭(flow matching) 모델의 품질과 정렬(alignment)을 크게 향상시킬 수 있음을 입증했습니다. Flow-GRPO 및 CPS와 같은 방법들은 디노이징(denoising) 과정을 마르코프 결정 과정(MDP)으로 간주하고, 신뢰 영역(trust region)을 강제하기 위해 **비율 클리핑(ratio clipping)**을 채택함으로써 근사 정책 최적화(PPO)를 이러한 모델들에 적용했습니다.

그러나 저자들은 비율 클리핑이 플로우 모델에는 구조적으로 부적합하다고 주장합니다. 플로 모델의 연속적이고 고차원적인 잠재 공간(latent space)에서, 새로운 정책과 이전 정책 사이의 확률 비율은 실제 정책 발산(policy divergence)에 대한 노이즈가 섞인 단일 샘플 몬테카를로 추정치로 작용합니다. 이 추정 노이즈는 가우시안 정책(Gaussian policies)에서 크게 증폭되어, 비율 분포가 왼쪽으로 치우치는(평균 < 1) 체계적인 편향을 초래합니다. 결과적으로, 표준 대칭 클리핑 범위 $[1-\epsilon, 1+\epsilon]$ 는 실질적으로 비대칭적으로 작동하게 됩니다. 즉, 양의 어드밴티지(positive-advantage) 샘플에 대한 과최적화는 제대로 억제하지 못하는 반면, 음의 어드밴티지 샘플은 과도하게 클리핑하게 됩니다. 이는 불충분한 신뢰 영역 강제, 파괴적 망각(catastrophic forgetting), 그리고 다중 에포크(multi-epoch) 학습 시 성능 저하를 야기합니다.

방법론: Flow-DPPO

본 논문은 노이즈가 섞인 비율 클리핑 메커니즘을 **발산 기반 근사 제약(divergence-based proximal constraint)**으로 대체하는 Flow-DPPO(Flow Divergence Proximal Policy Optimization)를 제안합니다.

핵심 구조적 통찰

Flow-DPPO의 근간이 되는 결정적인 관찰은 플로우 모델의 단계별 정책이 **가우시안(Gaussian)**이라는 점입니다. 구체적으로, 정책 $p_\theta(x_{t-\Delta t} | x_t, t, c)$ 는 평균 $\mu_\theta$ (속도 네트워크에 의해 결정됨)와 고정된 스케줄 종속 분산 $\sigma^2$ 에 의해 정의됩니다.

대규모 언어 모델(LLM)의 경우, 거대한 어휘 사전(vocabulary)에 대해 정확한 발산을 계산하는 것이 계산적으로 매우 까다롭지만, 플로우 모델은 속도 네트워크의 두 번의 순방향 패스(forward pass)만으로 이전 정책과 새로운 정책 사이의 쿨백-라이블러(Kullback-Leibler, KL) 발산을 정확하고 결정론적으로 계산할 수 있습니다.
KL 발산은 다음과 같이 주어집니다:
$D_{KL}(\pi_{\theta_{old}} \| \pi_\theta) = \frac{\|\mu_{\theta_{old}} - \mu_\theta\|^2}{2\sigma^2}$

Flow-DPPO 알고리즘

Flow-DPPO는 표준 PPO 클리핑 로직을 대체하는 비대칭 발산 마스크( $M_t$ )를 도입합니다. 목적 함수는 다음과 같이 수정됩니다:
$\mathcal{L}_{Flow-DPPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{T} \sum_{t=0}^{T-1} \left( M_t^i \cdot r_t^i(\theta) \cdot \hat{A}_i - \beta D_{KL}(\pi_\theta \| \pi_{ref}) \right) \right]$

마스크 $M_t$ 는 다음과 같이 정의됩니다:
$M_t = \begin{cases} 0 & \text{if } (\hat{A}_i > 0 \land r_t > 1 \land D_t > \delta) \lor (\hat{A}_i < 0 \land r_t < 1 \land D_t > \delta) \\ 1 & \text{otherwise} \end{cases}$

여기서:

$D_t$ 는 $t$ 단계에서의 정확한 KL 발산입니다.
$\delta$ 는 사전 정의된 발산 임계값입니다.
$\hat{A}_i$ 는 어드밴티지입니다.
$r_t$ 는 확률 비율입니다.

비대칭 설계 로직:
마스크는 다음 두 조건이 동시에 충족될 때만 그래디언트 업데이트를 차단합니다:

업데이트가 정책을 이전 정책으로부터 멀어지게 만드는 경우 (어드밴티지와 비율의 부호로 표시됨).
정확한 KL 발산이 임계값 $\delta$ 를 초과하는 경우.

결정적으로, 만약 업데이트가 정책을 이전 정책 쪽으로 가까워지게 만든다면 (예: 오버슈팅을 수정하는 경우), 발산 수준에 관계없이 마스크는 1을 유지합니다. 이는 PPO의 유익한 비대칭 구조를 보존하여, 오버슈팅으로부터의 빠른 회복을 허용하는 동시에, 발산하는 업데이트에 대해서는 엄격하게 신뢰 영역을 강제합니다.

주요 기여

비율 클리핑의 이론적 분석: 본 논문은 가우시안 공간에서의 단일 샘플 추정치의 높은 분산으로 인해, 플로우 모델에서 비율 클리핑이 정책 발산의 편향된 프록시(proxy)가 됨을 입증하며, 이로 인해 효과적인 신뢰 영역 제약이 어려움을 보여줍니다.
정확한 발산 계산: 가우시안 정책 구조를 활용하여 추가적인 계산 비용 없이 정확한 KL 발산을 계산할 수 있음을 보여줍니다. 이는 근사치를 사용해야 하는 이산 토큰 기반 모델에서는 불가능한 기능입니다.
Flow-DPPO 알고리즘: 노이즈가 섞인 비율 프록시를 대체하여 결정론적 신뢰 영역을 강제하는 비대칭 발산 마스크를 사용하는 새로운 최적화 방법을 제안합니다.
안정적인 다중 에포크 학습: 샘플 재사용(sample reuse)이 발생하는 시나리오에서도 안정적인 학습을 가능하게 합니다. 이는 비율 클리핑 베이스라인들이 일반적으로 성능 저하나 정체 현상을 보이는 상황입니다.

실험 결과

저자들은 SD3.5, FLUX2-9B, FLUX.1-dev와 같은 다양한 베이스 모델에 대해 Flow-GRPO, Flow-CPS, GRPO-Guard, Diffusion-NFT를 포함한 베이스라인들과 Flow-DPPO를 비교 평가했습니다.

보상 최적화: Flow-DPPO 변형 모델들은 인도메인(in-domain) 벤치마크(GenEval2)에서 최첨단(SOTA) 성능을 달성하였으며, 단일 보상 및 다중 보상 설정 모두에서 일관되게 베이스라인들을 능가했습니다.
파괴적 망고: 이 방법은 파괴적 망고를 유의미하게 완화했습니다. 도메인 외(OOD) 지표(PickScore, CLIP, HPSv2)는 학습이 진행됨에 따라 베이스라인들이 상당한 저하를 보인 것과 달리, 안정적으로 유지되거나 오히려 개선되었습니다.
KL-근사 효율성: Flow-DPPO는 사전 학습된 참조 모델로부터 낮은 KL 발산을 유지하였으며, 이는 원래의 생성 능력을 더 잘 보존하고 있음을 나타냅니다.
다중 에포크 학습: 샘플 재사용(예: 2번의 내부 루프)이 포함된 실험에서, Flow-DPPO는 일관된 장기적 이득을 보여준 반면, 베이스라인들은 성능 정체 또는 저하를 겪었습니다.
정성적 결과: 시각적 비교 결과, Flow-DPPO는 비율 클리핑을 사용하는 방법들에 비해 이미지 품질 저하가 현저히 적으면서도 경쟁력 있는 구성적 정확도(compositional accuracy)를 달성했습니다.

의의 및 주장

본 논문은 Flow-DPPO가 연속적인 플로우 모델에 PPO 스타일의 비율 클리핑을 적용할 때 발생하는 근본적인 구조적 불일치를 해결한다고 주장합니다. 노이즈가 섞인 비율 프록시를 정확하고 결정론적인 발산 제약으로 대체함으로써, 이 방법은 이 영역에서 신뢰 영역 최적화를 위한 더 견고한 이론적 토대를 제공합니다.

저자들은 Flow-DPPO가 모델이 원래의 생성 품질을 잃거나 분포 붕괴(distribution collapse)에 빠지지 않으면서 보상으로부터 학습할 수 있게 하는 "안전 경계(safety boundary)"를 제공한다고 단언합니다. 또한, 롤아웃(rollout) 비용이 높은 긴 비디오 생성과 같은 계산 집약적인 시나리오에서 안정적인 다중 에포크 학습을 지원할 수 있다는 점이 중요한 실무적 이점으로 강조됩니다. 이 연구는 발산 기반 제약이 비율 기반 근사보다 플로우 모델에 있어 엄격하게 더 자연스럽고 효과적임을 시사합니다.