🤖 machine learning

Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models

यह शोध पत्र Flow-DPPO का प्रस्ताव करता है, जो फ्लो मैचिंग मॉडल्स के लिए एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम है, जो उच्च रिवॉर्ड्स, स्थिर मल्टी-इपोक ट्रेनिंग और बेहतर मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन प्राप्त करने के लिए PPO के संरचनात्मक रूप से अनुपयुक्त 'रेशियो क्लिपिंग' को एक सटीक, कुशल KL डाइवर्जेंस कंस्ट्रेंट से बदल देता है।

मूल लेखक: Bowen Ping, Xiangxin Zhou, Penghui Qi, Minnan Luo, Liefeng Bo, Tianyu Pang

प्रकाशित 2026-06-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bowen Ping, Xiangxin Zhou, Penghui Qi, Minnan Luo, Liefeng Bo, Tianyu Pang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली कलाकार (एक AI इमेज जनरेटर) को विशिष्ट निर्देशों के आधार पर बेहतर चित्र बनाना सिखा रहे हैं। कलाकार पहले से ही पेंटिंग करना जानता है, लेकिन आप चाहते हैं कि वह "तीन सफेद भेड़ों के ऊपर एक नीला कुत्ता" जैसे जटिल प्रॉम्प्ट्स का पालन करने में बेहतर हो जाए।

इसे करने के लिए, आप रीइन्फोर्समेंट लर्निंग (RL) नामक एक विधि का उपयोग करते हैं। आप कलाकार को कुछ संस्करण पेंट करने देते हैं, उन्हें इस आधार पर एक स्कोर (रिवॉर्ड) देते हैं कि उन्होंने निर्देशों का कितनी अच्छी तरह पालन किया, और फिर उन्हें "अच्छे" संस्करणों की तरह अधिक पेंट करने और "बुरे" संस्करणों की तरह कम पेंट करने के लिए प्रेरित करते हैं।

यह शोध पत्र एक नया, अधिक स्मार्ट तरीका पेश करता है जिससे उन्हें ये संकेत दिए जाते हैं, जिसे Flow-DPPO कहा जाता है। यहाँ समस्या और उनके समाधान का सरल उपमाओं के साथ विवरण दिया गया है।

समस्या: "शोर भरा फुसफुसाहट" बनाम "वास्तविक दूरी"

पिछले तरीकों (जैसे Flow-GRPO) ने कलाकार को अपनी शैली को बहुत अधिक बदलने से रोकने की कोशिश की। उन्होंने रेशियो क्लिपिंग (Ratio Clipping) नामक एक नियम का उपयोग किया।

उपमा: कल्पना कीजिए कि आप एक छात्र को शिक्षक से बहुत दूर भागने से रोकने की कोशिश कर रहे हैं। पुराना तरीका छात्र से पूछता था, "आप कितनी दूर चले गए?" लेकिन यह एक ऐसे एकल, डगमगाते हुए गवाह से पूछता था जो एक धुंधले कमरे में खड़ा था।
समस्या: क्योंकि वह "गवाह" (डेटा सैंपल) डगमगाता हुआ और धुंधला (नॉइजी) था, इसलिए शिक्षक अक्सर गलत धारणा बना लेता था। कभी-कभी छात्र थोड़ा सा ही आगे बढ़ा था, लेकिन धुंध ने इसे एक बड़ी छलांग जैसा दिखा दिया, जिससे शिक्षक घबरा गया और उसने उसे रोक दिया (ओवर-कन्स्ट्रैनिंग)। दूसरी ओर, कभी-कभी छात्र बहुत दूर निकल गया, लेकिन धुंध ने उसे छिपा लिया, जिससे शिक्षक ने उसे बहुत दूर जाने दिया (अंडर-कन्स्ट्रैनिंग)।
परिणाम: कलाकार भ्रमित हो गया। या तो वे इसलिए सीखना बंद कर देते थे क्योंकि उन्हें बार-बार रोका जा रहा था, या वे अपने मूल कौशल को खराब कर देते थे क्योंकि उन्हें बहुत दूर जाने की अनुमति दी गई थी।

समाधान: Flow-DPPO (एक "सटीक रूलर")

लेखकों ने महसूस किया कि फ्लो मैचिंग मॉडल (जिनका उपयोग यहाँ किया गया है) के पास एक विशेष सुपरपावर है: वे गौसियन (बेल-कर्व) गणित पर आधारित हैं। इसका अर्थ है कि पुराने पेंटिंग स्टाइल और नए स्टाइल के बीच की "दूरी" को बिना किसी धुंध या अनुमान के सटीक रूप से कैलकुलेट किया जा सकता है।

उपमा: एक डगमगाते हुए गवाह से पूछने के बजाय, Flow-DPPO शिक्षक को एक लेजर-मापने वाला टेप (Laser-measuring tape) देता है।
यह कैसे काम करता है:
1. सटीक माप: सिस्टम कलाकार की पुरानी शैली और उसके नए प्रयास के बीच के सटीक गणितीय अंतर की गणना करता है। इसमें कोई शोर नहीं है।
2. स्मार्ट गेटकीपर (Asymmetric Mask): यह सबसे चतुर हिस्सा है। सिस्टम एक "ट्रस्ट ज़ोन" (एक सुरक्षित दूरी) निर्धारित करता है।
  - यदि कलाकार अपनी मूल शैली से दूर भागने की कोशिश करता है और रेखा पार करता है, तो गेटकीपर दरवाजा झटके से बंद कर देता है।
  - महत्वपूर्ण बात: यदि कलाकार को एहसास होता है कि उसने गलती की है और वह अपनी मूल शैली की ओर वापस आने की कोशिश करता है, तो गेटकीपर उसे कभी भी नहीं रोकता। वह उसे तुरंत अपना रास्ता सुधारने देता है।

यह क्यों मायने रखता है (परिणाम)

इस शोध पत्र ने कई AI मॉडल्स पर इस नए तरीके का परीक्षण किया और पाया कि यह पुराने "धुंधले गवाह" वाले तरीकों की तुलना में बहुत बेहतर काम करता है:

बेहतर गुणवत्ता: AI निर्देशों (जैसे "सात हरे क्रोइसैन") का पालन करने में बहुत अधिक सटीक हो जाता है।
कोई "भूलने की बीमारी" नहीं: पुराने तरीकों में, AI अक्सर सामान्य रूप से अच्छा पेंट करना भूल जाता था क्योंकि उसका पूरा ध्यान विशिष्ट टेस्ट पर होता था। Flow-DPPO AI के सामान्य कौशल को बरकरार रखते हुए उसके विशिष्ट कौशल में सुधार करता है।
स्थिर प्रशिक्षण (Stable Training): पुराने तरीके अस्थिर हो जाते थे यदि आप एक ही अभ्यास उदाहरणों का कई बार उपयोग करने की कोशिश करते थे। Flow-DPPO इतना स्थिर है कि आप उदाहरणों का पुन: उपयोग कर सकते हैं, जिससे प्रशिक्षण प्रक्रिया तेज़ और सस्ती हो जाती है।

सारांश

Flow-DPPO को एक भ्रमित, धुंधले रेफरी के बजाय एक सटीक, लेजर-गाइडेड कोच के रूप में समझें। यह कोच बिल्कुल जानता है कि कलाकार कितना भटक गया है। यदि कलाकार गलत दिशा में बहुत दूर भटक जाता है, तो कोच उसे रोक देता है। लेकिन यदि कलाकार एक गलती को सुधारने और केंद्र में वापस आने की कोशिश करता है, तो कोच उसका उत्साह बढ़ाता है। परिणाम एक ऐसा AI है जो तेज़ी से सीखता है, कम गलतियाँ करता है, और अपनी मूल प्रतिभा को नहीं भूलता है।

तकनीकी सारांश: Flow-DPPO

समस्या विवरण (Problem Statement)

हालिया प्रगति ने प्रदर्शित किया है कि ऑनलाइन सुदृढीकरण शिक्षण (Reinforcement Learning - RL) इमेज और वीडियो जनरेशन के लिए फ्लो मैचिंग मॉडल्स की गुणवत्ता और संरेखण (alignment) को महत्वपूर्ण रूप से बढ़ा सकता है। Flow-GRPO और CPS जैसी विधियों ने प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) को इन मॉडल्स के अनुकूल बनाने के लिए, डिनोइजिंग प्रक्रिया को एक मार्कोव निर्णय प्रक्रिया (MDP) के रूप में प्रस्तुत किया है और एक ट्रस्ट रीजन (trust region) को लागू करने के लिए रेशियो क्लिपिंग (ratio clipping) का उपयोग किया है।

हालाँकि, लेखक तर्क देते हैं कि रेशियो क्लिपिंग फ्लो मॉडल्स के लिए संरचनात्मक रूप से अनुपयुक्त है। फ्लो मॉडल्स के निरंतर, उच्च-आयामी लेटेंट स्पेस (latent space) में, नई और पुरानी पॉलिसियों के बीच का प्रोबेबिलिटी रेशियो, वास्तविक पॉलिसी डायवर्जेंस के सत्य प्रोबेबिलिटी डिस्ट्रीब्यूशन का एक शोर युक्त (noisy), सिंगल-सैंपल मोंटे कार्लो अनुमान (Monte Carlo estimate) के रूप में कार्य करता है। यह एस्टीमेशन नॉइज़ गॉसियन पॉलिसियों में काफी बढ़ जाती है, जिससे एक व्यवस्थित पूर्वाग्रह (systematic bias) उत्पन्न होता है जहाँ रेशियो डिस्ट्रीब्यूशन बाईं ओर शिफ्ट हो जाता है (मीन < 1)। फलस्वरूप, मानक सिमेट्रिक क्लिपिंग रेंज $[1-\epsilon, 1+\epsilon]$ प्रभावी रूप से एसिमेट्रिक (asymmetric) हो जाती है: यह पॉजिटिव-एडवांटेज सैंपल्स के लिए ओवर-ऑप्टिमाइज़ेशन को रोकने में विफल रहती है जबकि नेगेटिव-एडवांटेज सैंपल्स को अत्यधिक क्लिप करती है। इसके परिणामस्वरूप सब-ऑप्टिमल ट्रस्ट रीजन प्रवर्तन, कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting), और मल्टी-इपॉक ट्रेनिंग में खराब प्रदर्शन होता है।

कार्यप्रणाली: Flow-DPPO

यह शोध पत्र Flow-DPPO (Flow Divergence Proximal Policy Optimization) प्रस्तावित करता है, जो शोर युक्त रेशियो क्लिपिंग तंत्र को डायवर्जेंस-आधारित प्रॉक्सिमल कंस्ट्रेंट से बदल देता है।

मुख्य संरचनात्मक अंतर्दृष्टि (Key Structural Insight)

Flow-DPPO के आधार में एक महत्वपूर्ण अवलोकन यह है कि फ्लो मॉडल्स में प्रति-चरण (per-step) पॉलिसी गॉसियन (Gaussian) होती है। विशेष रूप से, पॉलिसी $p_\theta(x_{t-\Delta t} | x_t, t, c)$ एक मीन $\mu_\theta$ (जो वेलोसिटी नेटवर्क द्वारा निर्धारित होता है) और एक निश्चित, शेड्यूल-डिपेंडेंट वेरिएंस $\sigma^2$ द्वारा परिभाषित है।

लार्ज लैंग्वेज मॉडल्स (LLMs) के विपरीत, जहाँ बड़े वोकैबुलरीज़ पर सटीक डायवर्जेंस की गणना करना कम्प्यूटेशनल रूप से कठिन है, फ्लो मॉडल्स वेलोसिटी नेटवर्क के केवल दो फॉरवर्ड पास का उपयोग करके पुरानी और नई पॉलिसियों के बीच सटीक और नियत (deterministic) कलबैक-लीब्लर (KL) डायवर्जेंस की गणना करने की अनुमति देते हैं।
KL डायवर्जेंस इस प्रकार है:
$D_{KL}(\pi_{\theta_{old}} \| \pi_\theta) = \frac{\|\mu_{\theta_{old}} - \mu_\theta\|^2}{2\sigma^2}$

Flow-DPPO एल्गोरिदम

Flow-DPPO एक एसिमेट्रिक डायवर्जेंस मास्क ( $M_t$ ) पेश करता है जो मानक PPO क्लिपिंग लॉजिक को प्रतिस्थापित करता है। ऑब्जेक्टिव फंक्शन को संशोधित किया गया है:
$\mathcal{L}_{Flow-DPPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{T} \sum_{t=0}^{T-1} \left( M_t^i \cdot r_t^i(\theta) \cdot \hat{A}_i - \beta D_{KL}(\pi_\theta \| \pi_{ref}) \right) \right]$

मास्क $M_t$ को इस प्रकार परिभाषित किया गया है:
$M_t = \begin{cases} 0 & \text{यदि } (\hat{A}_i > 0 \land r_t > 1 \land D_t > \delta) \lor (\hat{A}_i < 0 \land r_t < 1 \land D_t > \delta) \\ 1 & \text{अन्यथा} \end{cases}$

जहाँ:

$D_t$ स्टेप $t$ पर सटीक KL डायवर्जेंस है।
$\delta$ एक पूर्व-निर्धारित डायवर्जेंस थ्रेशोल्ड है।
$\hat{A}_i$ एडवांटेज है।
$r_t$ प्रोबेबिलिटी रेशियो है।

एसिमेट्रिक डिज़ाइन लॉजिक:
मास्क ग्रेडिएंट अपडेट को केवल तभी रोकता है जब दो शर्तें एक साथ पूरी होती हैं:

अपडेट पॉलिसी को पुरानी पॉलिसी से दूर ले जा रहा है (एडवांटेज और रेशियो के संकेत द्वारा इंगित)।
सटीक KL डायवर्जेंस थ्रेशोल्ड $\delta$ से अधिक है।

महत्वपूर्ण रूप से, यदि कोई अपडेट पॉलिसी को पुरानी पॉलिसी की ओर ले जाता है (जैसे, ओवरशूट को ठीक करना), तो डायवर्जेंस लेवल की परवाह किए बिना मास्क 1 रहता है। यह PPO की लाभकारी एसिमेट्रिक संरचना को संरक्षित करता है, जिससे ओवरशूटिंग से तेजी से रिकवरी संभव होती है, जबकि डायवर्जेंट अपडेट्स के लिए ट्रस्ट रीजन को सख्ती से लागू किया जाता है।

मुख्य योगदान (Key Contributions)

रेशियो क्लिपिंग का सैद्धांतिक विश्लेषण: यह शोध पत्र प्रदर्शित करता है कि फ्लो मॉडल्स में रेशियो क्लिपिंग, पॉलिसी डायवर्जेंस के लिए एक बायस्ड प्रॉक्सी है, क्योंकि गॉसियन स्पेस में सिंगल-सैंपल एस्टीमेट्स का हाई वेरिएंस होता है, जिससे अप्रभावी ट्रस्ट रीजन कंस्ट्रेंट्स होते हैं।
सटीक डायवर्जेंस गणना: यह फ्लो पॉलिसियों की गॉसियन संरचना का लाभ उठाता है ताकि बिना किसी अतिरिक्त कम्प्यूटेशनल लागत के सटीक KL डायवर्जेंस की गणना की जा सके, जो कि एप्रोक्सिमेशन के बिना डिस्क्रीट टोकन-आधारित मॉडल्स में उपलब्ध नहीं है।
Flow-DPPO एल्गोरिदम: यह एक नवीन ऑप्टिमाइज़ेशन विधि प्रस्तावित करता है जो एक एसिमेट्रिक डायवर्जेंस मास्क का उपयोग करता है जो एक नियत (deterministic) ट्रस्ट रीजन को लागू करता है, और शोर युक्त रेशियो क्लिपिंग को बदल देता है।
स्थिर मल्टी-इपॉक ट्रेनिंग: यह विधि मल्टी-इपॉक ट्रेनिंग (जैसे सैंपल रियूज) के लिए स्थिर प्रशिक्षण सक्षम करती है, एक ऐसा परिदृश्य जहाँ रेशियो-क्लिपिंग बेसलाइन्स आमतौर पर खराब प्रदर्शन करते हैं या रुक जाते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Flow-GRPO, Flow-CPS, GRPO-Guard, और Diffusion-NFT सहित बेसलाइन्स के विरुद्ध विविध बेस मॉडल्स (SD3.5, FLUX2-9B, FLUX.1-dev) पर Flow-DPPO का मूल्यांकन किया।

रिवॉर्ड ऑप्टिमाइज़ेशन: Flow-DPPO वेरिएंट्स ने इन-डोमेन बेंचमार्क्स (GenEval2) पर स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया, जो सिंगल-रिवॉर्ड और मल्टी-रिवॉर्ड दोनों सेटिंग्स में बेसलाइन्स से लगातार बेहतर रहा।
कैटास्ट्रोफिक फॉरगेटिंग: इस विधि ने कैटास्ट्रोफिक फॉरगेटिंग को काफी हद तक कम किया। आउट-ऑफ-डोमेन (OOD) मेट्रिक्स (PickScore, CLIP, HPSv2) स्थिर रहे या उनमें सुधार हुआ, जबकि बेसलाइन्स में ट्रेनिंग बढ़ने के साथ महत्वपूर्ण गिरावट देखी गई।
KL-प्रॉक्सिमल एफिशिएंसी: Flow-DPPO ने प्री-ट्रेन्ड रेफरेंस मॉडल से कम KL डायवर्जेंस बनाए रखा, जो मूल जेनेरेटिव क्षमताओं के बेहतर संरक्षण को दर्शाता है।
मल्टी-इपॉक ट्रेनिंग: सैंपल रियूज (जैसे, 2 इनर लूप्स) वाले प्रयोगों में, Flow-DPPO ने निरंतर दीर्घकालिक लाभ दिखाया, जबकि बेसलाइन्स प्रदर्शन प्लेटो (plateau) या गिरावट का शिकार हुए।
गुणात्मक परिणाम: विजुअल तुलनाओं ने दिखाया कि Flow-DPPO ने रेशियो क्लिपिंग का उपयोग करने वाले तरीकों की तुलना में उल्लेखनीय रूप से कम इमेज क्वालिटी गिरावट के साथ प्रतिस्पर्धी कंपोजिशनल एक्यूरेसी प्राप्त की।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि Flow-DPPO उस मौलिक संरचनात्मक बेमेल (mismatch) को संबोधित करता है जो फ्लो मॉडल्स पर PPO-स्टाइल रेशियो क्लिपिंग लागू करने से उत्पन्न होता है। शोर युक्त रेशियो प्रॉक्सी को एक सटीक, नियत डायवर्जेंस कंस्ट्रेंट से बदलकर, यह विधि इस डोमेन में ट्रस्ट-रीजन ऑप्टिमाइज़ेशन के लिए अधिक मजबूत सैद्धांतिक आधार प्रदान करती है।

लेखक का कहना है कि Flow-DPPO एक "सेफ्टी बाउंड्री" प्रदान करता है जो मॉडल्स को मूल जेनेरेटिव क्वालिटी खोए बिना या डिस्ट्रीब्यूशन कोलैप्स में गिरे बिना रिवार्ड्स से सीखने की अनुमति देता है। इसके अलावा, स्थिर मल्टी-इपॉक ट्रेनिंग को सपोर्ट करने की क्षमता को एक महत्वपूर्ण व्यावहारिक लाभ के रूप में रेखांकित किया गया है, विशेष रूप से लॉन्ग-वीडियो जनरेशन जैसे कम्प्यूटेशनल रूप से महंगे परिदृश्यों के लिए जहाँ रोलआउट लागत अधिक होती है। यह कार्य सुझाव देता है कि फ्लो मॉडल्स के लिए डायवर्जेंस-आधारित कंस्ट्रेंट्स, रेशियो-आधारित एप्रोक्सिमेशन की तुलना में स्पष्ट रूप से अधिक स्वाभाविक और प्रभावी हैं।