📊 statistics

dFlowGRPO: Rate-Aware Policy Optimization for Discrete Flow Models

यह शोधपत्र dFlowGRPO को प्रस्तुत करता है, जो एक एकीकृत सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो डिनोइजिंग (denoising) को एक मार्कोव निर्णय प्रक्रिया (Markov decision process) के रूप में तैयार करके GRPO-शैली के अनुकूलन को सामान्य असतत प्रवाह मॉडलों (discrete flow models) तक विस्तारित करता है, और मौजूदा विधियों की तुलना में टेक्स्ट-टू-इमेज जनरेशन और मल्टीमॉडल समझ में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Zhengyan Wan, Yidong Ouyang, Panwen Hu, Qiang Sun

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhengyan Wan, Yidong Ouyang, Panwen Hu, Qiang Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चित्र बनाना या किसी प्रश्न का उत्तर देना सिखाने की कोशिश कर रहे हैं। आमतौर पर, हम रोबोट को लाखों उदाहरण दिखाकर और उन्हें एक बार में एक छोटा सा हिस्सा, एक समय में अगला कदम अनुमान लगाने देकर सिखाते हैं। यह एक चित्रकार द्वारा एक के बाद एक ब्रशस्ट्रोक जोड़ने जैसा है, जहाँ वह अगला स्ट्रोक लगाने से पहले पेंट के सूखने का इंतज़ार करता है।

लेकिन, एक नया और तेज़ तरीका है जिसे डिस्क्रीट फ्लो मॉडल्स (DFMs) कहा जाता है। ब्रशस्ट्रोक-दर-ब्रशस्ट्रोक पेंट करने के बजाय, ये मॉडल एक बिखरे हुए, अस्त-व्यशस्त ढेर (जैसे आपस में मिले हुए पहेली के टुकड़ों का थैला) से शुरुआत करते हैं और एक ही बार में उसे एक स्पष्ट चित्र या सही उत्तर में "अनस्क्रैम्बल" (सुलझाने) की कोशिश करते हैं। वे इसे शोर (noise) को साफ करने के लिए कई छोटे-छोटे कदम उठाकर करते हैं।

हालाँकि, ठीक वैसे ही जैसे एक छात्र किस्मत से सही उत्तर का अनुमान लगा लेता है, इन मॉडल्स को कभी-कभी यह सीखने के लिए एक बेहतर शिक्षक की आवश्यकता होती है कि लगातार सही उत्तर कैसे प्राप्त किया जाए। यहीं पर रीइन्फोर्समेंट लर्निंग (RL) काम आता है। यह एक कोच की तरह है जो रोबोट का चित्र पूरा होने के बाद उसे स्कोर देता है: "आंखों पर अच्छा काम किया, लेकिन नाक गलत है।"

समस्या: "एक ही आकार के लिए उपयुक्त" कोच (The "One-Size-Fits-All" Coach)

पहले, शोधकर्ताओं ने इन "अनस्क्रैम्बलिंग" रोबोट्स को कोचिंग देने के लिए RL का उपयोग करने की कोशिश की थी, लेकिन उन्होंने मुख्य रूप से एक बहुत ही विशिष्ट प्रकार के रोबोट (जिसे dLLMs कहा जाता है) पर ध्यान केंद्रित किया जो एक साधारण "मास्किंग" गेम (चित्र के हिस्सों को छिपाना और उनका अनुमान लगाना) की तरह काम करता है।

समस्या यह है कि नए, अधिक लचीले रोबल्स (सामान्य DFMs) अलग तरह से काम करते हैं। वे केवल टुकड़ों को छिपाते नहीं हैं; वे एक अस्त-व्यस्त स्थिति से साफ स्थिति तक कैसे पहुँचना है, इसके लिए जटिल नियमों का उपयोग करते हैं। पुराने कोचिंग तरीके इन जटिल नियमों को नहीं समझते थे, इसलिए वे सही फीडबैक नहीं दे सके। यह एक शतरंज खिलाड़ी को चेकर (checkers) के नियमों का उपयोग करके कोचिंग देने जैसा था।

समाधान: dFlowGRPO (एक "रेट-अवेयर" कोच)

लेखक इस पेपर में dFlowGRPO पेश करते हैं। इसे एक सुपर-स्मार्ट कोच के रूप में सोचें जो इन रोबोट्स के डेटा को अनस्क्रैम्बल करने के विशिष्ट "भौतिकी" (physics) को समझता है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

"रेट" (Rate) गति सीमा है: कल्पना कीजिए कि रोबोट एक अस्त-व्यस्त शहर (शोर) से एक साफ शहर (उत्तर) की ओर कार चला रहा है। "ट्रांज़िशन रेट" (transition rate) हर चौराहे पर गति सीमा और यातायात के नियम हैं। कुछ सड़कें तेज़ हैं; कुछ धीमी हैं।
"पोस्टीरियर" (Posterior) GPS है: यह रोबोट का वर्तमान अनुमान है कि मंजिल कहाँ है।
पुराना कोच: केवल अंतिम मंजिल को देखता था। "आप यहाँ पहुँच गए, अच्छा काम किया!" उसे इस बात की परवाह नहीं थी कि रोबट ने कोई खतरनाक शॉर्टकट लिया या नियमों का पालन किया।
dFlowGRPO कोच: यह GPS (रोबोट का अनुमान) और गति सीमाओं (ट्रांज़िशन रेट्स) दोनों को देखता है। यह बिल्कुल सटीक गणना करता है कि नियमों को देखते हुए उस रास्ते पर जाने की संभावना कितनी थी जो रोबोट ने लिया।

इस जानकारी के दोनों हिस्सों को जोड़कर, dFlowGRBO रोबोट को बता सकता है: "आपने सही उत्तर प्राप्त किया, लेकिन आपने एक अजीब रास्ता लिया जो सांख्यिकीय रूप से कम संभावित था। अगली बार, मुख्य सड़क पर ही रहें।" यह रोबोट को सुधार करने के लिए बहुत स्पष्ट निर्देश देता है।

उन्होंने क्या परीक्षण किया

लेखकों ने इस नए कोचिंग तरीके का परीक्षण FUDOKI नामक एक रोबोट पर किया, जो दो चीजों में अच्छा है:

चित्र बनाना: टेक्स्ट विवरण को चित्रों में बदलना।
दुनिया को समझना: चित्रों के बारे में प्रश्नों के उत्तर देना (जैसे विज्ञान की क्विज़)।

परिणाम:

ड्राइंग: जब उन्होंने FUDOKI को कोच करने के लिए dFlowGRPO का उपयोग किया, तो रोबोट चित्र बनाने में बहुत बेहतर हो गया। इसने उन परीक्षणों पर उच्च स्कोर किया जो यह जांचते हैं कि क्या चित्र विवरण से मेल खाता है (जैसे "एक चटाई पर बैठी बिल्ली")। यह बिना नकल किए या टेस्ट के उत्तरों को रटे बिना, एक "ठीक-ठाक" स्कोर से "शानदार" स्कोर तक सुधर गया।
समझना: जब उन्होंने विज्ञान के प्रश्नों के लिए इसका उपयोग किया, तो रोबोट की सटीकता काफी बढ़ गई। यह लगभग 75% सही उत्तर देने से बढ़कर 81% से अधिक हो गई।
तुलना: उन्होंने इस नए कोच की तुलना अन्य तरीकों से की। पुराने तरीके या तो अस्थिर थे (रोबोट भ्रमित हो जाता था और सीखना बंद कर देता था) या उनमें उतना सुधार नहीं हुआ। dFlowGRPO सबसे स्थिर और प्रभावी था।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर लचीले "अनस्क्रैंबलिंग" AI मॉडल्स को प्रशिक्षित करने का एक नया, एकीकृत तरीका प्रस्तुत करता है। इन मॉडल्स के अराजकता से व्यवस्था की ओर बढ़ने के विशिष्ट नियमों (रेट) को समझने वाला एक कोचिंग सिस्टम बनाकर, लेखकों ने मॉडल्स को चित्र बनाने और जटिल प्रश्नों को समझने, दोनों में काफी बेहतर बना दिया है। उन्होंने साबित किया कि जब आप AI को उसकी विशिष्ट कार्यप्रणाली के आधार पर सही प्रकार का फीडबैक देते हैं, तो वह तेज़ी से सीखता है और बेहतर प्रदर्शन करता है।

तकनीकी सारांश: dFlowGRPO

समस्या विवरण (Problem Statement)

डिस्क्रीट फ्लो मॉडल्स (DFMs) डिस्क्रीट डेटा के लिए एक लचीले वर्ग का प्रतिनिधित्व करते हैं, जो सामान्य संभाव्यता पथों (probability paths) और गैर-मास्क्ड स्रोत वितरणों (non-masked source distributions) का समर्थन करके डिस्क्रीट डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs) की तुलना में एक व्यापक डिज़ाइन स्पेस प्रदान करते हैं। जबकि जनरेशन की गुणवत्ता में सुधार के लिए dLLMs पर सुदृढीकरण शिक्षण (Reinforcement Learning - RL) को सफलतापूर्वक लागू किया गया है, मौजूदा विधियों को सामान्य DFMs पर विस्तार करते समय महत्वपूर्ण चुनौतियों का सामना करना पड़ता है। प्राथमिक बाधा DFMs के लॉग-लाइक्लिहुड (log-likelihood) का अनुमान लगाने में कठिनाई है, जिसे autoregressive मॉडल्स की तरह स्वाभाविक रूप से विघटित नहीं किया जा सकता है। dLLMs के लिए वर्तमान RL दृष्टिकोण अनुमानों (जैसे, mean-field या ELBO-आधारित) पर निर्भर करते हैं जो अक्सर सामान्य DFMs में निहित विशिष्ट कंडीशनल ट्रांज़िशन रेट्स (conditional transition rates) और पोस्टीरियर डायनेमिक्स (posterior dynamics) को ध्यान में रखने में विफल रहते हैं। फलस्वरूप, एक एकीकृत RL फ्रेमवर्क का अभाव है जो कंडीशनल ट्रांज़िशन रेट्स और पोस्टीरियर मॉडल्स दोनों सहित DFMs की पूर्ण ट्राजेक्टरी जानकारी का प्रभावी ढंग से लाभ उठा सके।

कार्यप्रणाली (Methodology)

लेखक dFlowGRPO (Discrete Flow-GRPO) प्रस्तावित करते हैं, जो विशेष रूप से DFMs के लिए डिज़ाइन किया गया एक एकीकृत रेट-अवेयर पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क है। कार्यप्रणाली निम्नलिखित प्रमुख चरणों के माध्यम से आगे बढ़ती है:

MDP फॉर्मूलेशन: DFMs की डिनोइजिंग प्रक्रिया को एक मार्कोव डिसीजन प्रोसेस (MDP) के रूप में तैयार किया गया है, जहाँ स्टेट में वर्तमान टोकन सीक्वेंस और टाइम स्टेप शामिल है, और एक्शन अगले स्टेट में ट्रांज़िशन है।
ट्राजेक्टरी प्रोबेबिलिटी व्युत्पत्ति: एक मुख्य सैद्धांतिक योगदान ईयलर सैंपलर (Euler sampler) का उपयोग करके DFMs के लिए पूर्ण ट्राजेक्टरी प्रोबेबिलिटी की व्युत्पत्ति है। लेखक सिद्ध करते हैं कि वर्तमान पॉलिसी और पुरानी पॉलिसी के बीच ट्रांज़िशन प्रोबेबिलिटी रेश्यो को टोकन-वार अपेक्षित पोस्टीरियर रेश्यो के उत्पाद के रूप में व्यक्त किया जा सकता है, जिसे एक रेट-डिपेंडेंट टर्म द्वारा पुन: भारित (reweighted) किया जाता है।
- विशेष रूप से, $r_k(\theta)$ को इस प्रकार व्युत्पन्न किया गया है:
  $r_k(\theta) = \prod_{d \in [D]} \mathbb{E}_{X^d_1 \sim p^{\theta_{old}}_{1|t_k}} \left[ w^{\theta_{old}, d}_{Q,k} \cdot \frac{p^\theta_{1|t_k}(X^d_1|x_{t_k})}{p^{\theta_{old}}_{1|t_k}(X^d_1|x_{t_k})} \right]$
- यहाँ, $w^{\theta_{old}, d}_{Q,k}$ कंडीशनल ट्रांज़िशन रेट्स से प्राप्त एक रेट-डिपेंडेंट वेट है, और दूसरा पद पोस्टीरियर रेश्यो है।
कुशल अनुमान (Efficient Estimation): यह फ्रेमवर्क अतिरिक्त फॉरवर्ड पासेस की आवश्यकता के बिना पोस्टीरियर मॉडल से मोंटे कार्लो (MC) सैंपल्स का उपयोग करके इस ट्रांज़िशन प्रोबेबिलिटी रेश्यो का अनुमान लगाने में सक्षम बनाता है। यह RL ऑब्जेक्टिव में कंडीशनल ट्रांज़िशन रेट्स और पोस्टीरियर मॉडल दोनों से जानकारी को शामिल करने की अनुमति देता है।
ऑप्टिमाइज़ेशन ऑब्जेक्टिव: GRPO (Group Relative Policy Optimization) फ्रेमवर्क पर आधारित, dFlowGRPO पॉलिसी को एक क्लिप्ड ऑब्जेक्टिव का उपयोग करके ऑप्टिमाइज़ करता है जो व्युत्पन्न ट्रांज़िशन प्रोबेबिलिटी रेश्यो और एक ग्रुप-नॉर्मलाइज्ड एडवांटेज एस्टीमेटर को शामिल करता है। ऑब्जेक्टिव में पॉलिसी कोलैप्स को रोकने के लिए एक KL रेगुलराइजेशन टर्म शामिल है।

मुख्य योगदान (Key Contributions)

लेखक तीन प्राथमिक योगदानों को रेखांकित करते हैं:

एकीकृत फ्रेमवर्क: dFlowGRो का प्रस्ताव, जो DFMs के लिए एक एकीकृत रेट-अवेयर पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क है, जो कंडीशनल रेट और पोस्टीरियर मॉडल दोनों से जानकारी का उपयोग करके सामान्य संभाव्यता पथों और कंडीशनल रेट्स का समर्थन करता है।
सैद्धांतिक व्युत्पत्ति: डिनोइजिंग ट्राजेक्टरी के लिए ट्रांज़िशन प्रोबेबिलिटी रेश्यो की व्युत्पत्ति, जो यह दिखाती है कि इसे एक रेट-डिपेंडेंट टर्म द्वारा पुन: भारित टोकन-वार अपेक्षित पोस्टीरियर रेश्यो के उत्पाद में विघटित किया जा सकता है। यह दिखाया गया है कि इस टर्म को अतिरिक्त फॉरवर्ड पासेस के बिना MC सैंपल्स के माध्यम से अनुमानित किया जा सकता है।
अनुभवजन्य सत्यापन (Empirical Validation): FUDOKI को बेस मॉडल के रूप में उपयोग करते हुए dFlowGRPO का दो डोमेन में अनुप्रयोग, जो मौजूदा RL विधियों की तुलना में टेक्स्ट-टू-इमेज जनरेशन और मल्टीमॉडल अंडरस्टैंडिंग कार्यों में महत्वपूर्ण सुधार प्रदर्शित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो डोमेन में FUDOKI को बेस मॉडल के रूप में उपयोग करके dFlowGRPO का मूल्यांकन किया:

टेक्स्ट-टू-इमेज जनरेशन:
- GenEval, PickScore, और DrawBench पर मूल्यांकन किया गया।
- बिना क्लासिफायर-फ्री गाइडेंस (CFG) के, dFlowGRPO ने FUDOKI के PickScore को 20.87 से बढ़ाकर 23.00 और GenEval स्कोर को 61% से बढ़ाकर 93% कर दिया।
- GenEval बेंचमार्क पर, dFlowGRPO ने 0.93 का समग्र स्कोर प्राप्त किया, जो अन्य एकीकृत मल्टीमॉडल मॉडल्स को पीछे छोड़ देता है और कम डिनोइजिंग स्टेप्स (8 NFEs) और बिना CFG के भी स्पेशलाइज्ड जनरेशन-ओनली मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन करता है।
- विधि ने रिवॉर्ड हैकिंग (reward hacking) के खिलाफ मजबूती प्रदर्शित की, जिससे कई मेट्रिक्स (HPSv3, Aesthetic Score, आदि) में निरंतर सुधार हुआ।
मल्टीमॉडल अंडरस्टैंडिंग:
- ScienceQA, POPE, MME-P, SEED, MMB, और GQA पर मूल्यांकन किया गया।
- ScienceQA पर, dFlowGRPO ने सटीकता को 75.1% से बढ़ाकर 81.1% (LLM एक्सट्रैक्शन के साथ) और 54.1% से बढ़ाकर 59.1% (बिना LLM एक्सट्रैक्शन के) कर दिया, जिसमें रिवॉर्ड हैकिंग न्यूनतम थी।
- GQA, SEED, और MMB बेंचमार्क पर भी प्रदर्शन में सुधार देखा गया।
एब्लेशन स्टडीज (Ablation Studies):
- MC सैंपल्स: MC सैंपल्स की संख्या बढ़ाने से ( $n=1$ से $n=24$ ) ट्रेनिंग कन्वर्जेंस में तेजी आई और अंतिम रिवॉर्ड में सुधार हुआ।
- KL रेगुलराइजेशन: हालांकि बिना KL रेगुलराइजेशन के ट्रेनिंग करने से उच्च रिवॉर्ड प्राप्त हुआ, लेकिन $\beta=0.01$ के साथ KL रेगुलराइजेशन जोड़ने से रिवॉर्ड हैकिंग काफी कम हो गई और सहायक मेट्रिक्स पर प्रदर्शन में सुधार हुआ।
- तुलना: dFlowGRPO ने मीन-फील्ड एप्रोक्सिमेशन मेथड्स (diffu-GRPO, diffu-GSPO) और ऑनलाइन DPO वेरिएंट्स को लगातार पछाड़ दिया, जो सामान्य संभाव्यता पथों के लिए कम स्थिर या कम प्रभावी पाए गए।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि dFlowGRPO सामान्य डिस्क्रीट फ्लो मॉडल्स पर रिइन्फोर्समेंट लर्निंग लागू करने के लिए एक एकीकृत और प्रभावी समाधान प्रदान करता है, जो उन पिछले तरीकों की सीमाओं को संबोधित करता है जो विशिष्ट dLLM कॉन्फ़िगरेशन तक सीमित थे या सटीक अनुमानों पर निर्भर थे। सटीक ट्रांज़िशन प्रोबेबिलिटी रेश्यो को व्युत्पन्न करके और रेट-डिपेंडेंट वेट्स को शामिल करके, यह फ्रेमवर्क DFMs की पूर्ण संरचनात्मक जानकारी का लाभ उठाता है।

लेखक dFlowGRPO को डिस्क्रीट फ्लो मॉडल्स को मानवीय प्राथमिकताओं और कार्य-विशिष्ट उद्देश्यों के साथ संरेखित करने की दिशा में एक महत्वपूर्ण कदम के रूप में देखते हैं, यह प्रदर्शित करते हुए कि RL को केवल मास्कड डिफ्यूजन मॉडल्स से परे सामान्य DFMs के व्यापक वर्ग पर सफलतापूर्वक लागू किया जा सकता है। परिणाम बताते हैं कि dFlowGRPO, Flow-GRPO का उपयोग करके प्रशिक्षित निरंतर फ्लो-आधारित मॉडल्स के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त करता है, जबकि समझने के कार्यों में मजबूत क्षमता बनाए रखता है। लेख में विनम्रतापूर्वक उल्लेख किया गया है कि इसका मूल्यांकन वर्तमान में एक एकल DFM (FUDOKI) तक सीमित है और यह सुझाव दिया गया है कि भविष्य के कार्य वैकल्पिक कंडीशनल रेट्स वाले अन्य dLLMs पर इन रेट-अवेयर तकनीकों को लागू करने का पता लगा सकते हैं।