🤖 machine learning

Stepwise Credit Assignment for GRPO on Flow-Matching Models

यह शोध पत्र Stepwise-Flow-GRPO को प्रस्तुत करता है, जो फ्लो-मैचिंग मॉडल्स के लिए एक सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो समान अंतिम-छवि पुरस्कारों के बजाय रिवॉर्ड सुधारों के आधार पर व्यक्तिगत पीढ़ी चरणों को श्रेय देकर नमूना दक्षता और अभिसरण में सुधार करती है, जबकि मध्यवर्ती रिवॉर्ड अनुमान को बढ़ाने के लिए टवीडी के फॉर्मूला (Tweedie's formula) और एक DDIM-प्रेरित SDE का लाभ उठाती है।

मूल लेखक: Yash Savani, Branislav Kveton, Yuchen Liu, Yilin Wang, Jing Shi, Subhojyoti Mukherjee, Nikos Vlassis, Krishna Kumar Singh

प्रकाशित 2026-03-31

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yash Savani, Branislav Kveton, Yuchen Liu, Yilin Wang, Jing Shi, Subhojyoti Mukherjee, Nikos Vlassis, Krishna Kumar Singh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कलाकार को एक विवरण के आधार पर चित्र बनाना सिखा रहे हैं, जैसे कि "एक नीला बेंच और एक सफेद बिल्ली।"

AI इमेज जनरेशन की दुनिया में, रोबोट केवल एक फोटो नहीं खींचता; वह शोर (static noise) से भरे एक कैनवास (जैसे टीवी का 'स्नो') से शुरुआत करता है और धीरे-धीरे कदम-दर-कदम उस शोर को साफ करता है जब तक कि चित्र उभर न आए। इस प्रक्रिया को डिफ्यूजन (diffusion) कहा जाता है।

पुराना तरीका: "फाइनल ग्रेड" की समस्या

पहले, शोधकर्ताओं ने इस रोबोट को सिखाने के लिए Flow-GRPO नामक एक विधि का उपयोग किया था। यह कैसे काम करता था:

रोबोट एक ही शोर (noise) से 8 अलग-अलग पेंटिंग बनाता है।
वे यह देखने के लिए अंत तक प्रतीक्षा करते हैं कि कौन सी पेंटिंग सबसे अच्छी दिखती है।
वे केवल अंतिम चित्र के आधार पर एक "ग्रेड" (रिवॉर्ड) देते हैं।
खामी: उन्होंने उस एक ही ग्रेड को रोबोट द्वारा उठाए गए हर एक कदम के लिए दिया।

उपमा (Analogy): कल्पना कीजिए कि एक छात्र 10-चरणों वाला गणित का टेस्ट दे रहा है।

चरण 1-3: वह बकवास लिखता है।
चरण 4-7: वह एक बड़ी गणना संबंधी गलती करता है।
चरण 8-10: वह जादुई रूप से गलती को ठीक कर देता है और सही उत्तर प्राप्त करता है।
पुराना शिक्षक: "बहुत बढ़िया! आपको अंतिम उत्तर पर 'A' मिला है, इसलिए आपके द्वारा लिया गया हर एक चरण एकदम सही था।"
परिणाम: छात्र ने सीखा कि बकवास लिखना और गलतियाँ करना ठीक है, जब तक कि वह अंत में उन्हें ठीक कर सके। वह शुरुआत में सावधान रहना नहीं सीखता।

AI के संदर्भ में, इसका मतलब था कि रोबोट को गलत शुरुआती निर्णय लेने (जैसे आसमान में बिल्ली रख देना) के लिए पुरस्कृत किया जा रहा था, सिर्फ इसलिए क्योंकि वह बाद में उसे ठीक कर सकता था। इसने गलत सबक सीखने में समय बर्बाद किया।

नया तरीका: Stepwise-Flow-GRPO

लेखकों ने एक स्मार्ट शिक्षक पेश किया: Stepwise-Flow-GRPO।

अंतिम ग्रेड का इंतजार करने के बजाय, यह शिक्षक हर एक कदम के बाद छात्र की प्रगति को देखता है।

उपमा:

चरण 1: छात्र एक कच्चा खाका (outline) बनाता है। शिक्षक कहता है, "आकार पर अच्छी शुरुआत!" (रिवॉर्ड बढ़ जाता है)।
चरण 2: छात्र बिल्ली का सिर मिटा देता है। शिक्षक कहता है, "रुको, तुमने इसे अभी और खराब कर दिया!" (रिवॉर्ड घट जाता है)।
चरण 3: छात्र सिर को फिर से बनाता है। शिक्षक कहता है, "बहुत बेहतर! तुमने स्कोर में सुधार किया।"

हर कदम पर बदलाव (यानी "गेन") को देखकर, रोबोट सीखता है:

शुरुआती चरण बड़े चित्र (संरचना, लेआउट) के लिए होते हैं। यदि आप इसमें गलती करते हैं, तो इसे बाद में ठीक करना कठिन होता है।
बाद के चरण बारीकियों (फर की बनावट, रंग) के लिए होते हैं।
यदि कोई चरण चित्र को बदतर बनाता है, भले ही उसे बाद में ठीक कर दिया जाए, तो रोबक यह सीखता है कि ऐसा कदम नहीं उठाना चाहिए।

"शोर" (Noise) की समस्या

एक दूसरी समस्या भी थी। रोबोट को सिखाने के लिए, शोधकर्ताओं को पेंटिंग की प्रक्रिया को थोड़ा "शोरयुक्त" (noisy/random) बनाना पड़ा ताकि रोबोट विभिन्न विचारों को खोज सके। लेकिन पुराने तरीके ने शोर को इतना अस्त-व्यस्त बना दिया कि "शिक्षक" (रिवॉर्ड मॉडल) चित्र को स्पष्ट रूप से देख भी नहीं पा रहा था ताकि एक अच्छा ग्रेड दे सके।

समाधान: लेखकों ने शोर जोड़ने का एक नया तरीका बनाया, जो DDIM नामक एक तकनीक से प्रेरित है।

उपमा: कल्पना कीजिए कि पुराना तरीका ऐसा था जैसे कोई मेज को बहुत जोर से हिला रहा हो और आप उस पर किताब पढ़ने की कोशिश कर रहे हों। नया तरीका मेज को बस इतना ही धीरे से हिलाने जैसा है जिससे चीजें दिलचस्प बनी रहें, लेकिन इतना भी नहीं कि आप शब्दों को पढ़ न सकें। यह "शिक्षक" को बेहतर, स्पष्ट फीडबैक देने में मदद करता है।

यह क्यों मायने रखता है?

तेजी से सीखना: क्योंकि रोबोट को तुरंत फीडबैक मिलता है कि उसने क्या सही किया या गलत, वह बहुत तेजी से सीखता है। वह गलतियाँ दोहराने में समय बर्बाद नहीं करता।
बेहतर कला: अंतिम चित्र अधिक सटीक होते हैं। यदि आप "चार बिल्लियाँ" मांगते हैं, तो इसकी संभावना बहुत कम है कि रोबोट तीन बिल्लियाँ बनाएगा और फिर आखिरी सेकंड में उसे ठीक करने की कोशिश करेगा। वह शुरुआत से ही गिनती सही रखता है।
दक्षता (Efficiency): भले ही नया तरीका प्रक्रिया के बीच में थोड़ा अधिक गणितीय कार्य करता है, लेकिन यह पूरे प्रशिक्षण कार्य को बहुत अधिक कुशलता से सीखकर जल्दी समाप्त कर देता है।

सारांश

Flow-GRPO को एक ऐसे शिक्षक के रूप में सोचें जो केवल अंतिम परीक्षा का ग्रेड देता है, और होमवर्क की गड़बड़ियों को अनदेखा कर देता है।
Stepwise-Flow-GRPO एक ऐसे ट्यूटर की तरह है जो आपको काम करते हुए देखता है, आपकी गलतियों को सुधारता है, और बारीकियों तक पहुँचने से पहले एक ठोस आधार बनाने में आपकी मदद करता है।

परिणाम? AI बेहतर, तेज़ और कम असफल प्रयासों के साथ पेंट करना सीखता है।

यहाँ शोध पत्र "Stepwise Credit Assignment for GRPO on Flow-Matching Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र टेक्स्ट-टू-इमेज जनरेशन के लिए फ्लो-मैचिंग मॉडल्स (रेक्टिफाइड फ्लो सहित जेनरेटिव मॉडल्स का एक वर्ग) पर रिइन्फोर्समेंट लर्निंग (RL) लागू करने में एक महत्वपूर्ण सीमा को संबोधित करता है।

यूनिफॉर्म क्रेडिट असाइनमेंट की खामी (Uniform Credit Assignment Flaw): मौजूदा तरीके जैसे कि Flow-GRPO, पूरी जनरेशन ट्राजेक्टरी को केवल अंतिम छवि की गुणवत्ता के आधार पर एक ही 'एडवांटेज वैल्यू' प्रदान करते हैं। यह प्रत्येक डिनोइजिंग स्टेप (t=1 से t=0 तक) को परिणाम के लिए समान रूप से जिम्मेदार मानता है।
टेम्पोरल स्ट्रक्चर की अनदेखी (Ignoring Temporal Structure): डिफ्यूजन/फ्लो जनरेशन में एक अंतर्निहित पदानुक्रमित संरचना (hierarchical structure) होती है:
- शुरुआती चरण ( $t \approx 1$ ): लो-फ्रीक्वेंसी जानकारी (कंपोजिशन, लेआउट, ऑब्जेक्ट प्लेसमेंट) निर्धारित करते हैं।
- अंतिम चरण ( $t \approx 0$ ): हाई-फ्रीक्वेंसी विवरणों (टेक्सचर, किनारे) को परिष्कृत (refine) करते हैं।
परिणाम:
1. गलतियों को पुरस्कृत करना: यदि कोई शुरुआती चरण कंपोजिशनल त्रुटि करता है जिसे बाद के चरणों द्वारा "सुधार" लिया जाता है, तो यूनिफॉर्म असाइनमेंट उस त्रुटि को भी पुरस्कृत कर देता है क्योंकि अंतिम छवि अच्छी होती है।
2. अकुशल लर्निंग: यह उन चरणों के बीच अंतर करने में विफल रहता है जो प्रमुख सुधार लाते हैं और वे जो केवल विवरणों को परिष्कृत करते हैं, जिससे कन्वर्जेंस धीमा हो जाता है और सैंपल एफिशिएंसी कम हो जाती है।
3. नॉइजी सैंपलिंग: Flow-GRPO में RL एक्सप्लोरेशन के लिए उपयोग किया जाने वाला मानक स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) ऐसा शोर (noise) पेश करता है जो मध्यवर्ती छवि की गुणवत्ता को खराब कर देता है, जिससे क्लीन इमेजेस पर प्रशिक्षित रिवॉर्ड मॉडल्स भ्रमित हो जाते हैं।

2. कार्यप्रणाली: स्टेपवाइज-फ्लो-GRPO (Methodology: Stepwise-Flow-GRPO)

लेखक Stepwise-Flow-GRPO प्रस्तावित करते हैं, जो अंतिम परिणाम के बजाय प्रत्येक डिनोइजिंग स्टेप के मार्जिनल इम्प्रूवमेंट (marginal improvement) के आधार पर क्रेडिट असाइन करता है।

A. स्टेपवाइज रिवॉर्ड एस्टीमेशन (Stepwise Reward Estimation)

चूंकि रिवॉर्ड मॉडल्स सीधे नॉइजी इंटरमीडिएट स्टेट्स ( $x_t$ ) का मूल्यांकन नहीं कर सकते, इसलिए यह विधि प्रत्येक चरण पर अंतर्निहित क्लीन इमेज का अनुमान लगाती है:

ट्वीडी का फॉर्मूला (Tweedie's Formula): प्रेडिक्टेड नॉइज़ $\hat{x}_1$ का उपयोग करके क्लीन इमेज $\hat{x}_0(t) = x_t - t\hat{x}_1$ का अनुमान लगाया जाता है।
मल्टी-स्टेप रिफाइनमेंट: सटीकता में सुधार के लिए, विधि $x_t$ से एक उच्च-गुणवत्ता वाला अनुमान $\hat{x}_0(t)$ उत्पन्न करने के लिए $T'$ (जैसे, 5) डिटरमिनिस्टिक ODE सबस्टेप्स का उपयोग करती है।
रिवॉर्ड कैलकुलेशन: प्रत्येक स्टेप $t$ के लिए रिवॉर्ड $r_t = R(\hat{x}_0(t), \text{prompt})$ की गणना की जाती है।

B. गेन-आधारित एडवांटेज (Gain-Based Advantages)

सभी चरणों के लिए अंतिम रिवॉर्ड $r_0$ का उपयोग करने के बजाय, यह विधि स्टेपवाइज गेन्स (stepwise gains) की गणना करती है:
$g_t = r_{t-1} - r_t$

तंत्र (Mechanism): यदि कोई चरण अनुमानित छवि की गुणवत्ता में सुधार करता है (रिवॉर्ड बढ़ता है), तो $g_t$ पॉजिटिव होता है; यदि यह गुणवत्ता को कम करता है, तो $g_t$ नेगेटिव होता है।
टेलीस्कोपिंग प्रॉपर्टी (Telescoping Property): गेन्स का योग कुल ट्राजेक्टरी सुधार के बराबर होता है ( $\sum g_t = r_0 - r_T$ )। यह सुनिश्चित करता है कि लोकल गेन्स को मैक्सिमाइज करना ग्लोबल ऑब्जेक्टिव को मैक्सिमाइज करने के समान है।
जॉइंट नॉर्मलाइजेशन (Joint Normalization): गेन्स को सभी चरणों और ट्राजेक्टरीज में ग्लोबली नॉर्मलाइज किया जाता है (बजाय प्रति-चरण के), ताकि प्राकृतिक टेम्पोरल स्ट्रक्चर को संरक्षित किया जा सके जहाँ शुरुआती चरण आमतौर पर बड़े गेन्स देते हैं।

C. बेहतर SDE (DDIM-प्रेरित)

Flow-GRPO के SDE में शोर की समस्या को हल करने के लिए:

लेखक एक DDIM-स्टाइल SDE पेश करते हैं जो डिटरमिनिस्टिक ODE सैंपलिंग और स्टोकेस्टिक एक्सप्लोरेशन के बीच इंटरपोलेट करता है।
वैरिएंस प्रिजर्वेशन (Variance Preservation): नया SDE फ्लो ODE के मार्जिनल वैरिएंस को अधिक सटीक रूप से मैच करने के लिए डिज़ाइन किया गया है, जिससे अतिरिक्त शोर के संचय को रोका जा सके जो इंटरमीडिएट सैंपल्स को खराब करता है।
एडेप्टिव नॉइज़ शेड्यूल (Adaptive Noise Schedule): शोर इंजेक्शन ( $\sigma_t$ ) को इस तरह से वेट किया गया है कि यह बाद के चरणों में अधिक हो (जहाँ व्यवधानों के स्थानीय प्रभाव होते हैं) और शुरुआती चरणों में कम हो (जहाँ व्यवधानों के वैश्विक प्रभाव होते हैं), जिससे स्थिर पॉलिसी ग्रेडिएंट्स सुनिश्चित होते हैं और रिवॉर्ड इवैल्यूएशन के लिए उच्च-गुणवत्ता वाले इंटरमीडिएट सैंपल्स बने रहते हैं।

3. मुख्य योगदान (Key Contributions)

स्टेपवाइज क्रेडिट असाइनमेंट: फ्लो-GRPO में गेन-आधारित एडवांटेज का पहला अनुप्रयोग, जो यूनिफॉर्म ट्राजेक्टरी रिवॉर्ड्स से हटकर है।
सैद्धांतिक आधार (Theoretical Grounding): यह विधि को एडेप्टिव सबमॉड्यूलर ऑप्टिमाइजेशन से जोड़ता है, जो सुझाव देता है कि स्टेपवाइज गेन्स का ग्रीडी मैक्सिमाइजेशन कुछ शर्तों के तहत निकट-इष्टतम (near-optimal) है।
ित।
बेहतर सैंपलिंग SDE: एक अभिनव DDIM-प्रेरित SDE जो इंटरमीडिएट सैंपल्स में शोर को कम करता है, जिससे RL एक्सप्लोरेशन के लिए आवश्यक स्टोकेस्टिसिटीिटी से समझौता किए बिना रिवॉर्ड सिग्नल्स की फिडेलिटी में सुधार होता है।
दक्षता (Efficiency): यह प्रदर्शित करता है कि स्टेपवाइज क्रेडिट असाइनमेंट तेजी से कन्वर्जेंस और बेहतर सैंपल एफिशिएंसी की ओर ले जाता है, जो इंटरमीडिएट रिवॉर्ड एस्टीमेशन के कम्प्यूटेशनल ओवरहेड की भरपाई करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस विधि का मूल्यांकन SD3.5-Medium पर GenEval (कंपोजिशनल अंडरस्टैंडिंग) और PickScore (ह्यूमन प्रेफरेंस) डेटासेट्स का उपयोग करके किया गया।

सैंपल एफिशिएंसी: स्टेपवाइज-फ्लो-GRPO सभी रिवॉर्ड फंक्शन्स (PickScore, ImageReward, UnifiedReward) में स्टैंडर्ड फ्लो-GRPO से लगातार बेहतर प्रदर्शन करता है। यह कम ट्रेनिंग स्टेप्स में उच्च रिवॉर्ड प्राप्त करता है।
कन्वर्जेंस स्पीड: अतिरिक्त कम्प्यूटेशन के बावजूद, यह विधि बेहतर सैंपल एफिशिएंसी के कारण वॉल-क्लॉक टाइम में 20-40% तेजी से कन्वर्ज होती है।
अंतिम गुणवत्ता:
- GenEval: यह फ्लो-GRPO से बेहतर प्रदर्शन करता है, विशेष रूप से गिनती (जैसे, "चार डोनट्स"), स्पेशियल पोजिशनिंग (जैसे, "लैपटॉप के दाईं ओर गाय"), और एट्रीब्यूट बाइंडिंग में।
- विस्तारित प्रशिक्षण: 400 GPU घंटों के साथ, यह विधि 0.87 का GenEval स्कोर प्राप्त करती है, जो फ्लो-GRPO (0.72) से अधिक है और GPT-4o (0.84) जैसे स्टेट-ऑफ-द-आर्ट ऑटोरिग्रेसिव मॉडल्स के करीब है।
स्थिरता (Stability): यह विधि जटिल VLM-आधारित रिवॉर्ड्स (UnifiedReward) के साथ काफी बेहतर स्थिरता दिखाती है, जहाँ स्टैंडर्ड फ्लो-GRPO अक्सर डाइवर्ज (diverge) हो जाता है।
एब्लेशन स्टडीज (Ablation Studies):
- जॉइंट नॉर्मलाइजेशन: टेम्पोरल स्ट्रक्चर को संरक्षित करने के लिए प्रति-चरण नॉर्मलाइजेशन की तुलना में इसे श्रेष्ठ पाया गया।
- सबस्टेप्स ( $T'$ ): $T'=5$ एस्टीमेट क्वालिटी और कम्प्यूटेशनल कॉस्ट के बीच सबसे अच्छा संतुलन प्रदान करता है।

5. महत्व (Significance)

यह कार्य मौलिक रूप से बदल देता है कि निरंतर जेनरेटिव प्रोसेस (continuous generative processes) पर RL कैसे लागू किया जाता है। यह पहचानकर कि डिफ्यूजन/फ्लो मॉडल्स में शुरुआती निर्णय अंतिम गुणवत्ता निर्धारित करने में अत्यधिक भार वहन करते हैं, स्टेपवाइज-फ्लो-GRPO अधिक सूक्ष्म और सटीक लर्निंग सिग्नल प्रदान करता है।

व्यापक प्रभाव: यह "रिवॉर्ड हैकिंग" की समस्या को हल करता है जहाँ मॉडल शुरुआती गलतियों को रोकने के बजाय उन्हें ठीक करना सीख जाते हैं।
स्केलेबिलिटी: यह विधि बड़े विजन-लैंग्वेज रिवॉर्ड मॉडल्स और जटिल कंपोजिशनल कार्यों (जैसे OCR और मल्टी-ऑब्जेक्ट काउंटिंग) के लिए प्रभावी ढंग से स्केल होती है।
भविष्य की दिशाएं: लेखक करिकुलम लर्निंग के लिए गेन वेरिएंस को एक सिग्नल के रूप में उपयोग करने और सेल्फ-करेक्टिंग डिफ्यूजन को सक्षम करने का सुझाव देते हैं जहाँ मॉडल खराब इंटरमीडिएट निर्णयों को फिर से प्रयास करना सीखते हैं।

संक्षेप में, Stepwise-Flow-GRPO फ्लो-मैचिंग मॉडल्स को मानवीय प्राथमिकताओं के साथ संरेखित करने के लिए एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो पिछले यूनिफॉर्म क्रेडिट असाइनमेंट दृष्टिकोणों की तुलना में अधिक कुशल, स्थिर और उच्च-गुणवत्ता वाला प्रशिक्षण प्रतिमान प्रदान करता है।