💻 computer science

Alleviating Sparse Rewards by Modeling Step-Wise and Long-Term Sampling Effects in Flow-Based GRPO

यह शोध पत्र टर्निंगपॉइंट-जीआरपीओ (TP-GRPO) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो टेक्स्ट-टू-इमेज जनरेशन के लिए फ्लो-बेस्ड जीआरपीओ (Flow-Based GRPO) को बेहतर बनाने हेतु स्पार्स आउटकम-आधारित रिवार्ड्स के स्थान पर डेंस स्टेप-लेवल इंक्रीमेंटल रिवार्ड्स का उपयोग करता है और एग्रीगेटेड लॉन्ग-टर्म रिवार्ड्स असाइन करने के लिए "टर्निंग पॉइंट्स" की पहचान करता है, जिससे डिनोइजिंग ट्राजेक्टरी के भीतर तत्काल और विलंबित प्रभावों को प्रभावी ढंग से मॉडल किया जा सके।

मूल लेखक: Yunze Tong, Mushui Liu, Canyu Zhao, Wanggui He, Shiyi Zhang, Hongwei Zhang, Peng Zhang, Jinlong Liu, Ju Huang, Jiamang Wang, Hao Jiang, Pipei Huang

प्रकाशित 2026-02-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yunze Tong, Mushui Liu, Canyu Zhao, Wanggui He, Shiyi Zhang, Hongwei Zhang, Peng Zhang, Jinlong Liu, Ju Huang, Jiamang Wang, Hao Jiang, Pipei Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कलाकार को पेंटिंग करना सिखा रहे हैं, वह भी चरण-दर-चरण। रोबोट एक कैनवास से शुरू करता है जो स्टैटिक नॉइज़ (जैसे टीवी पर दिखने वाली बर्फ जैसी झिलमिलाहट) से ढका होता है और धीरे-धीरे इसे साफ करके एक स्पष्ट छवि बनाता है। यह प्रक्रिया "डिनोइजिंग" (denoising) कहलाती है, और यह कई छोटे-छोटे चरणों में होती है।

अतीत में, जब शोधकर्ताओं ने GRPO (Group Relative Policy Optimization) नामक विधि का उपयोग करके इस रोबोट को सिखाने की कोशिश की, तो उन्होंने फीडबैक देने के तरीके में एक सरल गलती की।

समस्या: "फाइनल ग्रेड" का जाल

कल्पना कीजिए कि आप 10 चरणों वाली एक गणित की परीक्षा दे रहे हैं।

पुराना तरीका (Flow-GRPO): आपको पूरा टेस्ट खत्म करने के बाद ही 90% का अंतिम ग्रेड मिलता है। फिर शिक्षक कहता है, "बहुत अच्छा! आपने हर एक सवाल पर समान रूप से अच्छा प्रदर्शन किया।"
वास्तविकता: हो सकता है कि आपने सवाल नंबर 3 गलत किया हो, जिससे बाकी टेस्ट कठिन हो गया हो, लेकिन सवाल नंबर 7 शानदार था और उसने स्थिति को संभाल लिया। हर सवाल को एक जैसा "90%" क्रेडिट देकर, रोबोट को यह पता नहीं चल पाता कि कौन सा विशिष्ट चरण अच्छा था या बुरा। यह एक "स्पार्स" (sparse) सिग्नल की तरह है—उसे केवल परिणाम पता चलता है, प्रक्रिया नहीं।

इसके अलावा, पुराने तरीके ने इस बात को नजरअंदाज कर दिया कि एक चरण दूसरे को कैसे प्रभावित करता है। यदि आप शुरुआत में एक छोटी सी गलती करते हैं, तो यह पूरी पेंटिंग को बिगाड़ सकती है, लेकिन रोबोट को यह एहसास नहीं होगा कि वह शुरुआती गलती ही वह "टर्निंग पॉइंट" थी जहाँ चीजें गलत हुईं।

समाधान: टर्निंगपॉइंट-जीआरपीओ (TurningPoint-GRPO या TP-GRPO)

लेखकों ने इस रोबोट को सिखाने का एक स्मार्ट तरीका बनाया, जिसे TurningPoint-GRPO कहा जाता है। उन्होंने दो मुख्य विचारों के साथ इस समस्या को ठीक किया:

1. "चरण-दर-चरण" स्कोरकार्ड (Sparse Rewards का समाधान)

अंत तक इंतजार करके ग्रेड देने के बजाय, TP-GRPO रोबोट द्वारा लिए गए हर एक चरण के लिए एक छोटा स्कोर देता है।

उपमा: कल्पना कीजिए कि एक GPS नेविगेशन ऐप है। केवल यह बताने के बजाय कि "आप मंजिल पर पहुँच गए," यह आपको बताता है, "यहाँ बाएँ मुड़ने के लिए अच्छा काम किया," या "ओह, वह दाएँ मोड़ थोड़ा गलत था।"
यह कैसे काम करता है: सिस्टम एक चरण से पहले की छवि और उस चरण के बाद की छवि के बीच की गुणवत्ता के अंतर की गणना करता है। यह रोबोट को एक स्पष्ट और तत्काल संकेत देता है कि क्या वह विशिष्ट कदम मददगार था या हानिकारक।

2. "टर्निंग पॉइंट्स" को पहचानना (Long-Term Effects का समाधान)

कभी-कभी, एक कदम उस क्षण में बुरा लग सकता है, लेकिन वास्तव में वह बाद में एक बड़े सुधार की नींव रखता है। या, एक कदम ठीक लग सकता है, लेकिन वह चुपके से एक ऐसी श्रृंखला शुरू कर सकता है जो अंतिम चित्र को बर्बाद कर दे।

उपमा: एक हाइकर (पर्वतारोही) के बारे में सोचें जो पहाड़ चढ़ रहा है।
- सामान्य कदम: एक कदम आगे लेना जो थोड़ा ऊपर की ओर जाता है।
- टर्निंग पॉइंट: हाइकर रास्ते के एक मोड़ पर पहुँचता है। एक रास्ता ऐसा दिखता है जो नीचे की ओर जाता है (स्थानीय रूप से बुरा), लेकिन वास्तव में वह एक ऐसे पुल तक ले जाता है जो एक घाटी को पार करता है (वैश्विक रूप से अच्छा)। दूसरा रास्ता सपाट दिखता है लेकिन एक डेड एंड (बंद रास्ते) की ओर ले जाता है।
- नवाचार: TP-GRPO इन "टर्निंग पॉइंट्स" को पहचानने में सक्षम है। यह समझ जाता है, "हे, भले ही इस कदम ने एक पल के लिए दृश्य को बदतर बना दिया, लेकिन इसने ट्रेंड को बदल दिया और हमें शिखर तक पहुँचने के सही रास्ते पर डाल दिया।"
पुरस्कार (Reward): जब रोबोट एक "टर्निंग पॉइंट" वाला कदम उठाता है, तो उसे एक विशेष "बोनस रिवॉर्ड" मिलता है जो तात्कालिक परिणाम के बजाय दीर्घकालिक लाभ को ध्यान में रखता है।

यह क्यों महत्वपूर्ण है

शोधकर्ताओं का दावा है कि इन दो तरीकों का उपयोग करके:

सघन फीडबैक (Denser Feedback): रोबोट तेजी से सीखता है क्योंकि उसे पता होता है कि कौन से मूव्स अच्छे थे, बजाय इसके कि वह अंतिम ग्रेड के आधार पर अनुमान लगाए।
बेहतर रणनीति: रोबोट ऐसे मूव्स करना सीखता है जो अल्पकाल में जोखिम भरे लग सकते हैं लेकिन लंबे समय में एक बेहतर चित्र की ओर ले जाते हैं।

परिणाम

शोधकर्ताओं ने तीन प्रकार के कार्यों पर इसका परीक्षण किया:

कंपोजिशनल जनरेशन (Compositional Generation): विशिष्ट संख्या और वस्तुओं वाली छवियां बनाना (जैसे, "तीन लाल कारें")।
टेक्स्ट रेंडरिंग (Text Rendering): छवि के अंदर शब्दों को स्पष्ट रूप से लिखना।
मानव प्राथमिकता (Human Preference): ऐसी छवियां बनाना जिन्हें इंसान बस अधिक सुंदर पाते हैं।

इन सभी मामलों में, नए तरीके (TP-GRPO) ने पुराने तरीके की तुलना में बेहतर छवियां बनाईं और तेजी से सीखा। इसे काम करने के लिए किसी जटिल अतिरिक्त सेटिंग्स की आवश्यकता नहीं थी; इसने बस उन महत्वपूर्ण टर्निंग पॉइंट्स को खोजने के लिए "साइन" (धनात्मक या ऋणात्मक दिशा) के बदलावों को देखने के एक चतुर तरीके का उपयोग किया।

संक्षेप में: TP-GRPO रोबोट को उस छात्र की तरह नहीं मानता जिसे केवल अंतिम ग्रेड मिलता है। इसके बजाय, यह एक कोच की तरह काम करता है जो हर चाल पर नज़र रखता है, अच्छे मूव्स की प्रशंसा करता है, गलतियों को सुधारता है, और विशेष रूप से उन मूव्स को पुरस्कृत करता है जो एक खराब स्थिति को जीत में बदल देते हैं।

तकनीकी सारांश: फ्लो-आधारित सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए TurningPoint-GRPO

समस्या विवरण
यह शोध पत्र टेक्स्ट-टू-इमेज जनरेशन के लिए फ्लो मैचिंग (Flow Matching - FM) मॉडल्स पर ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) लागू करने में दो महत्वपूर्ण सीमाओं को संबोधित करता है। मौजूदा प्रतिमान (paradigms), जैसे कि Flow-GRPO और DanceGRPO, सभी पूर्ववर्ती डिनोइजिंग स्टेप्स (denoising steps) को समान रूप से एक एकल परिणाम-आधारित रिवॉर्ड (जो अंतिम स्वच्छ छवि पर मूल्यांकित किया जाता है) आवंटित करते हैं। यह डिज़ाइन दो विशिष्ट समस्याएँ उत्पन्न करता है:

रिवॉर्ड स्पर्सिटी (Reward Sparsity) और स्थानीय मिसअलाइनमेंट (Local Misalignment): टर्मिनल रिवॉर्ड को प्रत्येक स्टेप तक प्रसारित करके, यह विधि व्यक्तिगत डिनोइजिंग कार्यों के "शुद्ध" वृद्धिशील योगदान (incremental contribution) को पहचानने में विफल रहती है। चूंकि डिनोइजिंग स्टेप्स अंतिम जनरेशन में असमान रूप से योगदान देते हैं, इसलिए समान आवंटन गलत क्रेडिट असाइनमेंट की ओर ले जाता है। इसके अतिरिक्त, डिनोइजिंग ट्राजेक्टरी के दौरान स्थानीय रिवॉर्ड ट्रेंड अक्सर दोलन (oscillate) करते हैं या अस्थायी रूप से घटते हैं, भले ही अंतिम ट्राजेक्टरी सफल हो। इन स्टेप्स को उच्च टर्मिनल एडवांटेज (advantage) देना उन कार्यों को गलत तरीके से सुदृढ़ करता है जो स्थानीय स्तर पर इमेज क्वालिटी को कम करते हैं।
ट्राजेक्टरी के भीतर निर्भरताओं की उपेक्षा (Neglect of Within-Trajectory Dependencies): वर्तमान GRPO कार्यान्वयन मुख्य रूप से एक समूह के भीतर मेल खाते टाइमस्टेप्स पर ट्राजेक्टरीज को रैंक करते हैं, जिससे एक ही ट्राजेक्टरी के भीतर निहित अंतःक्रियाओं (implicit interactions) की अनदेखी होती है। फ्लो मैचिंग में, शुरुआती डिनोइजिंग कार्य विलंबित, निहित अंतःक्रियाओं के माध्यम से बाद की अवस्थाओं और अंतिम परिणाम को प्रभावित करते हैं। विशेष रूप से, कुछ "टर्निंग पॉइंट्स" (turning points)—वे स्टेप्स जो एक स्थानीय नकारात्मक रिवॉर्ड ट्रेंड को उलट देते हैं ताकि समग्र सकारात्मक ट्राजेक्टरी ट्रेंड के साथ संरेखित हो सकें—का एक महत्वपूर्ण दीर्घकालिक प्रभाव होता है जिसे मानक स्टेप-वाइज या टर्मिनल रिवॉर्ड द्वारा अपर्याप्त रूप से मॉडल किया जाता है।

कार्यप्रणाली: TurningPoint-GRPO (TP-GRPO)
लेखक TP-GRPO का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो रिवॉर्ड स्पर्सिटी को कम करता है और दो प्रमुख नवाचारों के माध्यम से दीर्घकालिक सैंपलिंग प्रभावों को स्पष्ट रूप से मॉडल करता है:

स्टेप-वाइज वृद्धिशील रिवॉर्ड (Step-Wise Incremental Rewards):
टर्मिनल रिवॉर्ड का उपयोग करने के बजाय, TP-GRPO प्रत्येक SDE (स्टोकेस्टिक डिफरेंशियल इक्वेशन) सैंपलिंग स्टेप के वृद्धिशील प्रभाव के आधार पर एक सघन (dense), स्टेप-लेवल रिवॉर्ड की गणना करता है।

$t$ से $t-1$ के ट्रांजिशन के लिए, विधि लेटेंट स्टेट्स $x_t$ और $x_{t-1}$ को कैश (cache) करती है।
इसके बाद, यह दोनों अवस्थाओं से नियतात्मक (deterministic) ODE सैंपलिंग का उपयोग करके ट्राजेक्टरी को पूरा करती है ताकि स्वच्छ छवियां $x^{ODE(t)}_t$ और $x^{ODE(t-1)}_{t-1}$ प्राप्त की जा सकें।
स्टेप-वाइज रिवॉर्ड $r_t$ को अंतर के रूप में परिभाषित किया गया है: $r_t = R(x^{ODE(t-1)}_{t-1}) - R(x^{ODE(t)}_t)$ ।
यह विशिष्ट SDE अपडेट के "शुद्ध" लाभ (gain) को अलग करता है, जिससे एक ऐसा लर्निंग सिग्नल मिलता है जो कुल ट्राजेक्टरी परिणाम के बजाय स्थानीय प्रगति को दर्शाता है।

टर्निंग पॉइंट पहचान और एकत्रित रिवॉर्ड (Turning Point Identification and Aggregated Rewards):
यह विधि "टर्निंग पॉइंट्स" की पहचान करती है—वे स्टेप्स जहाँ स्थानीय रिवॉर्ड ट्रेंड बदलकर समग्र ट्राजेक्टरी ट्रेंड के अनुरूप हो जाता है।

परिभाषा: एक स्टेप $t$ एक टर्निंग पॉइंट है यदि स्थानीय सैंपलिंग एक्शन एक नकारात्मक ट्रेंड को उलट देता है (या एक सकारात्मक ट्रेंड शुरू करता है) जिससे बाद का रिवॉर्ड इवोल्यूशन, नॉइज़ से अंतिम इमेज तक के ग्लोबल ट्रेंड के साथ संरेखित हो जाता है। इसे केवल वृद्धिशील रिवॉर्ड्स के साइन परिवर्तन (sign changes) के माध्यम से पहचाना जाता है।
एकत्रित रिवॉर्ड (Aggregated Reward): पहचाने गए टर्निंग पॉइंट्स के लिए, स्थानीय स्टेप-वाइज रिवॉर्ड को एक एकत्रित दीर्घकालिक रिवॉर्ड से बदल दिया जाता है: $r^agg_t = R(x_0) - R(x^{ODE(t)}_t)$ , जहाँ $x_0$ पूर्ण SDE के माध्यम से सैम्पल की गई अंतिम छवि है। यह शेष ट्राजेक्टरी पर टर्निंग पॉइंट के संचयी प्रभाव को कैप्चर करता है।
प्रारंभिक स्टेप हैंडलिंग: पहले डिनोइजिंग स्टेप ( $t=T$ ) के लिए इस तर्क को विस्तारित करने हेतु एक विशिष्ट प्रतिबंध जोड़ा गया है, यह सुनिश्चित करता है कि वे शुरुआती निर्णय जो ट्राजेक्टरी को दिशा देते हैं, उन्हें उनके दीर्घकालिक प्रभावों के साथ श्रेय दिया जाए यदि वे ग्लोबल ट्रेंड के अनुरूप हों।

प्रमुख योगदान

रिवॉर्ड स्पर्सिटी की पहचान: पेपर इस बात पर प्रकाश डालता है कि टर्मिनल रिवॉर्ड को मध्यवर्ती स्टेप्स में प्रसारित करने से स्थानीय कार्यों और वैश्विक लक्ष्यों के बीच मिसअलाइनमेंट होता है, जिससे स्पार्स और गलत लर्निंग सिग्नल मिलते हैं।
निहित अंतःक्रियाओं का स्पष्ट मॉडलिंग: TP-GRPO फ्लो-आधारित GRPO में टर्निंग पॉइंट्स की पहचान करके और उन्हें एकत्रित दीर्घकालिक रिवॉर्ड असाइन करके ट्राजेक्टरी के भीतर की निर्भरताओं को स्पष्ट रूप से मॉडल करने वाला पहला कार्य है।
कुशल, हाइपरपैरामीटर-मुक्त डिज़ाइन: टर्निंग पॉइंट्स का पता लगाना पूरी तरह से वृद्धिशील रिवॉर्ड्स के साइन परिवर्तनों पर निर्भर करता है, जिससे जटिल हाइपरपैरामीटर ट्यूनिंग या मैग्नीट्यूड-आधारित थ्रेशोल्ड की आवश्यकता नहीं होती है।
फ्रेमवर्क इंटीग्रेशन: यह विधि इन अंतर्दृष्टियों को एक GRPO फ्रेमवर्क में एकीकृत करती है जो मौलिक RL ऑप्टिमाइज़ेशन संरचना को बदले बिना रिवॉर्ड स्पर्सिटी को कम करता है और बेहतर विलंबित क्रेडिट असाइनमेंट (delayed credit assignment) प्रदान करता है।

प्रायोगिक परिणाम
लेखकों ने SD3.5-M बेस मॉडल का LoRA फाइन-ट्यूनिंग के साथ तीन कार्यों पर TP-GRPO का मूल्यांकन किया:

कंपोजिशनल इमेज जनरेशन: Geneval (गिनती और एट्रिब्यूट बाइंडिंग) पर मूल्यांकित।
विजुअल टेक्स्ट रेंडरिंग: OCR सटीकता पर मूल्यांकित।
ह्यूमन प्रेफरेंस अलाइनमेंट: PickScore और एस्थेटिक मेट्रिक्स पर मूल्यांकित।

निष्कर्ष:

प्रदर्शन: TP-GRP वेरिएंट्स ने तीनों कार्यों में टास्क-स्पेसिफिक स्कोर (जैसे, GenEval, OCR सटीकता) और ह्यूमन प्रेफरेंस मेट्रिक्स (PickScore, ImageReward) के मामले में Flow-GRPO बेसलाइन को लगातार पछाड़ दिया।
अभिसरण (Convergence): ट्रेनिंग कर्व्स ने दिखाया कि TP-GRPO, Flow-GRPO की तुलना में तेजी से कन्वर्ज होता है। उदाहरण के लिए, PickScore टास्क पर, TP-GRPO ने लगभग एक-तिहाई ट्रेनिंग स्टेप्स में Flow-GRPO के बराबर रिवॉर्ड प्राप्त कर लिया।
गुणात्मक सुधार: विजुअल तुलनाओं ने सटीक ऑब्जेक्ट काउंटिंग, टेक्स्ट रेंडरिंग फिडेलिटी और कंटेंट अलाइनमेंट में सुधार दिखाया।
मजबूती (Robustness): SDE सैंपलिंग विंडो साइज और नॉइज़ स्केल ( $\alpha$ ) पर एब्लेशन स्टडीज ने संकेत दिया कि TP-GRPO हाइपरपैरामीटर वेरिएशंस के प्रति मजबूत है और विभिन्न स्टोकेस्टिसिटी लेवल्स के तहत भी लगातार बेसलाइन से बेहतर प्रदर्शन करता है।

महत्व और दावे
पेपर का दावा है कि आउटकम-आधारित से स्टेप-वाइज वृद्धिशील रिवॉर्ड्स की ओर शिफ्ट होकर और टर्निंग पॉइंट्स को स्पष्ट रूप से मॉडल करके, TP-GRPO डिनोइजिंग क्रियाओं के "शुद्ध" लाभ का अधिक सटीक अनुमान प्रदान करता है। यह दृष्टिकोण पिछले तरीकों में निहित ग्लोबल-लोकल मिसअलाइनमेंट को हल करता है और जनरेशन प्रक्रिया में महत्वपूर्ण स्टेप्स के विलंबित प्रभावों को कैप्चर करता है। लेखक दावा करते हैं कि इससे फ्लो मैचिंग मॉडल्स के लिए अधिक प्रभावी RL फाइन-ट्यूनिंग होती है, जिसके परिणामस्वरूप बिना किसी अतिरिक्त हाइपरपैरामीटर या जटिल रिवॉर्ड मॉडलिंग के उच्च गुणवत्ता वाली इमेज जनरेशन होती है। यह कार्य डिफ्यूजन और फ्लो-आधारित जनरेटिव मॉडल्स के लिए GRPO प्रतिमान में एक मौलिक सुधार के रूप में खुद को स्थापित करता है।