💻 computer science

OP-GRPO: Efficient Off-Policy GRPO for Flow-Matching Models

OP-GRPO फ्लो-मैचिंग मॉडल्स के लिए पहला ऑफ-पॉलिसी सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो उच्च-गुणवत्ता वाले प्रक्षेपवक्र चयन (trajectory selection), अनुक्रम-स्तरीय महत्व नमूनाकरण (sequence-level importance sampling) और विलंब-चरण ट्रंकेशन (late-step truncation) के साथ एक रिप्ले बफर का उपयोग करके प्रशिक्षण दक्षता को बढ़ाता है ताकि ऑन-पॉलिसी GRPO की तुलना में काफी कम प्रशिक्षण चरणों के साथ बेहतर प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Liyu Zhang, Kehan Li, Tingrui Han, Tao Zhao, Yuxuan Sheng, Shibo He, Chao Li

प्रकाशित 2026-04-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Liyu Zhang, Kehan Li, Tingrui Han, Tao Zhao, Yuxuan Sheng, Shibo He, Chao Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली कलाकार (AI) को बेहतर चित्र बनाना सिखा रहे हैं। कलाकार पहले से ही पेंटिंग करना जानता है, लेकिन आप उसकी शैली को सुधारना चाहते हैं, उसे निर्देशों का अधिक बारीकी से पालन करना सिखाना चाहते हैं, और उसकी कला को अधिक सुंदर बनाना चाहते हैं।

AI की दुनिया में, इस प्रक्रिया को Reinforcement Learning कहा जाता है। आपके द्वारा साझा किया गया पेपर इस कलाकार को सिखाने का एक नया, सुपर-कुशल तरीका पेश करता है, जिसे OP-GRPO कहा जाता है।

यहाँ समस्या और समाधान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।

समस्या: "फिजूलखर्च छात्र" (The "Wasteful Student")

वर्तमान में, इन AI कलाकारों (जिन्हें Flow-Matching Models कहा जाता है) को सिखाने का मानक तरीका एक बहुत ही सख्त और फिजूलखर्च शिक्षक की तरह है।

पुराना तरीका (On-Policy/Flow-GRPO):
कल्पना कीजिए कि शिक्षक छात्र से 10 चित्र बनाने के लिए कहता है। शिक्षक उन्हें देखता है, सबसे अच्छा चित्र चुनता है, और कहता है, "बहुत अच्छा!" फिर, शिक्षक उन सभी 10 चित्रों को कूड़ेदान में फेंक देता है और छात्र से फिर से नए खाली कैनवास के साथ शुरू करने को कहता है।

समस्या: भले ही छात्र ने तीसरी कोशिश में अनजाने में एक उत्कृष्ट कृति (masterpiece) बना दी हो, उसे फेंक दिया जाता है। छात्र को हर बार शून्य से सब कुछ फिर से सीखना पड़ता है। इसमें बहुत समय लगता है और बहुत अधिक ऊर्जा (कंप्यूटिंग पावर) बर्बाद होती है।

"हार्ड मोड" की समस्या:
कभी-कभी कार्य वास्तव में कठिन होता है (जैसे किसी विशिष्ट टेक्स्ट के साथ एक जटिल दृश्य बनाना)। छात्र 99 बार विफल हो सकता है और केवल एक बार सफल हो सकता है। यदि शिक्षक उस एक सफलता को तुरंत फेंक देता है, तो छात्र हतोत्साहित हो जाता है और सीखना बंद कर देता है क्योंकि वह सोचता है, "मैं यह नहीं कर सकता।"

समाधान: "स्मार्ट म्यूजियम" (The "Smart Museum" - OP-GRPO)

लेखकों ने OP-GRPO बनाया है। इसे एक स्मार्ट म्यूजियम या रिप्ले बफर (Replay Buffer) के रूप में समझें।

चित्रों को फेंकने के बजाय, शिक्षक छात्र के सबसे अच्छे काम का एक विशेष संग्रहालय रखता है। यहाँ बताया गया है कि OP-GRPO तीन सरल चरणों में कैसे काम करता है:

1. "दोनों दुनियाओं का सर्वश्रेष्ठ" संग्रहालय (Replay Buffer)

यह कैसे काम करता है: जब छात्र चित्रों का एक समूह बनाता है, तो शिक्षक केवल उन्हें देखता और फेंकता नहीं है। इसके बजाय, शिक्षक सबसे अच्छे चित्रों को चुनता है और उन्हें म्यूजियम (संग्रहालय) में रख देता है।
जादू: अगले पाठ में, शिक्षक केवल नए चित्र बनाने के लिए नहीं कहता। वे कहते हैं, "9 नए चित्र बनाओ, लेकिन 10वें चित्र के लिए, इस म्यूजियम से इस उत्कृष्ट कृति को देखो और इसमें सुधार करने की कोशिश करो।"
परिणाम: छात्र हर बार शून्य से शुरू करने के बजाय अपनी पिछली सफलताओं से सीखता है। इससे बहुत समय बचता है।

2. "अनुवाद" सुधार (Sequence-Level Correction)

समस्या: यदि छात्र पिछले सप्ताह के चित्र से सीखने के लिए म्यूजियम से एक पेंटिंग देखता है, तो जोखिम होता है। छात्र की शैली थोड़ी बदल सकती है। यदि वे पुराने चित्र की बहुत सख्ती से नकल करने की कोशिश करते हैं, तो वे भ्रमित हो सकते हैं या गलतियाँ कर सकते हैं क्योंकि पुराने चित्र के "नियम" आज की शैली के साथ पूरी तरह से मेल नहीं खाते।
समाधान: शिक्षक एक विशेष अनुवादक (Translator) का उपयोग करता है। यह अनुवादक फीडबैक को इस तरह समायोजित करता है कि छात्र समझ सके: "यह पुराना चित्र महान है, लेकिन याद रखें, आप आज अपनी आज की कुशलता के साथ पेंट कर रहे हैं।"
यह क्यों महत्वपूर्ण है: इस अनुवादक के बिना, छात्र भ्रमित हो जाता है और प्रशिक्षण क्रैश हो जाता है। इसके साथ, छात्र पुराने उदाहरणों से सुरक्षित रूप से सीखता है।

3. "अंत को काटने" की ट्रिक (Trajectory Truncation)

समस्या: AI पेंटिंग में, प्रक्रिया चरणों में होती है।
- चरण 1: एक धुंधला सा दृश्य।
- चरण 50: लगभग पूरा हो गया।
- चरण 100: अंतिम पिक्सेल-परफेक्ट छवि।
  उपलब्ध डेटा से पता चला कि पुराने चित्र के अंतिम चरणों (चरण 99 से 100) को देखना वास्तव में खतरनाक है। वहां गणित जटिल और अस्थिर हो जाता है, जैसे कि इसकी नोक पर पेंसिल को संतुलित करने की कोशिश करना।
समाधान: शिक्षक कहता है, "हम पुराने चित्र का चरण 90 तक उपयोग करेंगे। अंतिम 10 चरणों के लिए, आप उन्हें अभी ताज़ा तरीके से पेंट करेंगे।"
परिणाम: यह प्रशिक्षण को स्थिर रखता है और गणितीय त्रुटियों के कारण AI को "चक्कर" आने से रोकता है।

परिणाम: तेज़ और बेहतर

लेखकों ने छवियों (जैसे Stable Diffusion) और वीडियो बनाने के लिए इस नई पद्धति का परीक्षण किया।

गति: नए तरीके (OP-GRPO) ने पुराने तरीके का उपयोग करके केवल 34% समय में समान गुणवत्ता प्राप्त कर ली। यह एक मैराथन को 3 घंटे के बजाय 1 घंटे में पूरा करने जैसा है।
गुणवत्ता: चित्र और वीडियो उतने ही अच्छे या उससे भी बेहतर थे, विशेष रूप से इमेज के अंदर टेक्स्ट लिखने या जटिल निर्देशों का पालन करने जैसे कठिन कार्यों के लिए।

सारांश

OP-GRPO एक शिक्षक को "इसे कूड़े में फेंक दो" शैली से "संग्रहालय क्यूरेट करो" शैली में अपग्रेड करने जैसा है।

सर्वश्रेष्ठ कार्य को सहेजें (इसे फेंकें नहीं)।
फीडबैक को ट्रांसलेट करें ताकि छात्र पुराने उदाहरणों से भ्रमित न हो।
गणितीय त्रुटियों से बचने के लिए पुराने उदाहरणों के बिल्कुल अंत को न देखें।

परिणाम? AI तेजी से सीखता है, कम ऊर्जा का उपयोग करता है, और रिकॉर्ड समय में एक मास्टर कलाकार बन जाता है।

यहाँ "OP-GRPO: Efficient Off-Policy GRPO for Flow-Matching Models" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फ्लो-मैचिंग मॉडल जनरेटिव एआई (जैसे, Stable Diffusion 3.5, Wan) के लिए एक प्रमुख प्रतिमान (paradigm) बन गए हैं, जो पारंपरिक डिफ्यूजन मॉडल की तुलना में बेहतर सैंपलिंग दक्षता और विजुअल फिडेलिटी (visual fidelity) प्रदान करते हैं। हालाँकि, इन मॉडलों को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके मानवीय प्राथमिकताओं (human preferences) के साथ संरेखित (align) करना महत्वपूर्ण दक्षता बाधाओं का सामना करता है:

कम सैंपल दक्षता (Low Sample Efficiency): मानक GRPO पूरी तरह से ऑन-पॉलिसी (on-policy) है। यह एक एकल प्रशिक्षण पुनरावृत्ति (iteration) के बाद सभी जनरेटेड ट्रेजेक्टरीज (trajectories) को हटा देता है, भले ही वे उच्च गुणवत्ता वाली हों। इससे भारी कम्प्यूटेशनल बर्बादी होती है, क्योंकि ट्रेजेक्टरी सैंपलिंग लागत का एक बड़ा हिस्सा बनाती है।
रिवॉर्ड डिजनरेशन (Reward Degeneration): कठिन कार्यों में, मॉडल अक्सर सफल ट्रेजेक्टरीज बनाने में विफल रहते हैं, जिससे रिवॉर्ड लगभग शून्य तक गिर जाता है। इसके परिणामस्वरूप वैनिशिंग ग्रेडिएंट्स (vanishing gradients) होते हैं और लर्निंग रुक जाती है।
ऑफ-पॉलिसी लर्निंग की चुनौतियाँ (Challenges of Off-Policy Learning): फ्लो-मैचिंग मॉडलों में केवल पुरानी ट्रेजेक्टरीज का पुन: उपयोग करना (off-policy) दो गंभीर मुद्दे उत्पन्न करता है:
1. डिस्ट्रीब्यूशनल शिफ्ट (Distributional Shift): वर्तमान पॉलिसी ( $\pi_{old}$ ) के बजाय एक पुरानी पॉलिसी ( $\pi_{off}$ ) से डेटा का पुन: उपयोग करने से इम्पॉर्टेंस सैंपलिंग रेश्यो (importance sampling ratios) विकृत हो जाते हैं, जिससे GRPO में स्थिरता सुनिश्चित करने वाला क्लिपिंग मैकेनिज्म टूट जाता है।
2. न्यूमेरिकल इंस्टेबिलिटी (Numerical Instability): जैसे-जैसे डिनोइजिंग प्रक्रिया अंतिम चरणों (कम शोर/low noise) के करीब पहुँचती है, ट्रांजिशन डिस्ट्रीब्यूशन लगभग नियतात्मक (deterministic) हो जाता है। इसके कारण इम्पॉर्टेंस वेट्स (importance weights) इल-कंडीशन्ड (ill-conditioned) हो जाते हैं (अत्यधिक बड़े या छोटे), जिससे अस्थिर अपडेट होते हैं।

2. कार्यप्रणाली: OP-GRPO (Methodology: OP-GRPO)

लेखक OP-GRPO का प्रस्ताव करते हैं, जो विशेष रूप से फ्लो-मैचिंग मॉडलों के लिए तैयार किया गया पहला ऑफ-पॉलिसी GRPO फ्रेमवर्क है। यह फ्रेमवर्क तीन मुख्य घटकों से बना है:

A. हाई-क्वालिटी रिप्ले बफर (High-Quality Replay Buffer)

ट्रेजेक्टरीज को हटाने के बजाय, OP-GRPO उच्च-गुणवत्ता वाले सैंपल्स को स्टोर करने और पुन: उपयोग करने के लिए एक रिप्ले बफर ( $\mathcal{B}_{off}$ ) बनाए रखता है।

सिलेक्शन स्ट्रैटेजी: रोलआउट के दौरान, सिस्टम बफर में रखने के लिए एक ग्रुप में से उच्चतम-रिवॉर्ड वाली ट्रेजेक्टरी का चयन करता है।
यूनिकनेस और डिके (Uniqueness & Decay): बफर को दोहराव वाले सैंपल्स में ढलने से रोकने के लिए, यह एक यूनिकनेस कंस्ट्रेंट (प्रत्येक कंडीशनिंग प्रॉम्प्ट के लिए एक ट्रेजेक्टरी) लागू करता है और स्टेपवाइज रिवॉर्ड डिके (stepwise reward decay) लागू करता है। पुराने सैंपल्स आसानी से प्रतिस्थापित (replace) होने योग्य हो जाते हैं, जिससे यह सुनिश्चित होता है कि बफर वर्तमान पॉलिसी डिस्ट्रीब्यूशन के करीब रहे।
हाइब्रिड रोलआउट (Hybrid Rollout): प्रत्येक ट्रेनिंग बैच में, प्रॉम्प्ट्स को डेटासेट से सैंपल किया जाता है, लेकिन जनरेटेड ट्रेजेक्टरीज का एक हिस्सा रिप्ले बफर से लिए गए सैंपल्स द्वारा बदल दिया जाता है (उदाहरण के लिए, $G-1$ नए सैंपल्स + 1 बफर सैंपल)।

B. सीक्वेंस-लेवल इम्पॉर्टेंस सैंपलिंग करेक्शन (Sequence-Level Importance Sampling Correction)

GRPO में ऑफ-पॉलिसी डेटा के लिए सीधे मानक इम्पॉर्टेंस सैंपलिंग लागू करना विफल रहता है क्योंकि यह रेशियो में रेफरेंस पॉलिसी ( $\pi_{old}$ ) को कैंसिल कर देता है, जिससे क्लिपिंग मैकेनिज्म गलत विसंगति (current policy और old off-policy डेटा के बीच) को मापता है।

समाधान: OP-GRPO क्लिपिंग लॉजिक को बनाए रखने के लिए वर्तमान पॉलिसी ( $\pi_\theta$ ) और रेफरेंस पॉलिसी ( $\pi_{old}$ ) के बीच मानक प्रति-चरण (per-step) इम्पॉर्टेंस रेशियो को बरकरार रखता है।
करेक्शन टर्म: ऑफ-पॉलिसी डेटा द्वारा उत्पन्न डिस्ट्रीब्यूशन शिफ्ट की भरपाई करने के लिए, ऑब्जेक्टिव फंक्शन पर एक मल्टीप्लिकेटिव फैक्टर के रूप में एक सीक्वेंस-लेवल करेक्शन टर्म लागू किया जाता है:
$\frac{P_{\pi_{old}}(\tau)}{P_{\pi_{off}}(\tau)} = \prod_{t=1}^{T} \frac{p_{\theta_{old}}(z_{t-1} | z_t, c)}{p_{\theta_{off}}(z_{t-1} | z_t, c)}$
परिणाम: यह दृष्टिकोण ऑफ-पॉलिसी सैंपल्स के क्लिपिंग रेट को नैइव (naive) तरीकों में >40% से घटाकर 11.8% कर देता है, जिससे स्थिरता बनाए रखते हुए सैंपल उपयोगिता में काफी सुधार होता है।

C. न्यूमेरिकल स्टेबिलिटी के लिए ट्रेजेक्टरी ट्रंकेशन (Trajectory Truncation for Numerical Stability)

लेखक पहचानते हैं कि इम्पॉर्टेंस वेट्स की इल-कंडीशनिंग मुख्य रूप से लेट डिनोइजिंग स्टेप्स (लो नॉइज़ रिजीम) में होती है जहाँ ट्रांजिशन डिस्ट्रीब्यूशन नियतात्मक हो जाता है।

ट्रंकेशन स्ट्रैटेजी: ऑफ-पॉलिसी ट्रेजेक्टरी का उपयोग केवल एक विशिष्ट ट्रंकेशन स्टेप ( $t_{off}$ ) तक ही किया जाता है। शेष चरणों ( $t_{off} \to 0$ ) के लिए, ट्रेजेक्टरी को वर्तमान पॉलिसी का उपयोग करके पुनः जनरेट (re-generate) किया जाता है।
लाभ: यह लो-नॉइज़ रिजीम में अस्थिर लॉग-प्रोबेबिलिटी टर्म्स को समाप्त करता है, बिना विजुअल फिडेलिटी पर महत्वपूर्ण प्रभाव डाले, क्योंकि अंतिम चरण विजुअल फिडेलिटी में न्यूनतम योगदान देते हैं।

3. मुख्य योगदान (Key Contributions)

फ्लो-मैचिंग के लिए प्रथम ऑफ-पॉलिसी GRPO: एक ऐसा फ्रेमवर्क पेश करता है जो फ्लो-मैचिंग मॉडलों के लिए GRPO की ऑन-पॉलिसी बाधा को तोड़ता है, जिससे ट्रेजेक्टरी पुन: उपयोग संभव होता है।
स्टेबल डिस्ट्रीब्यूशन करेक्शन: एक सीक्वेंस-लेवल इम्पॉर्टेंस सैंपलिंग करेक्शन प्रस्तावित करता है जो डिस्ट्रीब्यूशन शिफ्ट कंपनसेशन को GRPO क्लिपिंग मैकेनिज्म से अलग करता है, जिससे स्थिर पॉलिसी अपडेट सुनिश्चित होता है।
थ्योरिटिकल और एम्पिरिकल ट्रंकेशन: यह सैद्धांतिक और अनुभवजन्य रूप से प्रदर्शित करता है कि लेट डिनोइजिंग स्टेप्स ऑफ-पॉलिसी सेटिंग्स में न्यूमेरिकल इंस्टेबिलिटी का कारण बनते हैं और इसे कम करने के लिए एक ट्रंकेशन स्ट्रैटेजी प्रस्तावित करता है।
एफिशिएंसी गेन्स: काफी कम ट्रेनिंग स्टेप्स का उपयोग करके ऑन-पॉलिसी बेसलाइन्स के समान या बेहतर प्रदर्शन प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन इमेज जनरेशन के लिए Stable Diffusion 3.5-Medium (SD3.5-M) और वीडियो जनरेशन के लिए Wan2.1-1.4B पर तीन कार्यों पर किया गया: कंपोजिशनल इमेज जनरेशन, विजुअल टेक्स्ट रेंडरिंग, और ह्यूमन प्रेफरेंस अलाइनमेंट।

ट्रेनिंग एफिशिएंसी: समान अंतिम प्रदर्शन तक पहुँचने के लिए OP-GRPO को Flow-GRPO (ऑन-पॉलिसी) द्वारा आवश्यक ट्रेनिंग स्टेप्स के केवल 34.2% की आवश्यकता होती है। वीडियो जनरेशन में, यह दक्षता अंतर बढ़कर 30.1% हो जाता है।
परफॉरमेंस:
- OP-GRPO इंटरमीडिएट ट्रेनिंग स्टेज में लगातार Flow-GRPO से बेहतर प्रदर्शन करता है।
- यह ऑन-पॉलिसी बेसलाइन की तुलना में समान या बेहतर अंतिम प्रदर्शन (जैसे, उच्च PickScore, बेहतर OCR सटीकता, और बेहतर एस्थेटिक स्कोर) प्राप्त करता है।
- जनरलाइजेशन: OP-GRPO के साथ प्रशिक्षित मॉडल अनदेखे मेट्रिक्स (जैसे, T2I-CompBench++) पर बेहतर सामान्यीकरण दिखाते हैं और विशिष्ट टास्क रिवॉर्ड्स पर ओवरफिट नहीं होते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- सीक्वेंस करेक्शन को हटाने से ट्रेनिंग डायवर्जेंस (divergence) होता है।
- ट्रेजेक्टरी ट्रंकेशन को हटाने से इल-कंडीशन्ड वेट्स के कारण अस्थिरता आती है।
- ऑफ-पॉलिसी सैंपल प्रोपोर्शन का ~25% हिस्सा कन्वर्जेंस स्पीड और स्टेबिलिटी के बीच सबसे अच्छा संतुलन प्रदान करता है।

5. महत्व (Significance)

यह कार्य बड़े पैमाने के जनरेटिव मॉडल्स के पोस्ट-ट्रेनिंग में एक महत्वपूर्ण बाधा को संबोधित करता है। फ्लो-मैचिंग मॉडल्स में ऑफ-पॉलिसी लर्निंग को सक्षम करके, OP-GRPO एलाइनमेंट के लिए आवश्यक कम्प्यूटेशनल लागत (GPU घंटे) को नाटकीय रूप रूप से कम करता है। यह हाई-फिडेलिटी इमेज और वीडियो मॉडल्स के प्रशिक्षण को अधिक स्केलेबल और सुलभ बनाता है। इसके अलावा, निरंतर जनरेटिव प्रक्रियाओं में डिस्ट्रीब्यूशन शिफ्ट और न्यूमेरिकल इंस्टेबिलिटी को संभालने के लिए प्रस्तावित तकनीकें डिफ्यूजन और फ्लो-आधारित मॉडल्स के लिए भविष्य के सुदृढीकरण शिक्षण (reinforcement learning) अनुप्रयोगों के लिए एक मजबूत सैद्धांतिक आधार प्रदान करती हैं।