🤖 machine learning

FlowAWR: Online Adaptive Flow Reinforcement via Advantage-Weighted Rectification

FlowAWR एक निरंतर जनरेटिव फ्लो मॉडल्स के लिए एक ऑनलाइन एडेप्टिव रिइन्फोर्समेंट लर्निंग फ्रेमवर्क पेश करता है जो पॉलिसी ऑप्टिमाइज़ेशन को एक एडवांटेज-वेटेड वेलोसिटी फील्ड की ओर सुपरवाइज्ड रिग्रेशन के रूप में पुनर्गठित करता है, जिससे अप्राप्य ट्रेजेक्टरी लाइकलीहुड्स, स्टोकेस्टिक SDE सैंपलर और क्लासिफायर-फ्री गाइडेंस की आवश्यकता समाप्त हो जाती है और मौजूदा तरीकों की तुलना में तेज़ अभिसरण और बेहतर अलाइनमेंट प्रदर्शन प्राप्त होता है।

मूल लेखक: Zheming Fu, Ruizhe He, Wei Shang, Xiaoxiao Ma, Lei Wang, Chang Liu, Siming Fu

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zheming Fu, Ruizhe He, Wei Shang, Xiaoxiao Ma, Lei Wang, Chang Liu, Siming Fu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कलाकार को पेंटिंग करना सिखा रहे हैं। रोबोट पहले से ही रंगों को मिलाना और अपने ब्रश चलाना जानता है (यह "फ्लो मॉडल" है)। आपका लक्ष्य रोबोट को ऐसे चित्र बनाना सिखाना है जिन्हें इंसान वास्तव में पसंद करते हैं (जैसे कि एक शांतिपूर्ण सूर्यास्त या एक प्यारा सा रोएँदार बिल्ली का बच्चा)।

यह पेपर इस रोबोट कलाकार को सिखाने के एक नए, स्मार्ट तरीके से परिचय कराता है, जिसे FlowAWR कहा जाता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. समस्या: पिछले तरीकों का "अनुमान लगाने वाला खेल"

इस पेपर से पहले, रोबोट को सिखाना एक टूटे हुए कंपास के साथ "हॉट एंड कोल्ड" (पास या दूर) खेलने जैसा था।

पुराना तरीका (SDE/GRPO): यह पता लगाने के लिए कि पेंटिंग अच्छी है या नहीं, रोबोट को चित्र बनाने के लिए एक अस्त-व्यस्त, यादृच्छिक (random) रास्ता अपनाना पड़ता था, फिर स्कोर चेक करना पड़ता था, और फिर यह अनुमान लगाने की कोशिश करनी पड़ती थी कि उसे अपने ब्रश के स्ट्रोक कैसे बदलने चाहिए। यह कार चलाने सीखने के लिए कार को बेतरतीब ढंग से मोड़ने और इस उम्मीद में रहने जैसा था कि शायद आप दुर्घटनाग्रस्त न हों। यह धीमा, असंगत और अस्थिर था, और इसके लिए एक "सुरक्षा जाल" (जिसे Classifier-Free Guidance कहा जाता है) की आवश्यकता थी ताकि चित्र अजीब न दिखें।
"ह्यूरिस्टिक" तरीका (DiffusionNFT): एक नए तरीके ने इसे ठीक करने की कोशिश की और कहा, "यदि पेंटिंग अच्छी है, तो ब्रश को इस दिशा में धकेलो। यदि यह खराब है, तो ब्रश को उस दिशा में धकेलो।" लेकिन यह बहुत कठोर था। इसने सभी "अच्छी" पेंटिंग्स को समान रूप से अच्छी और सभी "खराब" पेंटिंग्स को समान रूप से खराब माना, और बल (force) का एक निश्चित मात्रा में उपयोग किया। यह एक ऐसे शिक्षक की तरह था जो केवल "अच्छा काम किया!" या "फिर से प्रयास करें!" कहता है, बिना यह बताए कि एक पेंटिंग दूसरी से कितनी बेहतर या बदतर थी।

2. समाधान: FlowAWR (एक "स्मार्ट कोच")

FlowAWR खेल बदल देता है। अनुमान लगाने या कठोर नियमों के बजाय, यह रोबोट की सीखने की प्रक्रिया को एक सुपरवाइज्ड रिग्रेशन टास्क की तरह मानता है।

इसे इस तरह सोचिए:

लक्ष्य: रोबro को "परफेक्ट" पेंटिंग का अनुमान लगाने की आवश्यकता नहीं है। उसे बस पेंटिंग की प्रक्रिया के किसी भी क्षण के लिए परफेक्ट ब्रशस्ट्रोक दिशा का अनुमान लगाना सीखना है।
"एडवांटेज" (लाभ) की अवधारणा: कल्पना कीजिए कि रोबोट एक प्रॉम्प्ट (जैसे "स्केटबोर्ड पर एक बिल्ली") के लिए एक तस्वीर के 24 संस्करण बनाता है।
- कुछ संस्करण बहुत खराब हैं (बिल्ली के छह पैर हैं)।
- कुछ ठीक-ठाक हैं।
- कुछ अद्भुत हैं।
- पुराने तरीके शायद सिर्फ इतना कहेंगे, "अद्भुत वाले 'अच्छे' (+1) हैं और बाकी सब 'बुरे' (-1) हैं।"
- FlowAWR पूरे समूह को देखता है और कहता है, "यह अद्भुत वाला औसत से थोड़ा बेहतर है, इसलिए आइए ब्रश को उस दिशा में थोड़ा सा धकेलें। यह भयानक वाला औसत से बहुत बदतर है, इसलिए आइए ब्रश को विपरीत दिशा में तेजी से धकेलें।"

इसे एडवांटेज-वेटेड रेक्टिफिकेशन (Advantage-Weighted Rectification) कहा जाता है। यह मापता है कि एक विशिष्ट प्रयास, उसी समूह के अन्य प्रयासों की तुलना में कितना बेहतर या बदतर है, और उसके अनुसार रोबोट की "मसल मेमोरी" (वेलोसिटी फील्ड) को समायोजित करता है।

3. यह तेज़ और बेहतर क्यों है?

पेपर का दावा है कि FlowAWR तीन मुख्य कारणों से एक बड़ा अपग्रेड है:

"सुरक्षा जाल" की कोई आवश्यकता नहीं (CFG-मुक्त): पिछले तरीकों को अंतिम चरण के दौरान अजीब चित्र बनाने से रोकने के लिए एक बाहरी गाइड (CFG) की आवश्यकता थी। FlowAmed FlowAWR रोबोट को आंतरिक रूप से इतनी अच्छी तरह सिखाता है कि उसे अब सुरक्षा जाल की आवश्यकता नहीं है। यह एक ऐसे छात्र की तरह है जिसने नियमों को इतनी अच्छी तरह सीख लिया है कि उसे परीक्षा के दौरान शिक्षक के निगरानी करने की आवश्यकता नहीं है।
गति: क्योंकि यह प्रयासों के "समूह" से अधिक कुशलता से सीखता है, यह पिछले सर्वोत्तम तरीकों की तुलना में 2 से 5 गुना तेज़ सीखता है (converge होता है)। पेपर नोट करता है कि FlowAWR ने 1,200 स्टेप्स में उच्च-गुणवत्ता वाला स्कोर प्राप्त कर लिया, जबकि प्रतिस्पर्धी को थोड़ा कम गुणवत्ता प्राप्त करने के लिए भी 2,000 स्टेप्स की आवश्यकता थी।
स्थिरता: यह जटिल निर्देशों (जैसे "एक बिल्ली बनाओ जो एक रोबोट भी है, लेकिन इसे कलात्मक दिखाओ") को संभालता है बिना रोबोट के भ्रमित हुए या चित्र की गुणवत्ता खराब हुए।

4. "सीक्रेट सॉस": जादू के पीछे का गणित

लेखकों ने केवल अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने गणितीय रूप से इसे सिद्ध किया।

उन्होंने एक सैद्धांतिक "परफेक्ट पॉलिसी" (वह पूर्ण तरीका जिससे रोबोट वास्तव में पेंट कर सकता है) से शुरुआत की।
उन्होंने दिखाया कि यह परफेक्ट तरीका गणितीय रूप से रोबोट के वर्तमान "औसत" ब्रशस्ट्रोक को लेने और समूह के प्रयासों की सापेक्ष गुणवत्ता के आधार पर उन्हें समायोजित करने के बराबर है।
यह एक जटिल, कठिन "रिनफोर्समेंट लर्निंग" समस्या को एक सरल "सुपरवाइज्ड लर्निंग" समस्या (जैसे डेटा के आधार पर एक संख्या की भविष्यवाणी करना) में बदल देता है, जिसे कंप्यूटर के लिए हल करना बहुत आसान और तेज़ है।

सारांश

संक्षेप में, FlowAWR AI इमेज जनरेटर के लिए एक नया प्रशिक्षण तरीका है। AI को अनुमान लगाने या एक-समान नियमों का उपयोग करने के बजाय, यह AI को अपने ही प्रयासों की आपस में तुलना करने देता है। यह इन तुलनाओं का उपयोग करके अपने "ब्रशस्ट्रोक" में सटीक और आनुपातिक समायोजन करने के लिए करता है। परिणाम यह है कि एक ऐसा AI जो इंसानों को पसंद आने वाली चीज़ों को तेज़, अधिक सटीक, और बिना किसी अतिरिक्त मदद के बनाना सीखता है।

तकनीकी सारांश: FlowAWR

समस्या विवरण (Problem Statement)

ऑनलाइन सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के माध्यम से निरंतर स्पेस (continuous spaces) पर जनरेटिव फ्लो मॉडल्स को संरेखित (align) करना एक मौलिक संरचनात्मक बाधा का सामना करता है: प्रक्षेपवक्र संभावनाओं (trajectory likelihoods) की अनिश्चितता। ऑटोरिग्रेसिव (AR) मॉडल्स के विपरीत, जो सटीक असतत टोकन संभावनाओं (discrete token probabilities) की गणना कर सकते हैं, निरंतर फ्लो मॉडल्स में सुलभ स्टेप-वाइज ट्रांजिशन डेंसिटीज (step-wise transition densities) का अभाव होता है।

मौजूदा दृष्टिकोण इस समस्या को दूर करने के लिए दो प्राथमिक प्रतिमानों (paradigms) का उपयोग करते हैं, जिनमें से दोनों की महत्वपूर्ण सीमाएँ हैं:

घनत्व-अनुमानित नीति ग्रेडिएंट्स (जैसे GRPO-आधारित विधियाँ): ये विधियाँ निरंतर प्रक्रिया को एक मार्कोव निर्णय प्रक्रिया (MDP) में विभाजित करती हैं और सुलभ गाऊसी ट्रांजिशन कर्नेल (Gaussian transition kernels) बनाने के लिए स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) सैंपलर के माध्यम से स्टोकेस्टिसिटी इंजेक्ट करती हैं। यह प्रशिक्षण-अनुमान विसंगति (stochastic training vs. deterministic inference) पेश करता है और जनरेशन की गुणवत्ता बनाए रखने के लिए अनुमान के दौरान क्लासिफायर-फ्री गाइडेंस (CFG) की आवश्यकता होती है, जिससे कम्प्यूटेशनल ओवरहेड बढ़ जाता है।
निहित अनुकूलन (जैसे DiffusionNFT): ये फ्रेमवर्क स्पष्ट घनत्व अनुमान के बिना सीधे फॉरवर्ड-प्रोसेस वेलोसिटी फील्ड्स को अनुकूलित करते हैं। हालाँकि, वे अनुमानी (heuristic), निश्चित-परिमाण सुधारों पर निर्भर करते हैं और केवल एक स्केलर नॉर्मलाइज्ड रिवॉर्ड की गणना करने के लिए इंट्रा-ग्रुप सैंपल्स का उपयोग करते हैं। यह अनुकूलन को व्यक्तिगत सैंपल स्तर पर एक बाइनरी "पुश-पुल" तंत्र तक सीमित कर देता है, जिससे वेग अपडेट (velocity updates) के परिमाण को गतिशील रूप से निर्धारित करने के लिए सापेक्ष इंट्रा-ग्रुप गुणवत्ता का लाभ उठाने में विफलता होती है।

कार्यप्रणाली: फ्लो एडवांटेज-वेटेड रेक्टिफिकेशन (FlowAWR)

लेखक FlowAWR का प्रस्ताव करते हैं, जो एक ऑनलाइन RL प्रतिमान है जो निरंतर जनरेटिव पॉलिसी ऑप्टिमाइजेशन को एक सैद्धांतिक रूप से इष्टतम वेलोसिटी फील्ड की ओर सुपरवाइज्ड रिग्रेशन कार्य के रूप में पुनर्गठित करता है। यह विधि KL-प्रतिबंधित रिवॉर्ड मैक्सिमाइजेशन समस्या के सटीक क्लोज्ड-फॉर्म ऑप्टिमल पॉलिसी से व्युत्पन्न है।

सैद्धांतिक व्युत्पत्ति (Theoretical Derivation)

इष्टतम नीति (Optimal Policy): KL-प्रतिबंधित रिवॉर्ड मैक्सिमाइजेशन ऑब्जेक्टिव से शुरू करते हुए, लेखक क्लोज्ड-फॉर्म इष्टतम टर्मिनल डिस्ट्रीब्यूशन $\pi^*$ प्राप्त करते हैं, जो कि संदर्भ नीति $\pi_{old}$ का एक एक्सपोनेंशियलली री-वेटेड वर्जन है।
इष्टतम वेलोसिटी फील्ड (Optimal Velocity Field): इस इष्टतम टर्मिनल डिस्ट्रीब्यूशन को प्रोबेबिलिटी पाथ के साथ मध्यवर्ती समय चरणों $t$ पर प्रसारित करके, लेखक इसके अनुरूप इष्टतम वेलोसिटी फील्ड $v^*$ को विश्लेषणात्मक रूप से प्राप्त करते हैं।
एडवांटेज-वेटेड रेक्टिफिकेशन: टवीडी फॉर्मूला (Tweedie's formula) और मार्जिनल स्कोर्स एवं पोस्टीरियर मीन्स के बीच संबंध का उपयोग करते हुए, यह दिखाया गया है कि इष्टतम वेलोसिटी फील्ड $v_{old}$ को एक एडवांटेज-वेटेड एक्सपेक्टेशन द्वारा रेक्टिफाई करने के बराबर है:
$v^*(x_t, c, t) = v_{old}(x_t, c, t) + \mathbb{E}_{x_1 \sim p_{old}} \left[ A(x_1, x_t) \cdot (u_t(x_t|x_1) - v_{old}(x_t, c, t)) \right]$
यहाँ, $A(x_1, x_t)$ एक सेंटर्ड एडवांटेज फंक्शन है जो एक समूह के भीतर एक सैंपल की सापेक्ष गुणवत्ता को मापता है। इसे एक्सपोनेंशियल रिवॉर्ड को पार्टीशन फंक्शन (ग्रुप एवरेज) के विरुद्ध नॉर्मलाइज करके और 1 के बेसलाइन को घटाकर बनाया गया है।

व्यावहारिक एल्गोरिदम (Practical Algorithm)

यह फ्रेमवर्क इस सिद्धांत को एडवांटेज-वेटेड रेक्टिफिकेशन (AWR) लॉस के माध्यम से लागू करता है:

समूह-आधारित अनुमान (Group-Based Estimation): प्रत्येक प्रॉम्प्ट के लिए, $G$ छवियों का एक समूह जेनरेट किया जाता है। एडवांटेज $A$ की गणना समूह के रिवॉर्ड स्टैटिस्टिक्स का उपयोग करके अनुभवजन्य रूप से की जाती है, जो कठोर बाइनरी वेट्स के स्थान पर मैग्नीट्यूड-अवेयर करेक्शन का उपयोग करती है।
सुपरवाइज्ड रिग्रेशन: पॉलिसी को एडवांटेज-वेटेड रेसिड्यूल के साथ रेफरेंस फील्ड को रेक्टिफाई करके निर्मित स्टोकेस्टिक टारगेट की ओर $v_\theta$ को रिग्रेट करने के लिए प्रशिक्षित किया जाता है।
प्रमुख गुण:
- SDE-मुक्त: प्रशिक्षण के दौरान स्टोकेस्टिक सैंपलर की आवश्यकता को समाप्त करता है, जिससे फॉरवर्ड कंसिस्टेंसी सुनिश्चित होती है।
- CFG-मुक्त: गाइडेंस सिग्नल को वेलोसिटी फील्ड में अंतर्निहित रूप से डिस्टिल किया जाता है, जिससे अनुमान के दौरान CFG की आवश्यकता समाप्त हो जाती है।
- अनुकूली स्केलिंग (Adaptive Scaling): वर्तमान बैच के रिवॉर्ड के स्टैंडर्ड डेविएशन का उपयोग करके KL कंस्ट्रेंट स्ट्रेंथ ( $\gamma$ ) को एडैप्टिवली स्केल किया जाता है।
- सॉफ्ट ऑनलाइन इवोल्यूशन: एडवांटेज एस्टीमेशन को स्थिर करने के लिए रेफरेंस पॉलिसी पर एक एक्सपोनेंशियल मूविंग एवरेज (EMA) अपडेट लागू किया जाता है।

प्रमुख योगदान (Key Contributions)

FlowAWR फ्रेमवर्क: एक ऑनलाइन फ्लो RL फ्रेमवर्क जो बिना SDE सिमुलेशन के सटीक पॉलिसी अपडेट निष्पादित करता है। यह DiffusionNFT के ह्यूरिस्टिक करेक्शन डायरेक्शन को वैलिडेट करता है और यह प्रदर्शित करता है कि DiffusionNFT प्रस्तावित निरंतर फॉर्मूलेशन के भीतर एक बाइनरी क्वांटाइज्ड स्पेशल केस है।
सैद्धांतिक लक्षण वर्णन (Theoretical Characterization): लेखक इष्टतम वेलोसिटी फील्ड को मध्यवर्ती डिस्ट्रीब्यूशन तक क्लोज्ड-फॉर्म ऑप्टिमल पॉलिसी को प्रसारित करके लक्षणबद्ध करते हैं, जो इस सैद्धांतिक इष्टतम को ग्रुप-आधारित एप्रोक्सिमेटेड एडवांटेज फंक्शन के माध्यम से इंस्टैंशिएट करता है। यह सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के साथ फ्लो-आधारित RL को जोड़ने वाला एक एकीकृत दृष्टिकोण प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): SD3.5-Medium मॉडल पर व्यापक मूल्यांकन यह प्रदर्शित करता है कि FlowAWR बेसलाइन्स की तुलना में कन्वर्जेंस को तेज करता है और एलाइनमेंट प्रदर्शन में सुधार करता है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग SD3.5-Medium (2.5B पैरामीटर्स) मॉडल पर सिंगल-रिवॉर्ड और मल्टी-रिवॉर्ड सेटिंग्स में किए गए।

कन्वर्जेंस स्पीड: FlowAWR, DiffusionNFT की तुलना में कन्वर्जेंस में 2× से 5× त्वरण प्राप्त करता है।
- उदाहरण (PickScore): FlowAWR 1.2k स्टेप्स में 24.12 का स्कोर प्राप्त करता है, जबकि DiffusionNFT को 23.82 तक पहुँचने के लिए 2.0k स्टेप्स की आवश्यकता होती है, और FlowGRPO को 23.50 तक पहुँचने के लिए >4k स्टेप्स की आवश्यकता होती है (जबकि वह CFG पर निर्भर है)।
- उदाहरण (OCR): FlowAWR 0.26k स्टेप्स में 0.97 का OCR स्कोर प्राप्त करता है, जबकि DiffusionNFT को 0.52k स्टेप्स में 0.89 प्राप्त होता है।
मल्टी-रिवॉर्ड स्थिरता: मल्टी-रिवॉर्ड ऑप्टिमाइजेशन (एस्थेटिक और स्ट्रक्चरल रूल्स को मिलाकर) द्वारा प्रेरित जटिल डिस्ट्रीब्यूशन शिफ्ट के तहत, FlowAWR जनरेशन क्वालिटी को बनाए रखता है और आउट-ऑफ-डोमेन एस्थेटिक गिरावट के बिना स्ट्रक्चरल रूल्स का पालन करता है।
CFG उन्मूलन: यह विधि बिना CFG के हाई-फिडेलिटी जनरेशन सक्षम बनाती है, जिससे अनुमान लागत (inference costs) काफी कम हो जाती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि FlowAWR एक एकीकृत विश्लेषणात्मक दृष्टिकोण प्रदान करता है जो फ्लो-आधारित RL को सुपरवाइज्ड फाइन-ट्यूनिंग के साथ जोड़ता है। फर्स्ट प्रिंसिपल्स से इष्टतम वेलोसिटी फील्ड को व्युत्पन्न करके, यह विधि पूर्ववर्ती ह्यूरिस्टिक तरीकों (जैसे DiffusionNFT) और पॉलिसी ऑप्टिमाइजेशन के बीच संबंध को स्पष्ट करती है, जो उन्हें एक निरंतर फ्रेमवर्क के भीतर डिस्क्रीट एप्रोक्सिमेशन के रूप में प्रकट करती है।

लेखक इस बात पर जोर देते हैं कि FlowAWR, लाइकलीहुड-फ्री अप्रोच के आर्किटेक्चरल लाभों (फॉरवर्ड कंसिस्टेंसी, सॉल्वर फ्लेक्सिबिलिटी) को सुरक्षित रखता है जबकि मौजूदा विधियों की सीमाओं को दूर करता है। विशेष रूप से, यह कठोर बाइनरी ऑपरेशन्स को मैग्नीट्यूड-अवेयर रेक्टिफिकेशन्स से बदल देता है जो सापेक्ष इंट्रा-ग्रूप गुणवत्ता का लाभ उठाते हैं, जिसके परिणामस्वरूप स्थिर, CFG-मुक्त ऑप्टिमाइजेशन प्राप्त होता है जो सैद्धांतिक रूप से ठोस और कन्वर्जेंस स्पीड एवं एलाइनमेंट प्रदर्शन में अनुभवजन्य रूप से श्रेष्ठ है।