तकनीकी सारांश: MeanFlowNFT

1. समस्या विवरण (Problem Statement)

डिफ्यूजन (Diffusion) और फ्लो मैचिंग (Flow Matching) मॉडल उच्च गुणवत्ता वाले इमेज और वीडियो जनरेशन के लिए प्रमुख प्रतिमान (paradigms) के रूप में स्थापित हो गए हैं। हालाँकि, कई क्रमिक चरणों (sequential steps) में तात्कालिक वेग (instantaneous velocities) को एकीकृत करने की उनकी निर्भरता के कारण इन्फरेंस समय धीमा हो जाता है। MeanFlow इस बाधा को दूर करने के लिए एक समय अंतराल पर औसत वेग (average velocity) का पूर्वानुमान लगाता है, जिससे केवल कुछ ही चरणों में उच्च गुणवत्ता वाला जनरेशन संभव हो पाता है।

साथ ही, सुदृढीकरण शिक्षण (Reinforcement Learning - RL) मानव प्राथमिकताओं के साथ जनरेटिव मॉडल्स को संरेखित करने के लिए एक मानक विधि बन गया है। जबकि DiffusionNFT ने एक कुशल, फॉरवर्ड-प्रोसेस RL फ्रेमवर्क पेश किया जो रिवर्स-प्रोसेस प्रक्षेपवक्र (trajectories) और लाइक्लीहुड एस्टीमेशन से बचता है, वह तात्कालिक वेगों (instantaneous velocities) को अनुकूलित करता है। यहाँ एक महत्वपूर्ण अंतर मौजूद है: MeanFlow पर फॉरवर्ड-प्रोसेस RL लागू करना गैर-तुच्छ (non-trivial) है क्योंकि MeanFlow औसत वेगों का उपयोग करके सैंपलिंग करता है, जिससे अनुकूलन लक्ष्य (तात्कालिक) और सैंपलिंग तंत्र (औसत) के बीच एक विसंगति पैदा होती है। मुख्य प्रश्न यह है कि क्या एक प्री-ट्रेन्ड MeanFlow मॉडल को बेहतर कुछ-चरण (few-step) जनरेशन सक्षम करने के लिए कुशल फॉरवर्ड-प्रोसेस RL के साथ फाइन-ट्यून किया जा सकता है।

2. कार्यप्रणाली: MeanFlowNFT

यह शोध पत्र MeanFlowNFT का प्रस्ताव करता है, जो विशेष रूप से MeanFlow जनरेटर्स के लिए डिज़ाइन किया गया पहला फॉरवर्ड-प्रोसेस RL फ्रेमवर्क है। मुख्य नवाचार MeanFlow पहचान (identity) का उपयोग करके औसत और तात्कालिक वेगों के बीच के अंतर को पाटना है।

2.1 सैद्धांतिक आधार (Theoretical Foundation)

यह विधि MeanFlow पहचान पर आधारित है, जो एक अंतराल $[s, t]$ पर तात्कालिक वेग $v(x_t, t)$ को औसत वेग $u(x_t, s, t)$ से जोड़ती है:
$$v(x_t, t) = u(x_t, s, t) + (t - s) \frac{d}{dt}u(x_t, s, t)$$
जहाँ $\frac{d}{dt}u = \partial_t u + (\partial_x u) v$ है।

2.2 प्रेरित तात्कालिक-वेग भविष्यवक्ता (Induced Instantaneous-Velocity Predictor)

MeanFlow नेटवर्क को सीधे तात्कालिक वेगों का पूर्वानुमान लगाने के लिए संशोधित करने के बजाय, लेखक एक प्रेरित तात्कालिक-वेग भविष्यवक्ता (induced instantaneous-velocity predictor) का निर्माण करते हैं, जिसे $V_\theta$ द्वारा दर्शाया गया है:
$$V_\theta(x_t, s, t) \triangleq u_\theta(x_t, s, t) + (t - s) [\partial_t u_\theta + (\partial_x u_\theta) \hat{v}_\theta]$$
यहाँ, $u_\theta$ एक ट्रेन करने योग्य औसत-वेग नेटवर्क है। पद $\hat{v}_\theta$ स्थानिक व्युत्पन्न (spatial derivative) के लिए दिशा के रूप में कार्य करता है और इसे $s=t$ पर नेटवर्क के तात्कालिक वेग द्वारा अनुमानित किया जाता है।

2.3 अनुकूलन उद्देश्य (Optimization Objective)

यह फ्रेमवर्क इस प्रेरित भविष्यवक्ता $V_\theta$ पर DiffusionNFT-शैली के उद्देश्य को लागू करता है। प्रशिक्षण प्रक्रिया में शामिल हैं:

1. निहित पैरामीट्राइजेशन (Implicit Parameterization): एक फ्रीज़्ड रेफरेंस मॉडल ($V^{old}$) और ट्रेन करने योग्य मॉडल ($V_\theta$) के आधार पर "पॉजिटिव" ($V^+_\theta$) और "नेगेटिव" ($V^-_\theta$) भविष्यवक्ताओं का निर्माण करना, जिन्हें रिवॉर्ड $r$ और गाइडेंस स्ट्रेंथ $\beta$ द्वारा भारित (weighted) किया गया है।
2. फॉरवर्ड-प्रोसेस लॉस: इन प्रेरित भविष्यवक्ताओं और कंडीशनल वेलोसिटी $v_t$ के बीच रिवॉर्ड-वेटेड स्क्वेर्ड एरर को कम करना:
   $$\mathcal{L}_{MFNFT} = \mathbb{E} [ r \|V^+_\theta - v_t\|^2 + (1-r) \|V^-_\theta - v_t\|^2 ]$$
3. डिकपल्ड सैंपलिंग (Decoupled Sampling): महत्वपूर्ण रूप से, जबकि अनुकूलन तात्कालिक-वेग स्पेस ($V_\theta$) में होता है, इन्फरेंस अभी भी औसत वेग $u_\theta$ पर आधारित रहता है। यह MeanFlow की मूल कुछ-चरण सैंपलिंग दक्षता को बनाए रखता है।

2.4 व्यावहारिक कार्यान्वयन विवरण (Practical Implementation Details)

प्रशिक्षण स्थिरता और कम्प्यूटेशनल दक्षता सुनिश्चित करने के लिए, लेखक तीन प्रमुख डिज़ाइन विकल्प पेश करते हैं:

• फाइनाइट-डिफरेंस डेरिवेटिव्स (Finite-Difference Derivatives): कुल व्युत्पन्न पद $\frac{d}{dt}u$ को समय $t$ में सेंट्रल फाइनाइट डिफरेंस का उपयोग करके अनुमानित किया जाता है, जिससे महंगे जैकोबियन-वेक्टर उत्पादों (JVPs) से बचा जा सकता है।
• साझा व्युत्पन्न पद (Shared Derivative Term): ट्रेनिंग कोलैप्स को रोकने के लिए, ट्रेन करने योग्य और रेफरेंस भविष्यवक्ता एक ही अनुमानित व्युत्पन्न पद ($\frac{d}{dt}u^{old}$) साझा करते हैं। यह उस डेरिवटिव-डिफरेंस पद को समाप्त करता है जो अन्यथा अनुकूलन को अस्थिर कर देता।
• कंडीशनल वेलोसिटी डायरेक्शन: फाइनाइट डिफरेंस के लिए दिशा फॉरवर्ड-प्रोसेस कंडीशनल वेलोसिटी $v_t$ (जो बिना किसी अतिरिक्त लागत के उपलब्ध है) का उपयोग करती है, न कि ट्रेन करने योग्य तात्कालिक वेग $\hat{v}_\theta$ का, जो स्थिरता में सुधार करता है।

3. मुख्य योगदान (Key Contributions)

1. MeanFlow के लिए प्रथम फॉरवर्ड-प्रोसेस RL: MeanFlowNFT वह पहला फ्रेमवर्क है जो MeanFlow जनरेटर्स पर फॉरवर्ड-प्रोसेस RL लागू करता है। यह प्रेरित तात्कालिक-वेग भविष्यवक्ता पर DiffusionNFT-शैली के उद्देश्यों को लागू करके अंतर्निहित औसत वेग को सफलतापूर्वक अनुकूलित करता है।
2. सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि एक आदर्श स्थिति में, इष्टतम प्रेरित भविष्यवक्ता DiffusionNFT के बेहतर पॉलिसी टारगेट को रिकवर करता है। इसके अलावा, वे प्रदर्शित करते हैं कि यह पॉलिसी सुधार प्रमाणित रूप से औसत-वेग नेटवर्क में स्थानांतरित होता है, जिससे यह सुनिश्चित होता है कि MeanFlow पॉलिसी में सख्त सुधार होता है।
3. दक्षता और प्रदर्शन: यह विधि DiffusionNFT की लाइकलीहुड-मुक्त, सॉल्वर-अज्ञेयवादी (solver-agnostic) प्रकृति को बनाए रखती है और साथ ही MeanFlow की कुछ-चरण सैंपलिंग दक्षता को भी सुरक्षित रखती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग इमेज जनरेशन (Stable Diffusion 3.5-Medium) और वीडियो जनरेशन (Wan2.1 1.3B) पर किए गए।

• इमेज जनरेशन (SD3.5-M): MeanFlowNFT (4 स्टेप्स) लगातार कुछ-चरण बेसलाइन्स (DMD, CDM, AnyFlow) और हालिया कुछ-चरण RL विधियों (Rdm, RTDMD) से बेहतर प्रदर्शन करता है। विशेष रूप से, यह 8 में से 6 मेट्रिक्स (जैसे ImageReward, CLIPScore, OCR) पर 40-स्टेप DiffusionNFT बेसलाइन के बराबर या उससे बेहतर परिणाम प्राप्त करता है, जबकि 10$\times$ कम फंक्शन इवैल्यूएशन का उपयोग करता है।
• वीडियो जनरेशन (Wan2.1): केवल 4 सैंपलिंग स्टेप्स के साथ, MeanFlowNFT 7 में से 5 मेट्रिक्स पर कुछ-चरण मॉडल्स के बीच सर्वश्रेष्ठ परिणाम प्राप्त करता है। यह सभी रिपोर्ट किए गए मेट्रिक्स पर 50-स्टेप LongCat-Video RL बेसलाइन को पछाड़ देता है (जैसे VBench स्कोर 84.33 बनाम 82.57)।
• टेस्ट-टाइम स्केलिंग: मॉडल सैंपलिंग स्टेप्स की संख्या बढ़ने (2 से 32 तक) के साथ निरंतर प्रदर्शन सुधार प्रदर्शित करता है, जो विभिन्न स्टेप काउंट्स के बीच लेआउट और कंटेंट में उच्च निरंतरता बनाए रखता है, और स्टेप-कंसिस्टेंसी में AnyFlow बेसलाइन से बेहतर प्रदर्शन करता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि MeanFlowNFT औसत-वेग जनरेटर्स की दक्षता और फॉरवर्ड-प्रोसेस RL की संरेखण क्षमताओं के बीच के अंतर को सफलतापूर्वक पाटता है। अनुकूलन (तात्कालिक स्पेस) को सैंपलिंग (औसत स्पेस) से अलग करके, यह विधि MeanFlow के गति लाभों से समझौता किए बिना बेहतर कुछ-चरण जनरेशन को सक्षम बनाती है।

लेखक इस बात पर जोर देते हैं कि MeanFlowNFT न केवल मौजूदा कुछ-चरण जनरेटर्स में सुधार करता है, बल्कि उच्च प्रदर्शन के लिए मल्टी-स्टेप RL-ट्यून्ड मॉडल्स की आवश्यकता के विचार को भी चुनौती देता है। परिणाम बताते हैं कि सही सैद्धांतिक सेतु (MeanFlow identity) के साथ, कुछ-चरण वाले मॉडल्स गुणवत्ता और दक्षता दोनों में मल्टी-स्टेप RL-ट्यून्ड डिफ्यूजन मॉडल्स से आगे निकल सकते हैं। यह कार्य एक आधारभूत कदम के रूप में प्रस्तुत किया गया है, जहाँ लेखक नोट करते हैं कि उनके प्रेरित-भविष्यवक्ता निर्माण का संभावित रूप से अन्य फ्लो-मैप मॉडल्स (जैसे कंसिस्टेंसी ट्रजेक्टरी मॉडल्स) और अन्य फॉरवर्ड-प्रोसेस RL उद्देश्यों तक विस्तार किया जा सकता है, हालांकि ये भविष्य के कार्य हैं।