🤖 machine learning

Momentum Guidance: Plug-and-Play Guidance for Flow Models

यह शोध पत्र मोमेंटम गाइडेंस (Momentum Guidance) को प्रस्तुत करता है, जो फ्लो-आधारित जनरेटिव मॉडल्स के लिए एक प्लग-एंड-प्ले विधि है जो वर्तमान वेगों (velocities) को पिछले वेगों के एक्सपोनेंशियल मूविंग एवरेज से दूर एक्सट्रपलेट करके नमूना गुणवत्ता और विविधता को बढ़ाता है, जिससे बिना किसी अतिरिक्त कंप्यूटेशनल लागत के ImageNet-256 जैसे बेंचमार्क और Stable Diffusion 3 जैसे बड़े मॉडल्स पर महत्वपूर्ण FID सुधार प्राप्त होता है।

मूल लेखक: Runlong Liao, Jian Yu, Baiyu Su, Chi Zhang, Lizhang Chen, Qiang Liu

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Runlong Liao, Jian Yu, Baiyu Su, Chi Zhang, Lizhang Chen, Qiang Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी विवरण के आधार पर एक चित्र बनाने की कोशिश कर रहे हैं, जैसे कि "एक पहाड़ के ऊपर उड़ता हुआ एक राजसी बाज।" आपके पास एक बहुत ही स्मार्ट AI कलाकार (एक "फ्लो मॉडल") है जिसने लाखों चित्रों का अध्ययन किया है। हालाँकि, जब आप बिना किसी अतिरिक्त मदद के इसे चित्र बनाने के लिए कहते हैं, तो परिणाम अक्सर एक जलरंग (watercolor) पेंटिंग जैसा दिखता है जिसे बारिश में छोड़ दिया गया हो: किनारे धुंधले होते हैं, पंख बेजान होते हैं, और विवरण फीके पड़ जाते हैं। AI ने सभी संभावित तरीकों के "औसत" को अपनाकर सुरक्षित खेलना सीख लिया है, जिसके परिणामस्वरूप एक "औसत दर्जे" का चित्र बनता है जिसमें तीक्ष्णता (sharpness) की कमी होती है।

इसे ठीक करने के लिए, कलाकार आमतौर पर एक तकनीक का उपयोग करते हैं जिसे गाइडेंस (Guidance) कहा जाता है। इसे एक सख्त कला शिक्षक के रूप में सोचें जो AI के कंधे के ऊपर खड़ा है। शिक्षक कहता है, "नहीं, यह बहुत धुंधला है! उस तीक्ष्ण संदर्भ फोटो को देखो और उसके अधिक करीब चित्र बनाओ!"

यह शोध पत्र इस "कला शिक्षक" बनने का एक नया, चतुर तरीका पेश करता है, जिसे मोमेंटम गाइडेंस (Momentum Guidance - MG) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

समस्या: "धुंधला औसत" (The "Blurry Average")

जब AI चरण-दर-चरण एक चित्र बनाने की कोशिश करता है, तो वह शोर (noise) के एक बड़े, धुंधले बादल से शुरू होता है और धीरे-धीरे उसे परिष्कृत करता है।

समस्या: क्योंकि AI को कई संभावनाओं के "औसत" की भविष्यवाणी करने के लिए प्रशिक्षित किया गया था, इसलिए यह चीजों को बहुत अधिक सुचारू (smooth) बना देता है। यह एक सप्ताह के औसत तापमान का अनुमान लगाने जैसा है; आपको एक संख्या तो मिल जाती है, लेकिन आप गर्म और ठंडे दिनों के विशिष्ट विवरण खो देते हैं।
पुराना समाधान (CFG): मानक समाधान क्लासिफायर-फ्री गाइडेंस (Classifier-Free Guidance - CFG) है। यह AI को चित्र को दो बार बनाने के लिए कहने जैसा है: एक बार सामान्य रूप से, और एक बार इस तरह जैसे कि उसे प्रॉम्प्ट के बारे में कोई पता ही नहीं है (बस एक रैंडम धब्बा)। फिर, आप सामान्य चित्र लेते हैं और उसे उस रैंडम धब्बे से दूर धकेलते हैं ताकि वह अधिक तीक्ष्ण बन सके।
- चुनौती: इसके लिए AI को दोगुना काम करना पड़ता है। इसे हर एक चरण के लिए गणना दो बार करनी पड़ती है, जिससे चित्र बनाना धीमा और महंगा हो जाता है।

नया समाधान: मोमेंटम गाइडेंस (Momentum Guidance - MG)

लेखकों ने महसूस किया कि AI को यह जानने के लिए कि "धुंधला" क्या होता है, दूसरे "रैंडम" चित्र की आवश्यकता नहीं है। AI का अपना इतिहास ही पर्याप्त है।

उपमा: हाइकर और रास्ता (The Hiker and the Trail)
कल्पना कीजिए कि AI एक पहाड़ से नीचे उतर रहा एक हाइकर (पर्वतारोही) है (चित्र बनाने की प्रक्रिया)।

शुरुआत: पहाड़ के शीर्ष पर (प्रक्रिया की शुरुआत में), रास्ता धुंधला और अस्पष्ट है। हाइकर के कदम अनिश्चित हैं।
अंत: नीचे, रास्ता साफ, तीक्ष्ण और विस्तृत है।
पुराना तरीका (CFG): बेहतर चलने के लिए, हाइकर अपने एक दोस्त से उसी रास्ते पर आँखों पर पट्टी बांधकर चलने को कहता है (अनकंडीशनल ब्रांच) ताकि यह देख सके कि उसे कहाँ नहीं जाना है। इसमें दो लोगों और दोगुनी ऊर्जा की आवश्यकता होती है।
नया तरीका (MG): हाइकर अपने पिछले कदमों का एक मानसिक नोट रखता है।
- हाइकर याद रखता है: "कुछ मिनट पहले, जब मैं ऊपर था, मेरे कदम बहुत डगमगाते और धुंधले थे।"
- अब, जैसे-जैसे हाइकर नीचे पहुँच रहा है, वह कहता है: "मैं अभी एक कदम उठा रहा हूँ। लेकिन याद है कि मैं पहले कितना डगमगा रहा था? मैं अपने वर्तमान कदम को उस पुराने डगमगातेपन से दूर धकेलूँगा ताकि वह अधिक तीक्ष्ण हो सके।"

तकनीकी रूप से यह कैसे काम करता है (सरल शब्दों में):

मोमेंटम (Momentum): AI अपने पिछले अनुमानों का एक "मूविंग एवरेज" (चल औसत) रखता है। चूंकि AI धुंधले अनुमानों से शुरू होता है और समय के साथ तीक्ष्ण होता जाता है, इसलिए "अतीत का औसत" स्वाभाविक रूप से वर्तमान चित्र का एक धुंधला संस्करण होता है।
धक्का (The Push): AI अपने वर्तमान तीक्ष्ण अनुमान की तुलना इस "धुंधली स्मृति" से करता है। फिर यह वर्तमान अनुमान को उस धुंधलेपन से और दूर धकेलता है, जिससे विवरण अधिक तीक्ष्ण हो जाते हैं।
लाभ: यह बिना AI को दूसरी गणना चलाने के लिए कहे करता है। यह केवल जो उसने अभी किया है उसकी स्मृति का उपयोग करता है। यह मेज पर पहले से मौजूद पेंसिल के छिलकों का उपयोग करके पेंसिल को तेज करने जैसा है, न कि नया शार्पनर खरीदने जैसा।

शोध पत्र में क्या पाया गया

लेखकों ने इस "मोमेंटम गाइडेंस" का परीक्षण कई प्रसिद्ध इमेज जनरेटर्स (जैसे Stable Diffusion 3 और FLUX.1) और यहाँ तक कि वीडियो जनरेटर्स पर भी किया।

बेहतर चित्र: चित्र बहुत अधिक तीक्ष्ण आए। "एंजेल विंग्स" (देवदूत के पंख), "कोरल संरचनाएं" और "मोटर साइकिल के प्रतिबिंब" जैसे विवरण अधिक स्पष्ट और कम धुंधले थे।
तेज़/अधिक कुशल: क्योंकि इसे AI को दो बार चलाने की आवश्यकता नहीं है, यह समय और कंप्यूटिंग शक्ति बचाता है।
दोनों का सर्वश्रेष्ठ संगम: आमतौर पर, जब आप किसी चित्र को अधिक तीक्ष्ण बनाते हैं, तो वह विविधता खो देता है (वह हर बार एक जैसा दिखता है)। लेकिन इस विधि ने यह प्रबंधा कि वह पुराने तरीकों की तरह विविधता का त्याग किए बिना चित्रों को अधिक तीक्ष्ण बना सके। इसने "प्रिसिजन-रिकॉल" (Precision-Recall) संतुलन में सुधार किया, जिसका अर्थ है कि चित्र उच्च गुणवत्ता वाले और विविध दोनों थे।

सारांश

मोमेंटम गाइडेंस एक "प्लग-एंड-प्ले" ट्रिक है जो AI इमेज जनरेटर्स को अधिक तीक्ष्ण, अधिक विस्तृत चित्र बनाने में सक्षम बनाती है। AI को यह जानने के लिए दोगुना काम करने के लिए कहने के बजाय कि एक धुंधली छवि कैसी दिखती है, यह बस अपने "धुंधले अतीत" को देखता है ताकि वर्तमान में अधिक तीक्ष्ण बन सके। यह एक मुफ्त अपग्रेड है जो AI की स्मृति को उसके काम में लगाता है।

तकनीकी सारांश: फ्लो मॉडल्स के लिए मोमेंटम गाइडेंस (Momentum Guidance)

समस्या विवरण
पूर्व-प्रशिक्षित फ्लो-आधारित जनरेटिव मॉडल्स (रेक्टिफाइड फ्लो और डिफ्यूजन मॉडल्स सहित) अक्सर ऐसे नमूने (samples) उत्पन्न करते हैं जो "डिफ्यूज" (diffuse) प्रतीत होते हैं, जिनमें सूक्ष्म विवरणों की कमी होती है और बनावट धुंधली (blurry) दिखाई देती है। यह घटना दो प्राथमिक स्रोतों से उत्पन्न होती है:

रिग्रेशन-टू-द-मीन (Regression-to-the-Mean): मीन-स्क्वेर्ड ट्रेनिंग ऑब्जेक्टिव्स के तहत, न्यूरल नेटवर्क कंडीशनल सांख्यिकी (जैसे वेलोसिटी या क्लीन डेटा) का अनुमान लगाते हैं जो कई संभावित परिणामों के औसत का प्रतिनिधित्व करती है, जिससे हाई-फ्रीक्वेंसी विवरण दब जाते हैं।
एक्सपोनेंशियल मूविंग एवरेज (EMA) स्मूथिंग: ट्रेनिंग के दौरान मॉडल पैरामीटर्स के लिए मानक EMA का उपयोग करना मॉडल अवस्थाओं को ऑप्टिमाइज़ेशन ट्रेजेक्टरी के साथ औसत करता है, जिससे सीखा गया वेलोसिटी फील्ड और अधिक स्मूथ हो जाता है।

मौजूदा समाधान जैसे क्लासिफायर-फ्री गाइडेंस (CFG) इसे एक स्मूथ अनकंडीशनल ब्रांच से कंडीशनल प्रेडिक्शन्स को एक्सट्रपलेशन (extrapolate) करके कम करते हैं। हालांकि, CFG अक्सर सैम्पल डाइवर्सिटी (रिकॉल को कम करना) को कम कर देता है क्योंकि यह फिडेलिटी (प्रिसिजन) को बढ़ाता है। ऑटोगुइडेंस (Autoguidance) जैसे वैकल्पिक तरीकों के लिए सहायक मॉडल्स (जैसे कि पहले के चेकपॉइंट्स) की आवश्यकता होती है, जो अक्सर बड़े ओपन-सोर्स मॉडल्स के लिए उपलब्ध नहीं होते हैं, और वे मेमोरी ओवरहेड भी बढ़ाते हैं।

कार्यप्रणाली: मोमेंटम गाइडेंस (MG)
लेखक मोमेंटम गाइडेंस (MG) का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले इन्फरेंस-टाइम तकनीक है जिसमें अनकंडीशनल ब्रांच या सहायक मॉडल्स की आवश्यकता नहीं होती है। MG, रेक्टिफाइड फ्लो (RF) ODE ट्रेजेक्टरी के अंतर्निहित गुणों का लाभ उठाता है:

रेफरेंस के रूप में ट्रेजेक्टरी: RF में, शुरुआती टाइम स्टेप्स उच्च-शोर (higher-noise) और स्मूथ मार्जिनल्स से संबंधित होते हैं, जबकि बाद के स्टेप्स शार्प, डेटा-जैसे डिस्ट्रीब्यूशन की ओर बढ़ते हैं।
वेलोसिटी मोमेंटम: MG एक "वेलोसिटी मोमेंटम" ( $\mathbf{m}_t$ ) बनाए रखता है, जिसे सैंपलिंग ट्रेजेक्टरी के दौरान पिछले वेलोसिटी एस्टीमेट्स के एक्सपोनेंशियल मूविंग एवरेज (EMA) के रूप में परिभाषित किया गया है। चूंकि पिछले वेग (velocities) शुरुआती, शोर वाले अवस्थाओं से उत्पन्न होते हैं, इसलिए वे स्वाभाविक रूप से एक स्मूथ रेफरेंस के रूप में कार्य करते हैं।
एक्सट्रपलेशन (Extrapolation): प्रत्येक स्टेप $t_i$ पर, सैंपलर वर्तमान वेलोसिटी ( $\mathbf{v}_{t_i}$ ) को मोमेंटम रेफरेंस ( $\mathbf{m}_{t_i}$ ) से दूर एक्सट्रपलेट करके स्टेट को अपडेट करता है:
$\mathbf{Z}_{t_{i+1}} = \mathbf{Z}_{t_i} + \Delta t \left[ \mathbf{v}_{t_i} + \alpha (\mathbf{v}_{t_i} - \mathbf{m}_{t_i}) \right]$
जहाँ $\alpha$ एक्सट्रपलेशन स्ट्रेंथ को नियंत्रित करता है। मोमेंटम को इस प्रकार अपडेट किया जाता है:
$\mathbf{m}_{t_{i+1}} = (1 - \beta)\mathbf{v}_{t_i} + \beta \mathbf{m}_{t_i}$
जहाँ $\beta$ डिके फैक्टर (decay factor) है।

प्रमुख योगदान

जीरो-ओवरहेड गाइडेंस: MG बिना किसी अनकंडीशनल ब्रांच, सहायक चेकपॉइंट्स या अतिरिक्त नेटवर्क इवैल्यूएशन के गाइडेंस का शार्पनिंग प्रभाव प्राप्त करता है। यह बेस सैंपलर की मानक एक-इवैल्यूएशन-पर-स्टेप लागत को बनाए रखता है।
पारेटो फ्रंटियर में सुधार: CFG के विपरीत, जो आमतौर पर एक ऐसा ट्रेड-ऑफ थोपता है जहाँ बढ़ी हुई प्रिसिजन से रिकॉल कम हो जाता है, MG प्रिसिजन-रिकॉल पारेटो फ्रंटियर में सुधार करता है, जिससे विविधता को बेहतर ढंग से सुरक्षित रखते हुए सैंपल क्वालिटी बढ़ती है।
व्यापक अनुकूलता: यह विधि CFG और नॉन-CFG दोनों सेटिंग्स के साथ संगत है और रेक्टिफाइड फ्लो, स्टेबल डिफ्यूजन 3, FLUX.1-dev और वीडियो जनरेशन मॉडल्स सहित विभिन्न फ्लो-आधारित आर्किटेक्चर पर लागू होती है।

प्रायोगिक परिणाम
लेखकों ने तीन डोमेन में MG का मूल्यांकन किया:

ImageNet-256: एक उन्नत DiT-XL आर्किटेक्चर का उपयोग करते हुए, MG ने बिना CFG के Fréchet Inception Distance (FID) को 36.54% कम किया और CFG ( $\text{CFel}=1.2$ पर) के ऊपर 25.42% कम किया। 16 सैंपलिंग स्टेप्स पर, MG ने 1.553 का FID प्राप्त किया। MG ने विभिन्न सैंपलिंग बजट (16, 32, 64 स्टेप्स) में CFG++, ADG और CFG इंटरवल शेड्यूल्स जैसे बेसलाइन्स को लगातार पछाड़ दिया।
टेक्स्ट-टू-इमेज (SD3 & FLUX.1-dev): बड़े पैमाने के मॉडल्स पर लागू होने पर, MG ने विभिन्न CFG स्केल्स पर वैनिला CFG की तुलना में HPSv2.1 और ImageReward स्कोर में लगातार सुधार किया।
टेक्स्ट-टू-वीडियो (HunyuanVideo): MG ने टेम्पोरल स्टेबिलिटी बनाए रखते हुए कंटेंट रिचनेस और परसेप्चुअल क्वालिटी में विशिष्ट लाभ के साथ एग्रीगेट VBench स्कोर को 0.816 से बढ़ाकर 0.819 कर दिया।

महत्व और दावे
पेपर का दावा है कि मोमेंटम गाइडेंस जनरेटिव क्वालिटी को बढ़ाने के लिए एक सरल, कुशल और व्यापक रूप से संगत दृष्टिकोण प्रदान करता है। सैंपलर की अपनी ट्रेजेक्टरी हिस्ट्री का उपयोग करके एक स्मूथ वेलोसिटी रेफरेंस बनाने के माध्यम से, MG फ्लो मॉडल्स में निहित ओवरस्मूथिंग को संबोधित करता है, जो मौजूदा गाइडेंस तकनीकों से जुड़े कम्प्यूटेशनल या मेमोरी कॉस्ट के बिना संभव है। लेखक दावा करते हैं कि ट्रेजेक्टरी हिस्ट्री मार्गदर्शन का एक उपयोगी और कम खोजा गया स्रोत है जो CFG जैसी मौजूदा स्कीम्स का पूरक है, जिससे बेहतर विविधता के साथ उच्च-फिडेलिटी जनरेशन सक्षम होता है।

समस्या: "धुंधला औसत" (The "Blurry Average")

नया समाधान: मोमेंटम गाइडेंस (Momentum Guidance - MG)

शोध पत्र में क्या पाया गया

सारांश

तकनीकी सारांश: फ्लो मॉडल्स के लिए मोमेंटम गाइडेंस (Momentum Guidance)

इसी तरह के और पेपर