🤖 machine learning

A-FloPS: Accelerating Diffusion Models via Adaptive Flow Path Sampler

A-FloPS एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो डिफ्यूजन मॉडल्स के सैंपलिंग ट्रेजेक्टरीज को फ्लो-मैचिंग फॉर्म में पुनर्रूपित (reparameterize) करके और अत्यंत कम फंक्शन इवैलुएशन के साथ भी उच्च सैंपल गुणवत्ता बनाए रखने के लिए एक एडेप्टिव वेलोसिटी डिकंपोजिशन का उपयोग करके उन्हें त्वरित करता है।

मूल लेखक: Cheng Jin, Zhenyu Xiao, Yuantao Gu

प्रकाशित 2026-02-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Cheng Jin, Zhenyu Xiao, Yuantao Gu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी व्यक्ति का एक जटिल, सुंदर चित्र बनाने की कोशिश कर रहे हैं, लेकिन आपको केवल 5 ब्रशस्ट्रोक (तुलिका के प्रहार) करने की अनुमति है।

यदि आप केवल बेतरतीब ढंग से पेंट छिड़कना शुरू कर देंगे, तो अंत में एक धुंधला सा कचरा बनकर रह जाएगा। वर्तमान में अधिकांश AI "ड्राइंग" विधियाँ (जिन्हें डिफ्यूजन मॉडल कहा जाता है) एक ऐसे कैनवास से शुरू होती हैं जो स्टैटिक (जैसे बिना सिग्नल वाला टीवी) से भरा होता है और धीरे-धीरे स्ट्रोक दर स्ट्रोक उसे साफ करती हैं। समस्या यह है कि ये "सफाई" वाले रास्ते अक्सर घुमावदार, टेढ़े-मेढ़े और अक्षम होते हैं। एक अच्छी तस्वीर पाने के लिए, आपको आमतौर पर सैकड़ों स्ट्रोक की आवश्यकता होती है।

त्सिंहुआ विश्वविद्यालय के शोधकर्ताओं ने "ड्रॉ करने" का एक नया तरीका बनाया है जिसे A-FloPS कहा जाता है। यह तीन सरल विचारों के माध्यम से बताया गया है:

1. "सीधी रेखा" का शॉर्टकट (रीपैरामीट्राइजेशन - Reparameterization)

कल्पना कीजिए कि आप न्यूयॉर्क से लॉस एंजिल्स जा रहे हैं।

स्टैंडर्ड डिफ्यूजन (Standard Diffusion) एक ऐसे ड्राइवर की तरह है जो एक घुमावदार पहाड़ी रास्ते का अनुसरण करता है, लगातार बाएं और दाएं मुड़ता रहता है, भले ही मंजिल बिल्कुल सामने सीधी हो। इसमें बहुत समय और ईंधन लगता है।
FloPS (उनके तरीके का पहला हिस्सा) एक जीपीएस (GPS) की तरह है जिसे एहसास होता है, "हे, हमें इन घुमावों का पालन करने की आवश्यकता नहीं है! हम रेगिस्तान के बीच से एक सीधी रेखा में गाड़ी चला सकते हैं।"

शोधकर्ताओं ने मौजूदा AI मॉडलों के उन घुमावदार "पहाड़ी रास्तों" को "सीधे राजमार्गों" (जिसे फ्लो मैचिंग कहा जाता है) में बदलने का एक गणितीय तरीका खोजा है। यह इस यात्रा को कंप्यूटर के लिए बहुत तेज़ और आसान बनाता है।

2. "स्मार्ट स्टीयरिंग" प्रणाली (एडेप्टिव मैकेनिज्म - Adaptive Mechanism)

भले ही आप एक सीधे राजमार्ग पर हों, आप बस आँखें बंद करके नहीं चल सकते। कभी-कभी सड़क में हल्का मोड़ आता है, या कोई उभार आ जाता है।

स्टैंडर्ड हाई-स्पीड ड्राइविंग मान लेती है कि सड़क पूरी तरह से चिकनी है। यदि अचानक कोई मोड़ आता है, तो कार सड़क से बाहर जा सकती है क्योंकि वह बदलाव के लिए तैयार नहीं थी।
A-FloPS (एडेप्टिव वाला हिस्सा) सेंसर वाली एक स्मार्ट कार की तरह है। यह लगातार पूछती है, "अभी सड़क कितनी बदल रही है?"

यह गति को दो भागों में विभाजित करता है: एक अनुमानित स्थिर क्रूज (ड्रिफ्ट) और उभारों के लिए एक छोटा समायोजन (रेसिडुअल)। "बोरिंग" हिस्से को "ट्रिकी" हिस्से से अलग करके, AI अधिक शक्तिशाली गणित का उपयोग कर सकता है ताकि वह भ्रमित हुए बिना ट्रैक पर बना रहे। यह इसे अविश्वसनीय रूप से सटीक रहने में सक्षम बनाता है, भले ही यह बहुत कम "स्ट्रोक्स" के साथ उच्च गति पर चल रहा हो।

3. "प्लग-एंड-प्ले" जादू (ट्रेनिंग-फ्री - Training-Free)

आमतौर पर, यदि आप चाहते हैं कि कोई AI तेज़ हो जाए, तो आपको उसे "रिट्रेन" करना पड़ता है—जो एक छात्र को सोचने का नया तरीका सीखने के लिए वर्षों तक वापस स्कूल भेजने जैसा है। यह महंगा और धीमा है।

A-FloPS "ट्रेनिंग-फ्री" है। यह एक मास्टर पेंटर को हाई-टेक चश्मा देने जैसा है। पेंटर को अपनी शैली बदलने या फिर से स्कूल जाने की आवश्यकता नहीं है; वे बस चश्मा पहनते हैं, और अचानक वे कैनवास में "सीधी रेखाओं" और "उभारों" को अधिक स्पष्ट रूप से देख पाते हैं। आप लगभग किसी भी मौजूदा AI मॉडल को ले सकते हैं और उसे तुरंत तेज़ बनाने के लिए उसमें A-FloPS को "प्लग इन" कर सकते हैं।

परिणाम?

प्रयोगों में, जब AI को केवल 5 स्टेप्स (जो ब्रशस्ट्रोक के 5 प्रहारों के बराबर है) की अनुमति दी गई थी:

पुराने तरीकों ने धुंधली, बिखरी हुई छवियां बनाईं।
A-FloPS ने स्पष्ट, तीखी और वास्तविक छवियां बनाईं (जैसे एक गोल्डन रिट्रीवर जिसके बाल स्पष्ट हैं और आंखें चमकदार हैं)।

संक्षेप में: A-FloPS एक घुमावदार, धीमी और ऊबड़-खाबड़ यात्रा को एक सुचारू, सीधी और स्मार्ट हाई-स्पीड सवारी में बदल देता है, जिससे AI को बहुत कम समय में सुंदर कला बनाने में मदद मिलती है।

तकनीकी सारांश: A-FloPS (Adaptive Flow Path Sampler)

A-FloPS एक ट्रेनिंग-फ्री (training-free) फ्रेमवर्क है जिसे प्री-ट्रेंड डिफ्यूजन मॉडल्स की सैंपलिंग प्रक्रिया को तेज करने के लिए डिज़ाइन किया गया है। यह सैंपलिंग ट्राजेक्टरी (trajectory) को अधिक "इंटीग्रेशन-फ्रेंडली" (integration-friendly) रूप में बदलकर और एक एडेप्टिव न्यूमेरिकल सॉल्वर का उपयोग करके पुनरावृत्ति (iterative) सैंपलिंग की कम्प्यूटेशनल बाधा को दूर करता है।

1. समस्या: अक्षम सैंपलिंग ट्राजेक्टरीज (Inefficient Sampling Trajectories)

यद्यपि डिफ्यूजन मॉडल्स उच्च-गुणवत्ता वाले परिणाम उत्पन्न करते हैं, लेकिन वे कम्प्यूटेशनल रूप से महंगे होते हैं क्योंकि उन्हें कई पुनरावृत्ति चरणों (उच्च Number of Function Evaluations, या NFE) की आवश्यकता होती है। मौजूदा त्वरण विधियाँ (acceleration methods) दो श्रेणियों में आती हैं:

ट्रेनिंग-आवश्यक (Training-required): (जैसे, डिस्टिलेशन, कंसिस्टेंसी मॉडल्स) ये प्रभावी हैं लेकिन इनके लिए महंगी री-ट्रेनिंग की आवश्यकता होती है और ये विशिष्ट बेस मॉडल्स तक ही सीमित हैं।
ट्रेनिंग-फ्री (Training-free): (जैसे, DDIM, DPM-Solver) ये रिवर्स-टाइम ODE के लिए बेहतर न्यूमेरिकल सॉल्वर्स का उपयोग करते हैं। हालाँकि, इनकी प्रभावशीलता मौलिक रूप से डिफ्यूजन ट्राजेक्टरी की अंतर्निहित संरचना द्वारा सीमित है, जो अत्यधिक घुमावदार या अनियमित हो सकती है, जिससे बहुत कम NFE पर उच्च-क्रम (high-order) सॉल्वर्स के लिए भी सटीकता बनाए रखना कठिन हो जाता है।

2. कार्यप्रणाली (Methodology)

लेखक एक दो-चरणीय समाधान प्रस्तावित करते हैं जो मूल मॉडल वेट्स (weights) को बदले बिना पूरी तरह से इंफरेंस टाइम (inference time) पर कार्य करता है।

A. ट्राजेक्टरी रीपैरामीट्राइजेशन (FloPS):
लेखक देखते हैं कि फ्लो मैचिंग (Flow Matching - FM) मॉडल्स में मानक डिफ्यूजन मॉडल्स की तुलना में सामान्यतः अधिक सुचारू (smoother) और नियमित ट्राजेक्टरीज होती हैं। वे एक गणितीय मैपिंग (Theorem 1) निकालते हैं जो किसी भी प्री-ट्रेंड डिफ्यूजन मॉडल (चाहे उसका नॉइज़ शेड्यूल कुछ भी हो) को फ्लो-मैचिंग-संगत वेलोसिटी फील्ड (velocity field) में रीपैरामीट्राइज करने की अनुमति देती है।

यह रूपांतरण डिफ्यूजन स्कोर फंक्शन को FM-शैली के वेलोसिटी फील्ड में बदल देता है।
यह प्रभावी रूप से सैंपलिंग पथ को "सीधा" (straighten) कर देता है, जिससे यह कुशल न्यूमेरिकल इंटीग्रेशन के लिए अधिक उपयुक्त हो जाता है।

B. एडेप्टिव वेलोसिटी डिकम्पोजिशन (A-FloPS):
सुचारू पथों के बावजूद, मानक हाई-ऑर्डर सॉलवर्स (जैसे, DPM-Solver) FM फ्रेमवर्क में अपना लाभ खो देते हैं क्योंकि वेलोसिटी फील्ड में बहुत कम टेम्पोरल वेरिएशन (temporal variation) होता है, जिससे वह "कर्वेचर" (curvature) जानकारी, जिसकी हाई-ऑर्डर सॉलवर्स तलाश करते हैं, लगभग नगण्य हो जाती है। इसे ठीक करने के लिए, लेखक एक एडेप्टिव मैकेनिज्म पेश करते हैं:

डिकम्पोजिशन (Decomposition): वे वेलोसिटी फील्ड $v(x_t, t)$ को एक लीनियर ड्रिफ्ट टर्म ( $\lambda_t x_t$ ) और एक रेसिड्यूल कंपोनेंट ( $h(x_t, t)$ ) में विभाजित करते हैं।
एडैप्टिविटी (Adaptivity): एक निश्चित गुणांक (coefficient) का उपयोग करने के बजाय, $\lambda_t$ को प्रत्येक इंटीग्रेशन स्टेप पर एक क्लोज्ड-फॉर्म सॉल्यूशन का उपयोग करके पुन: अनुमानित किया जाता है जो रेसिड्यूल के टेम्पोरल वेरिएशन को न्यूनतम करता है।
हाई-ऑर्डर इंटीग्रेशन: रेसिड्यूल में टेम्पोरल "जिटर" (jitter) को दबाकर, यह विधि हाई-ऑर्डर सॉलवर्स की अगली स्थिति (next state) को सटीक रूप से अनुमान लगाने की क्षमता को बहाल करती है, भले ही चरणों की संख्या अत्यंत कम क्यों न हो।

3. मुख्य योगदान (Key Contributions)

डिफ्यूजन-टू-फ्लो मैपिंग: बिना री-ट्रेनिंग के किसी भी डिफ्यूजन मॉडल को फ्लो-मैचिंग मॉडल में बदलने का एक सिद्धांतगत, विश्लेषणात्मक तरीका।
एडेप्टिव मैकेनिज्म: एक नवीन इंफरेंस-टाइम तकनीक जो हाई-ऑर्डर न्यूमेरिकल इंटीग्रेटर्स की दक्षता को अधिकतम करने के लिए वेलोसिटी फील्ड्स को फैक्टराइज़ करती है।
सामान्यता (Generality): यह फ्रेमवर्क डिफ्यूजन मॉडल्स के लिए "प्लग-एंड-प्ले" है और सीधे नेटिव फ्लो मैचिंग मॉडल्स (जैसे, Stable Diffusion v3.5) को भी बेहतर बनाता है।

4. परिणाम (Results)

लेखकों ने ImageNet (DiT) और CO_CO (Stable Diffusion v3.5) पर व्यापक प्रयोग किए:

सर्वश्रेष्ठ दक्षता (Superior Efficiency): अत्यंत कम NFEs (मात्र 5 स्टेप्स) पर भी, A-FloPS लगातार DDIM, DPM-Solver++, और UniPC जैसे स्टेट-ऑफ-द-आर्ट सैंपलर्स की तुलना में कम FID (Fréchet Inception Distance) और उच्च इमेज क्वालिटी प्राप्त करता है।
विजुअल फिडेलिटी (Visual Fidelity): गुणात्मक परिणाम दिखाते हैं कि A-FloPS शार्प टेक्सचर और सुसंगत संरचनाएं उत्पन्न करता है, जबकि अन्य लो-स्टेप सैंपलर्स धुंधली या अत्यधिक स्मूथ इमेज बनाते हैं।
मजबूती (Robustness): एब्लेशन स्टडीज पुष्टि करती हैं कि जबकि रीपैरामीट्राइजेशन (FloPS) मदद करता है, एडेप्टिव मैकेनिज्म (A-FloPS) ही वास्तव में फ्यू-स्टेप रिजीम (few-step regime) में हाई-ऑर्डर इंटीग्रेशन के लाभों को अनलॉक करता है।

5. महत्व (Significance)

A-FloPS उच्च-गुणवत्ता, कम-विलंबता (low-latency) जनरेटिव मॉडलिंग की दिशा में एक महत्वपूर्ण कदम है। "सॉल्वर को सुधारने" के बजाय "ट्राजेक्टरी को ही सुधारने" पर ध्यान केंद्रित करके, लेखक एक बहुमुखी उपकरण प्रदान करते हैं जिसे मौजूदा बड़े पैमाने के मॉडल्स (जैसे, Stable Diffusion) पर लागू किया जा सकता है ताकि भारी री-ट्रेनिंग या डिस्टिलेशन के बिना लगभग रियल-टाइम जनरेशन सक्षम किया जा सके।