💻 computer science

CAB: Accelerating Flow and Diffusion Sampling via Rectification and Corrected Adams-Bashforth

यह शोध पत्र CAB (करेक्टेड एडम्स-बश्फोर्थ) प्रस्तुत करता है, जो एक ट्रेनिंग-मुक्त सैंपलर है जो सैंपलिंग डायनेमिक्स को एक रेक्टिफाइड कोऑर्डिनेट सिस्टम में बदलकर और एक करेक्शन टर्म के साथ मल्टीस्टेप प्रेडिक्टर लागू करके फ्लो और डिफ्यूजन मॉडल्स को त्वरित करता है, जिससे बिना किसी अतिरिक्त फंक्शन इवैल्यूएशन की आवश्यकता के कम-स्टेप रिजीम में गुणवत्ता-दक्षता ट्रेड-ऑफ में महत्वपूर्ण सुधार होता है।

मूल लेखक: Anuska Roy, Pravin Nair

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anuska Roy, Pravin Nair

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बिल्ली की एकदम सटीक तस्वीर बनाने की कोशिश कर रहे हैं, लेकिन आपकी आँखों पर पट्टी बंधी हुई है। आपके पास एक जादुई मार्गदर्शक (AI मॉडल) है जो आपको निर्देश फुसफुसाता है: "अपना हाथ थोड़ा बाईं ओर ले जाएं," "थोड़ा ऊपर जाएं," "रुकें।"

AI इमेज जनरेशन की दुनिया में, इस "फुसफुसाहट" को सैंपलिंग (sampling) कहा जाता है। AI शोर (static noise) से भरे एक कैनवास से शुरू करता है और एक गणितीय पथ का अनुसरण करते हुए धीरे-धीरे इसे एक स्पष्ट छवि में बदल देता है।

समस्या: धीमी चाल (The Slow Walk)

आमतौर पर, एक सटीक तस्वीर पाने के लिए, AI को कई छोटे कदम (अक्सर 50 या अधिक) उठाने पड़ते हैं। प्रत्येक कदम के लिए AI को "सोचना" (एक जटिल गणना चलाना) पड़ता है। यदि आप इसे केवल कुछ ही कदम (मान लीजिए 6 से 10) लेने की अनुमति देते हैं, तो तस्वीर अक्सर धुंधली, विकृत, या अजीब चीजों से भरी आती है, जैसे कि तीन कानों वाली बिल्ली या पिघलता हुआ चेहरा।

तेजी से काम करने के मौजूदा तरीके दो अलग-अलग प्रकार के शॉर्टकट की तरह हैं:

"ट्रेनिंग" शॉर्टकट: आप AI को चलने का एक नया, तेज़ तरीका सिखाते हैं। यह अच्छा काम करता है लेकिन इसे सीखने में बहुत समय लगता है और यह हर AI पर काम नहीं करता।
"स्मार्ट वॉकर" शॉर्टकट: आप AI को एक स्मार्ट मैप देते हैं ताकि वह बिना गिरे बड़े कदम उठा सके। लेकिन अगर मैप बहुत जटिल है, तो AI भ्रमित हो जाता है और यदि वह पर्याप्त कदम नहीं लेता है, तो तस्वीर खराब हो जाती है।

समाधान: CAB (द "करेक्टेड एडम्स-बाशफोर्थ" मेथड)

लेखकों ने CAB नामक एक नया तरीका प्रस्तावित किया है। CAB को एक ऐसे GPS की तरह समझें जिसमें एक "करेक्शन" (सुधार) फीचर है जो बिना किसी नए प्रशिक्षण के किसी भी मौजूदा AI पर काम करता है।

यहाँ बताया गया है कि CAB कैसे काम करता है, एक सरल उपमा का उपयोग करके:

1. रास्ता सीधा करना (Rectification)

कल्पना कीजिए कि जिस रास्ते पर AI को चलना है वह एक घुमावदार, टेढ़ा-मेढ़ा पहाड़ी रास्ता है। घुमावदार सड़क पर बड़े कदम उठाना खतरनाक है; आप मोड़ चूक सकते हैं और नीचे गिर सकते हैं।

CAB क्या करता है: यह जादुई रूप से रास्ते को सीधा कर देता है। यह घुमावदार पथ को एक सीधे हाईवे में बदल देता है।
यह क्यों मदद करता है: एक सीधे रास्ते पर, आप मोड़ मिस होने की चिंता किए बिना बड़े, आत्मविश्वास भरे कदम उठा सकते हैं। इससे AI के लिए गणित बहुत आसान हो जाता है।

2. "पीछे देखना" वाला कदम (Adams-Bashforth)

अब जब रास्ता सीधा हो गया है, तो CAB एडम्स-बाशफोर्थ (Adams-Bashforth) नामक एक तकनीक का उपयोग करता है।

उपमा: कल्पना कीजिए कि आप एक सीधे रास्ते पर चल रहे हैं। केवल यह देखने के बजाय कि आप अभी कहाँ हैं, आप यह देखते हैं कि आप 2 या 3 कदम पहले कहाँ थे। आप भविष्य का अनुमान लगाने के लिए उस इतिहास का उपयोग करते हैं कि आपको आगे कहाँ जाना चाहिए।
लाभ: यह AI को केवल कुछ ही कदमों में बहुत सटीक रूप से भविष्य के पथ का अनुमान लगाने की अनुमति देता है।

3. "सेफ्टी नेट" (The Correction)

यही असली जादू है। कभी-कभी, एक सीधे रास्ते पर भी, ज़मीन अचानक बदल सकती है (शायद हवा चल जाए, या ज़मीन खिसक जाए)। एक साधारण "पीछे देखने" वाला अनुमान अभी भी थोड़ा गलत हो सकता है।

CAB क्या करता है: यह एक छोटा सा करेक्शन टर्म (सुधार शब्द) जोड़ता है। यह जाँच करता है: "क्या मेरा अनुमान पिछले कदम की वास्तविकता से मेल खाता था?" यदि AI का अनुमान थोड़ा गलत था, तो CAB पिछले कदम और अनुमान के बीच के अंतर के आधार पर एक छोटा, त्वरित सुधार लागू करता है।
जादू: यह यह सब बिना AI को कोई अतिरिक्त काम दिए करता है। यह उस जानकारी का उपयोग करता है जो AI ने पिछले चरणों में पहले ही गणना कर ली थी। यह एक को-पायलट की तरह है जो ड्राइवर को कार रोकने के लिए कहे बिना, स्टीयरिंग में एक छोटा सा समायोजन फुसफुसाता है।

परिणाम: स्पष्ट तस्वीरें, तेज़ गति

लेखकों ने विभिन्न AI मॉडलों (इमेज और वीडियो दोनों के लिए) पर इस नए तरीके का परीक्षण किया और पाया:

कम स्टेप काउंट (6–20 स्टेप्स): यहीं पर CAB सबसे बेहतर प्रदर्शन करता है। जबकि अन्य तरीके तेज़ी से चलने के लिए मजबूर किए जाने पर धुंधली या शोर वाली छवियां बनाते हैं, CAB स्पष्ट, साफ और विस्तृत चित्र बनाता है।
- उदाहरण: पेपर के परीक्षणों में, जब केवल 6 स्टेप्स में एक बस या टेनिस खिलाड़ी को बनाने के लिए कहा गया, तो अन्य तरीकों ने बस को एक धब्बे जैसा बना दिया या खिलाड़ी का चेहरा विकृत कर दिया। CAB विवरणों को स्पष्ट और संरचना को सही रखता है।
हाई स्टेप काउंट: जब कई स्टेप्स दिए जाते हैं, तो CAB मौजूदा सर्वोत्तम तरीकों के समान ही प्रदर्शन करता है, जिससे सिद्ध होता है कि यह किसी चीज़ को बिगाड़ता नहीं है।
कोई अतिरिक्त लागत नहीं: इसके लिए AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं है, और यह प्रक्रिया को धीमा नहीं करता है। वास्तव में, यह प्रक्रिया को अधिक कुशल बनाता है क्योंकि आपको कम स्टेप्स के साथ बेहतर परिणाम मिलते हैं।

सारांश में

CAB एक मौजूदा AI को एक सीधा रास्ता और एक स्मार्ट को-पायलट देने जैसा है जो स्टीयरिंग व्हील में छोटे, मुफ्त समायोजन करता है। यह AI को सामान्य समय के एक अंश में उच्च गुणवत्ता वाली छवियां और वीडियो बनाने की अनुमति देता है, बिना कुछ भी नया सीखे। यह "जल्दबाजी में धुंधली तस्वीरों" की समस्या को इसलिए हल करता है क्योंकि यह यात्रा को केवल तेज़ ही नहीं, बल्कि स्मार्ट बनाता है।

तकनीकी सारांश: CAB (करेक्टेड एडम्स-बशफोर्थ)

समस्या विवरण

फ्लो और डिफ्यूजन मॉडल उच्च-गुणवत्ता वाले इमेज और वीडियो संश्लेषण के लिए प्रमुख प्रतिमान (paradigm) के रूप में स्थापित हो गए हैं। हालांकि, उनका व्यावहारिक उपयोग अक्सर सैंपलिंग चरण के दौरान उच्च कम्प्यूटेशनल लागत से बाधित होता है, जिसमें कई न्यूरल नेटवर्क मूल्यांकनों (NFEs) पर एक सीखे गए रिवर्स-टाइम ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) को संख्यात्मक रूप से एकीकृत करने की आवश्यकता होती है। जबकि प्रशिक्षण-मुक्त त्वरण विधियाँ मौजूद हैं, वे लो-NFE शासन (आमतौर पर 6-20 स्टेप्स) में एक महत्वपूर्ण ट्रेड-ऑफ का सामना करती हैं। प्रथम-क्रम (first-order) की विधियाँ जैसे DDIM मजबूत हैं लेकिन गुणवत्ता के लिए कई स्टेप्स की आवश्यकता होती है, जबकि मौजूदा उच्च-क्रम सॉल्वर (जैसे DPM-Solver++, UniPC, STORK) अक्सर सीमित स्टेप बजट के दौरान अस्थिरता, ओवरस्मूथिंग या संरचनात्मक विकृति का शिकार होते हैं। इसके अलावा, कई उच्च-क्रम सॉल्वर विशिष्ट मॉडल पैरामीटराइजेशन (जैसे डिफ्यूजन के लिए log-SNR) पर निर्भर करते हैं या अतिरिक्त मॉडल-निर्भर सांख्यिकी की आवश्यकता रखते हैं, जो फ्लो और डिफ्यूजन दोनों आर्किटेक्चर के बीच उनकी व्यापकता (generality) को सीमित करते हैं।

कार्यप्रणाली

लेखक CAB (Corrected Adams-Bashforth) का प्रस्ताव करते हैं, जो एक प्रशिक्षण-मुक्त सैंपलर है जिसे अतिरिक्त प्रशिक्षण या मॉडल-विशिष्ट सांख्यिकी के बिना फ्लो और डिफ्यूजन दोनों मॉडलों को त्वरित करने के लिए डिज़ाइन किया गया है। यह कार्यप्रणाली दो प्राथमिक घटकों से बनी है:

1. रिवर्स-टाइम ODE का रेक्टिफिकेशन (Rectification)

मुख्य सैद्धांतिक अंतर्दृष्टि यह है कि फ्लो और डिफ्यूजन दोनों मॉडलों की रिवर्स-टाइम डायनेमिक्स को एक सामान्य समन्वय प्रणाली (coordinate system) में बदला जा सकता है। स्टेट $x_t$ को $y_t = x_t / s_t$ के रूप में रीस्केल करके और समय को नॉइज़-टू-सिग्नल रेशियो $\rho_t = \sigma_t / s_t$ का उपयोग करके रीपैरामीटराइज़ करके, लेखक एक "रेक्टिफाइड" ODE प्राप्त करते हैं। इस $\rho$ -कोऑर्डिनेट सिस्टम में, विशिष्ट नॉइज़ शेड्यूल्स ( $s_t, \sigma_t$ ) द्वारा प्रेरित लीनियर ड्रिफ्ट को हटा दिया जाता है, और डायनेमिक्स सीधे सीखे गए नॉइज़ फील्ड $\epsilon_\theta$ द्वारा संचालित एक सरल रूप में बदल जाती है:
$\frac{d\hat{y}_\rho}{d\rho} = \epsilon_\theta(s_t(\rho)\hat{y}_\rho, t(\rho))$
यह रूपांतरण विविध मॉडल परिवारों (VP, VE, और रेक्टिफाइड फ्लो पाथ सहित) के लिए विविध सैंपलिंग डायनेमिक्स को एक एकल स्पष्ट ODE फॉर्मूलेशन के तहत एकीकृत करता है।

2. करेक्टेड एडम्स-बशफोर्थ इंटीग्रेशन

प्रेरित नॉन-यूनिफॉर्म $\rho$ -ग्रिड पर, CAB एक मल्टीस्टेप एडम्स-बशफोर्थ (AB) प्रेडिक्टर लागू करता है। बड़े स्टेप साइज़ (लो NFE) पर मानक AB विधियों की अशुद्धि को दूर करने के लिए, CAB एक हल्का करेक्शन टर्म पेश करता है।

प्रेडिक्शन (Prediction): एक एक्सप्लिसिट AB प्रेडिक्टर (ऑर्डर 2 या 3) पिछले वेलोसिटी मूल्यांकनों के आधार पर अगले स्टेट का अनुमान लगाता है।
करेक्शन (Correction): विधि एक "एक्सट्रपलेशन डिफेक्ट" (extrapolation defect) की गणना करती है, जिसे वर्तमान सीखे गए वेलोसिटी और पिछले दो स्टेप्स से वेलोसिटी के लीनियर लैग्रेंज एक्सट्रपलेशन के बीच के अंतर के रूप में परिभाषित किया गया है।
अपडेट (Update): अंतिम अपडेट इस डिफेक्ट के आनुपातिक एक वेटेड करेक्शन टर्म जोड़ता है:
$y_{t_{i+1}} = y^{pred}_{t_{i+1}} + \gamma_i h_i (\epsilon_i - \epsilon^{ext}_i)$
जहाँ $\epsilon^{ext}_i$ एक्सट्रपलेटेड वेलोसिटी है और $\gamma_i$ एक मॉडल-विशिष्ट वेट है। महत्वपूर्ण रूप से, यह करेक्शन पहले से ही पिछले स्टेप्स में किए गए वेलोसिटी मूल्यांकनों का उपयोग करता है, जिससे जीरो अतिरिक्त NFE का खर्च होता है।

सैद्धांतिक विश्लेषण सिद्ध करता है कि इस अतिरिक्त करेक्शन के बावजूद, विधि मूल एडम्स-बशफोर्थ सॉल्वरों की औपचारिक अभिसरण दर (convergence order) को बनाए रखती है (CAB-2 के लिए सेकंड-ऑर्डर ग्लोबल एरर; CAB-3 के लिए थर्ड-ऑर्डर जब $\gamma_i = O(h_i)$ हो)।

मुख्य योगदान

एकीकृत ढांचा (Unified Framework): CAB एक सिंगल, ट्रेनिंग-फ्री सैंपलर प्रदान करता है जो उनके डायनेमिक्स को एक कॉमन नॉइज़-टू-सिग्नल कोऑर्डिनेट सिस्टम में रेक्टिफाई करके फ्लो मैचिंग और डिफ्यूजन दोनों मॉडलों पर लागू होता है।
जीरो-ओवरहेड करेक्शन: विधि एक करेक्शन मैकेनिज्म पेश करती है जो अतिरिक्त नेटवर्क मूल्यांकन के बिना लो-NFE स्थिरता और सटीकता में सुधार करती है, जो इसे वर्चुअल स्टेप्स या जटिल मल्टी-इवैल्यूएशन करेक्शन पर निर्भर विधियों से अलग बनाती है।
सैद्धांतिक गारंटी: लेखक प्रमाण प्रदान करते हैं जो दिखाते हैं कि सुधारात्मक स्कीमें (corrected schemes) बेस एडम्स-बशफोर्थ विधियों के लोकल ट्रंकेशन एरर और ग्लोबल कन्वर्जेंस ऑर्डर को सुरक्षित रखती हैं।
अनुभवजन्य प्रदर्शन (Empirical Performance): व्यापक प्रयोग दिखाते हैं कि CAB विभिन्न बेंचमार्क पर चुनौतीपूर्ण 6-20 स्टेप शासन में क्वालिटी-NFE ट्रेड-ऑफ में सुधार करता है।

प्रयोगात्मक परिणाम

लेखकों ने अनकंडीशनल इमेज जनरेशन (CIFAR-10, ImageNet), क्लास-कंडीशनल जनरेशन (ImageNet पर DiT), हाई-रिज़ॉल्यूशन टेक्स्ट-टू-इमेज सिंथेसिस (QWEN-Image), और टेक्स्ट-टू-वीडियो जनरेशन (HunyuanVideo) पर CAB का मूल्यांकन किया।

लो-NFE शासन (6–20 स्टेप्स): CAB FID (Fréchet Inception Distance) और परसेप्चुअल क्वालिटी के मामले में मजबूत ट्रेनिंग-फ्री बेसलाइन्स (DDIM, DPM-Solver++, UniPC, STORK) को लगातार पछाड़ता है। उदाहरण के लिए, 6 NFEs पर DiT/ImageNet के लिए, CAB-3, DPM++ के 26.64 और STORK के 51.52 के FID की तुलना में 14.81 का FID प्राप्त करता है।
गुणात्मक सुधार (Qualitative Improvements): विजुअल तुलना दर्शाती है कि CAB प्रतिस्पर्धियों की तुलना में लो-स्टेप सेटिंग्स में शार्प डिटेल्स बनाता है, स्ट्रक्चरल इंटीग्रिटी (जैसे चेहरे की विशेषताएं, ऑब्जेक्ट बाउंड्री) को बेहतर तरीके से सुरक्षित रखता है, और नॉइज़ आर्टिफ़ैक्ट्स तथा ओवरस्मूथिंग को कम करता है।
हाई-रिज़ॉल्यूशन और वीडियो: QWEN-Image (1024x1024) पर, CAB-3 4-10 NFEs पर उच्चतम ImageReward स्कोर प्राप्त करता है। वीडियो जनरेशन (HunyuanVideo) में, CAB-2 लो स्टेप काउंट पर बेहतर टेक्स्ट-वीडियो एलाइनमेंट और टेम्पोरल कंसिस्टेंसी प्रदर्शित करता है।
दक्षता (Efficiency): रनटाइम और मेमोरी ओवरहेड नगण्य है, जो स्टैंडर्ड AB सॉल्वर्स के समान है, क्योंकि करेक्शन पिछले मूल्यांकनों पर निर्भर करता है।

महत्व और दावे

पेपर का दावा है कि CAB जेनेरेटिव मॉडलिंग में "लो-NFE डिलेमा" के लिए एक सरल और प्रभावी समाधान प्रदान करता है। अपने ODE डायनेमिक्स को रेक्टिफाई करके और एक डिफेक्ट-करेक्शन रणनीति लागू करके, CAB सटीकता, स्थिरता और व्यापकता के बीच एक अनुकूल संतुलन प्राप्त करता है। लेखक इस बात पर जोर देते हैं कि उनकी विधि को एक एकल वेट $\gamma$ के अलावा किसी अतिरिक्त प्रशिक्षण या मॉडल-विशिष्ट हाइपरपैरामीटर ट्यूनिंग की आवश्यकता नहीं है, जो इसे मौजूदा सैंपलर्स के लिए एक व्यावहारिक ड्रॉप-इन रिप्लेसमेंट बनाता है।

यह कार्य सुझाव देता है कि नॉइज़-टू-सिग्नल कोऑर्डिनेट्स में ODE का रेक्टिफिकेशन सीखे गए वेक्टर फील्ड को काफी स्मूथ करता है, जिससे अधिक सटीक मल्टीस्टेप इंटीग्रेशन की सुविधा मिलती है। जबकि विधि मजबूती में सुधार करती है, लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं: बहुत कम स्टेप्स (जैसे $N=6$ ) और अत्यधिक कर्व्ड डायनेमिक्स वाले अत्यंत चुनौतीपूर्ण शासन में, ज्योमेट्रिक मिस-ट्रैकिंग अभी भी हो सकती है, जो इंगित करती है कि करेक्शन स्टिफ या तेजी से बदलने वाले सिस्टम से जुड़े फेल्योर मोड्स को पूरी तरह से समाप्त नहीं करता है। फिर भी, CAB रिसोर्स-कंस्ट्रेंड, लेटेंसी-सेंसिटिव एप्लिकेशन्स में हाई-फिडेलिटी जेनेरेटिव मॉडल्स को अधिक सुलभ बनाने की दिशा में एक महत्वपूर्ण कदम है।