🤖 machine learning

Dual-Solver: A Generalized ODE Solver for Diffusion Models with Dual Prediction

ड्युअल-सॉल्वर (Dual-Solver) डिफ्यूजन मॉडल्स के लिए एक सामान्यीकृत ODE सॉल्वर है जो भविष्यवाणियों के प्रकारों को गतिशील रूप से इंटरपोलेट करने, एकीकरण डोमेन (integration domains) चुनने और अवशेषों (residuals) को समायोजित करने के लिए सीखने योग्य मापदंडों का उपयोग करता है, जिससे विभिन्न बैकबोन में कम-फंक्शन-इवैल्यूएशन (low-function-evaluation) व्यवस्थाओं में इमेज क्वालिटी और CLIP स्कोर में महत्वपूर्ण सुधार होता है।

मूल लेखक: Soochul Park, Yeon Ju Lee

प्रकाशित 2026-03-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Soochul Park, Yeon Ju Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुंदर, जटिल पेंटिंग को फिर से बनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल कुछ ही ब्रशस्ट्रोक (तुलिका के प्रहार) हैं।

AI आर्ट की दुनिया में (विशेष रूप से डिफ्यूजन मॉडल्स में), कंप्यूटर टीवी के शोर (static/TV snow) जैसे रैंडम शोर से भरे कैनवास से शुरू करता है और धीरे-धीरे इसे "डी-नॉइज़" (denoise) करता है जब तक कि एक स्पष्ट छवि दिखाई न देने लगे। समस्या यह है कि एक परफेक्ट तस्वीर पाने के लिए, कंप्यूटर को आमतौर पर सैकड़ों छोटे कदम उठाने की आवश्यकता होती है। यह धीमा और महंगा है, जैसे कमरे के पार जाने के लिए एक-एक इंच के छोटे कदम उठाना।

इसे ठीक करने के लिए, शोधकर्ताओं ने कंप्यूटर को बड़े, स्मार्ट कदम उठाना सिखाने की कोशिश की है (कम स्टेप्स, या NFEs)। हालाँकि, मौजूदा तरीके कठोर नियमपुस्तिकाओं की तरह हैं: वे कंप्यूटर को एक विशिष्ट तरीके से कदम उठाने के लिए मजबूर करते हैं (जैसे, "हमेशा शोर को देखो," या "हमेशा डेटा को देखो")। यदि नियमपुस्तिका पेंटिंग की विशिष्ट शैली से मेल नहीं खाती है, तो परिणाम धुंधला या अजीब दिखता है।

यहाँ आता है Dual-Solver, जो इस पेपर में पेश किया गया एक नया "स्मार्ट नेविगेटर" है।

मूल विचार: "स्विस आर्मी नाइफ" स्टेप

पुराने तरीकों को एक हथौड़े के रूप में सोचें। यह कीलों के लिए तो बेहतरीन है, लेकिन पेंचों (screws) के लिए बहुत बुरा है। Dual-Solver एक स्विस आर्मी नाइफ है। इसमें केवल एक तरह से आगे बढ़ने का तरीका नहीं है; इसमें एडजस्टेबल टूल्स का एक सेट है जो स्थिति के अनुसार बदल जाते हैं।

पेपर तीन "नॉब्स" (सीखने योग्य पैरामीटर्स) पेश करता है जिन्हें AI स्वचालित रूप से घुमाना सीख जाता है:

"प्रेडिक्शन" नॉब ( $\gamma$ ):
- समस्या: कभी-कभी AI को यह अनुमान लगाना चाहिए कि "शोर" कैसा दिखता है, कभी "अंतिम छवि" कैसी दिखती है, और कभी कि छवि कितनी तेजी से बदल रही है (वेलोसिटी)। पुराने सॉल्वर को इनमें से एक को चुनना पड़ता था और उसी पर टिके रहना पड़ता था।
- Dual-Solver का समाधान: यह नॉब AI को इन तीनों अनुमानों के बीच सहजता से मिश्रण करने की अनुमति देता है। यह एक ऐसे शेफ की तरह है जो केवल नमक या चीनी का उपयोग नहीं करता, बल्कि जानता है कि हर पल के लिए एकदम सही स्वाद पाने के लिए दोनों को कितनी मात्रा में मिलाना है।
"मैप" नॉब ( $\tau$ ):
- समस्या: कल्पना कीजिए कि आप एक खेत के पार जाने की कोशिश कर रहे हैं। कभी-कभी सीधी रेखा (linear) में चलना सबसे अच्छा होता है। अन्य समय में, सर्पिल (spiral) या घुमावदार रास्ते का अनुसरण करना आपको वहां तक तेजी से पहुंचा सकता है (logarithmic)। पुराने सॉल्वर एक ही प्रकार के मैप पर अटके हुए थे।
- Dual-Solver का समाधान: यह नॉब पथ की "ज्यामिति" (geometry) को बदल देता है। यह AI को एक सीधी सड़क और एक घुमावदार रास्ते के बीच स्विच करने की अनुमति देता है, जिससे वह उस विशिष्ट स्टेप के लिए सबसे कुशल मार्ग चुन सके।
"करेक्शन" नॉब ( $\kappa$ ):
- समस्या: एक अच्छे मैप के साथ भी, आप गलत मोड़ ले सकते हैं। आपको शुरुआत से शुरू किए बिना छोटी गलतियों को सुधारने का एक तरीका चाहिए।
- Dual-Solver का समाधान: यह नॉब स्टेप में एक छोटा "सेफ्टी नेट" या फाइन-ट्यूनिंग एडजस्टमेंट जोड़ता है। यह एक रस्सी पर चलने वाले (tightrope walker) की तरह है जो संतुलन बनाए रखने के लिए बैलेंसिंग पोल का उपयोग करता है ताकि वे गिर न जाएं, जिससे यह सुनिश्चित होता है कि तेज गति से चलने पर भी स्टेप सटीक बना रहे।

यह कैसे सीखता है? ("शिक्षक" बनाम "न्यायाधीश")

आमतौर पर, एक छात्र (सॉल्वर) को तेज चलने के लिए सिखाने के लिए, आप उन्हें एक मास्टर वॉकर (एक उच्च-गुणवत्ता वाला, धीमा सॉल्वर) का वीडियो दिखाते हैं और कहते हैं, "मेरे कदमों की हुबहू नकल करो।" इसे रिग्रेशन (Regression) कहा जाता है।

समस्या: यह कठिन है। छात्र सटीक पथ की नकल करने की कोशिश में भ्रमित हो जाता है, खासकर जब उसे केवल 3 या 5 कदम उठाने की अनुमति हो।

Dual-Solver एक चालाक तकनीक का उपयोग करता है जिसे क्लासिफिकेशन (Classification) कहा जाता है।

उपमा: छात्र को मास्टर के कदमों की नकल करने के लिए कहने के बजाय, हम उन्हें एक जज (Judge) देते हैं (एक प्री-ट्रेंड इमेज क्लासिफायर, जैसे कि एक रोबोट जो जानता है कि "बिल्ली" कैसी दिखती है)।
AI कुछ कदम उठाता है, एक छवि बनाता है, और जज से पूछता है: "क्या यह बिल्ली जैसी दिखती है?"
यदि जज कहता है "नहीं," तो AI को पता चल जाता है कि वह पटरी से उतर गया है और वह अपने नॉब्स (स्विस आर्मी नाइफ टूल्स) को एडजस्ट करता है ताकि फिर से कोशिश की जा सके।
यह बेहतर क्यों है: AI को मास्टर के सटीक पथ को याद करने की आवश्यकता नहीं है। उसे बस उस "सही रेखा" के दाईं ओर रहना सीखना है जहाँ जज कहता है, "हाँ, यह एक बिल्ली है!" यह इसे उच्च-गुणवत्ता वाली छवि के लिए अपना अनूता, कुशल पथ खोजने की अनुमति देता है।

परिणाम: तेज़ और शानदार

शोधकर्ताओं ने विभिन्न AI आर्ट मॉडल्स (जैसे DiT, SANA, और PixArt) पर इसका परीक्षण किया।

पुराना तरीका: एक अच्छी तस्वीर पाने के लिए, आपको 20-50 स्टेप्स की आवश्यकता हो सकती है।
Dual-Solver: केवल 3 से 9 स्टेप्स में उतनी ही अच्छी (या उससे बेहतर) तस्वीर प्राप्त कर सकता है।

सारांश

Dual-Solver को एक फिक्स्ड गियर रेशियो वाले वाहन से बदलकर एक ऐसे वाहन में अपग्रेड करने जैसा है जिसमें कंटीन्यूअसली वेरिएबल ट्रांसमिशन (CVT) और एक GPS है जो ट्रैफिक जज से सीखता है।

यह AI को एक कठोर पथ का पालन करने के लिए मजबूर नहीं करता है।
यह AI को अपनी रणनीति (प्रेडिक्शन टाइप), अपना मैप (इंटीग्रेशन डोमेन), और अपने सुधारों (रेसिडुअल्स) को चलते-फिरते एडजस्ट करने की अनुमति देता है।
यह "क्या यह एक अच्छी छवि है?" पूछकर सीखता है, न कि "क्या आपने मेरे कदमों की नकल की?"

परिणाम? आपको बहुत कम समय में उच्च-गुणवत्ता वाली AI आर्ट मिलती है, जिससे चित्र बनाना बहुत तेज़ और सस्ता हो जाता है।

यहाँ शोध पत्र "Dual-Solver: A Generalized ODE Solver for Diffusion Models with Dual Prediction" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल्स ने उत्कृष्ट इमेज क्वालिटी हासिल की है, लेकिन सैंपलिंग के लिए आवश्यक फंक्शन इवैलुएशन (NFEs) की बड़ी संख्या के कारण उच्च अनुमान लागत (inference costs) से जूझ रहे हैं। जबकि सैंपलिंग को तेज करने के लिए ODE सॉल्वर को अपनाया गया है, मौजूदा विधियाँ कई सीमाओं का सामना करती हैं:

कठोर भविष्यवाणी प्रकार (Rigid Prediction Types): क्लासिकल सॉल्वर्स आमतौर पर प्रशिक्षण और सैंपलिंग के दौरान एक ही प्रकार की भविष्यवाणी (नॉइज़, वेलोसिटी, या डेटा) के प्रति प्रतिबद्ध रहते हैं। हालाँकि, डिस्क्रीट समय में, ये भविष्यवाणी प्रकार अलग-अलग अपडेट स्टेप्स देते हैं, जिससे सब-ऑप्टिमल ट्रेजेक्टरीज (trajectories) प्राप्त होती हैं।
निश्चित एकीकरण डोमेन (Fixed Integration Domains): सॉल्वर्स अक्सर निश्चित एकीकरण डोमेन (जैसे, लीनियर या लॉगरिदमिक टाइम स्टेप्स) का उपयोग करते हैं, जो सैंपलिंग प्रक्रिया के सभी चरणों के लिए इष्टतम नहीं हो सकते हैं।
प्रशिक्षण ओवरहेड (Training Overhead): "लर्नड सॉल्वर्स" (जो सॉल्वर पैरामीटर्स को अनुकूलित करते हैं) आमतौर पर रिग्रेशन-आधारित उद्देश्यों पर निर्भर करते हैं। इनके लिए उच्च NFEs पर चलने वाले "टीचर" सॉल्वर की आवश्यकता होती है जो लक्ष्य ट्रेजेक्टरीज या सैंपल्स उत्पन्न कर सके, जिससे भारी कम्प्यूटेशनल ओवरहेड होता है और अक्सर बहुत कम NFE (जैसे, $NFE \le 5$ ) के क्षेत्र में अच्छा सामान्यीकरण (generalize) करने में विफल रहता है।

2. कार्यप्रणाली: Dual-Solver (Methodology: Dual-Solver)

लेखक Dual-Solver का प्रस्ताव करते हैं, जो एक सामान्यीकृत प्रेडिक्टर-करैक्टर सैंपलर है जो तीन प्रकार के सीखने योग्य (learnable) पैरामीटर्स के माध्यम से मौजूदा ODE सॉल्वर्स को एकीकृत और विस्तारित करता है। यह एक मानक प्रेडिक्टर-करैक्टर संरचना को बनाए रखते हुए दूसरे क्रम की स्थानीय सटीकता (second-order local accuracy) को सुरक्षित रखता है।

अ. सामान्यीकृत इंटीग्रल फॉर्मूलेशन (Generalized Integral Formulation)

Dual-Solver एक एकीकृत इंटीग्रल फॉर्मूलेशन पेश करता है जो प्रति स्टेप तीन सीखने योग्य चरों द्वारा पैरामीटराइज्ड है:

प्रेडिक्शन इंटरपोलेशन ( $\gamma$ ):
- नॉइज़ ( $\epsilon_\theta$ ), वेलोसिटी ( $v_\theta$ ), या डेटा ( $\text{x}_\theta$ ) भविष्यवाणियों के बीच चयन करने के बजाय, Dual-Solver उनके बीच निरंतर इंटरपोलेशन करने के लिए एक पैरामीटर $\gamma$ का उपयोग करता है।
- $\gamma = -1$ नॉइज़ प्रेडिक्शन के लिए, $\gamma = 0$ वेलोसिटी प्रेडिक्शन के लिए, और $\gamma = 1$ डेटा प्रेडिक्शन के लिए है।
- यह सॉल्वर को प्रत्येक स्टेप के लिए इष्टतम भविष्यवाणी प्रकार को गतिशील रूप से चुनने की अनुमति देता है।
डोमेन परिवर्तन ( $\tau$ ):
- सॉल्वर एकीकरण डोमेन पर लॉग-लीनियर ट्रांसफॉर्मेशन $L(y; \tau) = \frac{\log(1+\tau y)}{\tau}$ लागू करता है।
- जैसे-जैसे $\tau \to 0$ होता है, यह एक लीनियर ट्रांसफॉर्म की तरह व्यवहार करता है; जैसे $\tau = 1$ होता है, यह एक लॉगरिदमिक ट्रांसफॉर्म की तरह व्यवहार करता है।
- यह सॉल्वर को विस्क्रीटाइजेशन एरर्स (discretization errors) को कम करने के लिए इष्टतम एकीकरण डोमेन (लीनियर बनाम लॉग) सीखने की अनुमति देता है।
रेसिड्यूल एडजस्टमेंट ( $\kappa$ ):
- टेलर एक्सपेंशन एप्रोक्सिमेशन में रेसिड्यूल टर्म को एडजस्ट करने के लिए एक पैरामीटर $\kappa$ पेश किया गया है।
- यह विधि के ऑर्डर को बढ़ाए बिना रेसिड्यूल टर्म ( $O((\Delta t)^2)$ ) में लचीलापन जोड़ता है, जिससे सॉल्वर उच्च-क्रम के एरर्स को ठीक कर सकता है।

ब. सैंपलिंग स्कीम (Sampling Scheme)

Dual-Solver एक प्रेडिक्टर-करैक्टर स्कीम का उपयोग करता है:

प्रेडिक्टर (Predictor): वर्तमान अवस्था और मॉडल इवैलुएशन का उपयोग करने वाला एक फर्स्ट-ऑर्डर स्टेप।
करैक्टर (Corrector): एक सेकंड-ऑर्डर स्टेप जो नए टाइम स्टेप पर ताज़ा मॉडल इवैलुएशन का उपयोग करके प्रेडिक्शन को परिष्कृत (refine) करता है।
पैरामीटर्स ( $\gamma, \tau, \kappa$ ) प्रत्येक स्टेप के लिए प्रेडिक्टर और करैक्टर के लिए अलग-अलग सीखे जाते हैं।

स. क्लासिफिकेशन-आधारित पैरामीटर लर्निंग (Classification-Based Parameter Learning)

एक प्रमुख नवाचार इसकी लर्निंग रणनीति है। हाई-NFE टीचर ट्रेजेक्टरीज के विरुद्ध रिग्रेशन (जो महंगा और त्रुटिपूर्ण है) के बजाय, Dual-Solver हार्ड-लेबल क्लासिफिकेशन (Hard-Label Classification) का उपयोग करता है:

तंत्र (Mechanism): सॉल्वर एक सैंपल $x_0$ उत्पन्न करता है। इस सैंपल को एक फ्रोजन, प्री-ट्रेंड क्लासिफायर (जैसे, ImageNet के लिए MobileNet, टेक्स्ट-टू-इमेज के लिए CLIP) के माध्यम से पास किया जाता है।
उद्देश्य (Objective): सॉल्वर पैरामीटर्स को क्लासिफायर द्वारा अनुमानित क्लास प्रोबेबिलिटीज़ और ग्राउंड-ट्रुथ क्लास लेबल (या टेक्स्ट प्रॉम्प्ट) के बीच क्रॉस-एन्ट्रॉपी लॉस को कम करने के लिए अनुकूलित किया जाता है।
लाभ (Advantage): यह दृष्टिकोण उच्च-गुणवत्ता वाले टीचर सैंपल्स उत्पन्न करने की आवश्यकता को समाप्त करता है। यह सुनिश्चित करने पर ध्यान केंद्रित करता है कि उत्पन्न सैंपल क्लासिफायर के निर्णय सीमा (decision boundary) के सही पक्ष पर हो, जो विजुअल फिडेलिटी (visual fidelity) के साथ दृढ़ता से सह-संबंधित है।

3. मुख्य योगदान (Key Contributions)

एकीकृत सॉल्वर फ्रेमवर्क: Dual-Solver प्रेडिक्शन प्रकारों, एकीकरण डोमेन और रेसिड्यूल टर्म्स के बीच इंटरपोलेट करना सीखकर मल्टीस्टेप सैंपलर्स को सामान्य बनाता है, जो प्रभावी रूप से मौजूदा सॉल्वर्स (जैसे, DPM-Solver++) को विशेष मामलों के रूप में कवर करता है।
कुशल लर्निंग रणनीति: सॉल्वर पैरामीटर लर्निंग के लिए हार्ड-लेबल क्लासिफिकेशन की शुरूआत महंगी टीचर ट्रेजेक्टरीज की आवश्यकता को समाप्त करती है, जिससे कम-NFE शासन (low-NFE regime) के लिए उच्च-प्रदर्शन वाले सॉल्वर्स को प्रशिक्षित करना संभव हो जाता है।
सेकंड-ऑर्डर सटीकता: सीखने योग्य पैरामीटर्स के बावजूद, यह विधि गणितीय रूप से दूसरे क्रम की लोकल ट्रंकेशन एरर (second-order local truncation error) बनाए रखती है।
व्यापक प्रयोज्यता: इस विधि को डिफ्यूजन ट्रांसफॉर्मर्स (DiT), फ्लो मैचिंग मॉडल्स (GM-DiT), और टेक्स्ट-टू-इमेज मॉडल्स (SANA, PixArt- $\alpha$ ) सहित विविध बैकबोन पर सत्यापित किया गया है।

4. प्रायोगिक परिणाम (Experimental Results)

लेखकों ने ImageNet (DiT, GM-DiT) और टेक्स्ट-टू-इमेज कार्यों (SANA, PixArt- $\alpha$ ) पर FID (Fréchet Inception Distance) और CLIP स्कोर का उपयोग करके Dual-Solver का मूल्यांकन किया।

लो-NFE प्रदर्शन: महत्वपूर्ण लो-NFE शासन ( $3 \le NFE \le 9$ $3 \leq N F E \leq 9$ ) में, Dual-Solver लगातार अत्याधुनिक बेसलाइन्स (DDIM, DPM-Solver++, BNS-Solver, DS-Solver) को पछाड़ता है।
- ImageNet (DiT): $NFE=5$ पर, Dual-Solver 3.52 का FID प्राप्त करता है, जो DPM-Solver++ (22.19) और BNS-Solver (14.53) से काफी बेहतर है।
- Text-to-Image (SANA): $NFE=3$ पर, Dual-Solver 21.79 का FID प्राप्त करता है, जो सभी बेसलाइन्स (जो 45.05 से 48.65 के बीच हैं) से बेहतर है।
एब्लेशन स्टडीज (Ablation Studies):
- प्रेडिक्टर-करैक्टर: फर्स्ट-ऑर्डर प्रेडिक्टर और सेकंड-ऑर्डर करैक्टर ( $p1c2$ ) के संयोजन ने सर्वोत्तम परिणाम दिए।
- लर्नबिलिटी (Learnability): सभी पैरामीटर्स ( $\gamma, \tau, \kappa$ ) को सीखने की अनुमति देने से विशिष्ट मानों (जैसे, डेटा प्रेडिक्शन के लिए $\gamma$ को 1 पर फिक्स करना) को फिक्स करने की तुलना में बेहतर प्रदर्शन प्राप्त हुआ।
- क्लासिफायर चयन: अध्ययन ने क्लासिफायर की सटीकता और सैंपल क्वालिटी के बीच एक "V-आकार" के संबंध को प्रकट किया। मध्यम रूप से सटीक क्लासिफायर (जैसे, MobileNetV3) अक्सर अत्यधिक सटीक क्लासिफायर (जैसे, ViT-H) की तुलना में बेहतर FID स्कोर देते हैं, जो सुझाव देता है कि बहुत सख्त निर्णय सीमाएं जनरेटिव विविधता (generative diversity) में बाधा डाल सकती हैं।
इंटरपोलेशन: एक विशिष्ट NFE के लिए सीखे गए पैरामीटर्स को मध्यवर्ती NFEs के लिए प्रभावी ढंग से काम करने के लिए लीनियरली इंटरपोलेट किया जा सकता है, जो सीखी गई ट्रेजेक्टरी की मजबूती को प्रदर्शित करता है।

5. महत्व (Significance)

Dual-Solver कुशल डिफ्यूजन सैंपलिंग में एक महत्वपूर्ण कदम है। एक सीखने योग्य घटक के रूप में सॉल्वर को एक लचीले, एकीकृत गणितीय ढांचे के साथ उपचारित करके, यह क्लासिकल संख्यात्मक विधियों की कठोरता को दूर करता है। रिग्रेशन-आधारित से क्लासिफिकेशन-आधारित लर्निंग की ओर बदलाव विशेष रूप से प्रभावशाली है, क्योंकि यह विशेष सॉल्वर्स को प्रशिक्षित करने की कम्प्यूटेशनल लागत को काफी कम करता है और साथ ही बेहतर सैंपल क्वालिटी भी प्रदान करता है, विशेष रूप से उस लो-NFE शासन में जहाँ इन्फरेंस स्पीड सबसे महत्वपूर्ण है। यह उच्च-फिडेलिटी जेनेरेटिव मॉडलिंग को वास्तविक समय के अनुप्रयोगों के लिए अधिक सुलभ बनाता है।