RBF-Solver: A Multistep Sampler for Diffusion Probabilistic Models via Radial Basis Functions

यहाँ पेपर "RBF-Solver: A Multistep Sampler for Diffusion Probabilistic Models via Radial Basis Functions" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन प्रोबेबिलिस्टिक मॉडल्स (DPMs) उच्च जनरेटिव फिडेलिटी (generative fidelity) प्राप्त करते हैं, लेकिन रिवर्स डिफ्यूजन ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) को हल करने के लिए कई पुनरावृत्ति डिनोइजिंग स्टेप्स (फंक्शन इवैल्यूएशंस, या NFE) की आवश्यकता के कारण उच्च कम्प्यूटेशनल लागत से जूझते हैं।

जबकि मौजूदा फास्ट सैंपलर (जैसे DPM-Solver++, UniPC) त्वरण के लिए पॉलिनोमियल-आधारित मल्टीस्टेप मेथड्स (टेलर एक्सपेंशन या लैग्रेंज इंटरपोलेशन) का उपयोग करते हैं, वे विशिष्ट सीमाओं का सामना करते हैं:

• कठोरता (Rigidity): वे निश्चित गुणांकों (coefficients) वाली पूर्व-निर्धारित योजनाओं का पालन करते हैं, जिससे विशिष्ट मॉडल्स या स्थितियों के लिए सैंपलिंग प्रक्षेपवक्र (trajectory) को अनुकूलित करने में कोई लचीलापन नहीं मिलता।
• संख्यात्मक अस्थिरता (Numerical Instability): उच्च-क्रम के पॉलिनोमियल एप्रोक्सिमेशन अक्सर रनगे फेनोमेनन (Runge phenomenon/दोलन) और जैसे-जैसे क्रम बढ़ता है (आमतौर पर 4थे क्रम के बाद खराब होता है) संख्यात्मक अस्थिरता का शिकार होते हैं।
• इष्टतम प्रक्षेपवक्र का अभाव (Suboptimal Trajectories): वे सैंपलिंग प्रक्रिया के दौरान डेटा वितरण की स्थानीय विशेषताओं (local features) के प्रति स्पष्ट रूप से अनुकूलित नहीं होते हैं।

2. कार्यप्रणाली: RBF-Solver (Methodology: RBF-Solver)

लेखक RBF-Solver प्रस्तावित करते हैं, जो एक नया मल्टीस्टेप सैंपलर है जो डिफ्यूजन ODE सॉल्वर के भीतर मॉडल इवैल्यूएशन ($\hat{x}_\theta$) को एप्रोक्सिमेट करने के लिए पॉलिनोमियल इंटरपोलेशन के स्थान पर गौसियन रेडियल बेसिस फंक्शन (Gaussian RBF) इंटरपोलेशन का उपयोग करता है।

मुख्य तंत्र (Core Mechanism)

• गौसियन RBF इंटरपोलेशन: पिछले मॉडल इवैल्यूएशंस पर पॉलिनोमियल फिट करने के बजाय, RBF-Solver गौसियन RBFs के एक रैखिक संयोजन (linear combination) को फिट करता है:
  $$R(\lambda) = \sum_{j=0}^{p-1} w_{ti,j} \phi_{ti,j}(\lambda) + w_{const}$$
  जहाँ $\phi_{ti,j}(\lambda) = \exp\left[-\left(\frac{\lambda - \lambda_{ti-j}}{\gamma_{ti} h_{ti}}\right)^2\right]$।
• सीखने योग्य शेप पैरामीटर्स ($\gamma$): मुख्य नवाचार प्रत्येक गौसियन के लिए एक शेप पैरामीटर $\gamma_{ti}$ का समावेश है। पॉलिनोमियल्स के विपरीत, गौसियन की चौड़ाई को ट्यून किया जा सकता है। यह सैंपलर को स्थानीय डेटा फीचर्स के आधार पर प्रक्षेपवक्र को अनुकूलित करने की अनुमति देता है।
• प्रेडिक्टर-करैक्टर फ्रेमवर्क (Predictor-Corrector Framework): इस विधि को एक मानक लीनियर मल्टीस्टेप फ्रेमवर्क के भीतर लागू किया गया है:
  • प्रेडिक्टर (Predictor): अगले स्टेप की भविष्यवाणी करने के लिए $p$ पिछले इवैल्यूएशंस का उपयोग करता है।
  • करैक्टर (Corrector): स्टेप को रिफाइन करने के लिए $p+1$ इवैल्यूएशंस (अनुमानित वाले सहित) का उपयोग करता है।
• गुणांक योग स्थिति (Coefficient Summation Condition): विधि को गुणांक योग स्थिति को संतुष्ट करने के लिए डिज़ाइन किया गया है, जो प्रथम क्रम पर यूलर मेथड (DDIM) के साथ निरंतरता सुनिश्चित करता है।

सैद्धांतिक गुण (Theoretical Properties)

• एडम्स मेथड की ओर अभिसरण (Convergence to Adams Method): जैसे-जैसे शेप पैरामीटर $\gamma \to \infty$ होता है, गौसियन RBFs फ्लैट हो जाते हैं, और RBF इंटरपोलेशन मानक लैग्रेंज इंटरपोलेशन में परिवर्तित हो जाता है। फलस्वरूप, RBF-Solver एडम्स मेथड (जो UniPC का आधार है) में परिवर्तित हो जाता है, जो बैकवर्ड कम्पैटिबिलिटी सुनिश्चित करता है।
• समान-गुणांक सैंपलर की ओर अभिसरण: जैसे-जैसे $\gamma \to 0$ होता है, विधि समान गुणांकों वाले सैंपलर में परिवर्तित हो जाती है।
• उच्च-क्रम स्थिरता (High-Order Stability): गौसियन RBFs की स्थानीयता (locality) के कारण (उनका प्रभाव दूरी के साथ तेजी से घटता है), RBF-Solver उच्च क्रमों (4थी, 5वीं, 6वीं+ ऑर्डर) पर भी स्थिरता और सटीकता बनाए रखता है, जहाँ पॉलिनोमियल-आधारित सैंपलर आमतौर पर विचलन या दोलन करते हैं।

अनुकूलन रणनीति (Optimization Strategy)

पेपर एक दिए गए मॉडल के लिए इष्टतम शेप पैरामीटर्स $\gamma$ खोजने के लिए एक अनुकूलन एल्गोरिदम पेश करता है:

1. टारगेट जनरेशन: एक मौजूदा सैंपलर (जैसे UniPC) का उपयोग करके एक उच्च-गुणवत्ता वाला "टारगेट प्रक्षेपवक्र" उत्पन्न किया जाता है (जैसे 200 स्टेप्स के साथ)।
2. लॉस मिनिमाइजेशन: मध्यवर्ती स्टेप्स पर RBF-Solver के प्रेडिक्शन और टारगेट प्रक्षेपव melalui MSE (Mean Squared Error) को कम करके शेप पैरामीटर्स को ऑप्टिमाइज़ किया जाता है।
3. दक्षता: इस अनुकूलन के लिए किसी अतिरिक्त नेटवर्क इवैल्यूशन की आवश्यकता नहीं है, केवल शेप पैरामीटर्स पर ग्रिड सर्च की आवश्यकता है, जो डिस्टिलेशन-आधारित तरीकों की तुलना में कम्प्यूटेशनल रूप से सस्ता है।

3. प्रमुख योगदान (Key Contributions)

1. नया इंटरपोलेशन स्कीम: डिफ्यूजन ODE सॉल्वर्स में पहली बार गौसियन RBF इंटरपोलेशन का अनुप्रयोग, जो कठोर पॉलिनोमियल एप्रोक्सिमेशन को लचीले, सीखने योग्य बेसिस फंक्शन्स से बदलता है।
2. सैद्धांतिक एकीकरण (Theoretical Unification): यह सिद्ध करता है कि RBF-Solver, एडम्स मेथड ($\gamma \to \infty$) और यूलर मेथड ($\gamma \to 0$ या विशिष्ट सीमाओं पर) को एकीकृत करता है, जो निरंतर स्पेक्ट्रम प्रदान करता है।
3. उच्च-क्रम मजबूती (High-Order Robustness): यह प्रदर्शित करता है कि RBF-Solver $p \ge 4$ के क्रमों पर भी स्थिर और सटीक रहता है, जो उन संख्यात्मक अस्थिरताओं को दूर करता है जो उच्च-क्रम के पॉलिनोमियल सैंपलर में स्वाभाविक रूप से होती हैं।
4. ट्रेनिंग-फ्री अडैप्टेशन: यह विशिष्ट प्री-ट्रेंड मॉडल्स के लिए सैंपलर पैरामीटर्स को अनुकूलित करने के लिए एक हल्का, ट्रेनिंग-फ्री तंत्र प्रदान करता है, जिससे डिफ्यूजन मॉडल को फिर से प्रशिक्षित किए बिना इमेज क्वालिटी में काफी सुधार होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन CIFAR-10, ImageNet (64x64, 128x128, 256x256) और Stable Diffusion में अनकंडीशनल और कंडीशनल जनरेशन कार्यों पर किया गया।

• अनकंडीशनल जनरेशन (CIFAR-10, ImageNet 64x64):

  • हाई-NFE रिजीम (NFE $\ge$ 15) में: RBF-Solver लगातार स्टेट-ऑफ-द-आर्ट बेसलाइन्स (DPM-Solver++, UniPC) से बेहतर प्रदर्शन करता है।
  • CIFAR-10 (Score-SDE) पर, यह 15 NFE पर 2.87 का FID और 40 NFE पर 2.48 का FID प्राप्त करता है, जो पॉलिनोमियल-आधारित तरीकों से बेहतर है।
  • ImageNet 64x64 पर, यह सभी NFE $\ge$ 10 के लिए प्रतिस्पर्धियों की तुलना में कम FID स्कोर प्राप्त करता है।

• कंडीशनल जनरेशन (ImageNet, Stable Diffusion):

  • RBF-Solver लो-NFE रिजीम (5–10 स्टेप्स) में पर्याप्त लाभ दिखाता है, विशेष रूप से उच्च गाइडेंस स्केल (6.0 और 8.0) पर।
  • ImageNet 256x256 के साथ गाइडेंस स्केल 8.0 पर, यह पॉलिनोमियल-आधारित सैंपलर्स की तुलना में FID को 16.12%–33.73% तक कम कर देता है।
  • Stable Diffusion v1.4 पर, यह बेसलाइन्स की तुलना में बेहतर CLIP कोसाइन सिमिलैरिटी और कम RMSE प्राप्त करता है।

• उच्च-क्रम स्थिरता (High-Order Stability):

  • जबकि UniPC का प्रदर्शन $p \ge 5$ होने पर तेजी से गिरता है, RBF-Solver $p=6$ या उससे अधिक के क्रम तक प्रदर्शन को बनाए रखता है या सुधारता है, जो RBF लोकैलिटी के सैद्धांतिक दावे की पुष्टि करता है।

5. महत्व (Significance)

• ऑर्डर बैरियर को तोड़ना: RBF-Solver उच्च-क्रम डिफ्यूजन सैंपलिंग में लंबे समय से चली आ रही अस्थिरता की समस्या को हल करता है, जिससे गुणवत्ता से समझौता किए बिना तेज़ इन्फरेंस के लिए उच्च-क्रम विधियों का उपयोग करना संभव होता है।
• अनुकूली सैंपलिंग (Adaptive Sampling): यह एक ऐसा प्रतिमान (paradigm) पेश करता है जहाँ सैंपलिंग प्रक्षेपवक्र केवल एक निश्चित गणितीय एप्रोक्सिमेशन नहीं है, बल्कि मॉडल के व्यवहार द्वारा परिभाषित "इष्टतम" पथ का पालन करने के लिए गतिशील रूप से अनुकूलित है।
• व्यावहारिक दक्षता: कम स्टेप्स के साथ बेहतर परिणाम प्राप्त करके (विशेष रूप से लो-NFE रिजीम में) और उच्च क्रमों पर गुणवत्ता बनाए रखकर, RBF-Solver हाई-फिडेलिटी इमेज जनरेशन के लिए कम्प्यूटेशनल बाधा को काफी कम करता है, जो इसे रियल-टाइम अनुप्रयोगों और संसाधन-बाधित वातावरण के लिए अत्यधिक प्रासंगिक बनाता है।
• सामान्यीकरण (Generalizability): यह दृष्टिकोण मॉडल-अग्नोस्टिक है और इसे बिना रिट्रेनिंग के किसी भी प्री-ट्रेंड डिफ्यूजन मॉडल पर लागू किया जा सकता है, जो इसे जनरेटिव AI समुदाय के लिए एक बहुमुखी उपकरण बनाता है।