Hierarchical Schedule Optimization for Fast and Robust Diffusion Model Sampling

तकनीकी सारांश: तेज़ और सुदृढ़ डिफ्यूजन मॉडल सैंपलिंग के लिए पदानुक्रमित शेड्यूल अनुकूलन (Hierarchical Schedule Optimization)

समस्या विवरण

डिफ्यूजन प्रोबेबिलिस्टिक मॉडल उच्च गुणवत्ता वाली जनरेशन के लिए एक नया मानक स्थापित कर चुके हैं, लेकिन वे गणनात्मक रूप से गहन पुनरावृत्ति (iterative) सैंपलिंग प्रक्रियाओं से ग्रस्त हैं। उच्च गुणवत्ता वाली छवि उत्पन्न करने के लिए आवश्यक कुल फंक्शन इवैल्यूएशन (NFE) की संख्या अक्सर सैकड़ों या हजारों तक पहुँच जाती है, जो वास्तविक समय के अनुप्रयोगों के लिए एक बाधा उत्पन्न करती है। जबकि शेड्यूल ऑप्टिमाइजेशन—बिना मॉडल को पुन: प्रशिक्षित किए एक निश्चित, छोटे NFE के लिए टाइमस्टेप्स के इष्टतम वितरण को खोजने का कार्य—एक प्रशिक्षण-मुक्त त्वरण रणनीति प्रदान करता है, मौजूदा प्रतिमान (paradigms) एक साथ चार मुख्य सिद्धांतों को संतुष्ट करने में विफल रहते हैं:

1. अनुकूलन क्षमता (Adaptivity): विशिष्ट मॉडल विशेषताओं और NFE बजट के अनुरूप शेड्यूल तैयार करने की क्षमता, न कि निश्चित, 'वन-साइज़-फिट्स-ऑल' नियमों पर निर्भर रहना।
2. प्रभावशीलता (Effectiveness): उच्च-गुणवत्ता वाले सैंपल्स उत्पन्न करने की क्षमता।
3. व्यावहारिक सुदृढ़ता (Practical Robustness): यह सुनिश्चित करना कि सैद्धांतिक उद्देश्य वास्तविक निष्ठा (fidelity) के अनुरूप हो, और दोषपूर्ण समाधानों (जैसे, टाइमस्टेप्स का बहुत करीब क्लस्टर होना) से बचना।
4. गणनात्मक दक्षता (Computational Efficiency): इष्टतम शेड्यूल के लिए खोज लागत को व्यावहारिक रूप से व्यवहार्य रखना।

वर्तमान विधियाँ इन सबको संतुलित करने में संघर्ष करती हैं: नियम-आधारित दृष्टिकोणों में अनुकूलन क्षमता की कमी है; धारणात्मक अनुकूलन (perceptual optimization) दक्षता का त्याग करता है; और सिद्धांत-आधारित अनुकूलन अक्सर गैर-उत्तल (non-convex) परिदृश्यों से ग्रस्त होता है जो स्थानीय खोजों को उप-इष्टतम मिनिमा में फँसा देते हैं या सुदृढ़ता की कमी रखते हैं।

कार्यप्रणाली: पदानुक्रमित-शेड्यूल-ऑप्टिमाइज़र (HSO)

इन सीमाओं को संबोधित करने के लिए, लेखक Hierarchical-Schedule-Optimizer (HSO) का प्रस्ताव करते हैं, जो एक नवीन द्वि-स्तरीय अनुकूलन ढांचा (bi-level optimization framework) है जो वैश्विक रूप से इष्टतम शेड्यूल की खोज को एक अधिक सुलभ समस्या में बदल देता है। HSO दो सहक्रियात्मक स्तरों के बीच बारी-बारी से कार्य करता है:

1. फ्रेमवर्क आर्किटेक्चर

• ऊपरी-स्तर (ग्लोबल सर्च): उच्च-आयामी NFE स्पेस में सीधे खोजने के बजाय, HSO एक निम्न-आयामी हाइपरपैरामीटर स्पेस ($\psi \in \mathbb{R}^3$) के भीतर एक इष्टतम इनिशियलाइजेशन रणनीति की खोज करता है। यह रणनीति एक प्रारंभिक शेड्यूल $\Lambda_{init}$ उत्पन्न करती है। यह खोज एक जनसंख्या-आधारित विकासवादी एल्गोरिदम (जैसे, डिफरेंशियल इवोल्यूशन) का उपयोग करती है ताकि गैर-उत्तल परिदृश्य (non-convex landscape) में नेविगेट किया जा सके।
• निचला-स्तर (लोकल ऑप्टिमाइजेशन): ऊपरी स्तर द्वारा उत्पन्न $\Lambda_{init}$ से शुरू होकर, यह स्तर शेड्यूल को एक इष्टतम $\Lambda_{opt}$ में परिष्कृत करने के लिए स्थानीय खोज करता है। इसे एक मानक कड़ाई-बद्ध अनुकूलन एल्गोरिदम (जैसे, ट्रस्ट-रीजन) का उपयोग करके निष्पादित किया जाता है।

2. प्रमुख तकनीकी नवाचार

यह ढांचा दो विशिष्ट नवाचारों द्वारा निर्देशित है जो चार मुख्य सिद्धांतों को सुनिश्चित करने के लिए डिज़ाइन किए गए हैं:

• मिडपॉइंट एरर प्रॉक्सी (MEP): निचले-स्तर के स्थानीय अनुकूलन के लिए ऑब्जेक्टिव फंक्शन ($J_{lower}$) के रूप में कार्य करते हुए, MEP एक सॉल्वर-अज्ञेय (solver-agnostic) और संख्यात्मक रूप से स्थिर ऑब्जेक्टिव है। विशिष्ट सॉल्वर (जैसे, UniPC) से बंधे पिछले तरीकों के विपरीत, MEP को एक हाइब्रिड मिडपॉइंट नियम का उपयोग करके ग्लोबल जनरेशन एरर इंटीग्रल का अनुमान लगाकर प्राप्त किया गया है। यह विश्लेषणात्मक रूप से सुलभ एक्सपोनेंशियल टर्म को अलग करता है और न्यूरल नेटवर्क टर्म का अनुमान लगाता है, जिसके परिणामस्वरूप एक उच्च-क्रम सटीक ($O(h^3)$) और गणनात्मक रूप से कुशल ($O(N)$) ऑब्जेक्टिव प्राप्त होता है।
• स्पेसिंग-पेनलाइज्ड फिटनेस (SPF): ऊपरी-स्तर की वैश्विक खोज के लिए फिटनेस फंक्शन ($F_{upper}$) के रूप में कार्य करते हुए, SPF व्यावहारिक सुदृढ़ता सुनिश्चित करता है। यह सैद्धांतिक त्रुटि (MEP से) को एक गतिशील पेनल्टी टर्म ($L_{penalty}$) के साथ जोड़ता है जो "दोषपूर्ण रूप से निकट" टाइमस्टेप्स को हतोत्साहित करता है। पेनल्टी NFE बजट के आधार पर अनुकूलित होती है, जो संख्यात्मक अस्थिरता और "स्टेप कोलैप्स" (जहाँ जनरेशन प्रक्रिया के अंत में स्टेप्स क्लस्टर हो जाते हैं) को रोकने के लिए न्यूनतम स्टेप स्पेसिंग लागू करती है।

प्रमुख योगदान

1. HSO फ्रेमवर्क: एक नवीन द्वि-स्तरीय अनुकूलन ढांचा जो अनुकूलन क्षमता, प्रभावशीलता, व्यावहारिक सुदृढ़ता और गणनात्मक दक्षता को एक साथ सफलतापूर्वक संतुष्ट करता है, और मौजूदा प्रतिमानों के ट्रेड-ऑफ को पार करता है।
2. तकनीकी नवाचार: मजबूत स्थानीय अनुकूलन के लिए MEP ऑब्जेक्टिव और वैश्विक खोज को स्थिर, व्यावहारिक शेड्यूल की ओर निर्देशित करने के लिए SPF फंक्शन का परिचय।
3. स्टेट-ऑफ-द-आर्ट प्रदर्शन: बिना पुन: प्रशिक्षण के अत्यंत निम्न-NFE शासन (जैसे, NFE < 5) में उत्कृष्ट प्रदर्शन का प्रदर्शन।

प्रयोगात्मक परिणाम

लेखकों ने Stable Diffusion v2.1 मॉडल पर LAION-Aesthetics 6.5+, MS-COCO, और ImageNet 512x512 बेंचमार्क पर HSO का मूल्यांकन किया, और इसकी तुलना स्टेट-ऑफ-द-आर्ट सिद्धांत-आधारित अनुकूलन विधि (DM-NonUni) और अन्य ट्रेनिंग-फ्री/ट्रेनिंग-आधारित एक्सेलरेटरों से की।

• प्रभावशीलता: HSO बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करता है, विशेष रूप से बहुत कम NFEs पर। NFE=5 पर LAION-Aesthetics के साथ, HSO 11.94 का FID प्राप्त करता है (DM-NonUni के 13.91 के मुकाबले)। NFE=4 के साथ, HSO 15.71 का FID बनाए रखता है, जबकि बेसलाइन काफी खराब प्रदर्शन (18.96) करती है। DDIM सॉल्वर के साथ यह लाभ और भी स्पष्ट है, जहाँ HSO NFE=4 पर FID को 68.92 (बेसलाइन) से घटाकर 24.77 कर देता है।
• अनुकूलन क्षमता: प्रयोग दर्शाते हैं कि HSO विभिन्न NFE बजटों और विभिन्न मॉडलों (जैसे, PixArt-$\alpha$ बनाम Stable Diffusion v2.1) के लिए अलग-अलग इष्टतम इनिशियलाइजेशन पैरामीटर्स ($\psi^*$) खोजता है, जो विशिष्ट बाधाओं और मॉडल नॉइज़ शेड्यूल्स के अनुकूल होने की इसकी क्षमता की पुष्टि करता है।
• व्यावहारिक सुदृढ़ता: SPF पेनल्टी के बिना, अनुकूलन अस्थिर शेड्यूल (जैसे, टाइमस्टेप्स [999, 70, 9, 9]) में ढह जाता है जिससे विनाशकारी FID स्कोर (165.48) प्राप्त होता है। SPF को सक्षम करने से स्थिरता बहाल होती है, जिससे औसत FID 19.76 प्राप्त होता है।
• गणनात्मक दक्षता: HSO को उपभोक्ता-ग्रेड CPU पर 8 सेकंड से भी कम का एकमुफ़्त अनुकूलन लागत की आवश्यकता होती है। यह AutoDiffusion (~1.1 दिन) जैसे ग्लोबल सर्च मेथड्स से कई गुना तेज़ है और प्रशिक्षण-आधारित विधियों (जो अक्सर GPU-दिन या महीने लेती हैं) की भारी प्रशिक्षण लागतों को दरकिनार करता है।

महत्व और दावे

लेख दावा करता है कि HSO डिफ्यूजन मॉडल त्वरण के लिए एक अत्यधिक व्यावहारिक और कुशल प्रतिमान प्रस्तुत करता है। वैश्विक इनिशियलाइजेशन रणनीति की खोज को स्थानीय परिशोधन (local refinement) से अलग करके, HSO गैर-उन्नत (non-convex) अनुकूलन परिदृश्य को प्रभावी ढंग से नेविगेट करता है। लेखक दावा करते हैं कि यह दृष्टिकोण अत्यंत निम्न-NFE शासन में ट्रेनिंग-फ्री सैंपलिंग के लिए एक नया स्टेट-ऑफ-द-आर्ट सेट करता है, जो नगण्य तैयारी समय के साथ उल्लेखनीय सैंपल गुणवत्ता (जैसे, NFE=5 पर FID 11.94) प्राप्त करता है। यह कार्य इस बात पर जोर देता है कि ऐसा प्रदर्शन महंगी पुन: ट्रेनिंग के माध्यम से नहीं, बल्कि एक मजबूत, एकमुफ़्त अनुकूलन प्रक्रिया के माध्यम से प्राप्त किया गया है जो व्यावहारिक परिनियोजन (deployment) की मौलिक बाधाओं का सम्मान करती है।