TASQ: Temporal-Adaptive Bit Sparsification Quantization for Diffusion Models
यह शोध पत्र TASQ को प्रस्तुत करता है, जो एक टेम्पोरल-एडेप्टिव बिट स्पार्सिफिकेशन क्वांटाइजेशन विधि है जो इमेज क्वालिटी को बिना स्टोरेज ओवरहेड बढ़ाए, डिनाइजिंग स्टेप्स के दौरान लीस्ट-सिग्निफिकेंट बिट्स को डायनामिकली ट्रंकेट करके स्टैटिक क्वांटाइजेशन की तुलना में कम्प्यूटेशनल साइकिल्स को 25-50% तक कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर पूरे संसार के सपने देख सकते हैं, ड्रैगन, सूर्यास्त या भविष्य के शहरों के चित्र बना सकते हैं, सिर्फ इसलिए क्योंकि आपने उनसे ऐसा करने को कहा है। यह डिफ्यूजन मॉडल्स (Diffusion Models) का जादू है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो शोर (static noise) के एक अराजक बादल से शुरुआत करके और धीरे-धीरे, कदम-दर-कदम, उसे साफ करके एक स्पष्ट चित्र बनाता है। इसे एक मूर्तिकार की तरह समझें जो संगमरमर के एक खुरदरे ब्लॉक को तराश रहा है; एआई अंतिम उत्कृष्ट कृति को प्रकट करने के लिए सैकड़ों छोटे कदमों में "शोर" को हटाता है।
हालाँकि, यह मूर्तिकला की प्रक्रिया अविश्वसनीय रूप से महंगी है। इन चित्रों को बनाने के लिए, कंप्यूटर को अपनी मेमोरी में निर्देशों का एक विशाल सेट (जिसे "वेट्स" कहा जाता है) ले जाना पड़ता है और सफाई की प्रक्रिया के हर एक चरण के लिए अरबों सूक्ष्म गणितीय गणनाएँ करनी पड़ती हैं। यह एक लंबी पैदल यात्रा के हर कदम के लिए औजारों से भरा एक भारी बैकपैक ले जाने जैसा है, भले ही आपको पहले मील के लिए केवल एक हथौड़े की और आखिरी मील के लिए केवल एक पेचकस की आवश्यकता हो। यह भारी बोझ एआई को धीमा और बिजली का भूखा बनाता है, यही कारण है कि शोधकर्ता हमेशा इस बैकपैक को हल्का करने के तरीके की तलाश में रहते हैं ताकि चित्र बनाने के लिए आवश्यक औजारों को खोया न जाए।
यहाँ आता है TASQ (टेम्पोरल-एडैप्टिव बिट स्पारसिफिकेशन क्वांटाइजेशन), एक चतुर नई विधि जिसे कोरिया और अमेरिका के विश्वविद्यालयों के शोधकर्ताओं की एक टीम द्वारा पेश किया गया है। उन्होंने एआई की "यात्रा" के बारे में एक दिलचस्प बात देखी: यात्रा के हर चरण में एक ही भारी औजारों की आवश्यकता नहीं होती है। छवि बनाने की प्रक्रिया के कुछ क्षण बहुत संवेदनशील होते हैं और उन्हें उच्च-परिशुद्धता वाले गणित (जैसे लेजर कटर का उपयोग करना) की आवश्यकता होती है, जबकि अन्य क्षण अधिक सहिष्णु हो सकते हैं और साधारण, कम-परिशुद्धता वाले गणित (जैसे एक नियमित हथौड़े) से काम चला सकते हैं।
पुराने तरीकों के साथ समस्या यह थी कि वे पूरी यात्रा के साथ एक जैसा व्यवहार करते थे। यदि एआई को केवल एक कठिन चरण के लिए उच्च परिशुद्धता की आवश्यकता थी, तो पुराने सिस्टम कंप्यूटर को पूरे सफर के लिए उसी भारी, उच्च-परिशुद्धता वाली सेटिंग का उपयोग करने के लिए मजबूर करते थे। यह पूरी यात्रा के दौरान लेजर कटर ले जाने जैसा था क्योंकि आपको एक चट्टान के लिए उसकी आवश्यकता थी। TASQ खेल बदल देता है क्योंकि यह एआई को चलते-चलते औजार बदलने की अनुमति देता है। यह अपनी मेमोरी में उच्च-परिशुद्धता वाले निर्देशों का एक मास्टर सेट रखता है (ताकि इसे कई भारी बैकपैक ले जाने की आवश्यकता न हो), लेकिन यह एक विशेष "मास्क" सीखता है जो इसे बताता है कि प्रत्येक विशिष्ट चरण के लिए उन निर्देशों के किन हिस्सों को अनदेखा करना है।
कल्प la लीजिए कि आपके पास एक हाई-डेफिनिशन मूवी फ़ाइल है। मूवी की तीन अलग-अलग प्रतियां (जैसे 4K, HD और लो-रेज के लिए) बनाने के बजाय, TASQ केवल 4K फ़ाइल रखता है। जब दृश्य एक तेज़-तर्रार विस्फोट वाला होता है, तो यह पूरी 4K चलाता है। लेकिन जब दृश्य एक शांत, धीमी बातचीत वाला होता है, तो यह ऊर्जा और समय बचाने के लिए अतिरिक्त विवरण वाले बिट्स को अस्थायी रूप से "बंद" कर देता है, बिना कभी भी फ़ाइल को बदले। एआई सीख जाता है कि इन बिट्स को कब चालू और बंद करना है, जिससे वह चित्र बनते समय बदलती जरूरतों के अनुरूप ढल जाता है।
शोधकर्ताओं ने PixArt-Σ, SANA और SDXL-Turbo सहित कई लोकप्रिय इमेज-जेनरेटिंग मॉडल्स पर इस विचार का परीक्षण किया। उन्होंने पाया कि इस गतिशील स्विचिंग का उपयोग करके, एआई ऐसे चित्र बना सकता है जो भारी, उच्च-परिशुद्धता वाले संस्करणों जितने ही अच्छे दिखते हैं, लेकिन बहुत कम काम के साथ। अपने प्रयोगों में, TASQ ने मानक तरीकों की तुलना में, जो स्विच नहीं करते हैं, कंप्यूटर चक्रों (cycles) की संख्या को 25% से 50% तक कम कर दिया। इससे भी अधिक प्रभावशाली बात यह है कि एक बुनियादी संस्करण की तुलना में, जो केवल एक निश्चित निम्न परिशुद्धता का उपयोग करता है, TASQ निष्पादन चक्रों (execution cycles) के मामले में 6.1 से 7.5 गुना तेज़ था।
महत्वपूर्ण रूप से, यह पेपर दिखाता है कि यह केवल एक सैद्धांतिक चाल नहीं है; यह वास्तविक सिमुलेशन और विशिष्ट हार्डवेयर पर काम करता है जो इन बिट-दर-बिट गणनाओं को संभालने के लिए डिज़ाइन किए गए हैं। लेखक सुझाव देते हैं कि औजारों के "भंडारण" को उनके "उपयोग" से अलग करके, हम इन शक्तिशाली एआई स्वप्नदृष्टाओं को बहुत तेज़ और अधिक कुशल बना सकते हैं, जिससे उन्हें इतनी ऊर्जा जलाए बिना सुंदर चित्र बनाने की अनुमति मिलती है। यह एआई को एक हल्का बैकपैक देने का एक स्मार्ट तरीका है, जिससे वह सुंदर चित्र बनाने के लिए आवश्यक सब कुछ ले जाते हुए भी तेज़ी से चल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।