कल्पना कीजिए कि आप एक उत्कृष्ट कृति (मास्टरपीस) पेंट करने की कोशिश कर रहे हैं, लेकिन एक अकेले ब्रश के बजाय, आपके पास सैकड़ों छोटे कलाकारों की एक जादुई टीम है, जिनमें से प्रत्येक एक अलग शैली में विशेषज्ञ है—कुछ बनावट (टेक्सचर) के उस्ताद हैं, कुछ रंग के, और कुछ रोशनी के। आधुनिक AI इमेज जनरेटर, जिन्हें डिफ्यूजन ट्रांसफॉर्मर (Diffusion Transformers) कहा जाता है, इसी तरह काम करते हैं। वे स्टैटिक नॉइज़ (static noise) से भरी एक स्क्रीन से शुरुआत करते हैं और धीरे-धीरे इसे "डिनोइज़" (denoise) करते हैं, तब तक जब तक कि एक स्पष्ट तस्वीर उभर कर सामने न आ जाए। इन छवियों को शानदार बनाने के लिए, AI "मिक्सचर-ऑफ-एक्सपर्ट्स" (Mixture-of-Experts - MoE) नामक एक चतुर तकनीक का उपयोग करता है। इसे एक स्मार्ट मैनेजर के रूप में समझें जो, छवि के हर छोटे हिस्से के लिए, केवल उस विशिष्ट विशेषज्ञों की टीम को जगाता है जो उस काम के लिए सबसे उपयुक्त है, बजाय इसके कि सभी को एक साथ काम करने के लिए कहा जाए। यह ऊर्जा बचाता है और AI को अविश्वसनीय रूप से स्मार्ट बनाता है।

हालाँकि, एक समस्या है। एक छवि बनाने में सैकड़ों "डिनोइज़िंग स्टेप्स" लगते हैं, और AI को हर एक स्टेप के लिए भारी मात्रा में गणितीय गणना करनी पड़ती है। यह ऐसा है जैसे हर बार एक नया विवरण जोड़ने के लिए आपको पूरे कैनवास को फिर से पेंट करना पड़े। इसे तेज करने के लिए, वैज्ञानिकों ने "फीचर कैशिंग" (feature caching) नामक एक तकनीक का उपयोग करने की कोशिश की है। यह कहने जैसा है, "हे, इस पेंटिंग का यह हिस्सा पिछले स्टेप से बहुत अधिक नहीं बदला है, इसलिए चलिए पुराने पेंट को ही दोबारा इस्तेमाल करते हैं बजाय नए रंग मिलाने के।" समस्या यह थी कि पुराना तरीका बहुत अनाड़ी था। इसने छवि के पूरे छोटे हिस्से (patch) को एक एकल इकाई के रूप में माना। यदि उस पैच के एक भी सूक्ष्म विवरण को ताज़ा पेंट की आवश्यकता थी, तो पुराना तरीका AI को उस पूरे पैच को फिर से पेंट करने के लिए मजबूर कर देता था, जिससे समय बर्बाद होता था। यदि यह बहुत रूढ़िवादी होता, तो यह पूरे पैच को तब भी दोबारा इस्तेमाल कर लेता जब उसके कुछ हिस्से बदल गए होते, जिससे एक धुंधली तस्वीर बन जाती।

यहीं पर MoECa नामक एक नया अध्ययन आता है। शोधकर्ताओं ने महसूस किया कि क्योंकि AI विशेष रूप से प्रशिक्षित "विशेषज्ञ" कलाकारों का उपयोग करता है, इसलिए कैशिंग रणनीति को भी उतना ही विशिष्ट होना चाहिए। छवि के एक पैच को एक एकल ब्लॉक के रूप रूप में देखने के बजाय, MoECa उस ब्लॉक के अंदर देखता है और उन व्यक्तिगत विशेषज्ञों को देखता है जो उस पर काम कर रहे हैं। उन्होंने पाया कि जबकि एक विशेषज्ञ एक पत्ते की बनावट (texture) को बदलने में व्यस्त हो सकता है, उसी पैच पर काम करने वाला दूसरा विशेषज्ञ आकाश के अपने पुराने काम को सफलतापूर्वक पुनः उपयोग करने में सक्षम हो सकता है। इन व्यक्तिगत विशेषज्ञ शाखाओं (expert branches) के स्तर तक छवि को तोड़कर, MoECa यह तय कर सकता है कि किन हिस्सों को फिर से पेंट करना है और किन हिस्सों को पुन: उपयोग करना है।

पेपर दिखाता है कि यह "फाइन-ग्रेन्ड" (fine-grained) दृष्टिकोण एक गेम-चेंजर है। कैशिंग रणनीति को विशेषज्ञों के वास्तविक कार्य करने के तरीके के साथ संरेखित करके, AI बिना गुणवत्ता खोए अनावश्यक गणनाओं को छोड़ सकता है। उनके परीक्षणों में, इस नई पद्धति ने छवि निर्माण प्रक्रिया को 2.93 गुना तक तेज़ बना दिया, जबकि छवियों को मूल संस्करण जितना ही स्पष्ट और विस्तृत बनाए रखा। यह एक निर्माण दल से अपग्रेड करने जैसा है जो हर बार खिड़की ठीक करने के लिए पूरे घर को फिर से पेंट करता है, बजाय इसके कि केवल उस विशिष्ट खिड़की को पेंट करे जिसकी मरम्मत की आवश्यकता है और बाकी घर को अछूता छोड़ दे।

समस्या: "सब-या-कुछ-नहीं" वाली गलती

यह समझने के लिए कि MoECa की आवश्यकता क्यों है, हमें यह देखना होगा कि ये AI मॉडल कैसे सोचते हैं। अतीत में, छवि निर्माण को तेज करने के लिए, शोधकर्ताओं ने "टोकन-लेवल" कैशिंग विधि का उपयोग किया था। कल्पना कीजिए कि एक टोकन आपके कैनवास पर एक छोटा सा वर्ग (square) है। पुराना नियम सरल था: "यदि यह वर्ग थोड़ा सा भी बदला है, तो पूरे वर्ग को फिर से पेंट करें। यदि यह नहीं बदला है, तो पूरे वर्ग को वैसे ही रहने दें।"

लेकिन "मिक्सचर-ऑफ-एक्सपर्ट्स" वाले मॉडलों में, एक एकल वर्ग केवल एक चीज़ नहीं है; यह कई अलग-अलग "एक्सपर्ट" शाखाओं के बीच एक सहयोग है। पेपर के विश्लेषण ने पुराने नियम में एक दोष उजागर किया: ये विशेषज्ञ एक ही समय में नहीं बदलते हैं। एक विशेषज्ञ पेड़ की छाल की खुरदरी बनावट पर काम कर रहा होगा, जो छवि बनते समय तेजी से बदलती है। उसी वर्ग पर काम करने वाला दूसरा विशेषज्ञ हरी पत्तियों के चिकनेपन पर काम कर रहा होगा, जो बहुत स्थिर रहती हैं।

यदि आप पुराने "सब-या-कुछ-नहीं" (all-or-nothing) नियम का उपयोग करते हैं, तो आप एक दुविधा का सामना करते हैं। यदि आप पूरे वर्ग को फिर से पेंट करने का निर्णय लेते हैं क्योंकि छाल बदल गई है, तो आप स्थिर पत्तियों को फिर से पेंट करने में समय बर्बाद करते हैं। यदि आप समय बचाने के लिए पूरे वर्ग को पुन: उपयोग करने का निर्णय लेते हैं, तो आप गलत और धुंधली पत्तियाँ प्राप्त करते हैं क्योंकि छाल को अपडेट नहीं किया गया था। पेपर का तर्क है कि "पूरे वर्ग" की कैशिंग और "विभाजित विशेषज्ञ" की वास्तविकता के बीच यह बेमेल होना ही मुख्य कारण है कि वर्तमान गति-वृद्धि विधियाँ उतनी अच्छी तरह से काम नहीं कर पा रही हैं जितनी उन्हें करनी चाहिए।

समाधान: MoECa की "एक्सपर्ट-लेवल" रणनीति

लेखक MoECa (Mixture-of-Experts Caching) का प्रस्ताव देते हैं, जो एक ऐसी प्रणाली है जो खेल के नियम बदल देती है। यह पूछने के बजाय कि, "क्या हमें इस पूरे वर्ग को फिर से पेंट करना चाहिए?", MoECa पूछता है, "क्या हमें इस वर्ग पर इस विशिष्ट विशेषज्ञ के काम को फिर से पेंट करना चाहिए?"

यहाँ व्यवहार में MoECa कैसे काम करता है:

1. ब्रांच-लेवल कैशिंग: यह प्रत्येक विशेषज्ञ शाखा को अपनी एक छोटी इकाई मानता है। यह "छाल विशेषज्ञ" और "पत्ती विशेषज्ञ" के आउटपुट को अलग-अलग याद रखता है।
2. स्मार्ट मैचिंग: जब AI अगले स्टेप पर जाता है, तो MoECa जाँचता है कि कौन से विशेषज्ञ सक्रिय हैं। यदि "छाल विशेषज्ञ" अभी भी वही है जो पहले था, तो यह जाँचता है कि क्या उसका काम इतना बदला है कि ध्यान देने योग्य हो। यदि "पत्ती विशेषज्ञ" भी वही है, तो यह उसे भी जाँचता है।
3. एडाप्टिव कंट्रोल (अनुकूलन नियंत्रण): सिस्टम इतना स्मार्ट है कि वह जानता है कि कुछ विशेषज्ञ दूसरों की तुलना में अधिक संवेदनशील होते हैं। उदाहरण के लिए, एक विशेषज्ञ जो बारीक विवरणों (जैसे कॉफी पॉट के किनारे) पर ध्यान केंद्रित करता है, वह बहुत संवेदनशील है। MoECa इन विशेषज्ञों को एक कम "रियूज थ्रेशोल्ड" (reuse threshold) देता है, जिसका अर्थ है कि गुणवत्ता सुनिश्चित करने के लिए उन्हें फिर से पेंट करने की संभावना अधिक होती है। एक विशेषज्ञ जो धुंधले बैकग्राउंड पर काम कर रहा है, उसे उच्च थ्ररेज मिल सकता है, जिससे उसे अधिक बार पुन: उपयोग किया जा सकता है।
4. सिंक्रोनाइज्ड अपडेट्स: MoECa का एक महत्वपूर्ण हिस्सा यह सुनिश्चित करना है कि AI का "अटेंशन" (attention) हिस्सा (जो संदर्भ समझने के लिए पूरी छवि को देखता है) "एक्सपर्ट" हिस्से के साथ तालमेल बनाए रखे। यदि विशेषज्ञ अपडेट होते हैं लेकिन अटेंशन हिस्सा नहीं, तो छवि भ्रमित हो जाती है। MoECa यह सुनिश्चित करता है कि वे एक साथ अपडेट हों, जिससे AI पुरानी जानकारी के कारण "नशे में" (confused) न हो।

परिणाम: बिना धुंधलापन के तेज़

शोधकर्ताओं ने DSMoE परिवार और DiT-MoE सहित कई लोकप्रिय AI मॉडलों पर MoECa का परीक्षण किया। परिणाम प्रभावशाली थे।

• गति: सर्वोत्तम मामलों में, MoECa ने इमेज जेनरेशन को 2.93 गुना तेज़ बना दिया (विशेष रूप से टेक्स्ट-टू-इमेज कार्यों के लिए HiDream-I1 मॉडल पर)। अन्य मॉडलों पर, इसने लगभग 2.14x से 2.83x की गति वृद्धि प्राप्त की।
• गुणवत्ता: भारी गति वृद्धि के बावजूद, छवियों की गुणवत्ता मूल, धीमी विधि के लगभग समान रही। शोधकर्ताओं ने इसे FID (जो यह मापता है कि छवियां कितनी वास्तविक दिखती हैं) और PSNR (जो यह मापता है कि त्वरित छवि मूल के कितने करीब है) जैसे मेट्रिक्स का उपयोग करके मापा। उदाहरण के लिए, DSMoE-L-E48 मॉडल पर, MoECa ने 2.83x की गति प्राप्त की, जबकि इसका FID स्कोर 9.54 रहा, जो मूल मॉडल के 9.20 के लगभग बराबर है।
• तुलना: ToCa, DuCa, और TeaCache जैसी अन्य गति-वृद्धि विधियों की तुलना में, MoECa ने लगातार सबसे तेज़ परिणाम और सबसे कम कम्प्यूटेशनल लागत (FLOPs) प्रदान की, और साथ ही छवि की गुणवत्ता को बनाए रखा या उसमें सुधार किया।

पेपर ने यह भी देखा कि यह इतना अच्छा क्यों काम करता है। उन्होंने पाया कि जिन मॉडलों में अधिक विशेषज्ञ होते हैं (जैसे कि 48 विशेषज्ञों वाला E48 कॉन्फ़िगरेशन), वहां पुन: उपयोग करने के लिए "स्थिर" शाखाओं को खोजने के अधिक अवसर होते हैं। यही कारण है कि E48 मॉडलों ने कम विशेषज्ञों वाले मॉडलों की तुलना में थोड़ी अधिक गति वृद्धि (2.83x तक) देखी। विशेषज्ञ टीम जितनी अधिक विशिष्ट होगी, आप उतने ही अधिक चुन सकते हैं कि किसे काम करना है और किसे आराम करना है।

यह भविष्य के लिए क्या मायने रखता है

पेपर निष्कर्ष निकालता है कि इन शक्तिशाली AI मॉडलों को तेज़ बनाने की कुंजी केवल उन्हें सामान्य रूप से तेज़ बनाना नहीं है, बल्कि यह समझना है कि वे आंतरिक रूप से कैसे काम करते हैं। यह महसूस करके कि AI के अंदर के "विशेषज्ञों" की अपनी अलग लय और ज़रूरतें होती हैं, हम स्मार्ट कैशिंग सिस्टम बना सकते हैं जो उन अंतरों का सम्मान करते हैं।

MoECa को AI मॉडलों को फिर से प्रशिक्षित (retraining) करने की आवश्यकता नहीं है; यह मॉडलों के साथ वैसे ही काम करता है जैसे वे हैं, बस छवि निर्माण के दौरान सूचना को संसाधित करने के तरीके को बदल देता है। हालांकि वर्तमान अध्ययन एकल-कंप्यूटर इमेज जेनरेशन पर केंद्रित है, लेखक सुझाव देते हैं कि यह "फाइन-ग्रेन्ड" दृष्टिकोण भविष्य में वीडियो और अधिक जटिल कार्यों के लिए यहाँ तक कि और भी तेज़ जेनरेशन को अनलॉक करने की कुंजी हो सकता है। फिलहाल, यह साबित करता है कि कभी-कभी, उत्कृष्ट कृति बनाने का सबसे तेज़ तरीका यह है कि सही कलाकारों को आराम करने दिया जाए जबकि अन्य काम करते रहें।