💻 computer science

Cross-Space Distillation: Teaching One-Step Students with Modern Diffusion Teachers

यह शोध पत्र "क्रॉस-स्पेस डिस्टिलेशन" (Cross-Space Distillation) प्रस्तुत करता है, जो एक हल्के "ब्रिज" (Bridge) मॉड्यूल का उपयोग करने वाला एक नवीन ढांचा है ताकि आधुनिक, उच्च-क्षमता वाले डिफ्यूजन टीचर्स (जैसे SD 3.5 और Flux) को अलग-अलग लेटेंट स्पेस (जैसे SD 1.5) में कॉम्पैक्ट, वन-स्टेप स्टूडेंट्स को प्रभावी ढंग से प्रशिक्षित करने में सक्षम बनाया जा सके, जिससे परिनियोजन दक्षता (deployment efficiency) और इकोसिस्टम अनुकूलता बनाए रखते हुए गुणवत्ता में महत्वपूर्ण सुधार प्राप्त किया जा सके।

मूल लेखक: Anh Nguyen, Ngan Nguyen, Duc Vu, Trung Dao, Viet Nguyen, Quan Dao, Kien Nguyen, Chi Tran, Phong Nguyen, Khoi Nguyen, Cuong Pham, Dimitris Metaxas, Vishal M. Patel, Anh Tran

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anh Nguyen, Ngan Nguyen, Duc Vu, Trung Dao, Viet Nguyen, Quan Dao, Kien Nguyen, Chi Tran, Phong Nguyen, Khoi Nguyen, Cuong Pham, Dimitris Metaxas, Vishal M. Patel, Anh Tran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: AI आर्ट में "भाषा की बाधा"

कल्पना कीजिए कि आपके पास एक मास्टर शेफ (the "Teacher") है जो अविश्वसनीय, हाई-रिज़ॉल्यूशन 1024x1024 पिक्सेल के व्यंजन बनाने के लिए प्रसिद्ध है। यह शेफ एक विशाल, औद्योगिक रसोई का उपयोग करता है जिसमें विशेष उपकरण (एक विशिष्ट "VAE" और उच्च रिज़ॉल्यूशन) होते हैं।

अब, कल्पना कीजिए कि आपके पास एक स्टूडेंट शेफ (Student Chef) है जो एक छोटी, कॉम्पैक्ट रसोई में काम करता है। उनके पास केवल छोटे बर्तन हैं और वे केवल 512x512 पिक्सेल के व्यंजन बना सकते हैं। वे पूरी तरह से अलग सेट के उपकरणों का उपयोग करते हैं।

अतीत में, यदि आप चाहते थे कि स्टूडेंट शेफ मास्टर शेफ से सीखे, तो उन्हें एक ही रसोई में और एक ही उपकरणों का उपयोग करना पड़ता था। यदि मास्टर शेफ की रेसिपी एक विशाल ओवन के लिए लिखी गई थी, तो स्टूडेंट शेफ उसे नहीं पढ़ सकता था क्योंकि उनका ओवन बहुत छोटा था और निर्देश एक अलग "भाषा" (अलग लेटेंट स्पेस) में थे।

इसका मतलब था कि उच्च गुणवत्ता वाले परिणाम प्राप्त करने के लिए, स्टूडेंट शेफ को भी मास्टर शेफ जितना बड़ा और महंगा बनना पड़ता, जो कि फोन या सामान्य कंप्यूटरों के लिए एक कॉम्पैक्ट, तेज़ मॉडल रखने के उद्देश्य को ही विफल कर देता था।

समाधान: "ब्रिज" (The Bridge)

इस पेपर के लेखकों ने एक ब्रिज (Bridge) का आविष्कार किया है।

ब्रिज को एक यूनिवर्सल ट्रांसलेटर और अडैप्टर के रूप में सोचें जो स्टूडेंट शेफ और मास्टर शेफ के बीच स्थित है। यह स्टूडेंट शेफ की रसोई को नहीं बदलता और न ही उन्हें एक विशाल ओवन खरीदने के लिए मजबूर करता है। इसके बजाय, यह दो चतुर चीजें करता है:

यह "भाषा" का अनुवाद करता है: यह स्टूडेंट के छोटे, 512x512 "विचारों" (latents) को लेता है और उन्हें मास्टर शेफ की जटिल, 1024x1024 "भाषा" में अनुवादित करता है ताकि मास्टर उन्हें समझ सकें।
यह एक "घोस्ट शेफ" (Ghost Chef) के रूप में कार्य करता है: यह स्टूडेंट की अपनी रसोई के एक फ्रीज़्ड (frozen), प्री-ट्रेंड हिस्से (decoder) का उपयोग करके छोटी इमेज को एक बड़े आकार में विस्तारित करने में मदद करता है, और फिर एक छोटे, सीखने योग्य "प्रोजेक्टर" का उपयोग करता है ताकि यह बिल्कुल वैसा ही दिखे जैसा मास्टर शेफ देखते।

यह कैसे काम करता है ("वन-स्टेप" जादू)

आमतौर पर, AI इमेज जनरेटर इमेज बनाने के लिए कई चरणों (जैसे स्केचिंग, फिर शेडिंग, फिर डिटेलिंग) का उपयोग करते हैं। आधुनिक "वन-स्टेप" (One-Step) मॉडल एक ही छलांग में यह सब करने की कोशिश करते हैं।

हालाँकि, मानक "वन-स्टेप" ट्रेनिंग तब विफल हो जाती है जब टीचर और स्टूडेंट अलग-अलग "स्पेस" (अलग रिज़ॉल्यूशन या अलग अंतर्निहित गणित) में होते हैं।

ब्रिज इसे इस प्रकार ठीक करता है:

स्टूडेंट को मैप करना: यह स्टूडेंट के आउटपुट को लेता है और उसे तुरंत टीचर की हाई-रिज़ॉल्यूशन दुनिया में मैप कर देता है।
"अटेंशन" के माध्यम से सिखाना: केवल यह जांचने के बजाय कि अंतिम तस्वीर कैसी दिखती है, ब्रिज यह जांचता है कि क्या स्टूडेंट मास्टर शेफ की तरह ही इमेज के उन्हीं हिस्सों पर "ध्यान" (attention) दे रहा है। यह सुनिश्चित करने के लिए कि स्टूडेंट आँखों, फर की बनावट, या एक महल के विवरणों पर ठीक वैसे ही ध्यान केंद्रित करे जैसे मास्टर करता है, यह अटेंशन फिडेलिटी (Attention Fidelity) नामक एक विशेष मीट्रिक का उपयोग करता है।

परिणाम: छोटा शेफ, बड़ा स्वाद

पेपर ने इसका परीक्षण एक छोटे, तेज़ मॉडल (Stable Diffusion 1.5) को लेकर और उसे विशाल, आधुनिक टीचर्स (जैसे SD 3.5, Flux, और Kolors) का उपयोग करके सिखाकर किया।

ब्रिज से पहले: छोटे मॉडल का स्कोर मानव प्राथमिकता पैमाने (HPSv3) पर 5.4 था। यह ठीक-ठाक दिखता था लेकिन थोड़ा धुंधला और सरल था।
ब्रिज के बाद: वही छोटा मॉडल 9.4 के स्कोर पर पहुँच गया। यह लगभग उतना ही अच्छा दिखने लगा जितना कि विशाल टीचर्स, जिसमें शार्प डिटेल्स और बेहतर रंग थे, लेकिन यह अभी भी बहुत तेज़ी से चलता है और बहुत कम मेमोरी का उपयोग करता है।

यह क्यों महत्वपूर्ण है (बिना किसी हाइप के)

पुनर्निर्माण की आवश्यकता नहीं: आपको अपने पुराने, छोटे AI मॉडल्स को फेंकने की ज़रूरत नहीं है। आप बस इसमें यह "ब्रिज" मॉड्यूल जोड़ सकते हैं।
मिक्स एंड मैच: आप एक छोटे मॉडल को एक साथ पाँच अलग-अलग विशाल टीचर्स का उपयोग करके सिखा सकते हैं। पेपर ने यह भी पाया कि यदि आप सभी पाँचों टीचर्स के ज्ञान को एक छोटे मॉडल में "मर्ज" करते हैं, तो यह और भी बेहतर हो जाता है।
रेज़ोल्यूशन अपग्रेड: क्योंकि ब्रिज यह सीखता है कि छोटी इमेजेस को टीचर की हाई-रिज़ॉल्यूशन दुनिया में कैसे अनुवादित किया जाए, इसलिए आप पूरे सिस्टम को फिर से ट्रेन किए बिना अंतिम चरण के दौरान 512x512 इमेज को एक क्रिस्प 1024x1024 इमेज में बदलने के लिए इसका उपयोग कर सकते हैं।

सारांश उपमा (Summary Analogy)

कल्पित कीजिए कि आप एक छोटे, पोर्टेबल कीबोर्ड पर एक जटिल सिम्फनी (मास्टर टीचर) बजाना सीखने की कोशिश कर रहे हैं।

पुराना तरीका: आपको उस रचना को ठीक से सीखने के लिए एक फुल-साइज़ कॉन्सर्ट पियानो खरीदना पड़ता।
नया तरीका (ब्रिज): आप अपना छोटा कीबोर्ड रखते हैं। आप इसमें एक छोटा, स्मार्ट अडैप्टर (ब्रिज) लगाते हैं जो आपके छोटे कीज़ को वास्तविक समय में पूर्ण ऑर्केस्ट्रा की आवाज़ में अनुवादित करता है। अब आप अपने छोटे कीबोर्ड पर सिम्फनी को पूरी तरह से बजा सकते हैं, और वह अडैप्टर आपको उन वायलिन और ड्रम की बारीकियों को सुनने में भी मदद करता है जिन्हें आप पहले नहीं सुन पा रहे थे।

पेपर यह साबित करता है कि उच्च गुणवत्ता वाली AI आर्ट बनाने के लिए आपको विशाल कंप्यूटर की आवश्यकता नहीं है; आपको बस अपने छोटे मॉडल को बड़े दिमागों से जोड़ने के लिए सही अडैप्टर की आवश्यकता है।

तकनीकी सारांश: क्रॉस-स्पेस डिस्टिलेशन (Cross-Space Distillation)

समस्या विवरण
आधुनिक वन-स्टेप डिफ्यूजन मॉडल डिस्ट्रीब्यूशन-आधारित टाइमस्टेप डिस्टिलेशन के माध्यम से उच्च-गुणवत्ता वाली जनरेशन प्राप्त करते हैं। हालाँकि, ये विधियाँ एक प्रतिबंधात्मक शेयर्ड-स्पेस (Shared-Space) बाधा पर निर्भर करती हैं: टीचर (Teacher) और स्टूडेंट (Student) को एक ही लेटेंट स्पेस में रहना चाहिए, जिसमें समान लेटेंट रेजोल्यूशन और VAE पैरामीट्राइजेशन साझा हो। यह धारणा आधुनिक, उच्च-क्षमता वाले टीचर्स (जैसे, Stable Diffusion 3.5, Flux, Kolors) जो उच्च रेजोल्यूशन (जैसे, 1024×1024) पर कार्य करते हैं और उन्नत VAE का उपयोग करते हैं, को कॉम्पैक्ट, डिप्लॉयमेंट-फ्रेंडली स्टूडेंट्स (जैसे, Stable Diffusion 1.5) जो कम रेजोल्यूशन (जैसे, 512×512) पर कार्य करते हैं और अलग VAEs का उपयोग करते हैं, के बीच ज्ञान हस्तांतरण को रोकती है।

मानक डिस्टिलेशन ऑब्जेक्टिव्स इस सेटिंग में विफल हो जाते हैं क्योंकि लेटेंट टेंसर ( $z_S$ और $z_T$ ) स्वाभाविक रूप से असंगत होते हैं क्योंकि वे:

क्रॉस-रेजोल्यूशन (Cross-Resolution): बेमेल स्थानिक ग्रिड आकार (जैसे, $h \times w$ बनाम $H \times W$ )।
क्रॉस-VAE (Cross-VAE): अलग-अलग ऑटोएन्कोडर पैरामीट्राइजेशन के परिणामस्वरूप मिसअलाइन (misaligned) लेटेंट स्पेस।
क्रॉस-आर्किटेक्चर/मैकेनिज्म (Cross-Architecture/Mechanism): UNet और DiT बैकबोन के बीच, या मानक डिफ्यूजन और फ्लो मैचिंग फॉर्मुलेशन के बीच अंतर।

मौजूदा विकल्प, जैसे कि नेटवर्क प्रूनिंग या शून्य से नए कॉम्पैक्ट बैकबोन बनाना, कठिन स्पर्सिटी थ्रेशोल्ड, व्यापक रिट्रेनिंग आवश्यकताओं और इकोसिस्टम कम्पैटिबिलिटी के नुकसान जैसी चुनौतियों का सामना करते हैं।

कार्यप्रणाली: क्रॉस-स्पेस डिस्टिलेशन और द ब्रिज (The Bridge)
लेखक इस सेटिंग को क्रॉस-स्पेस डिस्टिलेशन के रूप में औपचारिक रूप देते हैं और ब्रिज ( $B_\phi$ ) पेश करते हैं, जो एक हल्का मॉड्यूल है जिसे स्टूडेंट बैकबोन को संशोधित किए बिना स्टूडेंट लेटेंट्स को टीचर के लेटेंट स्पेस में मैप करने के लिए डिज़ाइन किया गया है।

आर्किटेक्चर: ब्रिज को विसंगति को कुशलतापूर्वक संभालने के लिए दो चरणों में विभाजित किया गया है:
1. स्पेशियल प्रायर (Spatial Prior - फ्रोजन): स्टूडेंट के VAE डिकोडर ( $D_S^{(n)}$ ) के पहले $n$ डिकोडिंग ब्लॉक्स को फ्रीज़ रखा जाता है। ये ब्लॉक्स एक प्री-ट्रेन्ड स्पेशियल अपसैम्प्लर के रूप में कार्य करते हैं, जो स्टूडेंट लेटेंट $z_S$ को लो-रेजोल्यूशन से टीचर के हाई-रेजोल्यूशन ( $H \times W$ ) में विस्तारित करते हैं। यह अपसैंपलिंग के लिए अतिरिक्त ट्रेन करने योग्य पैरामीटर्स जोड़े बिना स्टूडेंट के मौजूदा स्थानिक ज्ञान का लाभ उठाता है।
2. लर्नबल प्रोजेक्टर ( $g_\phi$ ): एक कॉम्पैक्ट, लर्नबल नेटवर्क (जिसे SwinIR के रूप में लागू किया गया है) अपसैम्पल्ड फीचर्स को स्टूडेंट के फीचर स्पेस से टीचर के लेटेंट रिप्रेजेंटेशन स्पेस में मैप करता है, जिससे एक टीचर-कम्पैटिबल लेटेंट $\hat{z}_T$ आउटपुट होता है।
ट्रेनिंग ऑब्जेक्टिव्स: ब्रिज को एक सिंथेटिक डेटासेट का उपयोग करके प्रशिक्षित किया जाता है जिसमें एक ही इमेज को दोनों VAEs द्वारा एनकोड करने से प्राप्त जोड़ी गए लेटेंट्स $(z_S, z_T)$ शामिल हैं। अनुकूलन (Optimization) दो लॉस के भारित योग (weighted sum) को कम करता है:
1. लेटेंट रिकंस्ट्रक्शन ( $L_{rec}$ ): प्रेडिक्टेड लेटेंट $\hat{z}_T$ और ग्राउंड-ट्रुथ टीचर लेटेंट $z_T$ के बीच एक $\ell_1$ लॉस। लेखक नोट करते हैं कि इस संदर्भ में $\ell_1$ , $\ell_2$ की तुलना में बेहतर स्थिरता और स्ट्रक्चरल प्रिजर्वेशन प्रदान करता है।
2. अटेंशन फिडेलिटी ( $L_{attn}$ ): एक रिवर्स-KL डायवर्जेंस लॉस जो फ्रोजन टीचर डीनॉइज़र के सेल्फ-अटेंशन डिस्ट्रीब्यूशन को $\hat{z}_T$ को फीड करने पर बनाम $z_T$ को फीड करने पर अलाइन करता है। यह सुनिश्चित करता है कि मैप किया गया लेटेंट उसी आंतरिक संरचनात्मक प्रतिक्रिया (लॉन्ग-रेंज डिपेंडेंसी) को प्रेरित करता है जो वास्तविक टीचर लेटेंट करता है, जिससे सूक्ष्म विवरण सुरक्षित रहते हैं जिन्हें पिक्सेल-वाइज लॉस मिस कर सकते हैं।
डिस्टिलेशन और इन्फरेंस: एक बार प्रशिक्षित होने के बाद, ब्रिज को स्टूडेंट के साथ जोड़ा जाता है। डिस्टिलेशन के दौरान, स्टूडेंट के आउटपुट को $\hat{z}_T$ उत्पन्न करने के लिए ब्रिज के माध्यम से पारित किया जाता है, जिससे मानक डिस्ट्रीब्यूशन-आधारित ऑब्जेक्टिव्स (जैसे, वेरिएशनल स्कोर डिस्टिलेशन, एडवरसैरियल डिस्टिलेशन) को सीधे टीचर के विरुद्ध लागू किया जा सकता है। महत्वपूर्ण बात यह है कि स्टूडेंट बैकबोन अपरिवर्तित रहता है।

प्रमुख योगदान

क्रॉस-स्पेस डिस्टिलेशन का औपचारिकीकरण: पेपर एक नया रिजीम परिभाषित करता है जहाँ डिस्टिलेशन बेमेल लेटेंट रेजोल्यूशन और VAE स्पेस के बीच होता है, जो आधुनिक हाई-रेजोल्यूशन मॉडल्स से कॉम्पैक्ट लीगेसी मॉडल्स में ज्ञान हस्तांतरण के अंतराल को संबोधित करता है।
द ब्रिज मॉड्यूल: एक हल्का, मॉड्यूलर इंटरफ़ेस जो स्टूडेंट आर्किटेक्चर को बदले बिना मानक डिस्टिलेशन ऑब्जेक्टिव्स को सक्षम बनाता है। यह एक फ्रोजन स्पेशियल प्रायर को एक लर्नबल प्रोजेक्टर के साथ जोड़ता है और स्थिर एलाइनमेंट के लिए अटेंशन फिडेलिटी ऑब्जेक्टिव का उपयोग करता है।
व्यावहारिक प्रभावशीलता: यह विधि कॉम्पैक्ट स्टूडेंट्स (जैसे, SD 1.5) को विविध, आधुनिक टीचर्स (SDXL, Kolors, PixArt-Σ, Flux, SD 3.5) के विजुअल प्रायर को विरासत में लेने में सक्षम बनाती है, जबकि वन-स्टेप इन्फरेंस, लो लेटेंसी और व्यापक इकोसिस्टम कम्पैटिबिलिटी बनाए रखती है।
मॉडल मर्जिंग क्षमता: क्योंकि यह विधि विविध टीचर्स को एक ही बैकबोन और लेटेंट स्पेस वाले स्टूडेंट्स में डिस्टिल करती है, इसलिए परिणामी चेकपॉइंट्स को पैरामीटर एवरेजिंग के माध्यम से कई टीचर स्रोतों से ज्ञान को एकत्रित करने के लिए आसानी से मर्ज किया जा सकता है।

परिणाम
प्रयोगों से कॉम्पैक्ट वन-स्टेप स्टूडेंट्स के लिए जनरेशन क्वालिटी में पर्याप्त सुधार प्रदर्शित होता है:

मात्रात्मक लाभ (Quantitative Gains): ब्रिज के माध्यम से SD 3.5 मीडियम (टीचर) को SD 1.5 (स्टूडेंट) में डिस्टिल करने से HPSv3 स्कोर 5.37 से बढ़कर 9.42 और ImageReward -0.29 से बढ़कर 0.62 हो जाता है। पांच अलग-अलग टीचर्स के चेकपॉइंट्स को मर्ज करने से SD 1.5 का HPSv3 बढ़कर 10.53 हो जाता है।
गुणात्मक सुधार (Qualitative Improvements): विजुअल तुलना दिखाती है कि ब्रिज-सक्षम स्टूडेंट्स, इनिशियलाइज्ड बेसलाइन्स या प्रूनड मॉडल्स की तुलना में स्पष्ट टेक्सचर, मजबूत स्ट्रक्चरल कंसिस्टेंसी और कम आर्टिफैक्ट्स के साथ इमेज प्रोड्यूस करते हैं।
दक्षता (Efficiency): ब्रिज नगण्य ओवरहेड (लगभग 5M पैरामीटर्स) जोड़ता है और वन-स्टेप इन्फरेंस की अनुमति देता है। यह इन्फरेंस-टाइम रेजोल्यूशन अपग्रेड को भी सक्षम बनाता है, जहाँ ब्रिज और टीचर के डिकोडर का उपयोग करके एक 512×512 स्टूडेंट सैंपल को 1024×1024 में मैप किया जा सकता है, जिसके लिए स्टूडेंट को रिट्रेन करने की आवश्यकता नहीं होती है।
प्रूनिंग के साथ तुलना: ब्रिज-सक्षम डिस्टिलेशन नेटवर्क प्रूनिंग (जैसे, SD 3.5 को 30% स्पर्सिटी तक प्रून करना) से बेहतर प्रदर्शन करता है, जो धुंधलापन (blur) और आर्टिफैक्ट्स पैदा करने की प्रवृत्ति रखता है।

महत्व
पेपर का दावा है कि क्रॉस-स्पेस डिस्टिलेशन विशाल, आधुनिक टीचर्स की जेनेरेटिव क्षमताओं को नए आर्किटेक्चर को स्क्रैच से प्रशिक्षित करने की लागत के बिना कुशल, डिप्लॉय करने योग्य बैकबोन्स में स्थानांतरित करने की क्षमता को अनलॉक करता है। विषम (heterogeneous) लेटेंट रिप्रेजेंटेशन के संरेखण को एक पुन: प्रयोज्य इंटरफ़ेस समस्या के रूप में मानकर, यह कार्य सक्षम बनाता है:

इकोसिस्टम कम्पैटिबिलिटी: कॉम्पैक्ट मॉडल्स जैसे SD 1.5 को मौजूदा टूल्स और हार्डवेयर के साथ कम्पैटिबिलिटी बनाए रखते हुए स्टेट-ऑफ-द-आर्ट क्वालिटी के साथ अपग्रेड किया जा सकता है।
नॉलेज यूनिफिकेशन: एक ही, हल्के स्टूडेंट मॉडल में विभिन्न, आर्किटेक्चरली भिन्न टीचर्स (जैसे, Flux और SD 3.5) के ज्ञान को मर्ज करने की क्षमता।
मॉड्यूलरिटी: ब्रिज एक प्लग-एंड-प्ले घटक के रूप में कार्य करता है जिसे डिस्टिलेशन और इन्फरेंस-टाइम रेजोल्यूशन एन्हांसमेंट दोनों के लिए पुन: उपयोग किया जा सकता है, जो स्टूडेंट की जनरेशन क्षमता को उसके लेटेंट रिप्रेजेंटेशन बाधाओं से अलग करता है।

लेखक इस कार्य को टेक्स्ट-टू-इमेज से परे वीडियो और मल्टीमॉडल जनरेशन के लिए लागू, विषम लेटेंट स्पेस में व्यापक डिस्टिलेशन की खोज की दिशा में एक कदम के रूप में देखते हैं।