🤖 AI

DASH: Dual-Branch Score Distillation for Guidance-Calibrated Compact Diffusion Models

यह शोध पत्र DASH को प्रस्तुत करता है, जो एक डुअल-ब्रांच डिस्टिलेशन फ्रेमवर्क है जो दोनों स्कोर शाखाओं (score branches) को स्वतंत्र रूप से सुपरवाइज करके और शिक्षक के महत्व पाठ्यक्रम (importance curriculum) को स्थानांतरित करके संकुचित डिफ्यूजन मॉडल्स में अनडिटरमाइंड गाइडेंस गैप को हल करता है, जिससे उच्च-गुणवत्ता वाली गाइडेंस फिडेलिटी को बनाए रखते हुए महत्वपूर्ण पैरामीटर कमी प्राप्त की जाती है।

मूल लेखक: Abdullah Al Shafi, Kazi Saeed Alam, Sk Imran Hossain, Engelbert Mephu Nguifo

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abdullah Al Shafi, Kazi Saeed Alam, Sk Imran Hossain, Engelbert Mephu Nguifo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ (शिक्षक) है जो बेहतरीन, जटिल व्यंजन (उच्च गुणवत्ता वाली छवियां बनाना) बनाने के लिए प्रसिद्ध है। इस शेफ के पास एक विशेष ट्रिक है: वे एक ही व्यंजन को दो तरीकों से बना सकते हैं। पहले, वे व्यंजन को ठीक वैसे ही बनाते हैं जैसा ग्राहक ने ऑर्डर दिया है (एक विशिष्ट लेबल के साथ, जैसे "चिकन करी")। दूसरा, वे बिना किसी विशिष्ट निर्देश के एक "सादा" संस्करण (अनकंडीशनल) बनाते हैं।

बेहतरीन परिणाम पाने के लिए, शेफ इन दोनों संस्करणों को आपस में मिला देते हैं। वे सादे संस्करण को लेते हैं और उसमें "सादे" और "विशिष्ट ऑर्डर" के बीच के अंतर के आधार पर एक "फ्लेवर बूस्ट" (स्वाद का उभार) जोड़ते हैं। यह "फ्लेवर बूस्ट" ही वह चीज़ है जो अंतिम व्यंजन को ठीक वैसा ही स्वादिष्ट बनाती है जैसा ग्राहक चाहता था।

अब, कल्पना कीजिए कि आप एक जूनियर शेफ (छात्र) को इस काम के लिए काम पर रखना चाहते हैं, लेकिन आपको उनके किचन को एक छोटे से अपार्टमेंट में फिट करने के लिए छोटा करना है (यह मॉडल कंप्रेशन है)। आप चाहते हैं कि जूनियर शेफ मास्टर से 6 गुना छोटा हो, फिर भी उतना ही अच्छा खाना बनाए।

समस्या: "घोस्ट" रेसिपी (दिखावटी रेसिपी)

पिछले प्रयासों में, जब इन जूनियर शेफ को प्रशिक्षित किया गया, तो शोधकर्ताओं ने उन्हें केवल इतना बताया: "सुनिश्चित करें कि मिश्रित अंतिम व्यंजन मास्टर के व्यंजन जैसा स्वाद दे।"

यहाँ एक जाल है: जूनियर शेफ बेईमानी कर सकता है। वे तय कर सकते हैं, "मैं बस 'सादा' व्यंजन और 'विशिष्ट' व्यंजन को बिल्कुल एक जैसा बना दूँगा।" यदि दोनों व्यंजन एक जैसे स्वाद वाले हो जाते हैं, तो "फ्लेवर बूस्ट" शून्य हो जाता है। शेफ कोई फ्लेवर बूस्ट नहीं जोड़ता।

परिणाम: गणित कहता है कि व्यंजन का स्वाद अच्छा है (कम त्रुटि), लेकिन "फ्लेवर बूस्ट" मर चुका है। शेफ अब विशिष्ट निर्देशों का पालन करने में सक्षम नहीं है। व्यंजन साधारण और धुंधला हो जाता है। इसे गाइडेंस कोलैप्स (Guidance Collapse) कहा जाता है।

समाधान: DASH (डुअल-ब्रांच स्कोर डिस्टिलेशन)

यह पेपर DASH पेश करता है, जो एक नया प्रशिक्षण तरीका है जो इसे ठीक करता है। यह एक सख्त हेड शेफ की तरह काम करता है जो जूनियर शेफ के केवल अंतिम प्लेट को नहीं, बल्कि उनके दो अलग-अलग स्टेशनों की निगरानी करता है।

दो-शाखा नियम (The Two-Branch Rule): केवल अंतिम मिश्रित व्यंजन की जाँच करने के बजाय, DASH जूनियर शेफ को दो अलग-अलग रेसिपी सीखने के लिए मजबूर करता है:
- शाखा A (Branch A): "सादे व्यंजन को मास्टर के सादे व्यंजन जैसा बिल्कुल वैसा ही बनाओ।"
- शाखा B (Branch B): "विशिष्ट व्यंजन को मास्टर के विशिष्ट व्यंजन जैसा बिल्कुल वैसा ही बनाओ।"
- यह क्यों काम करता है: दोनों अलग-अलग व्यंजनों को परफेक्ट बनाने के लिए मजबूर करके, "अंतर" (फ्लेवर बूस्ट) अपने आप सुरक्षित रहता है। जूनियर शेफ अब उन्हें एक जैसा बनाकर बेईमानी नहीं कर सकता।
एंकर (The Anchor): यह सुनिश्चित करने के लिए कि जूनियर शेफ शुरुआत में भ्रमित न हो, DASH उन्हें एक छोटा सा संकेत देता है: "याद रखो, 'विशिष्ट' व्यंजन वास्तव में इस कच्चे शोर (raw noise) पर आधारित है।" यह उन्हें सीखते समय जमीन से जोड़े रखता है।
"चीट शीट" (TIRT ट्रांसफर):
- मास्टर शेफ ने महीनों के अनुभव से सीखा है कि उन्हें कब अपनी ऊर्जा पर ध्यान केंद्रित करना है। उदाहरण के लिए, वे जानते हैं कि खाना पकाने की प्रक्रिया का मध्य भाग सबसे कठिन होता है और इसके लिए सबसे अधिक ध्यान की आवश्यकता होती है।
- आमतौर पर, जब आप एक नया शेफ रखते हैं, तो उन्हें यह शेड्यूल फिर से शून्य से सीखना पड़ता है।
- DASH जूनियर शेफ को एक फ्रोजन चीट शीट (जमी हुई चीट शीट) देता है। यह मास्टर के "कब कड़ी मेहनत करनी है" वाले सटीक शेड्यूल की नकल करता है और उसे लॉक कर देता है। जूनियर शेफ को यह दोबारा सीखने में समय बर्बाद करने की ज़रूरत नहीं है कि कब ध्यान केंद्रित करना है; उन्हें बस इस पर ध्यान देना है कि कैसे खाना बनाना है।

परिणाम

पेपर ने इसका परीक्षण दो डेटासेट्स (CIFAR-10 और CIFAR-100) पर किया, जो सरल और जटिल चित्र पहेलियों के संग्रह की तरह हैं।

कंप्रेशन (Compression): उन्होंने मॉडल को 35.8 मिलियन पैरामीटर्स (मास्टर) से घटाकर 6.1 मिलियन (जूनियर) तक सिकोड़ दिया। यह आकार में 5.9x की कमी है।
गुणवत्ता (Quality): भले ही जूनियर शेफ बहुत छोटा है, लेकिन उसने लगभग मास्टर के समान गुणवत्ता वाली छवियां बनाईं (FID नामक गुणवत्ता स्कोर पर 4 अंकों के भीतर)।
प्रमाण (The Proof): जब उन्होंने "दो-शाखा नियम" (विशेष रूप से सादे व्यंजन के बारे में नियम) को हटा दिया, तो गुणवत्ता गिर गई। इससे साबित हुआ कि "सादे" (blank) ब्रांच की निगरानी करना सबसे महत्वपूर्ण हिस्सा था।

संक्षेप में

DASH को एक ऐसे प्रशिक्षण सिस्टम के रूप में समझें जो छात्र को "सिस्टम को चकमा देने" से रोकता है।

पुराना तरीका: "सुनिश्चित करें कि अंतिम परिणाम अच्छा दिखे।" (छात्र निर्देशों को अनदेखा करके बेईमानी करता है)।
DASH तरीका: "'निर्देशों के साथ' वाले हिस्से को भी परफेक्ट बनाओ और 'बिना निर्देशों वाले' हिस्से को भी परफेक्ट बनाओ। साथ ही, यहाँ मास्टर का स्टडी शेड्यूल है ताकि आपको पता चले कि कब ध्यान केंद्रित करना है।"

यह सुनिश्चित करता है कि भले ही मॉडल को उसके मूल आकार के एक अंश तक सिकोड़ दिया जाए, फिर भी वह विशिष्ट निर्देशों का पालन पूरी तरह से करना जानता है, जिससे "फ्लेवर बूस्ट" जीवित रहता है और छवियां स्पष्ट रहती हैं।

तकनीकी सारांश: DASH: मार्गदर्शन-कैलिब्रेटेड कॉम्पैक्ट डिफ्यूजन मॉडल्स के लिए ड्यूल-ब्रांच स्कोर डिस्टिलेशन

समस्या विवरण
क्लासिफायर-फ्री गाइडेंस (CFG) का उपयोग करने वाले क्लास-कंडीशनल डिफ्यूजन मॉडल्स एक एकल नेटवर्क पर निर्भर करते हैं जो कंडीशनल ( $\epsilon_y$ ) और अनकंडीशनल ( $\epsilon_\emptyset$ ) दोनों भविष्यवाणियों को उत्पन्न करता है। गाइडेंस मैकेनिज्म जनरेशन को निर्देशित करने के लिए अंतर $\Delta = \epsilon_y - \epsilon_\emptyset$ को बढ़ाता है। हालांकि, इन मॉडल्स को पैरामीटर रिडक्शन के माध्यम से कंप्रेस करने से मौजूदा डिस्टिलेशन ऑब्जेक्टिव्स में एक महत्वपूर्ण संरचनात्मक विफलता उत्पन्न होती है।

मानक डिस्टिलेशन केवल कंपोजिट गाइडेड प्रेडिक्शन ( $\tilde{\epsilon}_S \approx \tilde{\epsilon}_T$ ) या केवल कंडीशनल ब्रांच की निगरानी करता है। यह एक अनिर्धारित अनुकूलन समस्या (underdetermined optimization problem) बनाता है: छात्र (student) के ब्रांचेस के कई अपघटन (decompositions) लॉस फंक्शन को संतुष्ट कर सकते हैं, जिसमें एक डिजेनरेट समाधान भी शामिल है जहाँ गाइडेंस गैप कोलैप्स हो जाता है ( $\Delta_S \to 0$ )। इस अवस्था में, कंडीशनल और अनकंडीशनल प्रेडिक्शंस अभिसरित (converge) हो जाते हैं, जिससे गाइडेंस वेट $w$ इन्फरेंस के दौरान अप्रभावी हो जाता है, भले ही कंपोजिट ट्रेनिंग लॉस मिनिमाइज किया गया हो। इसके अलावा, मौजूदा तरीके शिक्षक (teacher) के सीखे हुए प्रति-टाइमस्टेप ट्रेनिंग करिकुलम (इम्पॉर्टेंस वेटिंग) को ट्रांसफर करने में विफल रहते हैं, जिससे छात्र को सीमित डिस्टिलेशन बजट के भीतर अपना स्वयं का शेड्यूल फिर से सीखने के लिए मजबूर होना पड़ता है, जो अक्सर इष्टतम प्रशिक्षण प्रक्षेपवक्र (optimal training trajectory) को खराब कर देता है।

कार्यप्रणाली: DASH फ्रेमवर्क
यह पेपर DASH (ड्यूल-ब्रांच स्कोर डिस्टिलेशन) प्रस्तावित करता है, जो एक ऐसा फ्रेमवर्क है जिसे अनिर्धारितता (underdetermination) को हल करने और गाइडेंस कैलिब्रेशन को बनाए रखने के लिए डिज़ाइन किया गया है। यह दो प्राथमिक तंत्रों के माध्यम से कार्य करता है:

ड्यूल-ब्रांच इंडिपेंडेंट सुपरविज़न:
कंपोजिट आउटपुट को मैच करने के बजाय, DASH दो अलग-अलग लॉस टर्म्स का उपयोग करके दोनों स्कोर ब्रांचेस की स्वतंत्र रूप से निगरानी करता है:

इमिटेशन लॉस ( $L_{im}$ ): कंडीशनल ब्रांच ( $\epsilon^y_S \approx \epsilon^y_T$ ) को मैच करता है।
अनकंडीशनल लॉस ( $L_{un}$ ): अनकंडीशनल ब्रांच ( $\epsilon^\emptyset_S \approx \epsilon^\emptyset_T$ ) को मैच करता है।
एंकर लॉस ( $L_{an}$ ): एक लाइटवेट रेगुलराइज़र जो शुरुआती ट्रेनिंग के दौरान ड्रिफ्ट को रोकने के लिए कंडीशनल ब्रांच को ग्राउंड-ट्रुथ नॉइज़ ( $\epsilon$ ) से जोड़ता है।

दोनों ब्रांचेस पर एक साथ बाधाएं (constraints) लागू करके, यह फ्रेमवर्क प्रत्येक सैंपल के लिए लक्षित आउटपुट को विशिष्ट रूप से परिभाषित करता है, जिससे उस फेज़िबल सॉल्यूशन स्पेस को समाप्त किया जा सके जो गाइडेंस गैप कोलैप्स की अनुमति देता है। लेखक कैलिब्रेशन की निगरानी के लिए एक गाइडेंस गैप रेशियो $\rho = E[\|\Delta_S\|] / E[\|\Delta_T\|]$ को परिभाषित करते हैं, जहाँ $\rho \approx 1$ सफल संरक्षण को दर्शाता है।

TIRT ट्रांसफर (टाइमस्टेप-इम्पॉर्टेंस रीबैलेंस्ड ट्रेनिंग ट्रांसफर):
शिक्षक मॉडल TIRT का उपयोग करता है, जो मिन-एसएनआर (Min-SNR) वेटिंग का एक विस्तार है। यह कंटेंट-डिफिकल्ट मिड-ट्रैजेक्टरी क्षेत्रों पर ध्यान केंद्रित करने के लिए प्रति-टाइमस्टेप स्केलिंग फैक्टर्स ( $\lambda_t$ ) सीखता है। DASH TIRT ट्रांसफर पेश करता है, जो शिक्षक के अभिसरित प्रति-टाइमस्टेप इम्पॉर्टेंस करिकुलम ( $\hat{\omega}_T$ ) को सीधे छात्र में एक फ्रोजन प्रायर (frozen prior) के रूप में कॉपी करता है। यह छात्र को ऐसे डिस्टिलेशन ग्रेडिएंट्स के साथ करिकुलम को खराब करने से रोकता है जो कंटेंट की कठिनाई के बजाय प्रेडिक्शन-मैचिंग की आसानी को पुरस्कृत करते हैं।

प्रमुख योगदान

संरचनात्मक अनिर्धारितता का समाधान: पेपर एक डिजेनरेट गाइडेंस गैप कोलैप्स की पहचान करता है और उसे हल करता है जो पैरामीटर-कंप्रेस्ड डिफ्यूजन मॉडल्स में होता है। यह प्रदर्शित करता है कि अनकंडीशनल सुपरविज़न केवल फायदेमंद ही नहीं बल्कि आवश्यक भी है, जो कुल डिस्टिलेशन गेन का 60% से अधिक हिस्सा है।
करिकुलम ट्रांसफर: TIRT ट्रांसफर का परिचय, जो छात्र को शिक्षक के सीखे हुए टाइमस्टेप वेटिंग के साथ एक फ्रोजन प्रायर के रूप में इनिशियलाइज़ करता है, जिससे छात्र को करिकुलम को फिर से सीखने की आवश्यकता नहीं पड़ती।
ड्यूल-ब्रांच फ्रेमवर्क: एक एकीकृत डिस्टिलेशन पाइपलाइन जो स्वतंत्र रूप से कंडीशनल और अनकंडीशनल ब्रांचेस को नियंत्रित करती है, जिसे कंप्रेशन के तहत गाइडेंस फिडेलिटी बनाए रखने के लिए अनिवार्य माना गया है।

प्रायोगिक परिणाम
प्रयोग CIFAR-10 और CIFAR-100 पर एक शिक्षक मॉडल (35.8M पैरामीटर्स) और एक कंप्रेस्ड छात्र (6.1M पैरामीटर्स, 5.9× कंप्रेशन) का उपयोग करके किए गए।

परफॉर्मेंस: DASH छात्र 50-स्टेप DDIM सैंपलिंग पर 8.87 (CIFAR-10) और 10.47 (CIFAR-100) का FID प्राप्त करता है। यह शिक्षक (FID 5.47 / 6.80) के 4 FID पॉइंट्स के भीतर है और स्क्रैच से ट्रेनिंग (FID 20.47 / 26.14) और सिंगल-कन्स्ट्रेंट बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
गाइडेंस कैलिब्रेशन: DASH एक गाइडेंस गैप रेशियो $\rho$ का 0.91 (CIFAR-10) और 0.89 (CIFAR-100) बनाए रखता है, जिसमें डायरेक्शनल कोसाइन $\cos(\Delta)$ 0.94 के करीब है। इसके विपरीत, कंपोजिट डिस्टिलेशन बेसलाइन्स आंशिक कोलैप्स ( $\rho \approx 0.68$ ) का सामना करते हैं, और कंडीशनल-ओनली सुपरविज़न लगभग पूर्ण कोलैप्स ( $\rho \approx 0.09$ ) की ओर ले जाता है, जो स्क्रैच ट्रेनिंग से भी खराब प्रदर्शन करता है।
एब्लेशन स्टडीज:
- $L_{un}$ (अनकंडीशनल लॉस) को हटाने से CIFAR-10 पर 7.77 FID पॉइंट की गिरावट आती है और $\rho$ 0.61 तक गिर जाता है, जो इसे प्रमुख घटक के रूप में पुष्टि करता है।
- TIRT ट्रांसफर को हटाने (फिक्स्ड मिन-एसएनआर से बदलने) के परिणामस्वरूप 2.60 FID पॉइंट की गिरावट आती है, जो सीखे हुए करिकुलम को ट्रांसफर करने की आवश्यकता को प्रमाणित करता है।
- क्रॉस-डेटासेट परफॉर्मेंस रेशियो (DASH के लिए 1.18× बनाम बेसलाइन्स के लिए 1.51×) लेबल जटिलताओं केAcross मजबूत सामान्यीकरण (generalization) की पुष्टि करता है।

महत्व और दावे
पेपर का दावा है कि DASH मौजूदा डिस्टिलेशन ऑब्जेक्टिव्स की एक संरचनात्मक खामी को संबोधित करके पैरामीटर-एफिशिएंट डिफ्यूजन के लिए एक नया मानक स्थापित करता है। लेखक तर्क देते हैं कि:

अनकंडीशनल सुपरविज़न गैर-परक्राम्य (non-negotiable) है: इसे कंपोजिट या कंडीशनल ऑब्जेक्टिव्स द्वारा प्रतिस्थापित नहीं किया जा सकता है; इसके बिना, कंप्रेशन के तहत CFG अप्रभावी हो जाता है।
करिकुलम ट्रांसफर फीचर डिस्टिलेशन से भिन्न है: ट्रेनिंग शेड्यूल (TIRT) को एक फ्रोजन प्रायर के रूप में ट्रांसफर करना एक नवीन योगदान है जो शिक्षक के डेटा-एडाप्टिव डिफिकल्टी वेटिंग को दूषित होने से बचाता है।
समझौते के बिना दक्षता: फ्रेमवर्क महत्वपूर्ण पैरामीटर रिडक्शन (5.9×) सक्षम करता है जबकि कैलिब्रेटेड गाइडेंस मैकेनिज्म को सुरक्षित रखता है, जिससे इन्फरेंस स्टेप्स को बढ़ाए बिना संसाधन-बाधित सेटिंग्स में उच्च-गुणवत्ता वाला जनरेशन संभव होता है।

यह कार्य पैरामीटर कंप्रेशन और ब्रांच-लेवल कैलिब्रेशन के संगम पर स्थित है, जो एक ऐसा समाधान प्रदान करता है जो स्टेप-रिडक्शन विधियों के ऑर्थोगोनल है और उनके साथ कंपोजेबल भी है।

समस्या: "घोस्ट" रेसिपी (दिखावटी रेसिपी)

समाधान: DASH (डुअल-ब्रांच स्कोर डिस्टिलेशन)

परिणाम

संक्षेप में

इसी तरह के और पेपर