💻 computer science

Guiding a Diffusion Transformer with the Internal Dynamics of Itself

यह शोध पत्र इंटरनल गाइडेंस (IG) का प्रस्ताव करता है, जो एक सरल लेकिन प्रभावी रणनीति है जो प्रशिक्षण के दौरान मध्यवर्ती परतों (intermediate layers) पर सहायक पर्यवेक्षण (auxiliary supervision) पेश करके और सैंपलिंग के दौरान लेयर आउटपुट्स का एक्सट्रपलेशन करके डिफ्यूजन ट्रांसफॉर्मर्स की आंतरिक गतिशीलता का लाभ उठाती है, जिससे ImageNet पर अत्याधुनिक जनरेशन गुणवत्ता और प्रशिक्षण दक्षता प्राप्त होती है।

मूल लेखक: Xingyu Zhou, Qifan Li, Xiaobin Hu, Hai Chen, Shuhang Gu

प्रकाशित 2026-04-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xingyu Zhou, Qifan Li, Xiaobin Hu, Hai Chen, Shuhang Gu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े अराजक कलाकार (डिफ्यूजन मॉडल) को बिल्लियों, कुत्तों और परिदृश्यों (landscapes) की सटीक तस्वीरें बनाना सिखा रहे हैं।

समस्या: "अति-आत्मविश्वासी" कलाकार

अभी, ये एआई कलाकार अद्भुत हैं, लेकिन उनमें एक विशिष्ट दोष है। उन्हें हर संभावना को कवर करने के लिए प्रशिक्षित किया जाता है। कभी-कभी, वे अजीब, दुर्लभ, या "कम-संभावना" वाले हिस्सों से भ्रमित हो जाते हैं। जब आप उनसे किसी विशिष्ट चीज़ को बनाने के लिए कहते हैं, तो वे एक "कम-संभावना" वाले क्षेत्र में भटक सकते हैं और एक धुंधला सा कचरा या विकृत राक्षस बना सकते हैं।

इसे ठीक करने के लिए, इंसान आमतौर पर एक तकनीक का उपयोग करते हैं जिसे क्लासिफायर-फ्री गाइडेंस (CFG) कहा जाता है। इसे एक सख्त कला शिक्षक के रूप में सोचें जो कलाकार के पास खड़ा होकर चिल्ला रहा है, "नहीं! यह बिल्ली नहीं है! इसे बिल्ली जैसा बनाओ!"

कैच (Catch): यदि शिक्षक बहुत ज़ोर से चिल्लाता है (उच्च गाइडेंस), तो कलाकार डर जाता है और अपनी रचनात्मकता छोड़ देता है। परिणाम एक ऐसी बिल्ली होती है जो प्लास्टिक के खिलौने जैसी दिखती है—आकार में एकदम सटीक लेकिन बेजान।
पुराना विकल्प: कुछ शोधकर्ताओं ने कलाकारों को उनके अपने "बुरे ड्राफ्ट" (खुद का एक "बुरा संस्करण") दिखाकर उन्हें सिखाने की कोशिश की कि, "इस तरह से पेंट मत करो।" लेकिन यह पहले कलाकार की आलोचना करने के लिए दूसरे, कमज़ोर कलाकार को काम पर रखने जैसा है। यह महंगा, धीमा और अतिरिक्त काम की मांग करता है।

समाधान: "इंटरनल गाइडेंस" (IG)

यह पेपर एक चतुर ट्रिक पेश करता है जिसे इंटरनल गाइडेंस (IG) कहा जाता है। एक दूसरा कलाकार नियुक्त करने या किनारे खड़े होकर चिल्लाने के बजाय, यह पेपर पेंटिंग की प्रक्रिया के दौरान कलाकार की अपनी आंतरिक आवाज़ सुनने का सुझाव देता है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. प्रशिक्षण चरण: "स्केच बनाम फाइनल" का सबक

कल्पना कीजिए कि कलाकार एक तस्वीर पेंट कर रहा है। आमतौर रूप से, उसे केवल अंत में अंतिम उत्कृष्ट कृति (final masterpiece) पर ग्रेड दिया जाता है।

नया विचार: पेपर कहता है, "आइए हम आधे रास्ते में बनाए गए आपके रफ स्केच को भी ग्रेड दें!"
यह कैसे काम करता है: प्रशिक्षण के दौरान, एआई को अपने स्वयं के "इंटरमीडिएट लेयर" (स्केच) को देखने और उस स्केच को वास्तविक वस्तु जैसा दिखाने के लिए मजबूर किया जाता है।
परिणाम: कलाकार अपने "आंतरिक स्केच" को वास्तविकता के साथ संरेखित रखना सीख जाता है। यह एक सामान्य समस्या को ठीक करता है जहाँ गहरे न्यूरल नेटवर्क भ्रमित हो जाते हैं और पेंटिंग की प्रक्रिया में गहराई तक जाने पर अपना रास्ता खो देते हैं (वैनिशिंग ग्रेडिएंट्स)।

2. पेंटिंग चरण: "स्व-सुधार" की ट्रिक

अब, जब कलाकार वास्तव में आपके लिए एक तस्वीर बना रहा है (सैंपलिंग स्टेज), तो यहाँ जादू है:

एआई एक साथ दो चीजें उत्पन्न करता है:
1. डीप आउटपुट: अंतिम, पॉलिश किया हुआ प्रेडिक्शन।
2. इंटरमीडिएट आउटपुट: नेटवर्क के बीच से प्राप्त "कमज़ोर" प्रेडिक्शन (स्केच)।
जादुई चाल: एआई दोनों की तुलना करता है। वह महसूस करता है, "हे, मेरा अंतिम प्रेडिक्शन मेरे ठोस स्केच से थोड़ा दूर भटक रहा है।"
सुधार: यह "स्केच" का उपयोग "अंतिम प्रेडिक्शन" को वापस केंद्र की ओर खींचने के लिए करता है। यह ऐसा है जैसे कलाकार अपने स्वयं के रफ ड्राफ्ट को देखता है और कहता है, "ठीक है, मुझे अपने अंतिम ब्रशस्ट्रोक को इस ठोस आधार की ओर वापस मोड़ना होगा।"

यह एक बड़ी बात क्यों है?

इसे कार चलाने की तरह सोचें:

मानक CFG एक यात्री की तरह है जो चिल्ला रहा है, "बाएं मुड़ो! बाएं मुड़ो!" यदि वे बहुत अधिक चिल्लाते हैं, तो आप पेड़ से टकरा सकते हैं (विकृत चित्र)।
पुराने "बुरे संस्करण" वाले तरीके आपके बगल में चल रही एक दूसरी, खराब कार की तरह हैं, और आप उससे टकराने से बचने की कोशिश करते हैं। यह जटिल और धीमा है।
इंटरनल गाइडेंस (IG) आपके अपने डैशबोर्ड में बने एक जीपीएस (GPS) की तरह है। आपको दूसरी कार या चिल्लाने वाले यात्री की आवश्यकता नहीं है। आप बस अपने आंतरिक मानचित्र (इंटरमीडिएट लेयर) को देखते हैं और खुद को वापस सही रास्ते पर धीरे से मोड़ लेते हैं।

परिणाम: सुपरचार्ज्ड आर्ट

पेपर ने कुछ सबसे उन्नत एआई मॉडलों (जैसे SiT और LightningDiT) पर इसका परीक्षण किया।

गति: उन्होंने 800 स्टेप्स में शीर्ष-स्तरीय गुणवत्ता प्राप्त की, जिसमें अन्य मॉडलों को आमतौर पर 1,400 स्टेप्स लगते हैं। यह एक मैराथन को आधे समय में पूरा करने जैसा है।
गुणवत्ता: उन्होंने एक स्कोर प्राप्त किया जिसे FID 1.19 कहा जाता है। एआई आर्ट की दुनिया में, कम FID बेहतर होता है। 1.19 का स्कोर इतना कम है कि यह वास्तविक तस्वीरों से लगभग अभिन्न है। यह वर्तमान में स्टेट-ऑफ-द-आर्ट (दुनिया में सबसे अच्छा) है।
दक्षता: इसके लिए अतिरिक्त कंप्यूटरों या अतिरिक्त समय की आवश्यकता नहीं है। यह एक "प्लग-एंड-प्ले" अपग्रेड है। आप इसे बस चालू करते हैं, और मॉडल स्मार्ट और स्थिर हो जाता है।

सारांश

इंटरनल गाइडेंस एक सरल लेकिन शक्तिशाली ट्रिक है। यह एआई को अपने अंतिम निर्णयों को निर्देशित करने के लिए अपने "इंटरमीडिएट विचारों" पर भरोसा करना सिखाता है। अपनी आंतरिक आवाज़ को सुनकर, एआई रास्ता भटकने से बचता है, अधिक विविध और यथार्थवादी चित्र बनाता है, और यह सब पहले से कहीं अधिक तेज़ी से करता है। यह एक ऐसे कलाकार के बीच का अंतर है जिसे चिल्लाने वाले कोच की आवश्यकता होती है और एक ऐसे कलाकार के बीच जिसने अंततः अपने अंतर्मन पर भरोसा करना सीख लिया है।

यहाँ शोध पत्र "Guiding a Diffusion Transformer with the Internal Dynamics of Itself" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल, विशेष रूप से ट्रांसफॉर्मर आर्किटेक्चर (DiT/SiT) पर आधारित, इमेज जनरेशन में अत्याधुनिक (state-of-the-art) परिणाम प्राप्त कर चुके हैं। हालाँकि, वे दो प्राथमिक चुनौतियों का सामना करते हैं:

निम्न-संभाव्यता क्षेत्र कवरेज (Low-Probability Area Coverage): ट्रेनिंग ऑब्जेक्टिव्स मॉडल को डेटा वितरण के कम-संभाव्यता वाले क्षेत्रों को कवर करने में विफल होने के लिए दंडित करते हैं। पर्याप्त ट्रेनिंग डेटा के बिना, मॉडल इन दुर्लभ मोड्स (rare modes) से संबंधित उच्च-गुणवत्ता वाली छवियां बनाने में संघर्ष करता है।
मौजूदा गाइडेंस की सीमाएँ (Limitations of Existing Guidance):
- क्लासिफायर-फ्री गाइडेंस (CFG): हालांकि यह प्रॉम्प्ट और परिणामों के संरेखण (alignment) में प्रभावी है, लेकिन उच्च CFG गुणांक अक्सर सैंपलिंग प्रक्षेपवक्र (sampling trajectory) को कंडीशनल डिस्ट्रीब्यूशन से बाहर धकेल देते हैं, जिससे छवियां अत्यधिक सरल या विकृत हो जाती हैं और विविधता (diversity) कम हो जाती है।
- ऑटोगाइडेंस (Bad Version Guidance): यह दृष्टिकोण एक अच्छी तरह से प्रशिक्षित मॉडल को उसके ही एक "खराब" (विकृत) संस्करण का उपयोग करके गाइड करता है। जबकि यह CFG की तुलना में विविधता को बेहतर बनाए रखता है, इसके लिए सावधानीपूर्वक डिज़ाइन की गई डिग्रेडेशन रणनीतियों, विकृत मॉडल के लिए अतिरिक्त प्रशिक्षण, या अतिरिक्त सैंपलिंग स्टेप्स की आवश्यकता होती है, जो इसे कम्प्यूटेशनल रूप से महंगा और स्केल करने में कठिन बनाता है।

2. कार्यप्रणाली: इंटरनल गाइडेंस (Methodology: Internal Guidance - IG)

लेखक इंटरनल गाइडेंस (IG) का प्रस्ताव करते हैं, जो एक सरल लेकिन प्रभावी प्लग-एंड-प्ले रणनीति है। यह बिना किसी अतिरिक्त प्रशिक्षण या सैंपलिंग स्टेप के, सिंगल डिफ्यूजन ट्रांसफॉर्मर की आंतरिक गतिशीलता (internal dynamics) का लाभ उठाकर जनरेशन की गुणवत्ता में सुधार करती है।

A. प्रशिक्षण चरण: सहायक पर्यवेक्षण (Training Phase: Auxiliary Supervision)

एक अलग "खराब" मॉडल को प्रशिक्षित करने के बजाय, IG प्रशिक्षण के दौरान नेटवर्क के एक मध्यवर्ती स्तर (intermediate layer) पर एक सहायक पर्यवेक्षण हानि (auxiliary supervision loss) पेश करता है।

आर्किटेक्चर: डिफ्यूजन ट्रांसफॉर्मर के एक मध्यवर्ती स्तर ( $D_i$ ) पर, अंतिम आउटपुट हेड ( $D_f$ ) के अलावा, एक अतिरिक्त आउटपुट हेड जोड़ा जाता है।
लॉस फंक्शन: कुल ट्रेनिंग लॉस अंतिम परत के लिए मानक डिनोइजिंग लॉस और मध्यवर्ती परत के लिए एक सहायक लॉस को जोड़ता है:
$L = L_{final} + \lambda L_{inter}$
जहाँ $L_{inter} = \|D_i(x_t, t) - x_0\|^2$ और $L_{final} = \|D_f(x_t, t) - x_0\|^2$ है।
प्रभाव: यह मध्यवर्ती परत को एक "कमजोर" जेनेरेटिव रिप्रजेंटेशन सीखने के लिए मजबूर करता है। लेखक देखते हैं कि यह सरल पर्यवेक्षण गहरे नेटवर्क में ग्रेडिएंट वैनिशिंग (gradient vanishing) को कम करता है और जटिल स्व-पर्यवेक्षित नियमितीकरण (self-supervised regularization) विधियों के समान अभिसरण (convergence) प्राप्त करता है।

B. सैंपलिंग चरण: एक्सट्रपलेशन (Sampling Phase: Extrapolation)

सैंपलिंग चरण के दौरान, मॉडल जनरेशन को गाइड करने के लिए मध्यवर्ती आउटपुट ( $D_i$ ) और अंतिम आउटपुट ( $D_f$ ) के बीच के संबंध का उपयोग करता है।

तंत्र (Mechanism): मध्यवर्ती आउटपुट मॉडल के "खराब संस्करण" के रूप में कार्य करता है। अंतिम आउटपुट को मध्यवर्ती आउटपुट के वितरण से हटाकर उच्च-संभाव्यता वाले मैनिफोल्ड (high-probability manifold) की ओर निर्देशित किया जाता है।
फॉर्मूला: गाइडेड आउटपुट $D_w$ की गणना एक्सट्रपलेशन के माध्यम से की जाती है:
$D_w(x; c) = D_i(x; c) + w(D_f(x; c) - D_i(x; c))$
यहाँ, $w$ गाइडेंस स्केल है। यह प्रभावी रूप से सैंपल को मजबूत (अंतिम) मॉडल की दिशा में धकेलता है, जबकि मध्यवर्ती रिप्रजेंटेशन में निहित विविधता को बनाए रखता है।
लाभ: Autoguidance के विपरीत, IG के लिए विकृत मॉडल के लिए कोई अतिरिक्त प्रशिक्षण या अतिरिक्त सैंपलिंग स्टेप्स की आवश्यकता नहीं होती है। यह एक "प्लग-एंड-प्ले" संशोधन है।

C. अनुकूलता और संवर्द्धन (Compatibility and Enhancements)

CFG के साथ संयोजन: IG और CFG पूरक हैं। CFG क्लास-कंडीशनल दिशात्मकता प्रदान करता है, जबकि IG विविधता बनाए रखता है और सैंपल को मैनिफोल्ड की ओर धकेलता है। दोनों को मिलाने से बेहतर परिणाम मिलते हैं।
गाइडेंस इंटरवल: लेखक IG के लिए गाइडेंस इंटरवल को पुनर्व्याख्यायित करते हैं। CFG (जो लो-नॉइज़ रेंज में सबसे अच्छा काम करता है) के विपरीत, IG हाई-नॉइज़ और मिडिल-नॉइज़ रेंज में लागू होने पर सबसे प्रभावी होता है।

3. मुख्य योगदान (Key Contributions)

इंटरनल गाइडेंस (IG) रणनीति: एक नवीन सैंपलिंग गाइडेंस विधि जो अंतिम आउटपुट को गाइड करने के लिए मॉडल की अपनी मध्यवर्ती परतों का उपयोग करती है, जिससे बाहरी "खराब" मॉडल्स या जटिल डिग्रेडेशन रणनीतियों की आवश्यकता समाप्त हो जाती है।
प्रशिक्षण दक्षता: मध्यवर्ती पर्यवेक्षण (intermediate supervision) का परिचय एक रेगुलराइज़र के रूप में कार्य करता है जो अभिसरण (convergence) को तेज करता है और ग्रेडिएंट वैनिशिंग को कम करता है, जो सरल कार्यान्वयन के साथ REPA जैसी स्व-पर्यवेक्षित रिप्रजेंटेशन एलाइनमेंट विधियों के समान प्रदर्शन प्राप्त करता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह विधि न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ विभिन्न मॉडल स्केल्स (SiT, DiT, LightningDiT) में FID स्कोर में महत्वपूर्ण सुधार करती है।
नया प्रशिक्षण त्वरण अंतर्दृष्टि: लेखक प्रदर्शित करते हैं कि गाइडेंस सिग्नल (अंतिम और मध्यवर्ती आउटपुट के बीच का अंतर) को प्रशिक्षण लॉस फंक्शन में सीधे एकीकृत किया जा सकता है, जो अभिसरण को और तेज करने के लिए एक नया मार्ग प्रदान करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

पेपर ImageNet 256×256 और 512×512 बेंचमार्क पर IG का मूल्यांकन करता है।

SiT-XL/2 (Class-Conditional):
- केवल 80 एपोच में FID = 5.31 प्राप्त किया (बिना CFG के)।
- 800 एपोच पर FID = 1.75 प्राप्त किया (बिना CFG के), जो 1400 एपोच वाले वैनिला SiT-XL और 800 एपोच वाले REPA से बेहतर है।
- CFG और गाइडेंस इंटरवल के साथ, FID = 1.46 प्राप्त किया।
LightningDiT-XL/1 (Self-Supervised Tokenizer):
- 60 एपोच में FID = 2.42 प्राप्त किया।
- 680 एपोच में FID = 1.34 प्राप्त किया (बिना CFG के), जो सभी पूर्ववर्ती विधियों से काफी आगे है।
- स्टेट-ऑफ-द-आर्ट: CFG और गाइडेंस इंटरवल के संयोजन के साथ, 680 एपोच में FID = 1.19 प्राप्त किया।
स्केलेबिलिटी (Scalability): जैसे-जैसे मॉडल का आकार बढ़ता है (B से XL स्केल तक), IG का प्रदर्शन लाभ अधिक महत्वपूर्ण होता जाता है।
कम्प्यूटेशनल लागत: IG नगण्य ओवरहेड (लगभग 0.44% पैरामीटर्स और FLOPs में वृद्धि) लाता है और बेसलाइन मॉडलों की तुलना में समान लेटेंसी बनाए रखता है।

5. महत्व (Significance)

दक्षता: IG, सहायक मॉडल्स को प्रशिक्षित करने या सैंपलिंग स्टेप्स बढ़ाने की भारी कम्प्यूटेशनल लागत के बिना, जनरेशन की गुणवत्ता बढ़ाने का एक अत्यधिक कुशल तरीका प्रदान करता है।
सामान्यीकरण (Generalizability): यह विधि डिफ्यूजन ट्रांसफॉर्मर परिवार के भीतर आर्किटेक्चर-अज्ञेय (architecture-agnostic) है और इसे मौजूदा पाइपलाइनों में सहजता से एकीकृत किया जा सकता है।
सैद्धांतिक अंतर्दृष्टि: यह मध्यवर्ती पर्यवेक्षण (intermediate supervision) और सैंपलिंग गाइडेंस के बीच के अंतर को पाटता है, यह सुझाव देता है कि एक गहरे नेटवर्क की "आंतरिक गतिशीलता" में सैंपलिंग प्रक्षेपवक्यों को ठीक करने के लिए पर्याप्त जानकारी होती है, जो लॉस फंक्शन डिज़ाइन पर आधारित नई प्रशिक्षण त्वरण तकनीकों को प्रेरित कर सकती है।
व्यावहारिक प्रभाव: कम प्रशिक्षण एपोच और मानक हार्डवेयर के साथ उच्च-फिडेलिटी इमेज जनरेशन को अधिक सुलभ और स्केलेबल बनाकर, IG उच्च-गुणवत्ता वाली इमेज जनरेशन को सुलभ बनाता है।