CoReDiT: Spatial Coherence-Guided Token Pruning and Reconstruction for Efficient Diffusion Transformers
CoReDiT डिफ्यूजन ट्रांसफॉर्मर्स के लिए एक कुशल टोकन प्रूनिंग फ्रेमवर्क है जो स्थानिक सुसंगतता (spatial coherence) का लाभ उठाकर अनावश्यक टोकनों की पहचान करने और उन्हें छोड़ने के साथ-साथ पड़ोसी टोकनों के माध्यम से उनके आउटपुट को पुनर्गठित करता है, जिससे दृश्य गुणवत्ता से समझौता किए बिना महत्वपूर्ण कम्प्यूटेशनल गति और मेमोरी की बचत प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दीवार पर एक विशाल, अविश्वसनीय रूप से विस्तृत भित्तिचित्र (mural) बनाने की कोशिश कर रहे हैं। आपके पास कलाकारों की एक टीम (जिन्हें "टोकन" कहा जाता है) दीवार के सामने खड़ी है, और हर एक कलाकार को अपने विशिष्ट स्थान पर सटीक रंग तय करने के लिए दूसरे हर कलाकार से बात करनी होगी। यह सुनिश्चित करता है कि चित्र एकदम सटीक दिखे, लेकिन यह थका देने वाला है। यदि आपके पास 10,000 कलाकार हैं, तो उन्हें अगले ब्रशस्ट्रोक पर सहमत होने के लिए 10 करोड़ बातचीत करनी होंगी। वर्तमान AI इमेज जनरेटर (जिन्हें डिफ्यूजन ट्रांसफॉर्मर कहा जाता है) इसी तरह काम करते हैं: वे बहुत प्रतिभाशाली हैं लेकिन अविश्वसनीय रूप से धीमे और कंप्यूटर पावर के भूखे होते हैं।
यह पेपर एक नई विधि पेश करता है जिसे CoReDiT कहा जाता है, ताकि पेंटिंग को खराब किए बिना इस प्रक्रिया को तेज़ बनाया जा सके। यह कैसे काम करता है, यहाँ तीन सरल चरणों में दिया गया है:
1. "बोर कलाकार" डिटेक्टर (स्पेशियल कोहेरेंस - Spatial Coherence)
एक सामान्य पेंटिंग में, कुछ क्षेत्र बहुत व्यस्त और विस्तृत होते हैं (जैसे कि एक चेहरा या एक पेड़), जबकि अन्य क्षेत्र बहुत ही साधारण और उबाऊ बैकग्राउंड होते हैं (जैसे कि नीला आकाश या एक चिकनी दीवार)।
- समस्या: पुराना AI हर कलाकार के साथ एक जैसा व्यवहार करता है, जिससे उबाऊ नीले आकाश को पेंट करने वाले कलाकारों को भी चेहरे को पेंट करने वाले कलाकारों जितनी ही गहन बातचीत करनी पड़ती है।
- CoReDiT का समाधान: CoReDiT कलाकारों को देखता है और पूछता है, "क्या कोई कलाकार किसी ऐसे व्यक्ति के बगल में खड़ा है जो बिल्कुल उसके जैसा दिखता है?" यदि कोई कलाकार एक उबाऊ, एकसमान क्षेत्र में है, तो उसके पड़ोसी व्यावहारिक रूप से उसके क्लोन हैं। CoReDiT इन "बोर" कलाकारों को एक उच्च कोहेरेंस स्कोर (Coherence Score) देता है।
- कार्रवाई: यह उच्च स्कोर वाले (अनावश्यक/redundant) कलाकारों को बताता है, "आपको अभी सभी से बात करने की ज़रूरत नहीं है। थोड़ा ब्रेक ले लो।" यह चित्र के उबाऊ हिस्सों के लिए महंगी बातचीत को छोड़ देता है, जिससे समय की भारी बचत होती है।
2. "खाली जगह भरने वाला" कलाकार (रिकंस्ट्रक्शन - Reconstruction)
यदि आप बस "बोर" कलाकारों को घर जाने और काम बंद करने के लिए कह देते, तो आपके मुरल में छेद रह जाते। चित्र टूटा हुआ और धब्बेदार दिखाई देता।
- समस्या: केवल टोकन (कलाकारों) को हटाने से विजुअल ग्लिच (visual glitches) पैदा होते हैं।
- CoReDiT का समाधान: खाली जगह छोड़ने के बजाय, CoReDiT उन कलाकारों का उपयोग करता है जो बचे हुए हैं, ताकि वे खाली जगहों को भर सकें। क्योंकि "बोर" कलाकार अपने पड़ोसियों के समान ही थे, इसलिए बचे हुए कलाकार आसानी से अनुमान लगा सकते हैं कि गायब कलाकारों ने क्या पेंट किया होगा।
- कार्रवाई: यह "टेलीफोन" गेम की तरह है जहाँ शेष कलाकार खाली स्थानों को सही रंग बताने के लिए फुसफुसाते हैं। यह सुनिश्चित करता है कि अंतिम चित्र चिकना और पूर्ण दिखे, जिसमें कोई दृश्य अंतराल न हो, भले ही कम कलाकारों ने भारी काम किया हो।
3. स्मार्ट मैनेजर (प्रोग्रेसिव प्रूनिंग - Progressive Pruning)
पेंटिंग की प्रक्रिया के सभी हिस्से एक जैसे नहीं होते हैं।
- समस्या: एक छवि बनाने की प्रक्रिया के बिल्कुल शुरुआत में, चित्र केवल स्टैटिक नॉइज़ (जैसे टीवी का शोर) होता है, इसलिए लगभग सब कुछ एक जैसा और अनावश्यक होता है। लेकिन अंत में, जब विवरणों को निखारा जा रहा होता है, तब हर एक ब्रशस्ट्रोक मायने रखता है। यदि आप बहुत जल्दी बहुत अधिक कलाकार हटा देते हैं, तो AI भ्रमित हो जाता है। यदि आप अंत में बहुत अधिक कलाकार हटाते हैं, तो चित्र धुंधला हो जाता है।
- CoReDiT का समाधान: CoReDiT एक स्मार्ट मैनेजर की तरह काम करता है जो एक आदर्श शेड्यूल सीखता है। यह तब शुरू होता है जब AI को शोर के दौरान कई अनावश्यक कलाकारों को काटने की अनुमति दी जाती है। जैसे-जैसे छवि स्पष्ट और विस्तृत होती जाती है, मैनेजर धीरे-धीरे इतने अधिक कलाकारों को काटने से रुक जाता है, जिससे यह सुनिश्चित होता है कि महत्वपूर्ण विवरणों को पूरा ध्यान मिले।
- कार्रवाई: यह स्वचालित रूप से पता लगाता है कि AI के कौन से हिस्से (ब्लॉक्स) और प्रक्रिया के कौन से चरण (टाइम स्टेप्स) सबसे अधिक कटौती झेल सकते हैं, और गुणवत्ता बनाए रखने के लिए योजना को ऑन-द-फ्लाई (चलते-चलते) समायोजित करता है।
परिणाम
इस विधि का उपयोग करके, लेखकों ने पाया कि:
- गति (Speed): शक्तिशाली क्लाउड कंप्यूटरों पर AI 1.33 गुना तेज़ चलता है और मोबाइल फोन चिप्स पर 1.72 गुना तेज़ चलता है।
- दक्षता (Efficiency): यह भारी गणितीय कार्य (कंप्यूटेशन) को 55% तक कम कर देता है।
- गुणवत्ता (Quality): चित्र अभी भी पुराने धीमे संस्करण जितने ही अच्छे दिखते हैं, जिनमें कोई स्पष्ट दरार या अजीब आर्टिफैक्ट्स नहीं होते।
- बोनस: क्योंकि यह कम मेमोरी का उपयोग करता है, यह फोन पर यहाँ तक उच्च-रिज़ॉल्यूशन वाली छवियां भी बना सकता है जो मेमोरी खत्म होने के कारण सामान्यतः क्रैश हो जाती हैं।
संक्षेप में, CoReDiT एक कला परियोजना के लिए एक स्मार्ट फोरमैन (फोरमैन) को काम पर रखने जैसा है जो जानता है कि टीम को कब आराम करने देना है और कब उन्हें कड़ी मेहनत करने के लिए रखना है, जिसके परिणामस्वरूप एक उत्कृष्ट कृति बहुत तेज़ी से पूरी होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।