Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers
यह शोध पत्र डिफ्यूजन ट्रांसफॉर्मर के लिए एक कारणत्मक व्याख्यात्मकता (causal interpretability) ढांचे को प्रस्तुत करता है जो यह प्रकट करता है कि संरचनात्मक टेम्पलेट टोकन एक अप्रत्यक्ष रीड-बैक तंत्र के माध्यम से वस्तु की पहचान बनाए रखने वाले निहित अर्थ संबंधी रजिस्टर (implicit semantic registers) के रूप में कार्य करते हैं, जिससे एक प्रशिक्षण-मुक्त प्रूनिंग रणनीति को डिजाइन करना सक्षम होता है जो न्यूनतम प्रदर्शन हानि के साथ कम्प्यूटेशनल लागत को काफी कम कर देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
तकनीकी सारांश: टेक्स्ट टेम्पलेट टोकन डिफ्यूजन ट्रांसफॉर्मर्स में अंतर्निहित सिमेंटिक रजिस्टर हैं
समस्या विवरण
आधुनिक टेक्स्ट-टू-इमेज जनरेशन यू-नेट (U-Net) आर्किटेक्चर से शिफ्ट होकर डिफ्यूजन ट्रांसफॉर्मर्स (DiTs) की ओर बढ़ गया है, जहाँ टेक्स्ट और इमेज टोकन जॉइंट अटेंशन (joint attention) के माध्यम से परस्पर क्रिया करते हैं। साथ ही, टेक्स्ट कंडीशनिंग आइसोलेटेड एनकोडर (जैसे CLIP, T5) से विकसित होकर लार्ज लैंग्वेज मॉडल्स (LLMs) तक पहुँच गई है, जो यूजर प्रॉम्प्ट्स को सिस्टम, यूजर, असिस्टेंट और डेलीमिटर (delimiter) टोकन्स वाले चैट टेम्पलेट्स में सीरियलाइज़ करती हैं।
हालाँकि यूजर प्रॉम्प्ट की सिमेंटिक सामग्री स्पष्ट है, लेकिन स्ट्रक्चरल टेम्पलेट टोकन्स (फॉर्मेटिंग अवशेष जैसे डेलीमिटर्स) की भूमिका अभी भी कम समझी गई है। जॉइंट-अटेंशन DiTs में, सभी कंडीशनिंग टोकन्स इमेज स्ट्रीम के लिए कीज़ (keys) के रूप में प्रतिस्पर्धा करते हैं। यह एक खुला प्रश्न है कि क्या ये स्ट्रक्चरल टोकन्स निष्क्रिय फॉर्मेटिंग अवशेष बने रहते हैं, पारदर्शी कंडीशनिंग के रूप में कार्य करते हैं, या एक गहरा कम्प्यूटेशनल रोल प्राप्त करते हैं। इसके अलावा, DiTs की मैकेनिस्टिक ऑर्गनाइजेशन को समझने में एक व्यापक अंतर है: विशेष रूप से, कौन से लेयर्स सिमेंटिक कंटेंट को कमिट करते हैं, कौन से हेड्स जनरेशन को कौज़ली (causally) प्रभावित करते हैं, और कैसे टेक्स्ट-इमेज अटेंशन डिनोइजिंग ट्रजेक्टरी (denoising trajectory) के दौरान कंडीशनिंग को मध्यस्थता प्रदान करता है।
कार्यप्रणाली
लेखक एक कॉज़ल इंटरप्रिटेबिलिटी फ्रेमवर्क पेश करते हैं जिसे यह ट्रेस करने के लिए डिज़ाइन किया गया है कि डिनोइजिंग के दौरान कंडीशनिंग जानकारी कहाँ पढ़ी, रूट और स्टोर की जाती है। यह फ्रेमवर्क चार विशिष्ट तकनीकों को जोड़ता है:
- टोकन-लेवल अटेंशन डिकंपोजिशन: इमेज-टू-टेक्स्ट (I2T) अटेंशन मास का विश्लेषण करके यह मात्रा निर्धारित करना कि इमेज क्वेरीज विशिष्ट टेक्स्ट टोकन स्पैन (सिमेंटिक बनाम स्ट्रक्चरल) की ओर कितना अटेंशन निर्देशित करती हैं।
- स्पैन-लेवल कंडीशनिंग इंटरवेंशन: प्रॉम्प्ट-विशिष्ट सिमेंटिक्स को टेस्ट करने के लिए क्रॉस-प्रॉम्प्ट स्वैप और स्ट्रक्चरल टोकन्स के एवरेजिंग का प्रदर्शन करना।
- क्रॉस-ट्रजेक्टरी हेड ट्रांसप्लांटेशन: दो अलग-अलग जनरेशन ट्रजेक्टरीज (जैसे, "apple" बनाम "banana") के बीच अटेंशन प्रोजेक्शन्स () को प्रोग्रेसिवली स्वैप करना ताकि यह पहचाना जा सके कि कौन से हेड्स ऑब्जेक्ट आइडेंटिटी को कौज़ली निर्धारित करते हैं।
- लेयर-वाइज कॉज़ल मास्किंग: विशिष्ट लेयर्स पर अटेंशन फ्लो (जैसे, रजिस्टर सिमेंटिक या रजिस्टर इमेज) को मास्क करना ताकि सूचना प्रवाह की दिशा निर्धारित की जा सके।
यह अध्ययन मुख्य रूप से Qwen-Image फैमिली (एक डुअल-स्ट्रीम MMDiT) का उपयोग करता है और कई बेंचमार्क्स (GenEval, DPG-Bench, Qwen-Image-Bench) और भाषाओं (अंग्रेजी और चीनी) में मूल्यांकन करता है।
मुख्य निष्कर्ष
1. डोमिनेंट अटेंशन सिंक्स के रूप में स्ट्रक्चरल टोकन्स
विश्लेषण से पता चलता है कि स्ट्रक्चरल टेम्पलेट टोकन्स (जैसे डेलीमिटर्स जैसे कि ...) प्रमुख अटेंशन सिंक के रूप में कार्य करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।