🤖 machine learning

Quality-Aware Modulation for Diffusion Transformers

यह शोध पत्र क्वालिटी रिप्रजेंटेशन मॉड्यूल (QRM) को प्रस्तुत करता है, जो कि एक हल्का ट्रांसफॉर्मर घटक है जो डिफ्यूजन ट्रांसफॉर्मर्स में एडेप्टिव लेयरनॉर्म (LayerNorm) को मॉड्यूलेट करने के लिए मौजूदा इनपुट्स से क्वालिटी-अवेयर रिप्रजेंटेशन्स सीखता है, जिससे सैंपलिंग शेड्यूल या बैकबोन आर्किटेक्चर को बदले बिना इमेज फिडेलिटी और कंसिस्टेंसी को बढ़ाया जा सकता है।

मूल लेखक: Luke Budny, Yuhong Guo, Kevin Cheung

प्रकाशित 2026-07-01

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Luke Budny, Yuhong Guo, Kevin Cheung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कलाकार हैं जो एक दोस्त के वर्णन के आधार पर एक चित्र बनाने की कोशिश कर रहे हैं। आपके पास एक बहुत ही प्रतिभाशाली, पूर्व-प्रशिक्षित रोबोट कलाकार (डिफ्यूजन ट्रांसफॉर्मर) है जो पहले से ही उत्कृष्ट पेंटिंग करने में सक्षम है। हालाँकि, कभी-कभी रोबोट प्रक्रिया के बीच में थोड़ा भटक जाता है। यह हाथ में अतिरिक्त उंगलियां जोड़ सकता है, वर्णन में बताए गए किसी विशिष्ट रंग को भूल सकता है, या पूरे दृश्य को थोड़ा "अजीब" बना सकता है जैसा कि आपके दोस्त ने मांगा था।

आमतौर पर, रोबोट पेंटिंग करते समय केवल दो चीजों को सुनता है:

विवरण: जो आपके दोस्त ने कहा।
समय: पेंटिंग पूरी करने के लिए उसके पास कितने ब्रशस्ट्रोक (तुलिका प्रहार) बचे हैं।

समस्या यह है कि रोबोट के पास पेंटिंग करते समय अपने स्वयं के काम को देखने का कोई तरीका नहीं है और यह कहने का कि, "हे, यह हिस्सा गलत लग रहा है; मुझे इसे ठीक करने की आवश्यकता है।"

समाधान: "क्वालिटी कोच" (QRM)

लेखकों ने एक छोटा, हल्का एड-ऑन बनाया है जिसे क्वालिटी रिप्रेजेंटेशन मॉड्यूल (QRM) कहा जाता है। QRM को एक स्मार्ट आर्ट कोच के रूप में सोचें जो रोबोट कलाकार के बगल में खड़ा है।

यह कोच कैसे काम करता है:

कोच देखता है: कोच पेंटिंग की वर्तमान स्थिति (एक "लेटेंट इमेज"), मूल विवरण और शेष समय को देखता है।
कोच फुसफुसाता है: रोबoret के हाथ में ब्रश लेने या उसे फिर से प्रशिक्षित करने (जो महंगा और धीमा होगा) के बजाय, कोच बस रोबोट की आंतरिक सेटिंग्स में सूक्ष्म, सटीक समायोजन फुसफुसाता है।
समायोजन: ये फुसफुसाहटें रोबोट को उसके "स्टाइल नॉब्स" (विशेष रूप से AdaLN मॉड्यूलेशन) को थोड़ा बदलने के लिए कहती हैं। यह रोबोट को बताने जैसा है कि, "यहाँ 'शार्पनेस' के नॉब को थोड़ा ऊपर बढ़ाएं," या "वहाँ 'रंग' को थोड़ा बाईं ओर खिसकाएं।"

यह क्यों विशेष है

AI आर्ट को ठीक करने के अधिकांश तरीकों में पूरे रोबोट को शुरू से रीट्रेन (पुनः प्रशिक्षित) करना या बहुत सारा नया डेटा जोड़ना शामिल होता है। यह रोबोट को केवल एक गलती ठीक करने के लिए एक साल तक आर्ट स्कूल भेजने जैसा है।

QRM दृष्टिकोण अलग है:

यह हल्का है: कोच एक छोटा मॉड्यूल है। यह रोबोट के दिमाग को नहीं बदलता; यह बस मार्गदर्शन की एक नई परत जोड़ता है।
यह रियल-टाइम है: कोच पेंटिंग के शुरुआती, अव्यवस्थपूर्ण चरणों के दौरान बोलता है (जब बड़े आकार और संरचनाएं बनाई जा रही होती हैं)। एक बार जब पेंटिंग लगभग पूरी हो जाती है, तो कोच शांत रहता है क्योंकि बड़े निर्णय पहले ही लिए जा चुके होते हैं।
यह फीडबैक से सीखता है: कोच को एक "रिवॉर्ड सिस्टम" का उपयोग करके प्रशिक्षित किया गया था। कल्पना करें कि कोच पेंटिंग करके अभ्यास कर रहा है, फिर एक जज (एक "रिवॉर्ड मॉडल") से स्कोर प्राप्त कर रहा है कि चित्र विवरण से कितनी अच्छी तरह मेल खाता है। कोच उच्च स्कोर प्राप्त करने के लिए सही समायोजन फुसफुसाना सीखता है।

परिणाम

शोधकर्ताओं ने इसका परीक्षण Stable Diffusion 3.5 पर किया, जो एक बहुत ही उन्नत AI पेंटिंग मॉडल है।

परिणाम: जब उन्होंने QRM कोच जोड़ा, तो परिणामी पेंटिंग काफी बेहतर थी। वे टेक्स्ट विवरणों से अधिक सटीक रूप से मेल खाते थे और मानवीय आंखों को अधिक सुखद लगे।
दक्षता: उन्हें विशाल रोबोट कलाकार को फिर से प्रशिक्षित करने की आवश्यकता नहीं पड़ी। उन्होंने बस छोटा कोच प्लग इन किया, और रोबोट तुरंत उच्च गुणवत्ता वाली कला बनाने लगा।

एक सरल उपमा सारांश

AI मॉडल को एक GPS नेविगेशन सिस्टम के रूप में सोचें।

बेसलाइन: GPS गंतव्य (टेक्स्ट प्रॉम्प्ट) और वर्तमान समय जानता है। यह आपको निर्देश देता है।
समस्या: कभी-कभी GPS ट्रैफिक में फंस जाता है या गलत मोड़ ले लेता है, लेकिन उसे पुनर्गणना (recalculate) करने का पता नहीं चलता क्योंकि वह केवल मानचित्र और घड़ी को देखता है।
QRM: यह एक लाइव ट्रैफिक अपडेट फीचर की तरह है। यह वास्तविक सड़क की स्थिति (वर्तमान इमेज स्टेट) को देखता है और GPS को फुसफुसाता है, "हे, वह रास्ता अवरुद्ध लग रहा है; आइए दिशा को थोड़ा बाईं ओर मोड़ें।"
परिणाम: आप बिना नया कार खरीदे या पूरे GPS सिस्टम को पुन: प्रोग्राम किए, कम गलत मोड़ों के साथ अपने गंतव्य पर तेजी से पहुँचते हैं।

संक्षेप में, यह पेपर एक चतुर, कम लागत वाले "कोच" को पेश करता है जो शक्तिशाली AI आर्ट जनरेटरों को वास्तविक समय में अपनी गलतियों को सुधारने में मदद करता है, जिससे पूरे सिस्टम को फिर से बनाए बिना बेहतर, अधिक सटीक चित्र मिलते हैं।

तकनीकी सारांश: डिफ्यूजन ट्रांसफॉर्मर्स के लिए क्वालिटी-अवेयर मॉड्यूलेशन

समस्या विवरण

आधुनिक टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल, विशेष रूप से डिफ्यूजन ट्रांसफॉर्मर (DiT) जैसे कि स्टेबल डिफ्यूजन 3.5 (SD3.5), कंडीशनिंग सिग्नल्स—विशेष रूप से टाइमस्टेप एम्बेडिंग्स और पूल्ड प्रॉम्प्ट एम्बेडिंग्स—पर निर्भर करते हैं जो अडैप्टिव लेयर नॉर्मलाइजेशन (AdaLN) के माध्यम से नॉइज़ डिनोइजिंग प्रक्रिया को नियंत्रित (modulate) करते हैं। जबकि ये सिग्नल्स वर्तमान नॉइज़ स्तर और सिमेंटिक इरादे को प्रभावी ढंग से संप्रेषित करते हैं, उनमें क्वालिटी-अवेयर जानकारी की कमी होती है। फलस्वरूप, मॉड्यूलेशन तंत्र नमूना-विशिष्ट विफलता मोड (failure modes) पर सीधे प्रतिक्रिया नहीं कर सकता है, जैसे कि एरर एक्युमुलेशन (error accumulation), गलत प्रॉम्प्ट व्याख्या, या हैलुसिनेटेड फीचर्स जो लेटेंट इमेज के विकसित होने के साथ उभरते हैं। बेसलाइन कंडीशनिंग वर्तमान लेटेंट स्टेट से स्वतंत्र है ( $\partial M_{base} / \partial x_t = 0$ ), जो मॉडल को वास्तविक गुणवत्ता के आधार पर फिडेलिटी संबंधी समस्याओं को ठीक करने से रोकता है।

कार्यप्रणाली (Methodology)

लेखक क्वालिटी रिप्रेजेंटेशन मॉड्यूल (QRM) का प्रस्ताव करते हैं, जो एक हल्का ट्रांसफॉर्मर-आधारित एडॉप्टर है जिसे प्रीट्रेन्ड बैकबोन को संशोधित किए बिना डिफ्यूजन प्रक्रिया में क्वालिटी-अवेयर सिग्नल्स इंजेक्ट करने के लिए डिज़ाइन किया गया है।

आर्किटेक्चर

QRM को एक ट्रांसफॉर्मर डिकोडर के रूप में लागू किया गया है जो बेसलाइन AdaLN पैरामीटर्स ( $M_{base}$ ) में एडिटिव मॉड्यूलेशन ऑफसेट्स ( $M_{qrm}$ ) की भविष्यवाणी करता है।

इनपुट्स: मॉड्यूल वर्तमान लेटेंट इमेज ( $x_t$ ), पूल्ड प्रॉम्प्ट एम्बेडिंग ( $p$ ), टाइमस्टेप एम्बेडिंग ( $t$ ), और बेसलाइन मॉड्यूलेशन पैरामीटर्स ( $M_{base}$ ) प्राप्त करता है।
प्रोसेसिंग:
1. लेटेंट इमेज $x_t$ को एक लर्नड $1\times1$ कनवल्शन और अडैप्टिव पूलिंग के माध्यम से लेटेंट टोकन्स में प्रोजेक्ट किया जाता है।
2. बेसलाइन मॉड्यूलेशन पैरामीटर्स को नॉर्मलाइज़ और प्रोजेक्ट करके क्वेरी टोकन्स ( $Z_0$ ) बनाए जाते हैं।
3. लेटेंट टोकन्स, प्रॉम्प्ट और टाइमस्टेप एम्बेडिंग्स से एक की-वैल्यू मेमोरी ($KV$) निर्मित की जाती है।
4. क्रॉस-अटेंशन और सेल्फ-अटेंशन लेयर्स के माध्यम से, क्वेरी टोकन्स एक रिफाइंड रिप्रेजेंटेशन उत्पन्न करने के लिए $KV$ मेमोरी पर अटेंड करते हैं।

आउटपुट को नेटिव AdaLN विड्थ्स में वापस प्रोजेक्ट किया जाता है ताकि ऑफसेट वेक्टर $M_{qrm}$ प्राप्त हो सके।

एप्लीकेशन: ट्रांसफॉर्मर ब्लॉक्स पर लागू किया गया अंतिम मॉड्यूलेशन $M_t = M_{base,t} + M_{qrm,t}$ है।

ट्रेनिंग स्ट्रैटेजी (ReFL)

QRM को रिवॉर्ड फीडबैक लर्निंग (ReFL) स्ट्रैटेजी का उपयोग करके प्रशिक्षित किया गया है:

फ्रोजन कंपोनेंट्स: डिफ्यूजन बैकबोन (डिनोइज़र, टेक्स्ट एनकोडर्स, VAE), सैंपलर, और रिवॉर्ड मॉडल फ्रीज़ (frozen) रहते हैं। केवल QRM पैरामीटर्स को अपडेट किया जाता है।
ऑब्जेक्टिव: मॉड्यूल एक स्केलर रिवॉर्ड स्कोर को मैक्सिमाइज़ करना सीखता है जो एक फ्रीज़्ड रिवॉर्ड मॉडल (जैसे, HPSv2.1 या CLIPScore) से प्राप्त होता है, जिसे एक इंटरमीडिएट डिनोइजिंग स्टेप से डिकोड की गई इमेज पर लागू किया जाता है।
लॉस फंक्शन्स: पेपर या तो रिवॉर्ड-मैक्सिमाइज़ेशन लॉस या मार्जिन-सीकिंग लॉस का उपयोग करता है, जो QRM-मॉड्यूलेटेड इमेज को बेसलाइन से एक विशिष्ट मार्जिन द्वारा बेहतर प्रदर्शन करने के लिए प्रेरित करता है।
टाइमस्टेप सिलेक्शन: दक्षता और स्ट्रक्चरल फॉर्मेशन पर ध्यान केंद्रित करने के लिए, QRM को पूरे डिफ्यूजन शेड्यूल के बजाय केवल एक पूर्व-निर्धारित सबसेट के हाई-नॉइज़ टाइमस्टेप्स (जैसे, $t \in \{50, \dots, 26\}$ ) के दौरान सक्रिय किया जाता है।

इन्फरेंस (Inference)

इन्फरेंस के दौरान, प्रशिक्षित QRM मॉड्यूल एक प्लग-इन एडॉप्टर के रूप में कार्य करता है। यह वर्तमान लेटेंट स्टेट के आधार पर मॉड्यूलेशन ऑफसेट्स की भविष्यवाणी करता है और उन्हें बेसलाइन पैरामीटर्स में जोड़ देता है। यह मॉडल को सैंपलिंग शेड्यूल या बैकबोन को बदले बिना, डिनोइजिंग ट्रजेक्टरी को उच्च-गुणवत्ता वाली अवस्थाओं की ओर मोड़ने की अनुमति देता है।

मुख्य योगदान

QRM आर्किटेक्चर: एक हल्का ट्रांसफॉर्मर मॉड्यूल जो मौजूदा मॉडल इनपुट्स (लेटेंट, प्रॉम्प्ट, टाइमस्टेप) से क्वालिटी-अवेयर रिप्रेजेंटेशन सीखने के लिए बनाया गया है ताकि मॉड्यूलेशन पैरामीटर्स को रिफाइन किया जा सके।
नॉन-इनवेसिव इंटीग्रेशन: डिफ्यूजन बैकबोन, VAE, या सैंपलिंग शेड्यूल को संशोधित किए बिना, लेटेंट इमेज क्वालिटी सिग्नल्स के माध्यम से डिफ्यूजन ट्रांसफॉर्मर मॉड्यूलेशन को बढ़ाने का एक तंत्र।
रिवॉर्ड-गाइडेड मॉड्यूलेशन: यह प्रदर्शन कि प्रेडिक्टेड मॉड्यूलेशन अपडेट्स ( $M_{qrm}$ ) प्रत्येक टाइमस्टेप पर डिनोइजिंग प्रक्रिया को प्रभावी ढंग से रिफाइन कर सकते हैं, जिससे प्रॉम्प्ट एडहेरेंस और इमेज फिडेलिटी में सुधार होता है।
व्यापक मूल्यांकन: QRM आर्किटेक्चर साइज, एक्टिव टाइमस्टेप रेंज और ट्रेनिंग रिवॉर्ड मेट्रिक्स के प्रभावों का विश्लेषण करने वाले विस्तृत एब्लेशन अध्ययन।

प्रयोगात्मक परिणाम

लेखकों ने Parti-Prompts बेंचमार्क पर Stable Diffusion 3.5 (SD3.5) का उपयोग करके QRM का मूल्यांकन किया।

क्वांटिटेटिव परफॉरमेंस:
- SD3.5 बेसलाइन की तुलना में, HPSv2.1 को रिवॉर्ड सिग्नल के रूप में उपयोग करके प्रशिक्षित QRM ने सभी मूल्यांकित विधियों (प्रॉम्प्ट रिफाइनमेंट, फाइन-ट्यूनिंग और ReNeg दृष्टिकोणों सहित) में उच्चतम स्कोर प्राप्त किया।
- सुधार: एस्थेटिक स्कोर में +0.20 और HPSv2.1 स्कोर में +0.82 की वृद्धि।
- जब इसे CLIPScore के साथ प्रशिक्षित किया गया, तो QRM ने मानव-वरीयता संरेखण (HPSv2.1) में सुधार किया और साथ ही तुलनीय पर्सेप्चुअल क्वालिटी बनाए रखी।
क्वालिटेटिव एनालिसिस:
- डिनोइजिंग ट्रजेक्टरीज के विज़ुअलाइज़ेशन दिखाते हैं कि शुरुआती, हाई-नॉइज़ टाइमस्टेप्स के दौरान QML लागू करने से बेसलाइन की तुलना में काफी पहले पहचानने योग्य सिमेंटिक स्ट्रक्चर उभर आते हैं।
- मध्य या बाद के चरणों में QRM लागू करने से कम सुधार हुआ, जो पुष्टि करता है कि ग्लोबल स्ट्रक्चर डिफ्यूजन प्रक्रिया के शुरुआती चरण में स्थापित हो जाता है।
एब्लेशन निष्कर्ष:
- कैपेसिटी: बड़े QRM मॉडल विशिष्ट ट्रेनिंग रिवॉर्ड (जैसे, HPSv2.1) के लिए अधिक मजबूती से अनुकूलित हुए, लेकिन अन्य मेट्रिक्स (जैसे, CLIPScore) में मामूली ट्रेड-ऑफ दिखाया।
- टाइमस्टेप रेंज: शुरुआती टाइमस्टेप्स ( $50 \to 26$ ) के दौरान मॉड्यूलेशन, बाद के चरणों की तुलना में एलाइनमेंट के लिए लगातार अधिक प्रभावी था।
- रिवॉर्ड मेट्रिक: रिवॉर्ड मॉडल (CLIPScore बनाम HPSv2.1) का चुनाव QRM द्वारा सीखे गए पर्सेप्चुअल बायस (perceptual biases) को सीधे आकार देता है।

महत्व और दावे

पेपर का दावा है कि मॉड्यूलेशन-लेवल इंटरवेंशन बड़े डिफ्यूजन मॉडल्स को मानव-वरीयता सिग्नल्स के साथ संरेखित करने के लिए एक स्केलेबल और प्रभावी मार्ग प्रदान करते हैं। उन विधियों के विपरीत जिनमें पूरे बैकबोन के महंगे फाइन-ट्यूनिंग (जैसे, LoRA या फुल फाइन-ट्यूनिंग) की आवश्यकता होती है, QRM विकसित होते लेटेंट रिप्रेजेंटेशन पर आधारित एडिटिव मॉड्यूलेशन अपडेट के माध्यम से निरंतर गुणवत्ता सुधार प्राप्त करता है।

लेखक QRM को एक लचीले, क्वालिटी-अवेयर एडॉप्टर के रूप में देखते हैं जिसे विभिन्न रिवॉर्ड सिग्नल्स द्वारा निर्देशित किया जा सकता है और विभिन्न डिफ्यूजन ट्रांसफॉर्मर आर्किटेक्चर पर लागू किया जा सकता है। वे स्वीकार करते हैं कि QRM अपने ट्रेनिंग रिवॉर्ड मॉडल्स के पूर्वाग्रहों (biases) को विरासत में प्राप्त करता है और सुझाव देते हैं कि भविष्य के कार्य मजबूती और सामान्यीकरण को बढ़ाने के लिए मल्टी-रिवॉर्ड ट्रेनिंग और अडैप्टिव टाइमस्टेप सिलेक्शन का पता लगा सकते हैं। यह कार्य प्रदर्शित करता है कि स्टेट-ऑफ-द-आर्ट मॉडल्स के प्रीट्रेन्ड वेट्स को बदले बिना महत्वपूर्ण इमेज फिडेलिटी और प्रॉम्प्ट एलाइनमेंट में सुधार प्राप्त किया जा सकता है।