💻 computer science

Intermediate Text Representation Guided Text-to-Image Generation for Enhancing One-and-Only Alignment

यह शोध पत्र एक मध्यवर्ती टेक्स्ट प्रतिनिधित्व-निर्देशित विधि का प्रस्ताव करके "एक और केवल एक" (one-and-only) वस्तुओं को निष्ठापूर्वक रेंडर करने में टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल की विफलता को संबोधित करता है, जो दमित अवधारणा संबंधी जानकारी को पुनः प्राप्त करने के लिए प्रारंभिक-परत एनकोडर अवस्थाओं को इंजेक्ट करता है, जिससे बिना किसी अतिरिक्त प्रशिक्षण के महत्वपूर्ण संरेखण सुधार प्राप्त होता है।

मूल लेखक: Soyoun Won, Aryan Yazdan Parast, Basim Azam, Jean Honorio, Naveed Akhtar

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Soyoun Won, Aryan Yazdan Parast, Basim Azam, Jean Honorio, Naveed Akhtar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करते हुए शोध पत्र की व्याख्या दी गई है।

समस्या: "ज़िद्दी कलाकार" (The Stubborn Artist)

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली कलाकार है जिसने अपना पूरा जीवन कुछ ही विषयों की पेंटिंग बनाने में बिताया है। वह जानता है कि पृथ्वी नीली और हरी है, मोना लिसा कैनवास पर बनी एक पेंटिंग है, और शनि के छल्ले हैं। ये तथ्य उसकी यादों में इतनी गहराई से बसे हुए हैं कि वे एक "डिफ़ॉल्ट सेटिंग" की तरह काम करते हैं।

अब, आप इस कलाकार से एक बैंगनी पृथ्वी या एक बुनी हुई (knitted) मोना लिसा बनाने के लिए कहते हैं। भले ही आपने स्पष्ट निर्देश दिए हों, कलाकार आपकी बात अनसुनी कर देता है। वह कहता है, "नहीं, मुझे पता है कि पृथ्वी कैसी दिखती है," और वह फिर भी नीली पृथ्वी ही बनाता है। वह अपनी "सीखी हुई आदतों" पर इतना केंद्रित है कि वह आपके नए विचार को सुन ही नहीं पाता।

AI की दुनिया में, इसे कॉन्सेप्ट एसोसिएशन बायस (Concept Association Bias) कहा जाता है। AI मॉडल (जैसे Stable Diffusion) यथार्थवादी चित्र बनाने में इतने अच्छे हैं कि वे अपने स्वयं के नियमों को तोड़ने से इनकार कर देते हैं, भले ही आप उन्हें स्पष्ट रूप से कुछ बदलने के लिए कहें। यह "एकमात्र और विशिष्ट" (One-and-Only) वस्तुओं के साथ विशेष रूप से कठिन होता—ऐसी चीजें जो केवल एक प्रसिद्ध रूप में मौजूद होती हैं, जैसे एफिल टॉवर या सूर्य।

खोज: "खोया हुआ ड्राफ्ट" (The Lost Draft)

शोधकर्ताओं ने खोजा कि ऐसा क्यों होता है। जब AI आपके टेक्स्ट प्रॉम्प्ट को पढ़ता है, तो वह इसे परतों की एक श्रृंखला के माध्यम से प्रोसेस करता है, जो एक फैक्ट्री असेंबली लाइन की तरह है।

शुरुआती परतें (ड्राफ्ट): शुरुआत में, AI शब्दों को पढ़ता है और विशिष्ट विवरणों को समझता है। वह "बैंगनी", "बुना हुआ" और "अष्टकोणीय" (octagon) को जानता है।
अंतिम परत (सारांश): जब तक टेक्स्ट प्रोसेसिंग लाइन के बिल्कुल अंत तक पहुँचता है, AI सब कुछ एक एकल, उच्च-स्तरीय "वाइब" (vibe) में सारांशित कर देता है। इस सारांश में, विशिष्ट विवरण (जैसे "बैंगनी") सुचारू होकर लुप्त हो जाते हैं। AI केवल बड़ी तस्वीर को याद रखता है: "यह एक पृथ्वी है।"

शोधकर्ताओं ने पाया कि टेक्स्ट प्रोसेसर की मध्यवर्ती परतें (middle layers) अभी भी उन विशिष्ट विवरणों को थामे रहती हैं जिन्हें अंतिम सारांश ने फेंक दिया था। यह ऐसा है जैसे AI ने एक विस्तृत ड्राफ्ट लिखा लेकिन पेंटिंग शुरू करने से पहले उसे कचरे में फेंक दिया, और केवल एक धुंधला नोट रखा कि "पृथ्वी बनाओ।"

समाधान: "IR-गाइडेड डिफ्यूजन" (IR-Guided Diffusion)

टीम ने AI को फिर से प्रशिक्षित किए बिना या उसे नई चीजें सिखाए बिना इसे ठीक करने के लिए एक चतुर तरकीब निकाली। वे इसे इंटरमीडिएट टेक्स्ट रिप्रेजेंटेशन (IR) गाइडेंस कहते हैं।

AI की पेंटिंग प्रक्रिया को मिट्टी के साथ काम करने वाले मूर्तिकार की तरह समझें:

शुरुआती चरण (संरचना): मूर्तिकार पहले मूर्ति का एक मोटा आकार बनाता है।
बाद के चरण (विवरण): फिर मूर्तिकार बारीक विवरण जोड़ता है, जैसे त्वचा की बनावट या कपड़ों की सिलवटें।

शोधकर्ताओं ने महसूस किया कि यदि वे चाहते हैं कि AI एक "बैंगनी पृथ्वी" बनाए, तो उन्हें "बैंगनी" शब्द को तब याद दिलाना होगा जब AI अभी भी मोटा आकार (rough shape) बना रहा हो।

वे इसे कैसे करते हैं:

वे उस "खोए हुए ड्राफ्ट" (मध्यवर्ती टेक्स्ट रिप्रेजेंटेशन) को लेते हैं जो अभी भी "बैंगनी" शब्द को याद रखता है।
वे इसे उन निर्देशों के साथ वापस मिला देते है जिनका पालन AI इमेज बनाने के शुरुआती चरणों के दौरान कर रहा होता है।
एक बार जब मोटा आकार सेट हो जाता है, तो वे ड्राफ्ट को मिलाना बंद कर देते हैं और AI को अपने सामान्य निर्देशों का उपयोग करके विवरण पूरा करने देते हैं।

यह मूर्तिकार के कान में एक याद दिलाने जैसा है: "हे, भूलना मत, यह बैंगनी होना चाहिए!" ठीक उसी समय जब वह मिट्टी को आकार दे रहा होता है। एक बार आकार सेट हो जाने के बाद, याद दिलाने की प्रक्रिया रुक जाती है ताकि मूर्तिकार वास्तविकता दिखाने पर ध्यान केंद्रित कर सके।

परिणाम: नियमों को तोड़ना

शोधकर्ताओं ने एक नए चुनौती सेट पर इसका परीक्षण किया जिसे उन्होंने OAO-AttackBench नाम दिया। यह असंभव अनुरोधों की एक सूची थी, जैसे "एक वर्गाकार पृथ्वी" या "एक कांच का शनि"।

पहले: AI अनुरोध को अनदेखा कर देता और एक सामान्य, गोल, पथरीली पृथ्वी बना देता।
बाद में: AI ने सफलतापूर्वक एक वर्गाकार आकार की पृथ्वी और कांच का शनि बनाया, जबकि वे अभी भी पहचानने योग्य रहे कि वे पृथ्वी और शनि हैं।

उन्होंने पाया कि यह विधि:

खोए हुए विवरणों को वापस लाती है: यह AI को उन विशिष्ट गुणों को सुनने के लिए मजबूर करती है जिन्हें वह आमतौर पर अनदेखा कर देता है।
इमेज को खराब नहीं करती: चित्र अभी भी उच्च गुणवत्ता वाले और यथार्थवादी दिखते हैं; वे बस अजीब निर्देशों का बेहतर पालन करते हैं।
अतिरिक्त प्रशिक्षण की आवश्यकता नहीं है: यह मौजूदा AI मॉडल के साथ तुरंत काम करता है, जैसे किसी नए एक्सेसरी को प्लग इन करना।

सारांश

यह शोध पत्र दिखाता है कि AI मॉडल कभी-कभी विशिष्ट निर्देशों को "भूल" जाते हैं क्योंकि वे जो पहले से जानते हैं उस पर बहुत अधिक केंद्रित हो जाते हैं। AI के "मध्यवर्ती विचारों" (intermediate text layers) को देखकर और उन विचारों को इमेज निर्माण के शुरुआती चरणों में वापस फीड करके, शोधकर्ता AI को असामान्य निर्देश मानने के लिए मजबूर कर सकते हैं—जैसे बुनी हुई मोना लिसा या बैंगनी ग्रह बनाना—बिना AI को कुछ नया सिखाए।

तकनीकी सारांश: वन-एंड-ओनली (OAO) संरेखण को बढ़ाने के लिए मध्यवर्ती पाठ प्रतिनिधित्व द्वारा निर्देशित टेक्स्ट-टू-इमेज जनरेशन

1. समस्या विवरण

टेक्स्ट-टू-इमेज (T2I) डिफ्यूजन मॉडल अक्सर स्पष्ट पाठ्य विवरणों को निष्ठापूर्वक प्रस्तुत करने में विफल रहते हैं, विशेष रूप से तब जब वे विवरण मॉडल के मजबूती से सीखे गए विजुअल प्रायर्स (visual priors) के विपरीत हों। इस घटना को कॉन्सेप्ट एसोसिएशन बायस (concept association bias) कहा जाता है। यह पूर्वाग्रह वन-एंड-ओनली (OAO) संस्थाओं के लिए सबसे गंभीर है—वे वस्तुएं जो एक एकल मानक रूप में मौजूद होती हैं (जैसे, पृथ्वी, मोना लिसा, एफिल टॉवर)। इन संस्थाओं के लिए, मॉडल की अंतर्निहित दृश्य पहचान अक्सर स्पष्ट पाठ्य निर्देशों को ओवरराइड कर देती है (जैसे, "ग्रे अर्थ" या "बुनी हुई मोना लिसा" उत्पन्न करने में विफल रहना)।

लेखक मानते हैं कि यह विफलता टेक्स्ट एनकोडर के सूचना-सैद्धांतिक गुणों से उत्पन्न होती है। जबकि सरल अवधारणाएं एनकोडर की शुरुआती परतों में उभरती हैं, अंतिम टेक्स्ट एम्बेडिंग (जो कंडीशनिंग के लिए उपयोग किया जाता है) अत्यधिक अमूर्तीकरण के माध्यम से विशिष्ट अवधारणा-स्तरीय जानकारी को हटा देती है। फलस्वरूप, इनपुट टेक्स्ट और अंतिम एम्बेडिंग के बीच म्यूचुअल इंफॉर्मेशन (mutual information) मध्यवर्ती हिडन स्टेट्स की तुलना में कम होता है, जिससे डिनोइजिंग प्रक्रिया के दौरान विशिष्ट गुणों का दमन हो जाता है।

2. कार्यप्रणाली: IR-निर्देशित डिफ्यूजन

यह शोध पत्र इंटरमीडिएट टेक्स्ट रिप्रेजेंटेशन (IR)-गाइडेड डिफ्यूजन का प्रस्ताव करता है, जो एक ट्रेनिंग-फ्री, ऑप्टिमाइजेशन-फ्री विधि है जो कंडीशनिंग सिग्नल में टेक्स्ट एनकोडर के मध्यवर्ती हिडन स्टेट्स को इंजेक्ट करके दमित अवधारणाओं को पुनः प्राप्त करती है।

2.1 सैद्धांतिक आधार

सूचना-सैद्धांतिक परिप्रेक्ष्य का उपयोग करते हुए, लेखक कॉन्सेप्ट ओमिशन (concept omission) समस्या को औपचारिक रूप देते हैं। वे प्रदर्शित करते हैं कि एक ऑब्जेक्ट $A$ का वर्णन करने वाले गुण $b$ के साथ टेक्स्ट प्रॉम्प्ट $Y$ के लिए, जनरेट किया गया लेटेंट $x_t$ अक्सर $A$ के लिए विचार करने के बाद $b$ के बारे में नगण्य जानकारी रखता है ( $I(b; x_t | A) \approx 0$ )।
टेक्स्ट एनकोडर को एक मार्कोव चेन $Y \rightarrow c_h \rightarrow c_f$ (जहाँ $c_h$ एक मध्यवर्ती प्रतिनिधित्व है और $c_f$ अंतिम एम्बेडिंग है) के रूप में विश्लेषण करके, वे डेटा प्रोसेसिंग इनइक्वेलिटी (DPI) को लागू करते हैं। यह सिद्ध करता है कि इनपुट टेक्स्ट और मध्यवर्ती प्रतिनिधित्व के बीच म्यूचुअल इंफॉर्मेशन, अंतिम एम्बेडिंग की तुलना में अधिक या उसके बराबर है:
$I(Y; c_h) \ge I(Y; c_f)$
लेखक यह तर्क देते हैं कि $c_h$ (या $c_h$ और $c_f$ के संयोजन) पर कंडीशनिंग करने से $c_f$ में खोई हुई एट्रिब्यूट-विशिष्ट जानकारी सुरक्षित रहती है।

2.2 इंजेक्शन मैकेनिज्म

यह विधि अंतिम एम्बेडिंग में मध्यवर्ती प्रतिनिधित्व को जोड़कर एक IR-गाइडेड एम्बेडिंग $\tilde{c}$ का निर्माण करती है:
$\tilde{c} = c_f + \lambda c_h$
जहाँ $\lambda \in [0, 1]$ इंजेक्शन स्ट्रेंथ को नियंत्रित करता है। अनुकूलता सुनिश्चित करने के लिए, $c_h$ को $c_f$ के वितरण के साथ संरेखित करने के लिए टेक्स्ट एनकोडर के अंतिम लेयर नॉर्मलाइजेशन से गुजारा जाता है। इस संशोधित एम्बेडिंग $\tilde{c}$ का उपयोग स्कोर फंक्शन $\nabla_{x_t} \log p_\theta(x_t | \tilde{c})$ की गणना के लिए किया जाता है।

यह दृष्टिकोण सिंगल-एनकोडर आर्किटेक्चर (जैसे, Stable Diffusion 2.1) और मल्टी-एनकोडर आर्किटेक्चर (जैसे, Stable Diffusion 3.0) दोनों का समर्थन करता है, जिसमें सभी एनकोडर से मध्यवर्ती अवस्थाओं को निकालकर, उन्हें संयोजित करके, और परिणाम को संयोजित अंतिम एम्बेडिंग्स में जोड़कर किया जाता है।

2.3 एडेप्टिव शेड्यूलिंग

संपूर्ण डिनोइजिंग प्रक्रिया के दौरान मध्यवर्ती प्रतिनिधित्व को इंजेक्ट करने से आर्टिफैक्ट्स आ सकते हैं। लेखक देखते हैं कि डिफ्यूजन मॉडल शुरुआती चरणों में ग्लोबल स्ट्रक्चर स्थापित करते हैं और बाद के चरणों में विवरणों को रिफाइन करते हैं। इसलिए, वे इष्टतम ट्रांजिशन पॉइंट $t^*$ निर्धारित करने के लिए एक एडेप्टिव शेड्यूलर का उपयोग करते हैं:

शुरुआती चरण ( $t > t^*$ ): मॉडल को ग्लोबल स्ट्रक्चर स्थापित करने और दमित गुणों को शामिल करने के लिए $\tilde{c}$ (मध्यवर्ती-निर्देशित) पर कंडीशन किया जाता है।
बाद के चरण ( $t \le t^*$ ): मॉडल विवरण रिफाइनमेंट के लिए मानक अंतिम एम्बेडिंग $c_f$ पर वापस आ जाता है।

ट्रांजिशन पॉइंट $t^*$ को अनुमानित क्लीन इमेज $\hat{x}_{0|t}$ के स्ट्रक्चरल एक्सेलरेशन $\Delta D_t$ की निगरानी करके गतिशील रूप से निर्धारित किया जाता है। शेड्यूलर इंजेक्शन को तब रोकता है जब स्ट्रक्चरल परिवर्तन स्थिर हो जाते हैं ( $\Delta D_t \le 0$ )।

3. मुख्य योगदान

सूचना-सैद्धांतिक विश्लेषण: शोध पत्र पहचानता है कि अंतिम टेक्स्ट एम्बेडिंग्स मध्यवर्ती परतों में मौजूद कॉन्सेप्ट-लेवल जानकारी को हटा देते हैं, जिससे डिनोइजिंग प्रक्रिया के लिए उपलब्ध म्यूचुअल इंफॉर्मेशन कम हो जाती है।
IR-गाइडेड डिफ्यूजन: एक नवीन, ट्रेनिंग-फ्री विधि जो डिनोइजिंग के शुरुआती चरणों के दौरान कंडीशनिंग सिग्नल में मध्यवर्ती टेक्स्ट रिप्रेजेंटेशन को इंजेक्ट करती है। यह बिना किसी बाहरी मॉडल, पूर्व-निर्धारित कॉन्सेप्ट सेट, या अतिरिक्त ऑप्टिमाइजेशन के दमित कॉन्सेप्ट्स को पुनः प्राप्त करती है।
OAO-AttackBench: एक नया बेंचमार्क जिसमें 504 काउंटरफैक्चुअल प्रॉम्प्ट्स शामिल हैं, जिन्हें तीन श्रेणियों में OAO संस्थाओं की मूल विजुअल आइडेंटिटी पर हमला करने के लिए डिज़ाइन किया गया है: खगोलीय पिंड (celestial objects), लैंडमार्क्स, और आर्टवर्क्स। यह बेंचमार्क व्यवस्थित रूप से कॉन्सेप्ट एसोसिएशन बायस का मूल्यांकन करता है।

4. प्रयोगात्मक परिणाम

इस विधि का मूल्यांकन चार बेंचमार्क: OAO-AttackBench, Whoops (कॉमन सेंस का उल्लंघन करने वाले प्रॉम्प्ट्स), Gecko(R), और Gecko(S) पर Stable Diffusion 2.1 और 3.0 का उपयोग करके किया गया।

टेक्स्ट-टू-इमेज एलाइनमेंट: IR-गाइडेड डिफ्यूजन ने बेसलाइन की तुलना में OAO-AttackBench पर VQAScore में 19.1 प्रतिशत अंक तक सुधार किया। इसने फाइन-ग्रेंड एट्रिब्यूट्स को कैप्चर करने में बेसलाइन और वैकल्पिक पोस्ट-प्रोसेसिंग रणनीतियों (जैसे, मीन-एसटीडी नॉर्मलाइजेशन, ऑर्थोगोनल प्रोजेक्शन) को लगातार पछाड़ दिया।
फिडेलिटी और ह्यूमन प्रेफरेंस: विधि ने जनरेशन फिडेलिटी को बनाए रखा, जिसमें कर्नेल इनसेप्शन डिस्टेंस (KID) स्कोर बेसलाइन के बराबर या उससे बेहतर था। ह्यूमन प्रेफरेंस स्कोर (HPSv2 और HPSv2.1) भी बेहतर रहे, जो इंगित करते हैं कि जनरेट की गई छवियां न केवल प्रॉम्प्ट के प्रति अधिक वफादार थीं बल्कि विजुअली भी प्रशंसनीय थीं।
सामान्यीकरण (Generalization): Gecko जैसे सामान्य डेटासेट्स पर, विधि ने बेसलाइन के समान प्रदर्शन बनाए रखा, जो दर्शाता है कि यह मानक प्रॉम्प्ट्स के लिए गुणवत्ता को कम नहीं करती है।
गुणात्मक सुधार: विधि ने मजबूत प्रायर्स को सफलतापूर्वक ओवरराइड किया (जैसे, "ग्लास सैटर्न" या "अष्टकोणीय आकार की पृथ्वी" जनरेट करना) जबकि ऑब्जेक्ट की पहचान को सुरक्षित रखा, जबकि बेसलाइन्स अक्सर एट्रिब्यूट को अनदेखा कर देती थीं या उसे सही ऑब्जेक्ट के साथ जोड़ने में विफल रहती थीं।

5. महत्व और दावे

शोध पत्र का दावा है कि IR-गाइडेड डिफ्यूजन वर्तमान T2I मॉडल्स की एक मौलिक सीमा को संबोधित करता है: बिना रिट्रेनिंग के OAO संस्थाओं के लिए गहराई से रची-बसी विजुअल आइडेंटिटी को ओवरराइड करने में असमर्थता। टेक्स्ट एनकोडर के मध्यवर्ती स्टेट्स के "अनटैप्ड इंटरनल रिसोर्स" का लाभ उठाकर, यह विधि एक व्यावहारिक, इन्फरेंस-टाइम समाधान प्रदान करती है जिसके लिए किसी अतिरिक्त ट्रेनिंग या बाहरी मॉडल की आवश्यकता नहीं है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण उन पिछले कार्यों से अलग है जो फीचर्स को हटाने या विविधता लाने का लक्ष्य रखते हैं; इसके बजाय, यह उन विशिष्ट कॉन्सेप्ट्स को जनरेट करने की पूरक समस्या को हल करता है जिन्हें मॉडल आमतौर पर दबा देता है। OAO-AttackBench का परिचय भविष्य के अनुसंधान में कॉन्सेप्ट एसोसिएशन बायस का मूल्यांकन करने और उसे संबोधित करने के लिए एक कठोर प्रोटोकॉल प्रदान करता है। इस विधि को एक मजबूत, एडेप्टिव रणनीति के रूप में प्रस्तुत किया गया है जो अत्याधुनिक डिफ्यूजन मॉडल्स के उच्च-गुणवत्ता वाले जनरेशन स्टैंडर्ड्स को बनाए रखते हुए एलाइनमेंट में सुधार करती है।