💻 computer science

Orthogonal Negative Guidance in Attention Feature Space for Text-to-Image Generation

यह शोध पत्र ऑर्थोगोनल नेगेटिव गाइडेंस (Orthogonal Negative Guidance) का प्रस्ताव करता है, जो टेक्स्ट-टू-इमेज जनरेशन के लिए एक ट्रेनिंग-फ्री विधि है जो पॉजिटिव अटेंशन फीचर्स के सापेक्ष नेगेटिव-प्रॉम्ट अटेंशन फीचर्स को ऑर्थोगोनलाइज़ करके अवांछित अवधारणाओं को दबा देती है, जिससे इमेज क्वालिटी और प्रॉम्ट एलाइनमेंट को बनाए रखते हुए बेहतर कॉन्सेप्ट रिमूवल प्राप्त किया जाता है।

मूल लेखक: Jungmin Ko, Jungwon Park, Jimyeong Kim, Changin Choi, Wonseok Lee, Wonjong Rhee

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jungmin Ko, Jungwon Park, Jimyeong Kim, Changin Choi, Wonseok Lee, Wonjong Rhee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ (AI) हैं जो किसी रेसिपी (टेक्स्ट प्रॉम्प्ट) के आधार पर व्यंजन बनाने में अविश्वसनीय रूप से प्रतिभाशाली हैं। आप "रैमेन के एक कटोरे" को बहुत स्वादिष्ट बना सकते हैं, लेकिन एक समस्या है: हर बार जब आप रैमेन बनाते हैं, तो आप अपने आप उसमें एक उबला हुआ अंडा डाल देते हैं, भले ही ग्राहक ने इसकी मांग न की हो।

यदि आप शेफ को केवल, "अंडा नहीं!" (एक नेगेटिव प्रॉम्प्ट) कहते हैं, तो शेफ भ्रमित हो सकता है और गलती से और अधिक अंडे डाल सकता है, या अंडों से बचने की कोशिश में वह पूरे व्यंजन को ही खराब कर सकता है। यह AI इमेज जनरेटरों की वर्तमान समस्या है: उन्हें क्या शामिल नहीं करना है, यह बताना (एक नेगेटिव प्रॉम्प्ट देना) आश्चर्यजनक रूप से कठिन है।

यह पेपर एक नई, चतुर तकनीक पेश करता है जिसे ऑर्थोगोनल नेगेटिव गाइडेंस (Orthogonal Negative Guidance) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "भद्दा इरेज़र" (The Clumsy Eraser)

अनचाही चीजों (जैसे "रैमेन" से "अंडा" हटाना) को हटाने के वर्तमान तरीके एक ड्राइंग पर विशाल, भद्दे इरेज़र (मिटाने वाले) का उपयोग करने जैसे हैं।

"प्रॉम्प्ट नेगेशन" (Prompt Negation) दृष्टिकोण: आप बस कहते हैं "अंडा नहीं।" AI अक्सर आपकी बात को अनदेखा कर देता है या भ्रमित हो जाता है।
"सबट्रैक्शन" (Subtraction) दृष्टिकोण: कुछ तरीके "रैमेन" के विचार से "अंडा" के विचार को घटाने की कोशिश करते हैं। लेकिन कल्पना कीजिए कि "अंडा" और "रैमेन" एक ही स्याही से लिखे गए हों। यदि आप "अंडा" शब्द को मिटाने की कोशिश करते हैं, तो आप अनजाने में "रैमेन" के हिस्सों को भी मिटा सकते हैं, जिससे आपको एक धुंधली, टूटी हुई तस्वीर मिल सकती है।

2. समाधान: "स्मार्ट फ़िल्टर" (The Smart Filter - Orthogonal Negative Guidance)

लेखक एक ऐसा तरीका प्रस्तावित करते हैं जो एक स्मार्ट फ़िल्टर या एक विशेष छलनी की तरह काम करता है। अंधाधुंध मिटाने के बजाय, यह उन "सामग्रियों" (गणितीय विशेषताओं/features) को देखता है जिनका उपयोग AI छवि बनाने के लिए कर रहा है।

सेटअप: AI दो सूचना धाराओं (streams) का उपयोग करके छवि बना रहा है:
1. पॉजिटिव स्ट्रीम: "रैमेन का एक कटोरा बनाएं।"
2. नेगेटिव स्ट्रीम: "अंडा न बनाएं।"
जादुई ट्रिक (Orthogonalization):
कल्पना कीजिए कि "रैमेन" स्ट्रीम एक वेक्टर (तीर) है जो एक विशिष्ट दिशा में इशारा कर रहा है। "कोई अंडा नहीं" स्ट्रीम एक दूसरा तीर है।
- कभी-कभी, "कोई अंडा नहीं" वाला तीर उस दिशा में इशारा करता है जो "रैमेन" के तीर के साथ ओवरलैप (एक दूसरे के ऊपर) होती है। यदि आप बस "कोई अंडा नहीं" वाले तीर को घटाते हैं, तो आप "रैमेन" को बिगाड़ देते हैं।
- यह नया तरीका "कोई अंडा नहीं" वाले तीर की गणना करता है और उसे घुमा देता (rotate) है ताकि वह "रैमेन" के तीर के बिल्कुल लंबवत (perpendicular - 90-डिग्री के कोण पर) हो जाए।
- इसके बाद, यह केवल "कोई अंडा नहीं" वाले तीर के उस हिस्से को हटाता है जो बगल में बाहर निकला हुआ है (वह हिस्सा जो रैमेन के साथ ओवरलैप नहीं होता है)।

उपमा: "रैमेन" को एक लाल प्रकाश किरण और "अंडा" को एक नीली प्रकाश किरण के रूप में सोचें। वे एक ही दीवार पर चमक रहे हैं।

पुराने तरीके नीली रोशनी को बंद करने की कोशिश करते हैं, लेकिन ऐसा करने में वे लाल रोशनी को भी धीमा कर देते हैं।
यह नया तरीका नीली रोशनी के उस हिस्से को ढूंढता है जो लाल रोशनी पर नहीं चमक रहा है, और केवल उसी विशिष्ट हिस्से को रोकता है। लाल रोशनी (रैमेन) उज्ज्वल और स्पष्ट रहती है, जबकि नीली रोशनी (अंडा) पूरी तरह से ब्लॉक हो जाती है।

3. यह क्या हासिल करता है

क्योंकि यह तरीका बहुत सटीक है, यह वह काम कर सकता है जो अन्य तरीके नहीं कर सकते:

मल्टी-कॉन्सेप्ट सप्रेशन (Multi-Concept Suppression): आप AI को एक ही समय में दोनों "अंडा" और "चॉपस्टिक्स" को हटाने के लिए कह सकते हैं, और यह रैमेन के कटोरे को खराब किए बिना दोनों को संभाल लेगा।
समायोज्य शक्ति (Adjustable Strength): आप एक "डायल" घुमाकर यह तय कर सकते हैं कि आप अंडे को कितना दबाना चाहते हैं। आप "शायद कोई अंडा नहीं" से लेकर "निश्चित रूप से कोई अंडा नहीं" तक जा सकते हैं बिना छवि को बेकार बनाए।
कोई री-ट्रेनिंग नहीं (No Re-training): सबसे अच्छी बात यह है कि इसके लिए AI को फिर से सिखाने की आवश्यकता नहीं है। यह एक "प्लग-एंड-प्ले" ट्रिक है जिसे छवि बनते समय लागू किया जाता है।

4. परिणाम

लेखकों ने इसका परीक्षण DCS-Bench (Diverse Concept Suppression Benchmark) पर किया, जो कि 200 विभिन्न परिदृश्यों (जैसे, "स्टेथोस्कोप" के बिना "एक डॉक्टर", या "सोफा" के बिना "एक लिविंग रूम") का एक परीक्षण है।

स्कोर: मानव परीक्षणों में, लोगों ने इस नए तरीके को अगली सबसे अच्छी विकल्प की तुलना में लगभग 19% बेहतर पाया।
गुणवत्ता: छवियां धुंधली या अजीब नहीं हुईं। "रैमेन" अभी भी रैमेन जैसा ही दिखता था, बस उसमें अनचाहा "अंडा" नहीं था।

सारांश

संक्षेप में, यह पेपर इस गणितीय ट्रिक का उपयोग करके "AI को क्या नहीं बनाना है, यह बताने" की समस्या को हल करता है ताकि अच्छी और बुरी विचारों को आपस में मिलने से पहले ही अलग किया जा सके। यह एक क्लब के बाउंसर की तरह है जो जानता है कि अनचाहे मेहमान (अंडे) को अंदर आने से रोकने के लिए VIP (रैमेन) को गलती से बाहर निकाले बिना ठीक क्या करना है।

तकनीकी सारांश: टेक्स्ट-टू-इमेज जनरेशन के लिए अटेंशन फीचर स्पेस में ऑर्थोगोनल नेगेटिव गाइडेंस

समस्या विवरण

यद्यपि टेक्स्ट-टू-इमेज (T2I) मॉडल उच्च गुणवत्ता वाली छवियां उत्पन्न करने में काफी उन्नत हुए हैं, विशिष्ट वस्तुओं या गुणों की अनुपस्थिति को स्पष्ट रूप से लागू करना एक मौलिक चुनौती बनी हुई है। मौजूदा रणनीतियां उल्लेखनीय सीमाओं से ग्रस्त हैं:

प्रॉम्प्ट नेगेशन (Prompt Negation): "no" या "without" जैसे शब्दों को जोड़ने मात्र से अक्सर विफलता मिलती है, और कभी-कभी यह मॉडल को नेगेटेड कॉन्सेप्ट (negated concept) को बिना नेगेशन के मुकाबले और भी अधिक बार उत्पन्न करने के लिए प्रेरित करता है।
जनरेट-एंड-एडिट पाइपलाइन्स (Generate-and-Edit Pipelines): ये विधियाँ पहले एक छवि उत्पन्न करती हैं और फिर अवांछित अवधारणाओं को हटाने के लिए एडिटिंग मॉडल्स का उपयोग करती हैं। हालाँकि, क्योंकि एडिटिंग मॉडल्स स्थानिक और संरचनात्मक अखंडता (spatial and structural integrity) बनाए रखने के लिए प्रशिक्षित होते हैं, वे उन अवधारणाओं को हटाने में संघर्ष करते हैं जिन्हें दृश्य के महत्वपूर्ण संरचनात्मक पुनर्गठन की आवश्यकता होती है।
मानक नेगेटिव गाइडेंस (Standard Negative Guidance): क्लासिफायर-फ्री गाइडेंस (CFG) और इसके वेरिएंट्स (जैसे, NAG, NASA) जैसी तकनीकें नकारात्मक प्रॉम्प्ट से दूर जाने के लिए लीनियर सबट्रैक्शन (linear subtraction) का उपयोग करती हैं। हालाँकि, वे अक्सर पूरे नेगेटिव सिग्नल को घटा देती हैं, जिससे अवांछित अवधारणा के पर्याप्त रूप से दबने से पहले ही पॉजिटिव प्रॉम्प्ट के साथ संरेखण (alignment) और समग्र छवि की गुणवत्ता खराब हो जाती है।

कार्यप्रणाली (Methodology)

लेखक ऑर्थोगनल नेगेटिव गाइडेंस (Orthogonal Negative Guidance) का प्रस्ताव करते हैं, जो मल्टीमॉडल डिफ्यूजन ट्रांसफॉर्मर (MM-DiT) आर्किटेक्चर (जैसे, FLUX-dev, FLUX-schnell) पर आधारित रेक्टिफाइड फ्लो T2I मॉडल्स के लिए एक ट्रेनिंग-फ्री विधि है। यह विधि वांछित सिमेंटिक्स को संरक्षित करते हुए अवांछित अवधारणाओं को दबाने के लिए अटेंशन फीचर स्पेस के भीतर हस्तक्षेप करती है।

मुख्य तंत्र (Core Mechanism)

यह विधि MM-DiT ब्लॉक्स के भीतर इमेज-टू-टेक्स्ट अटेंशन आउटपुट्स ( $Z_{I2T}$ ) में हस्तक्षेप करती है, जो क्रॉस-मोडल इंटरैक्शन को संचालित करते हैं। इस प्रक्रिया में दो समानांतर शाखाएं शामिल हैं:

पॉजिटिव ब्रांच: मूल जनरेशन प्रॉम्प्ट ( $P^+$ ) के आधार पर अटेंशन आउटपुट्स की गणना करती है।
नेगेटिव ब्रांच: एक सहायक नेगेटिव प्रॉम्प्ट ( $P^-$ ) के आधार पर अटेंशन आउटपुट्स की गणना करती है जो दबाई जाने वाली अवधारणा को निर्दिष्ट करता है। महत्वपूर्ण बात यह है कि यह शाखा स्थानिक संरेखण सुनिश्चित करने के लिए पॉजिटिव ब्रांच से इमेज-साइड फीचर्स ( $Q_I, K_I, V_I$ ) का पुन: उपयोग करती है, जबकि अपने स्वयं के टेक्स्ट-साइड फीचर्स का उपयोग करती है।

ऑर्थोगोनल सबट्रैक्शन (Orthogonal Subtraction)

पॉजिटिव आउटपुट ( $Z_{I2T}^+$ ) से सीधे नेगेटिव अटेंशन आउटपुट ( $Z_{I2T}^-$ ) को घटाने के बजाय, यह विधि केवल उस घटक को अलग और हटाती है जो पॉजिटिव सिग्नल के ऑर्थोगोनल (लंबवत) है। संशोधित अटेंशन आउटपुट $\widehat{Z}_{I2T}^+$ की गणना इस प्रकार की जाती है:

$\widehat{Z}_{I2T}^+ = Z_{I2T}^+ - \alpha \cdot \left[ Z_{I2T}^- - \mathrm{proj}_{Z_{I2T}^+}(Z_{I2T}^-) \right]$

जहाँ:

$\alpha$ गाइडेंस स्केल है।
$\mathrm{proj}_{Z_{I2T}^+}(\cdot)$ हिडन डायमेंशन के साथ पॉजिटिव वेक्टर पर नेगेटिव वेक्टर का प्रोजेक्शन है।

केवल ऑर्थोगोनल घटक को घटाकर, यह विधि पॉजिटिव प्रॉम्प्ट के साथ संरेखित सिमेंटिक दिशाओं में हस्तक्षेप किए बिना, अवांछित अवधारणा से संबंधित जानकारी को दबा देती है। यह प्रक्रिया एक विशिष्ट टाइमस्टेप $\tau$ से शुरू होने वाले सभी MM-DiT ब्लॉक्स पर लागू की जाती है।

प्रमुख योगदान

ऑर्थोगोनल नेगेटिव गाइडेंस: अटेंशन फीचर स्पेस में एक अभिनव, ट्रेनिंग-फ्री हस्तक्षेप जो नेगेटिव गाइडेंस सिग्नल्स के केवल ऑर्थोगोनल घटक को हटाकर अवांछित अवधारणाओं को प्रभावी ढंग से दबाता है, जिससे प्रॉम्प्ट एलाइनमेंट और इमेज क्वालिटी बनी रहती है।
विविध अवधारणा दमन बेंचमार्क (DCS-Bench): लेखक छह सिमेंटिक श्रेणियों (जैसे, प्लेस/सीन, इवेंट/एक्शन, को-ऑकरिंग ऑब्जेक्ट्स) में 200 सप्रेशन परिदृश्यों वाला एक नया बेंचमार्क पेश करते हैं। पिछली धारणाओं (जैसे, "ब्लरी") के विपरीत, DCS-Bench उन विशिष्ट अवधारणाओं को दबाने की क्षमता का मूल्यांकन करता है जिन्हें मॉडल अक्सर हैलुसिनेट (hallucinate) करते हैं।
व्यापक मूल्यांकन: FLUX-dev, FLUX-schnell, और Stable Diffusion 3.5 Large पर व्यापक प्रयोगों से पता चलता है कि यह विधि मौजूदा नेगेटिव गाइडेंस बेसलाइन्स (CFG, NASA, NAG, VSF) और जनरेट-एंड-एडिट पाइपलाइन्स (Kontext, Qwen-Image-Edit, OmniGen2) से बेहतर प्रदर्शन करती है।

प्रयोगात्मक परिणाम

मात्रात्मक प्रदर्शन

VLM-आधारित मेट्रिक्स (नेगेटिव कॉन्सेप्ट सप्रेशन, प्रॉम्प्ट एलाइनमेंट, इमेज क्वालिटी) का उपयोग करते हुए, प्रस्तावित विधि बेहतर ट्रेड-ऑफ प्राप्त करती है:

सप्रेशन (Suppression): FLUX-dev पर, यह विधि सभी पूर्ववर्ती नेगेटिव गाइडेंस विधियों की तुलना में नेगेटिव कॉन्सेप्ट सप्रेशन में कम से कम 15% सुधार करती है।
एलाइनमेंट और क्वालिटी: लीनियर सबट्रैक्शन विधियों के विपरीत, जो इमेज क्वालिटी या प्रॉम्प्ट एलाइनमेंट को कम करती हैं, ऑर्थोगोनल नेगेटिव गाइडेंस दोनों मेट्रिक्स में उच्च स्कोर बनाए रखती है, जो मूल मॉडल के तुलनीय है।
मानवीय मूल्यांकन: 111 प्रतिभागियों के एक अध्ययन में, इस विधि ने 70.81% का प्रेफरेंस स्कोर प्राप्त किया, जो दूसरे सर्वश्रेष्ठ बेसलाइन (NAG @ 46.22%) से 18.78% अधिक है।

गुणात्मक अवलोकन

बहु-अवधारणा दमन (Multi-Concept Suppression): यह विधि एक ही नेगेटिव प्रॉम्प्ट में उन्हें सूचीबद्ध करके कई अवधारणाओं को एक साथ दबा सकती है।
समायोज्य दमन (Adjustable Suppression): गाइडेंस स्केल $\alpha$ को बदलकर, उपयोगकर्ता दृश्य को नष्ट किए बिना अवधारणाओं को धीरे-धीरे हटाकर सप्रेशन की शक्ति को निरंतर नियंत्रित कर सकते हैं।
विफलता के मामले (Failure Cases): यह विधि कभी-कभी उन प्लेस/सीन और इवेंट/एक्शन श्रेणियों के साथ संघर्ष करती है जहाँ अवधारणा दृश्य की संरचना में गहराई से एकीकृत होती है (जैसे, "प्रोफेशनल फोटोग्राफी स्टूडियो" से "सॉफ्टबॉक्स लाइट्स" को पूरी तरह से हटाने में विफल होना)।

महत्व और दावे

पेपर का दावा है कि ऑर्थोगोनल नेगेटिव गाइडेंस कॉन्सेप्ट सप्रेशन और सिमेंटिक फिडेलिटी के बीच के ट्रेड-ऑफ को संबोधित करके कंट्रोलेबल T2I जनरेशन में एक महत्वपूर्ण कदम है। लेखक इस बात पर जोर देते हैं कि उनकी विधि:

इसके लिए रीट्रेनिंग या अतिरिक्त पैरामीटर्स की आवश्यकता नहीं है।
आधुनिक रेक्टिफाइड-फ्लो ट्रांसफॉर्मर आर्किटेक्चर में सहजता से एकीकृत होती है।
प्रॉम्प्ट नेगेशन या पोस्ट-हॉक एडिटिंग की तुलना में अवधारणा हटाने के लिए एक अधिक स्पष्ट तंत्र प्रदान करती है।
DCS-Bench के माध्यम से मूल्यांकन के लिए एक नया मानक स्थापित करती है, जो यह उजागर करता है कि वर्तमान विधियाँ विविध, वास्तविक दुनिया के सप्रेशन परिदृश्यों के लिए अपर्याप्त हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि यह विधि सभी संरचनात्मक संपादन कार्यों (जहाँ अनुक्रमिक संपादन के लिए जनरेट-एंड-एडिट पाइपलाइन्स अभी भी पसंद किए जा सकते हैं) के लिए रामबाण नहीं है, फिर भी यह विशिष्ट अवधारणाओं की अनुपस्थिति के संबंध में उपयोगकर्ता के प्रतिबंधों का सख्ती से पालन करने वाली छवियां उत्पन्न करने की क्षमता में काफी सुधार करती है।