🤖 AI

ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts

ContrastiveCFG डिफ्यूजन मॉडल्स के लिए एक नवीन मार्गदर्शन विधि पेश करता है जो सकारात्मक और नकारात्मक अवधारणाओं के आधार पर डिनोइजिंग दिशाओं को संरेखित या प्रतिकर्षित करने के लिए कंट्रास्टिव लॉस का उपयोग करता है, जो पारंपरिक नेगेटिवेटेड CFG दृष्टिकोणों द्वारा उत्पन्न नमूना विरूपण से बचते हुए, प्रभावी रूप से कंडीशन अनुपालन में सुधार करता है और अवांछित विशेषताओं को हटाता है।

मूल लेखक: Jinho Chang, Changsun Lee, Hyungjin Chung, Jong Chul Ye

प्रकाशित 2026-07-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinho Chang, Changsun Lee, Hyungjin Chung, Jong Chul Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कलाकार हैं जो किसी विवरण के आधार पर एक चित्र बनाने की कोशिश कर रहे हैं। आपके पास एक बहुत ही सहायक सहायक (AI) है जो पेंटिंग करना जानता है, लेकिन कभी-कभी वह सहायक थोड़ा अधिक उत्साही या भ्रमित हो जाता है।

यह शोध पत्र उस AI सहायक से बात करने का एक नया तरीका पेश करता है जिसे ContrastiveCFG (या CCFG) कहा जाता है। यह समझने के लिए कि यह क्यों विशेष है, आइए देखें कि वर्तमान तरीके कैसे काम करते हैं और वे कहाँ गलत होते हैं।

समस्या: "बहुत तेज़ चिल्लाने वाला" सहायक

वर्तमान में, यदि आप चाहते हैं कि AI किसी विशिष्ट चीज़ (जैसे कि "गोल्डन रिट्रीवर") को चित्रित करे, तो आप CFG नामक तकनीक का उपयोग करते हैं। इसे ऐसे समझें जैसे सहायक आपके निर्देशों को सुनने के लिए और करीब झुक रहा है, जिससे उसके मन में "गोल्डन रिट्रीवर" का विचार और भी स्पष्ट या "ज़ोरदार" हो जाता है। यह बहुत अच्छा काम करता है।

लेकिन क्या होगा यदि आप किसी चीज़ से बचना चाहते हैं? शायद आप एक "गोल्डन रिट्रीवर" चाहते हैं लेकिन "बिल्लियाँ" नहीं।

पुराना तरीका (Negative Prompting): वर्तमान तरीका बिल्ली को हटाने के लिए केवल "बिल्ली नहीं!" (NO CAT!) को यथासंभव ज़ोर से चिल्लाकर हटाने की कोशिश करता है।
दोष: क्योंकि AI "बिल्ली नहीं!" इतनी ज़ोर से चिल्ला रहा है, यह पूरे चित्र को विकृत करने लगता है। यह गलती से कुत्ते के बालों को मिटा सकता है, बैकग्राउंड को शोर (static) में बदल सकता है, या कुत्ते को अजीब बना सकता है क्योंकि वह बिल्ली न होने पर इतना केंद्रित है कि वह भूल जाता है कि कुत्ता कैसे दिखना चाहिए। यह बिल्कुल वैसा ही है जैसे किसी मकड़ी से बचने के लिए इतनी तेज़ी से भागना कि आप अपने ही पैरों से टकराकर गिर जाएँ।

समाधान: "स्मार्ट कंट्रास्ट" विधि

इस पेपर के लेखक ContrastiveCFG का प्रस्ताव देते हैं। केवल "नहीं" चिल्लाने के बजाय, वे AI को दो विचारों की तुलना करना सिखाते हैं।

यहाँ समानता (analogy) दी गई है:
कल्पना कीजिए कि आप एक अस्त-व्यस्त कमरे में एक विशिष्ट चाबी ढूँढने की कोशिश कर रहे हैं।

पुराना तरीका: आप चिल्लाते हैं, "लाल चाबियों को मत देखो!" इससे आप घबरा जाते हैं और गलती से मेज को गिरा देते हैं, जिससे सारी चाबियाँ खो जाती हैं।
नया तरीका (CCFG): आप वह "सुनहरी चाबी" पकड़ते हैं जो आप चाहते हैं और वह "लाल चाबी" जिसे आप नहीं चाहते। आप AI से कहते हैं: "इन दोनों के बीच के अंतर को देखो। छवि को सुनहरी चाबी की ओर खींचो और लाल चाबी से धीरे से दूर धकेलो।"

यह कैसे काम करता है (जादुई ट्रिक)

पेपर बताता है कि यह विधि AI को निर्देशित करने के लिए गणितीय "कंट्रास्ट" (एक तुलना) का उपयोग करती है।

उन चीज़ों के लिए जिन्हें आप चाहते हैं (Positive): यह छवि को आपके विवरण के करीब खींचता है, ठीक पुराने तरीके की तरह, लेकिन यह इसे बहुत सहजता से करता है।
उन चीज़ों के लिए जिन्हें आप नहीं चाहते (Negative): यह सबसे चतुर हिस्सा है।
- यदि छवि पहले से ही उस चीज़ से दूर है जिसे आप नापसंद करते हैं (उदाहरण के लिए, चित्र बिल्ली जैसा बिल्कुल नहीं दिखता), तो AI धक्का देना बंद कर देता है। उसे एहसास होता है, "ओह, यह बिल्ली नहीं है, मुझे अब चिल्लाने की ज़रूरत नहीं है।" वह छवि को स्वाभाविक रूप से स्थिर होने देता है।
- यदि छवि उस चीज़ जैसा दिखने लगती है जिसे आप नापसंद करते हैं, तो AI उसे धीरे से वापस उस चीज़ की ओर धकेलता है जिसे आप चाहते हैं।

यह पुराने तरीके के "घबराहट" या "पैनिक" को रोकता है। यह किसी अवधारणा से बचने के लिए चित्र को विकृत नहीं करता; यह केवल तभी बल लगाता है जब आवश्यक हो।

शोध के परिणाम

शोधकर्ताओं ने सरल आकृतियों से लेकर जटिल टेक्स्ट-टू-इमेज जनरेशन (जैसे Stable Diffusion) तक विभिन्न ड्राइंग कार्यों पर इसका परीक्षण किया।

बेहतर परिणाम: जब उन्होंने AI को बिल्ली के बिना कुत्ता बनाने के लिए कहा, तो नए तरीके ने कुत्ते को असली कुत्ते जैसा बनाए रखा, जबकि पुराने तरीके ने कुत्ते को टूटा हुआ या धुंधला बना दिया।
सटीकता: यह अनचाहे विवरणों (जैसे यात्री के चित्र में "छड़ी") को हटाने में बेहतर था, बिना यात्री की टोपी या बैकग्राउंड को गलती से हटाए।
गुणवत्ता: इस नई विधि से उत्पन्न चित्र आम तौर पर उच्च गुणवत्ता वाले थे और पुराने "चिल्लाने" वाले तरीके की तुलना में अधिक प्राकृतिक दिखते थे।

सारांश में

ContrastiveCFG एक भारी हथौड़े से एक सूक्ष्म स्केलपेल (scalpel) में अपग्रेड करने जैसा है।

पुराना तरीका: अनचाही चीज़ों को चित्र से बाहर निकालने के लिए उन्हें तोड़ देता है, और अक्सर इस प्रक्रिया में अच्छी चीज़ों को भी तोड़ देता है।
नया तरीका: चित्र को धीरे से उस चीज़ से दूर धकेलता है जिसे आप नहीं चाहते और उस चीज़ की ओर लाता है जिसे आप चाहते हैं, और दबाव केवल तभी डालता है जब वास्तव में इसकी आवश्यकता होती है। इसके परिणामस्वरूप अधिक साफ, सटीक और उच्च गुणवत्ता वाले चित्र मिलते हैं।

तकनीकी सारांश: ContrastiveCFG

समस्या विवरण (Problem Statement)
डिफ्यूजन मॉडल सैंपलिंग में कंडीशन अलाइनमेंट को बेहतर बनाने के लिए क्लासिफायर-फ्री गाइडेंस (CFG) एक मानक बन गया है, जो पोस्टीरियर डिस्ट्रीब्यूशन को शार्प करता है। हालांकि, CFG का एक सामान्य अनुप्रयोग "नेगेटिव प्रॉम्प्टिंग" (NP) है, जहाँ उपयोगकर्ता केवल CFG गाइडेंस वेक्टर को नकार कर (अर्थात $p(x)/p(c|x)^\gamma$ ) अवांछित विशेषताओं को फ़िल्टर करने का प्रयास करते हैं। यह शोध पत्र इस सहज दृष्टिकोण में एक गंभीर दोष की पहचान करता है: गाइडेंस को नकारने से एक इनवर्टेड प्रोबेबिलिटी डिस्ट्रीब्यूशन बन जाता है। जैसे-जैसे गाइडेंस स्केल $\gamma$ बढ़ता है, यह इनवर्टेड डिस्ट्रीब्यूशन मार्जिनल डेटा डिस्ट्रीब्यूशन पर हावी हो जाता है, जिससे सैंपल्स लो-डेंसिटी क्षेत्रों में चले जाते हैं या मूल डेटा सपोर्ट से पूरी तरह बाहर हो जाते हैं। इसके परिणामस्वरूप सैंपल क्वालिटी में महत्वपूर्ण गिरावट और आर्टिफैक्ट्स (artifacts) उत्पन्न होते हैं। जबकि हाल के तरीके जैसे डायनेमिक नेगेटिव गाइडेंस (DNG), पूरक कंडीशंस का उपयोग करके इसे कम करने का प्रयास करते हैं, वे तब संघर्ष करते हैं जब पॉजिटिव और नेगेटिव कंडीशंस परस्पर अनन्य (mutually exclusive) नहीं होते (जैसे, ओवरलैपिंग टेक्स्ट प्रॉम्प्ट्स), जिससे वांछित अवधारणाओं से समझौता किए बिना अवांछित अवधारणाओं को पूरी तरह से हटाना कठिन हो जाता है।

कार्यप्रणाली (Methodology)
लेखक ContrastiveCFG (CCFG) का प्रस्ताव करते हैं, जो एक नवीन गाइडेंस रणनीति है जो कंडीशनल सैंपलिंग को कॉन्ट्रास्टिव लॉस (contrastive loss) का उपयोग करके एक ऑप्टिमाइज़ेशन समस्या के रूप में पुनर्गठित करती है, जो विशेष रूप से नॉइज़ कॉन्ट्रास्टिव एस्टीमेशन (NCE) से व्युत्पन्न है।

मुख्य अवधारणा: प्रोबेबिलिटी डिस्ट्रीशन को उलटने के बजाय, CCFG गाइडेंस को एक ऑब्जेक्टिव के रूप में मानता है जो कॉन्ट्रास्टिव लॉस फंक्शन का उपयोग करके डिनोइजिंग दिशा को या तो एक पॉजिटिव कंडीशन ( $c_+$ की ओर) आकर्षित करता है या एक नेगेटिव कंडीशन ( $c_-$ से) दूर धकेलता है।
व्युत्पत्ति (Derivation):
- विधि एक प्री-ट्रेन्ड डिफ्यूजन मॉडल का उपयोग करके डेटा डिस्ट्रीब्यूशन $p_\theta(x)$ को पैरामीटराइज़ करती है और अनकंडीशनल (या वैकल्पिक) प्रेडिक्शन के आधार पर एक नॉइज़ डिस्ट्रीब्यूशन $q(x)$ को परिभाषित करती है।
- पॉजिटिव गाइडेंस के लिए, मॉडल एक लॉस को मिनिमाइज़ करता है जो प्रेडिक्टेड नॉइज़ $\epsilon$ को कंडीशनल नॉइज़ $\hat{\epsilon}_{c}$ के साथ संरेखित करने और इसे अनकंडीशनल नॉइज़ $\hat{\epsilon}_{\emptyset}$ से अलग करने के लिए प्रोत्साहित करता है।
- नेगेटिव गाइडेंस के लिए, भूमिकाएँ उलट जाती हैं: मॉडल एक लॉस को मिनिमाइज़ करता है जो प्रेडिक्टेड नॉइज़ को अवांछित कंडीशन $\hat{\epsilon}_{c_-}$ से दूर धकेलता है जबकि इसे अनकंडीशनल बेसलाइन के करीब रखता है।
सैंपलिंग रणनीति:
- लेखक कॉन्ट्रास्टिव लॉस के ग्रेडिएंट के आधार पर डिनोइजिंग दिशा $\hat{\epsilon}$ के लिए एक क्लोज्ड-फॉर्म अपडेट नियम निकालते हैं।
- परिणामी गाइडेंस टर्म में एक डायनेमिक वेटिंग कोएफिशिएंट शामिल होता है (जो कंडीशनल और अनकंडीशनल प्रेडिक्शन्स के बीच की दूरी पर निर्भर करता है)।
- महत्वपूर्ण रूप से, जैसे-जैसे वर्तमान सैंपल नेगेटिव कंडीशन से कम संबंधित होता जाता है, नेगेटिव गाइडेंस की शक्ति स्वतः ही शून्य की ओर कम हो जाती है। यह स्टैंडर्ड NP में देखे जाने वाले "ओवर-रिपेलिंग" (over-repelling) और डिस्ट्रीब्यूशनल शिफ्ट को रोकता है।
- यह विधि न्यूनतम कंप्यूटेशनल ओवरहेड के साथ मौजूदा डिटर्मिनिस्टिक DDIM सैंपलिंग में सहजता से एकीकृत हो जाती है, जिसमें केवल कंडीशनल और अनकंडीशनल मॉडल्स के लिए अतिरिक्त फॉरवर्ड पासेस की आवश्यकता होती है।

प्रमुख योगदान (Key Contributions)

नवीन गाइडेंस फॉर्मूलेशन: यह पेपर डिफ्यूजन गाइडेंस के लिए एक कॉन्ट्रास्टिव लॉस-आधारित फ्रेमवर्क पेश करता है जो स्टैंडर्ड नेगेटिव प्रॉम्प्टिंग में निहित प्रोबेबिलिटी डिस्ट्रीब्यूशन को उलटने की गणितीय खामियों से बचता है।
डायनेमिक एटेनुएशन (Dynamic Attenuation): स्टैटिक नेगेशन विधियों के विपरीत, CCFG रिपल्शन (repulsion) की शक्ति को स्वचालित रूप से नियंत्रित करता है। जैसे ही सैंपल अवांछित अवधारणा से दूर जाता है, गाइडेंस बल कम हो जाता है, जिससे यह सुनिश्चित होता है कि सैंपलिंग प्रक्रिया एक वैध डेटा मैनिफोल्ड के भीतर बनी रहे।
एकीकृत फ्रेमवर्क: यह दृष्टिकोण एक ही सुसंगत गणितीय फॉर्मूलेशन के भीतर पॉजिटिव और नेगेटिव दोनों कंडीशंस को संभालता है, जिससे जटिल कॉन्फ्लिक्ट रेजोल्यूशन के लिए हाइपरपैरामीटर ट्यूनिंग की आवश्यकता के बिना वांछित अवधारणाओं के प्रति आकर्षण और अवांछित अवधारणाओं से प्रतिकर्षण संभव होता है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने क्लास-कंडीशनल जनरेशन (MNIST, CIFAR10, ImageNet-1k) और टेक्स्ट-टू-इमेज (T2I) जनरेशन (StableDiffusion 1.5, SDXL) सहित विविध परिदृश्यों में CCFG का मूल्यांकन किया।

क्लास-कंडीशनल जनरेशन: ImageNet-1k पर, CCFG ने बेसलाइन्स जैसे CFG++, NP, DNG, Perp-Neg, और SLD की तुलना में उच्चतम "ओवरऑल एक्यूरेसी" (एक साथ पॉजिटिव अलाइनमेंट और नेगेटिव एक्सक्लूजन) प्राप्त की। इसने उच्च सौंदर्य स्कोर और इमेज क्वालिटी बनाए रखते हुए अवांछित क्लासेज (जैसे, मेलटीज़ बनाम साइबेरियन हस्की जैसे समान ब्रीड्स के बीच अंतर करना) को सफलतापूर्वक हटाया, जबकि NP ने इमेज क्वालिटी को खराब कर दिया और DNG ओवरलैपिंग क्लासेज को पूरी तरह से हटाने में विफल रहा।
टेक्स्ट-टू-इमेज जनरेशन: T2I कार्यों में, CCFA ने पॉजिटिव प्रॉम्प्ट को विकृत किए बिना या आर्टिफैक्ट्स पेश किए बिना जटिल, ओवरलैपिंग टेक्स्ट प्रॉम्प्ट्स से अवांछित अवधारणाओं को हटाने में बेहतर प्रदर्शन किया। विजुअल उदाहरणों ने दिखाया कि जबकि NP अक्सर पूरी श्रेणियों को हटा देता था (जैसे, "स्ट्रॉबेरी" हटाने के लिए सभी लाल फलों को हटा देना) या इमेज कोहेरेंस को खराब कर देता था, CCFA ने सटीक रूप से अवांछित विशेषताओं को लक्षित किया।
क्वांटिटेटिव बेंचमार्क्स: प्रस्तावित PIE-Bench-Neg डेटासेट पर, CCFG ने पॉजिटिव प्रॉम्प्ट अलाइनमेंट (CLIP, ImageReward, HPS-v2 द्वारा मापा गया) और नेगेटिव प्रॉम्प्ट सप्रेशन दोनों में स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया, जो अन्य उन्नत नेगेटिव गाइडेंस विधियों से बेहतर है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि ContrastiveCFG मौजूदा नेगेटिव गाइडेंस विधियों की सीमाओं के लिए एक सैद्धांतिक रूप से सुदृढ़ और व्यावहारिक रूप से प्रभावी समाधान प्रदान करता है। प्रोबेबिलिटी के सहज इनवर्जन को कॉन्ट्रास्टिव ऑप्टिमाइज़ेशन ऑब्जेक्टिव से बदलकर, CCFA पॉजिटिव कंडीशंस के लिए पारंपरिक CFG के समान गाइडिंग प्रभाव प्राप्त करता है, जबकि नेगेटिव प्रॉम्प्टिंग से जुड़ी सैंपल क्वालिटी गिरावट और डिस्ट्रीबशनल शिफ्ट को दूर करता है। लेखक इस बात पर जोर देते हैं कि उनकी विधि वांछित गुणवत्ता का त्याग किए बिना अवांछित अवधारणाओं को निष्ठापूर्वक हटाती है, यहाँ तक कि उन परिदृश्यों में भी जहाँ पॉजिटिव और नेगेटिव कंडीशंस ओवरलैप होती हैं, जो इसे डिफ्यूजन मॉडल्स के लिए फाइन-ग्रेन्ड कंट्रोल हेतु एक मजबूत उपकरण बनाता है।

समस्या: "बहुत तेज़ चिल्लाने वाला" सहायक

समाधान: "स्मार्ट कंट्रास्ट" विधि

यह कैसे काम करता है (जादुई ट्रिक)

शोध के परिणाम

सारांश में

इसी तरह के और पेपर