Advanced Image Generation: Negative Prompt Optimization and Latent Classifier Guidance

तकनीकी सारांश: नकारात्मक प्रॉम्प्ट अनुकूलन और लेटेंट क्लासिफायर गाइडेंस के माध्यम से उन्नत छवि निर्माण

समस्या विवरण
यद्यपि स्टेबल डिफ्यूजन जैसे डिफ्यूजन मॉडल ने टेक्स्ट-टू-इमेज जनरेशन में क्रांति ला दी है, फिर भी वे अक्सर दृश्य विरूपण (visual artifacts), सिमेंटिक ड्रिफ्ट (semantic drift) और उपयोगकर्ता के इरादे का सख्ती से पालन करने में विफल रहने जैसी समस्याओं से जूझते हैं। मौजूदा समाधान अक्सर नेगेटिव प्रॉम्प्ट इंजीनियरिंग और क्लासिफायर गाइडेंस को अलग-अलग चुनौतियों के रूप में संबोधित करते हैं। यह शोध पत्र इन मुद्दों को कम करने के लिए नेगेटिव प्रॉम्प्ट को अनुकूलित करने और लेटेंट-स्पेस मूल्यांकन के माध्यम से डिफ्यूजन प्रक्रिया को निर्देशित करने के लिए एक एकीकृत ढांचे (unified framework) का प्रस्ताव करता है।

कार्यप्रणाली
प्रस्तावित प्रणाली एक मॉड्यूलर पाइपलाइन के रूप में तीन मुख्य मॉड्यूल को एकीकृत करती है, जिसे स्ट्रीमलिट (Streamlit) एप्लिकेशन के माध्यम से कार्यान्वित किया गया है:

1. नेगेटिव प्रॉम्प्ट अनुकूलन (Negative Prompt Optimization): लेखक नेगेटिव प्रॉम्प्ट जनरेशन को एक कंडीशनल लैंग्वेज टास्क के रूप में मॉडल करते हैं। वे एक प्री-ट्रेंड Seq2Seq मॉडल (T5-base) को क्रॉस-एन्ट्रॉपी ऑब्जेक्टिव के साथ प्रॉम्प्ट-नेगेटिव प्रॉम्प्ट जोड़ों पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) दृष्टिकोण का उपयोग करके फाइन-ट्यून करते हैं। इन्फरेंस के दौरान, एक बीम सर्च एल्गोरिदम अवांछित विशेषताओं को दबाने के लिए गतिशील रूप से अनुकूलित नेगेटिव प्रॉम्प्ट ($p^-$) उत्पन्न करता है।

2. डिफ्यूजन इंजन (Diffusion Engine): सिस्टम एक निश्चित सैंपलिंग के लिए DDIM शेड्यूलर के साथ एक स्टेबल डिफ्यूजन पाइपलाइन का उपयोग करता है। UNet, लेटेंट रिप्रेजेंटेशन $z_t$ को अपडेट करने के लिए इनपुट टेक्स्ट एम्बेडिंग्स (जो पॉजिटिव प्रॉम्प्ट $p^+$ और जनरेट किए गए नेगेटिव प्रॉम्प्ट $p^-$ से प्राप्त होते हैं) के आधार पर शोर (noise) की भविष्यवाणी करता है।

3. लेटेंट क्लासिफायर गाइडेंस (Latent Classifier Guidance): एक "ImprovedLatentCNN RNN Classifier" डिफ्यूजन स्टेप्स के दौरान मध्यवर्ती लेटेंट अवस्थाओं का मूल्यांकन करता है। यह हाइब्रिड आर्किटेक्चर निम्नलिखित से बना है:

   • एक CNN एनकोडर जो 4-चैनल लेटेंट वेक्टर्स से स्थानिक विशेषताओं (spatial features) को निकालता है।
   • एक बाइडायरेक्शनल GRU जो इन विशेषताओं को स्टेप्स के एक अनुक्रम (sequence) में एकत्रित करता है।
   • एक MLP जो स्वीकृति संभाव्यता ($s_t$) निर्धारित करने के लिए एक लॉजिट आउटपुट देता है।

   सिस्टम एक "रोलबैक" (rollback) तंत्र का उपयोग करता है: यदि क्लासिफायर का कॉन्फिडेंस स्कोर एक लेटेंट अपडेट के लिए थ्रेशोल्ड ($\tau = 0.5$) से नीचे गिर जाता है और रोलबैक सीमा ($R=5$) अभी तक नहीं पहुंची है, तो सिस्टम पिछले स्वीकृत लेटेंट स्टेट पर वापस चला जाता है, जिससे निम्न-गुणवत्ता वाले अपडेट प्रभावी रूप से खारिज हो जाते हैं।

मुख्य योगदान

• स्वचालित नेगेटिव प्रॉम्प्ट जनरेशन: प्रभावी नेगेटिव प्रॉम्प्ट को स्वचालित रूप से उत्पन्न करने के लिए एक फाइन-ट्यून्ड Seq2Seq LLM का परिचय, जो श्रम-साध्य हैंड-क्राफ्टिंग को प्रतिस्थापित करता है।
• दोहरा-मार्गदर्शन ढांचा (Dual-Guidance Framework): नेगेटिव प्रॉम्प्ट अनुकूलन को एक CNN-RNN हाइब्रिड क्लासिफायर के साथ जोड़ने का एक नया तरीका, जो अवांछित लेटेंट अपडेट को रोलबैक करके डिफ्यूजन स्टेप्स को गतिशील रूप से निर्देशित करता है।
• ओपन-सोर्स कार्यान्वयन: प्रदर्शन और प्रयोग के लिए उपयोगकर्ता के अनुकूल स्ट्रीमलिट इंटरफेस के साथ एक ओपन-सोर्स प्रोजेक्ट के रूप में इस सिस्टम का विमोचन।

प्रायोगिक परिणाम
शोध पत्र एक सिंथेटिक लेटेंट-सीक्वेंस डेटासेट (10-स्टेप सीक्वेंस का प्रतिनिधित्व करने वाले 200 लेबल किए गए नमूने) पर अनुभवजन्य मूल्यांकन प्रस्तुत करता है:

• क्लासिफायर प्रदर्शन: "ImprovedLatentCNN RNN Classifier" ने होल्ड-आउट टेस्ट सेट पर खराब प्रदर्शन किया। इसने 0.400 की सटीकता और 0.4261 का ROC AUC प्राप्त किया, जो रैंडम गेसिंग (random guessing) के 0.5 थ्रेशोल्ड से नीचे है। सांख्यिकीय परीक्षणों (पेयर्ड टी-टेस्ट) ने पुष्टि की कि यह मॉडल वैनिला CNN बेसलाइन (AUC 0.4511) और लॉजिस्टिक रिग्रेशन एवं SVM जैसे अन्य बेंचमार्क की तुलना में काफी खराब प्रदर्शन करता है।
• गुणात्मक दावे: क्लासिफायर की मात्रात्मक सीमाओं के बावजूद, लेखक दावा करते हैं कि जब ड्यूल-गाइडेंस फ्रेमवर्क लागू किया जाता है, तो यह बेसलाइन डिफ्यूजन तकनीकों की तुलना में विजुअल आर्टिफैक्ट्स को कम करता है और सिमेंटिक फिडेलिटी में सुधार करता है। विजुअल उदाहरण (चित्र 1-3) एक धुंधले जंगल में हिरण का वर्णन करने वाले प्रॉम्प्ट के लिए अनुकूलित नेगेटिव प्रॉम्प्ट (जैसे, "विकृत, धुंधला, खराब शरीर रचना") उत्पन्न करने की प्रणाली की क्षमता को दर्शाते हैं।

महत्व और सीमाएं
यह शोध पत्र इस कार्य को अधिक नियंत्रणीय और सिमेंटिक रूप से संरेखित टेक्स्ट-टू-इमेज जनरेशन के लिए एक आशाजनक दिशा के रूप में स्थापित करता है। लेखक इस बात पर जोर देते हैं कि मॉड्यूलर आर्किटेक्चर स्वतंत्र प्रशिक्षण और आसान एब्लेशन अध्ययन की अनुमति देता है।

हालाँकि, लेखक क्लासिफायर की प्रभावकारिता के संबंध में उल्लेखनीय रूप से विनम्र हैं। वे स्पष्ट रूप से स्वीकार करते हैं कि क्लासिफायर के मेट्रिक्स (AUC < 0.5) यह संकेत देते हैं कि यह वर्तमान डेटासेट पर रैंडम गेसिंग से भी खराब प्रदर्शन करता है, जो संरचनात्मक पुनर्गठन, उन्नत नियमितीकरण (regularization), या उच्च-गुणवत्ता वाले लेबल किए गए डेटा के माध्यम से क्लासिफायर मॉड्यूल में सुधार की आवश्यकता को दर्शाता है। निष्कर्ष यह है कि भविष्य के कार्य को क्लासिफायर मॉड्यूल को बेहतर बनाने पर ध्यान केंद्रित करना चाहिए। शोध पत्र यह दावा नहीं करता कि वर्तमान प्रणाली सभी मेट्रिक्स में स्टेट-ऑफ-द-आर्ट है, बल्कि यह इन दो मार्गदर्शन तंत्रों को एकीकृत करने के लिए एक ढांचा स्थापित करता है, इस समझ के साथ कि लेटेंट गाइडेंस घटक को और अधिक विकास की आवश्यकता है।