Image Generation from Contextually-Contradictory Prompts
यह शोध पत्र एक स्टेज-अवेयर प्रॉम्प्ट डिकंपोजिशन फ्रेमवर्क प्रस्तावित करता है जो संदर्भगत रूप से सुसंगत प्रॉक्सी प्रॉम्प्ट्स उत्पन्न करने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जिससे टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल्स को जटिल, विरोधाभासी इनपुट प्रॉम्प्ट्स के साथ अर्थ संबंधी विसंगतियों को सटीक रूप से हल करने और संरेखण में सुधार करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, लेकिन थोड़ी जिद्दी कलाकार है जिसका नाम Diffusion है। यह कलाकार जो भी आप मांगते हैं उसे पेंट करने में माहिर है, लेकिन इसकी एक बहुत बुरी आदत है कि यह उन "नियमों" का सख्ती से पालन करता है जो इसने लाखों तस्वीरों को देखकर सीखे हैं।
उदाहरण के लिए, यदि आप Diffusion को "एक भालू जो हैंडस्टैंड (हाथों के बल खड़ा है) कर रहा है" पेंट करने के लिए कहते हैं, तो कलाकार भ्रमित हो जाता है। क्यों? क्योंकि उसकी याददाश्त में, भालू हमेशा अपने चारों पैरों पर होते हैं, और हैंडस्टैंड इंसानों या जिमनास्ट्स के लिए होता है। कलाकार का दिमाग कहता है, "भालू + हैंडस्टैंड = असंभव!" इसलिए, वह भालू को अपने हाथों पर पेंट करने के बजाय, शायद एक भालू को अपने पैरों पर खड़ा दिखा देता है, या एक इंसान को हैंडस्टैंड करते हुए दिखाता है, या बस एक भ्रमित सा भस्तित भालू बना देता है। वह चीजों के "सामान्य" तरीके का इतना आदी है कि वह उस अजीब तरीके की कल्पना नहीं कर पाता जो आपने मांगा है।
यह पेपर एक चतुर नई विधि पेश करता है जिसे SAP (Stage-Aware Prompting) कहा जाता है ताकि इस कलाकार को ठीक किया जा सके। SAP को एक स्मार्ट डायरेक्टर की तरह समझें जो कलाकार के माध्यम से पेंटिंग की प्रक्रिया के दौरान कदम-दर-कदम मार्गदर्शन करने के लिए आता है, ताकि कलाकार अपनी पुरानी आदतों में न फंस जाए।
यह कैसे काम करता है, यहाँ एक सरल उपमा (analogy) दी गई है:
समस्या: "जिद्दी कलाकार"
जब आप कलाकार को "एक ड्रैगन जो पानी उगल रहा है" जैसा प्रॉम्प्ट देते हैं, तो कलाकार घबरा जाता है।
- कलाकार का तर्क: "ड्रैगन हमेशा आग उगलते हैं! वह नियम है! अगर वह पानी उगल रहा है, तो वह ड्रैगन नहीं है!"
- परिणाम: कलाकार आपके अनुरोध को अनदेखा कर देता है और आग उगलते हुए ड्रैगन को पेंट करता है, या आग और पानी का एक अजीब मिश्रण बनाता है जो भाप जैसा दिखता है।
ऐसा इसलिए होता है क्योंकि कलाकार के दिमाग में विचार "उलझे हुए" (entangled) हैं। वह सोचता है कि "ड्रैगन" शब्द "आग" से चिपका हुआ है, ठीक वैसे ही जैसे वह सोचता है कि "तितली" "फूलों" से चिपकी हुई है। यदि आप एक तितली को "मधुमक्खी के छत्ते" में मांगते हैं, तो कलाकार छत्ते को अनदेखा कर देता है और बस एक फूल पर तितली बना देता है क्योंकि वह वही जानता है जो सबसे अच्छा है।
समाधान: "स्टेज-अवेयर डायरेक्टर" (SAP)
SAP विधि यह समझती है कि कलाकार पूरी तस्वीर एक साथ नहीं बनाता। वे चरणों (stages) में पेंट करते हैं:
- पहले: वे कच्चा आकार और बैकग्राउंड बनाते हैं ( "कंकाल" या "skeleton")।
- बीच में: वे मुख्य वस्तुएं और रंग जोड़ते हैं।
- अंत में: वे सूक्ष्म विवरण जोड़ते हैं (आंखें, बनावट, विशिष्ट क्रियाएं)।
समस्या यह है कि कलाकार पहले चरण में ही अटक जाता है। यदि वे जल्दी ही यह तय कर लेते हैं कि बैकग्राउंड "रात का समय" है क्योंकि वहां "चांद की ओर देखते हुए भेड़िया" है, तो वे बाद में इसे "दिन के समय" में नहीं बदल सकते, भले ही आपने दोपहर में भेड़िया दिखाने के लिए कहा हो।
SAP इसे "प्रॉक्सि प्रॉम्प्ट्स" (कलाकार के लिए एक स्क्रिप्ट की तरह) के क्रम में आपके अनुरोध को तोड़कर ठीक करता है:
रणनीति: "कॉस्ट्यूम बदलना"
मान लीजिए आप "एक भालू जो हैंडस्टैंड कर रहा है" पेंट करना चाहते हैं।
- चरण 1 (कंकाल/Skeleton): डायरेक्टर कलाकार को बताता है: "पहले, बस एक पार्क का दृश्य बनाओ जिसमें एक व्यक्ति हैंडस्टैंड कर रहा हो।"
- क्यों? कलाकार जानता है कि हैंडस्टैंड करता हुआ व्यक्ति कैसे बनाया जाता है। यह सही आकार (shape) और मुद्रा (pose) सेट करता है बिना "भालू = चलने वाला" वाले पूर्वाग्रह को ट्रिगर किए।
- चरण 2 (संक्रमण/Transition): डायरेक्टर कहता है: "अब, उसी मुद्रा को बनाए रखें, लेकिन उस व्यक्ति को भालू की पोशाक पहने एक आदमी में बदल दें।"
- क्यों? कलाकार अब उस हैंडस्टैंड वाली आकृति के साथ सहज है। उन्हें बस "त्वचा" (skin) बदलने की जरूरत है।
- चरण 3 (अंतिम विवरण): डायरेक्टर कहता है: "अंत में, पोशाक हटा दें और इसे एक असली भालू बनाएं, उसी हैंडस्टैंड वाली मुद्रा को बनाए रखते हुए।"
- क्यों? जब तक कलाकार विवरणों तक पहुँचता है, "हैंडस्टैंड" का आकार पहले से ही लॉक हो चुका होता है। कलाकार अब इसे वापस चलते हुए भालू में नहीं बदल सकता। "भालू" की पहचान अंत में जोड़ी जाती है, ताकि वह "हैंडस्टैंड" के आकार के साथ संघर्ष न करे।
"स्मार्ट डायरेक्टर" को कैसे पता चलता है कि क्या करना है
यह पेपर एक Large Language Model (LLM) का उपयोग इस डायरेक्टर के रूप में करता है। LLM को एक बहुत ही बुद्धिमान लाइब्रेरियन की तरह समझें जो दुनिया के सभी नियमों को जानता है।
- आप LLM को बताते हैं: "मैं एक ड्रैगन चाहता हूँ जो पानी उगल रहा हो।"
- LLM सोचता है: "आह, ड्रैगन आमतौर पर आग उगलते हैं। यह एक विरोधाभास है। चलिए कलाकार को चकमा देते हैं।"
- LLM एक स्क्रिप्ट लिखता है:
- चरण 1: "एक ड्रैगन जो सफेद धुआं उगल रहा है" (धुआं पानी जैसा दिखता है, इसलिए कलाकार खुश है)।
- चरण 2: "एक ड्रैगन जो पानी उगल रहा है" (अब जब धुएं का आकार वहां मौजूद है, तो उसे पानी से बदल दें)।
यह एक बड़ी बात क्यों है
इससे पहले, यदि आप किसी AI से कुछ अजीब या विरोधाभासी मांगते थे, तो वह आमतौर पर विफल हो जाता था या आपको एक सामान्य, उबाऊ परिणाम देता था। यह एक शेफ से "स्पाइसी आइसक्रीम संडे" बनाने के लिए कहने जैसा था और वह आपको सिर्फ वैनिला आइसक्रीम दे देता क्योंकि "आइसक्रीम तीखी नहीं होती।"
SAP एक ऐसे रेसिपी देने जैसा है जो कहता है:
- आइसक्रीम का आधार (base) बनाएं।
- तरल अवस्था में ही आधार में तीखा सॉस मिलाएं (ताकि यह अच्छी तरह मिल जाए)।
- इसे जमा दें (freeze)।
अब, आपको वही मिलता है जो आपने मांगा था: एक स्पाइसी आइसक्रीम संडे।
सारांश
- समस्या: AI आर्ट जनरेटर बहुत "जिद्दी" होते हैं और अपनी पुरानी आदतों पर निर्भर रहते हैं, जिससे वे अजीब संयोजनों (जैसे हैंडस्टैंड करता हुआ भालू) को बनाने में विफल रहते हैं।
- समाधान: एक नया तरीका जिसे SAP कहा जाता है जो एक डायरेक्टर की तरह काम करता है।
- जादू: यह आपके अनुरोध को छोटे, प्रबंधनीय चरणों में तोड़ देता है। यह AI को पहले आकार बनाने के लिए कहता है (एक सुरक्षित, समान वस्तु का उपयोग करके), और फिर एक बार आकार सेट हो जाने के बाद अजीब विवरण डाल देता है।
- परिणाम: AI आखिरकार उन असंभव चीजों को पेंट कर सकता है जो आप मांगते हैं, बिना खुद के प्रशिक्षण से भ्रमित हुए।
यह अनिवार्य रूप से AI को परतों (layers) में सोचना सिखा रहा है, यह सुनिश्चित करते हुए कि अजीब, अद्भुत ऊपरी मंजिल बनाने से पहले नींव सही हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।