Dual Inversion for Text-to-Image Diffusion Models: From Both Prompt and Noise Perspectives
यह शोध पत्र Dualin का प्रस्ताव करता है, जो एक दो-चरणीय इन्वर्जन विधि है जो मौजूदा तकनीकों की सीमाओं को दूर करने और नियंत्रणीय संपादन क्षमताओं के साथ अत्याधुनिक इमेज फिडेलिटी प्राप्त करने के लिए एक मानव-व्याख्या योग्य टेक्स्ट प्रॉम्प्ट और लक्षित छवि के सटीक लेटेंट नॉइज़ को संयुक्त रूप से पुनर्प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादुई रेसिपी को रिवर्स-इंजीनियर करने की कोशिश कर रहे हैं। आपके सामने एक स्वादिष्ट केक रखा है, और आपका लक्ष्य यह पता लगाना है कि इसे दोबारा ठीक उसी तरह कैसे बनाया जाए। कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से "कंप्यूटर विजन" नामक एक क्षेत्र में, टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल नामक अविश्वसनीय रूप से प्रतिभाशाली शेफ जैसे जादुई प्रोग्राम मौजूद हैं। ये मॉडल किसी भी केक को बना सकते हैं जिसका आप वर्णन कर सकते हैं, बशर्ते आप उन्हें सही टेक्स्ट निर्देश (प्रॉम्प्ट्स) दें। लेकिन क्या होगा यदि आप उल्टा जाना चाहते हैं? क्या होगा यदि आपके पास एक विशिष्ट, उत्तम केक (एक छवि) है और आप जानना चाहते हैं कि इसे बनाने के लिए वास्तव में किन टेक्स्ट निर्देशों का उपयोग किया गया था? इसे "प्रॉम्प्ट इनवर्जन" कहा जाता है।
लंबे समय तक, वैज्ञानिकों ने केवल केक को देखकर और अनुमान लगाकर इसे हल करने की कोशिश की। कुछ ने रेसिपी के शब्दों को गणितीय रूप से बदलने की कोशिश की ताकि वे मेल खा सकें, लेकिन परिणाम अक्सर अस्त-व्यस्त थे, जैसे कि एक ऐसी रेसिपी जिसमें लिखा हो "आटा डालें!! और ज़ार्दोज़।" कुछ अन्य लोगों ने स्पष्ट, मानव-पठनीय रेसिपी लिखने की कोशिश की, लेकिन जब उन्होंने उन शब्दों का उपयोग करके केक बनाने की कोशिश की, तो परिणाम मूल से बिल्कुल अलग था—इसमें विशिष्ट बनावट, प्रकाश और सूक्ष्म विवरण गायब थे। बड़ा सवाल यह था: क्यों केक अलग दिखता है भले ही रेसिपी के शब्द सही लग रहे हों? उत्तर एक छिपे हुए घटक में निहित है जिसे अधिकांश लोगों ने अनदेखा कर दिया: "शोर" (नॉइज़)। इस शोर को कचरे के रूप में नहीं, बल्कि उस विशिष्ट यादृच्छिक चिंगारी (रैंडम स्पार्क) के रूप में देखें जो केक के सटीक आकार और संरचना को निर्धारित करती है। उस चिंगारी को पकड़े बिना, आप केक को पूरी तरह से फिर से नहीं बना सकते, चाहे आपकी रेसिपी के शब्द कितने भी अच्छे क्यों न हों।
यह शोध पत्र Dualin (डुअल इनवर्जन) नामक एक नई विधि पेश करता है जो इस पहेली को दो चीजों को एक साथ देखकर हल करता है: रेसिपी (टेक्स्ट प्रॉम्प्ट) और छिपी हुई चिंगारी (नॉइज़)। शोधकर्ता तर्क देते हैं कि केवल टेक्स्ट का अनुमान लगाकर किसी छवि को रिवर्स-इंजीनियर करने की कोशिश करना, केवल पेंट के रंग का वर्णन करके घर को फिर से बनाने की कोशिश करने जैसा है; आप ब्लूप्रिंट को छोड़ देते हैं। उनका दृष्टिकोण दो-चरणीय नृत्य है। पहले, वे स्मार्ट एआई उपकरणों की एक टीम का उपयोग करते हैं—दृश्य का वर्णन करने के लिए एक विजन-लैंग्वेज मॉडल, कलात्मक कीवर्ड खोजने के लिए एक क्लिप (CLIP) सिस्टम, और एक पूर्ण, मानव-पठनीय रेसिपी लिखने के लिए एक लार्ज लैंग्वेज मॉडल। लेकिन वे वहीं नहीं रुकते। दूसरे चरण में, वे एक विशेष "नॉइज़ इनवर्जन" करते हैं। यह उस सटीक यादृच्छिक चिंगारी को खोजने के लिए बेकिंग प्रक्रिया को रिवाइंड करने जैसा है जिसने केक की अनूठी संरचना बनाई थी।
इस सटीक चिंगारी (नॉइज़) के साथ पूर्ण रेसिपी को जोड़कर, Dualin मूल छवि को आश्चर्यजनक सटीकता के साथ फिर से बना सकता है। लेखकों ने हजारों छवियों पर इनका परीक्षण किया और पाया कि उनकी विधि ऐसे चित्र बनाती है जो मूल के लगभग समान दिखते हैं, जो पिछले तरीकों की तुलना में बहुत बेहतर है। उन्होंने गणितीय रूप से यह भी सिद्ध किया कि यह तकनीक सटीक संपादन (एडिटिंग) की अनुमति देती है। क्योंकि "चिंगारी" (नॉइज़) संरचना को धारण करती है और "रेसिपी" (प्रॉम्प्ट) अर्थ को धारण करती है, इसलिए आप एक बिल्ली को कुत्ते से बदलने या बैकग्राउंड बदलने के लिए रेसिपी बदल सकते हैं, और नया चित्र मूल के समान ही लेआउट और लाइटिंग बनाए रखेगा। यह शोध पत्र सुझाव देता है कि यह दोहरा दृष्टिकोण वास्तव में नियंत्रणीय और उच्च-गुणवत्ता वाले इमेज एडिटिंग को अनलॉक करने की कुंजी है, जो केवल शब्दों का अनुमान लगाने से आगे बढ़कर यह समझने की ओर ले जाता है कि इन छवियों को बनाने का पूरा जादू कैसे काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।