DuET: Dual Expert Trajectories for Diffusion Image Editing
DuET एक प्रशिक्षण-मुक्त इन्फरेंस विधि है जो डिफ्यूजन-आधारित इमेज एडिटिंग को बेहतर बनाने के लिए अस्थायी रूप से टेक्स्ट-टू-इमेज चरण के माध्यम से संक्रमण करती है ताकि संरचनात्मक अखंडता को बनाए रखते हुए लक्षित निर्देशों के साथ बेहतर तालमेल बिठाया जा सके, जिसमें एक चयनात्मक संस्करण संपादन निष्ठा और स्रोत संरक्षण के बीच संतुलन को और अधिक अनुकूलित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आप एक कंप्यूटर से बात कर सकते हैं और उससे वह सब कुछ बनाने के लिए कह सकते हैं जो आप कल्पना कर सकते हैं। वर्षों से, वैज्ञानिकों ने "टेक्स्ट-टू-इमेज" मॉडल बनाए हैं जो जादुई स्केचपैड की तरह काम करते हैं: आप टाइप करते हैं "एक टोपी पहने हुए बिल्ली" और वे उसे चित्रित कर देते हैं। लेकिन क्या होगा यदि आप एक ऐसी तस्वीर को बदलना चाहते हैं जो पहले से मौजूद है? शायद आप बिल्ली को कुत्ते से बदलना चाहते हैं, या एक धूप वाले दिन को तूफानी दिन में बदलना चाहते हैं। यहीं पर "इमेज एडिटिंग" मॉडल काम आते हैं। वे आपकी मूल फोटो और आपके नए निर्देशों को लेते हैं, और फिर उस तस्वीर को फिर से लिखने की कोशिश करते हैं जबकि उन हिस्सों को बिल्कुल वैसा ही रखते हैं जिन्हें आपने बदलने के लिए नहीं कहा था।
tricky (पेचीदा) हिस्सा यह है कि ये एडिटिंग मॉडल बहुत ही सतर्क कलाकारों की तरह होते हैं। क्योंकि वे पूरे समय मूल फोटो से चिपके रहते हैं, इसलिए वे कभी-कभी बड़े बदलाव करने से डरते हैं। यदि आप एक छोटे घर को विशाल महल में बदलने के लिए कहते हैं, तो वे केवल घर को थोड़ा बड़ा कर सकते हैं, जिससे बाकी दृश्य अजीब या पुराने समय में फंसा हुआ लगता है। वे मूल को बिगाड़ने के डर में इतने डूबे रहते हैं कि वे आपके नए निर्देशों का पूरी तरह से पालन करने में विफल रहते हैं। यह शोध पत्र विशेष रूप से इस समस्या पर काम करता है: हम इन डिजिटल कलाकारों को मूल तस्वीर की आत्मा को खोए बिना बड़े बदलाव करने के लिए साहसी कैसे बना सकते हैं?
लेखक एक चतुर नई तकनीक पेश करते हैं जिसे DuET (डुअल एक्सपर्ट ट्रेजेक्टरीज) कहा जाता है। एक इमेज एडिटिंग प्रक्रिया को एक खाली कैनवास से लेकर एक तैयार उत्कृष्ट कृति तक की एक लंबी यात्रा के रूप में सोचें। आमतौर पर, कंप्यूटर इस यात्रा को "एडिट मोड" में लेता है, जहाँ वह यह सुनिश्चित करने के लिए मूल फोटो को लगातार देखता रहता है कि वह बहुत दूर न भटक जाए। DuET विधि एक अलग रास्ता सुझाती है: यात्रा के एक छोटे, विशिष्ट हिस्से के लिए, कंप्यूटर को पूरी तरह से मूल फोटो देखना बंद कर देना चाहिए। इसके बजाय, यह "टेक्स्ट-टू-इमेज मोड" में बदल जाता है, जहाँ यह केवल आपके विवरण को सुनता है। यह एक संगीतकार की तरह है जो आमतौर पर एक बैकग्राउंड ट्रैक (मूल फोटो) के साथ बजता है, लेकिन, गाने के कुछ हिस्सों के लिए, वह शोर-रद्द करने वाले हेडफ़ोन लगा लेता है और केवल शीट संगीत (आपके निर्देश) के आधार पर एक सोलो (एकल प्रदर्शन) बजाता है। यह कंप्यूटर को आपके विज़न से मेल खाने के लिए दृश्य को पूरी तरह से पुनर्गठित करने की अनुमति देता है।
इस संक्षिप्त "सोलो" के बाद, कंप्यूटर अपने हेडफ़ोन उतार लेता है और यात्रा के शेष भाग के लिए "एडिट मोड" में वापस आ जाता है। अब जब बड़े, संरचनात्मक बदलाव कर दिए गए हैं, तो यह बारीक विवरणों को भरने और यह सुनिश्चित करने के लिए मूल फोटो को देख सकता है कि लाइटिंग और बनावट अभी भी प्राकृतिक दिखें। शोध पत्र दिखाता है कि यह "एडिट → टेक्स्ट-टू-इमेज → एडिट" नृत्य पूरे समय एक ही मोड में रहने की तुलना में बहुत बेहतर काम करता है। यह अंतिम परिणाम को आपके द्वारा मांगी गई चीज़ के अधिक करीब बनाता है और इसे अधिक स्वाभाविक बनाता है, विशेष रूप से एक पूरे ऑब्जेक्ट को बदलने या सेटिंग बदलने जैसे बड़े बदलावों के लिए।
हालाँकि, शोधकर्ताओं ने एक पेंच पाया। जब कंप्यूटर मूल फोटो को देखना बंद कर देता है, तब भी, वह कभी-कभी तस्वीर के उन हिस्सों को बदल देता है जिन्हें आप बिल्कुल वैसा ही रखना चाहते थे। यह एक ट्रेड-ऑफ (समझौता) है: आपको एक बेहतर, अधिक सटीक संपादन मिलता है, लेकिन आप मूल छवि की थोड़ी सी सटीकता खो सकते हैं। शोध पत्र SSIM नामक एक स्कोर का उपयोग करके इसे मापता है, जो यह जाँचता है कि पिक्सेल कितने समान हैं। उन्होंने पाया कि जबकि नया तरीका छवि के "मज़ेदार" हिस्सों (जैसे कि यह निर्देशों का कितनी अच्छी तरह पालन करता है और यह कितना स्वाभाविक दिखता है) में सुधार करता है, वहीं "संरक्षण" (preservation) स्कोर थोड़ा गिर जाता है।
लेकिन यहाँ वास्तव में दिलचस्प बात यह है: लेखक सुझाव देते हैं कि यह ट्रेड-ऑफ कोई कठोर नियम नहीं है। उन्होंने एक स्मार्ट संस्करण बनाया जिसे सेलेक्टिव DuET कहा जाता है। यह संस्करण एक ट्रैफिक पुलिस की तरह काम करता है। यात्रा शुरू होने से पहले, यह छवि पर एक त्वरित नज़र डालता है कि कंप्यूटर पहले से ही मूल फोटो को कितनी मजबूती से "पकड़े हुए" है। यदि छवि को एक बड़े बदलाव की आवश्यकता है (जैसे घर को पेड़ में बदलना), तो ट्रैफिक पुलिस कहती है, "आगे बढ़ो, सोलो लो!" लेकिन यदि छवि को केवल एक मामूली बदलाव की आवश्यकता है, तो पुलिस कहती है, "मोड बदलने की ज़रूरत नहीं है, बस एडिटिंग जारी रखें।" केवल तभी जोखिम भरे "सोलो" तरीके का उपयोग करके जब यह वास्तवَا आवश्यक हो, उन्होंने एक ऐसा तरीका खोजा जिससे वे संरक्षण स्कोर को मानव स्तर पर ध्यान देने योग्य गिराए बिना उच्च गुणवत्ता वाले संपादन प्राप्त कर सके।
संक्षेप में, शोध पत्र यह सिद्ध करता है कि आपको छवियों को बेहतर ढंग से संपादित करने के लिए एक नया, अत्यधिक जटिल रोबोट प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस मौजूदा रोबोटों को यह सिखाने की आवश्यकता है कि कब मूल फोटो को देखना बंद करना है और कब केवल आपके शब्दों को सुनना शुरू करना है। यह एक सरल, मुफ्त अपग्रेड है जो डिजिटल आर्ट एडिटिंग को अधिक लचीला और रचनात्मक बनाता है, जो यह दर्शाता है कि कभी-कभी, पूर्ण परिणाम प्राप्त करने के लिए, आपको बस एक क्षण के लिए अतीत को छोड़ने की इच्छा रखनी होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।