ClickRemoval: An Interactive Open-Source Tool for Object Removal in Diffusion Models
ClickRemoval एक ओपन-सोर्स, इंटरैक्टिव टूल है जो केवल यूजर क्लिक्स और प्री-ट्रेन्ड स्टेबल डिफ्यूजन मॉडल्स का उपयोग करके जटिल दृश्यों में सटीक ऑब्जेक्ट रिमूवल और नेचुरल बैकग्राउंड रेस्टोरेशन को सक्षम बनाता है, जिससे मैनुअल मास्क, टेक्स्ट प्रॉम्प्ट्स या अतिरिक्त ट्रेनिंग की आवश्यकता समाप्त हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक ऐसी फोटो है जिसमें कोई अनचाहा मेहमान मौजूद है—शायद बैकग्राउंड में कोई अजनबी, एक सुंदर परिदृश्य में कूड़ेदान, या आपकी डाइनिंग टेबल पर कोई बिखरी हुई चीज़। आमतौर पर, उन्हें हटाने के लिए आपको फोटो एडिटिंग सॉफ़्टवेयर का उपयोग करके ब्रश से उस वस्तु के चारों ओर सावधानी से "पेंट" करना पड़ता है, यानी उसके हर पिक्सेल की रूपरेखा बनानी पड़ती है। यह बिल्कुल वैसा ही है जैसे किसी कागज़ के टुकड़े से एक विशिष्ट आकार को कुंद चाकू से काटने की कोशिश करना; इसमें बहुत समय लगता है, एक स्थिर हाथ की आवश्यकता होती है, और यदि आप एक भी जगह चूक जाते हैं, तो कट टेढ़ा-मेढ़ा और बदसूरत दिखता है।
ClickRemoval एक नया, मुफ्त टूल है जो खेल बदल देता है। मास्क पेंट करने के बजाय, आप बस उस वस्तु पर क्लिक करते हैं जिसे आप हटाना चाहते हैं। बस इतना ही। एक क्लिक, और कंप्यूटर समझ जाता है कि वास्तव में क्या डिलीट करना है और क्या रखना है, और फिर जादुई रूप से खाली स्थान को एक वास्तविक बैकग्राउंड के साथ भर देता है।
यह कैसे काम करता है, यहाँ कुछ सरल उपमाओं (analogies) का उपयोग किया गया है:
1. "क्लिक-टू-मैप" ट्रांसलेटर (M2N2)
जब आप किसी वस्तु पर क्लिक करते हैं, तो टूल केवल एक बिंदु नहीं देखता; वह उस वस्तु की अवधारणा (concept) को समझता है।
- उपमा: कल्पना कीजिए कि आप एक तालाब में कंकड़ गिराते हैं। लहरें बाहर की ओर फैलती हैं, जिससे आपको पता चलता है कि पानी कितनी दूर तक जाता है। ClickRemoval भी ऐसा ही कुछ करता है। यह एक "लहर प्रभाव" (जिसे सिमेंटिक डिस्टेंस मैप कहा जाता है) का उपयोग करता है ताकि यह पता लगाया जा सके कि वस्तु ठीक कहाँ समाप्त होती है और बैकग्राउंड कहाँ से शुरू होता है, भले ही वस्तु का आकार अजीब हो या वह आंशिक रूप से छिपी हुई हो। यह बिना एक भी रेखा खींचे, आपके एकल क्लिक को वस्तु के एक विस्तृत मानचित्र में बदल देता है।
2. "अटेंशन स्विच" (SGAR और SGAS)
एक बार जब टूल जान जाता है कि वस्तु क्या है, तो उसे AI मॉडल को यह बताने की आवश्यकता होती है, "इस हिस्से को अनदेखा करें, और बैकग्राउंड पर ध्यान केंद्रित करें।"
- उपमा: AI मॉडल को एक ऐसे चित्रकार के रूप में सोचें जो पूरी तस्वीर पर बहुत ध्यान केंद्रित कर रहा है। आमतौर पर, चित्रकार हर चीज़ को समान रूप से देखता है। ClickRemoval एक स्पॉटलाइट ऑपरेटर की तरह कार्य करता है।
- SGAR (स्पॉटलाइट): यह उस वस्तु पर रोशनी कम कर देता है जिस पर आपने क्लिक किया है (चित्रकार को यह बताने के लिए कि, "इसे पेंट न करें") और बैकग्राउंड पर रोशनी तेज कर देता है (चित्रकार को यह बताने के लिए कि, "इसे भरने के लिए जो यहाँ होना चाहिए उसका उपयोग करें")।
- SGAS (डिमर स्विच): यदि आप पूरे समय वस्तु पर रोशनी कम रखते हैं, तो पेंटिंग अजीब या अप्राकृतिक लग सकती है। इसलिए, यह हिस्सा एक डिमर स्विच की तरह कार्य करता है। यह शुरुआत में "अनदेखा करने" के संकेत को मजबूत करता है, और फिर जैसे-जैसे पेंटिंग पूरी होने के करीब पहुँचती है, यह धीरे-धीरे कम होता जाता है। यह सुनिश्चित करता है कि बैकग्राउंड प्राकृतिक दिखे, न कि जबरदस्ती थोपा हुआ।
3. "ब्लेंडिंग शेफ" (ARG)
अंत में, टूल को यह तय करने की आवश्यकता होती है कि "नए" बैकग्राउंड को "पुराने" मूल चित्र के साथ कितना मिलाना है।
- उपमा: कल्पना कीजिए कि आप एक स्मूदी बना रहे हैं। आपके पास मूल फल (बैकग्राउंड) है और एक नया स्वाद (AI का अनुमान) है। ARG वह शेफ है जो सही अनुपात तय करता है। यदि आप चाहते हैं कि परिणाम मूल फोटो के बहुत करीब दिखे, तो शेफ थोड़ा नया स्वाद जोड़ता है। यदि आप पूर्ण परिवर्तन चाहते हैं, तो शेफ अधिक स्वाद जोड़ता है। यह आपको हटाने के प्रभाव की तीव्रता पर नियंत्रण देता है।
यह एक बड़ी बात क्यों है?
अन्य अधिकांश उपकरण प्रोफेशनल शेफ की तरह हैं जिन्हें खाना पकाने से पहले एक विशिष्ट रेसिपी (टेक्स्ट प्रॉम्प्ट) और एक पूर्व-तैयार सामग्री सूची (मैनुअल मास्क) की आवश्यकता होती है। उन्हें विशिष्ट सामग्रियों को संभालने के लिए सीखने के लिए अक्सर पाक कला विद्यालय (अतिरिक्त प्रशिक्षण) जाने की भी आवश्यकता होती है।
ClickRemoval एक स्मार्ट किचन असिस्टेंट की तरह है जो किसी भी रेसिपी के साथ काम कर सकता है जो आपके पास पहले से है।
- कोई प्रशिक्षण आवश्यक नहीं: यह मौजूदा AI मॉडल के साथ सीधे काम करता है। आपको इसे कुछ भी नया सिखाने की आवश्यकता नहीं है।
- कोई मास्क या टेक्स्ट नहीं: आपको रूपरेखा खींचने या "कुत्ता हटाओ" टाइप करने की आवश्यकता नहीं है। बस क्लिक करें।
- ओपन सोर्स: रचनाकारों ने पूरी "रेसिपी बुक" (कोड, निर्देश और उपकरण) मुफ्त में साझा की है, ताकि कोई भी इसका उपयोग कर सके या इस पर निर्माण कर सके।
परिणाम
रचनाकारों ने इस टूल का परीक्षण अन्य शीर्ष स्तर के फोटो एडिटर्स के विरुद्ध किया।
- गुणवत्ता: परीक्षणों में, इसके द्वारा बनाई गई तस्वीरें उन जटिल तरीकों के समान या उनसे बेहतर दिखीं जिनमें मास्क और टेक्स्ट की आवश्यकता होती है।
- उपयोगकर्ता प्राथमिकता: जब आम लोगों (गैर-विशेषज्ञों) ने परिणामों को देखा, तो उन्होंने ClickRemoval को सबसे अधिक पसंद किया। उन्हें यह उपयोग में आसान लगा और परिणाम अधिक प्राकृतिक दिखे।
- बहुमुखी प्रतिभा: यह साधारण 512x512 छवियों से लेकर हाई-डेफिनिशन 1024x1024 छवियों तक विभिन्न प्रकार की तस्वीरों पर काम करता है, और कठिन स्थितियों को भी संभालता है, जैसे कि बाड़ के पीछे छिपे कुत्ते को हटाना (यह बताने के लिए "नेगेटिव क्लिक" का उपयोग करना कि, "बाड़ को न हटाएं, केवल कुत्ते को हटाएं")।
संक्षेप में, ClickRemoval फोटो एडिटिंग के कठिन काम को एक सरल "पॉइंट-एंड-क्लिक" अनुभव में बदल देता है, जिससे पेशेवर-स्तर की ऑब्जेक्ट रिमूवल तकनीक किसी भी कंप्यूटर वाले व्यक्ति के लिए सुलभ हो जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।