OSOR: One-Step Diffusion Inpainting for Effect-Aware Object Removal
OSOR एक वन-स्टेप डिफ्यूजन मॉडल है जो एक ऑक्यूपेंसी-गाइडेड डिस्क्रिमिनेटर, अपूर्ण मास्क को संभालने के लिए एक अल्फा हेड, और उच्च गुणवत्ता वाले प्रशिक्षण डेटा को क्यूरेट करने के लिए एक सिमेंटिक-एंकोर्ड वेरिफिकेशन पाइपलाइन को पेश करके कुशल, इफेक्ट-अवेयर और मास्क-रोबस्ट ऑब्जेक्ट रिमूवल प्राप्त करता है, जिसके परिणामस्वरूप मल्टी-स्टेप बेसलाइन्स की तुलना में काफी तेज़ इन्फरेंस के साथ बेहतर परसेप्चुअल क्वालिटी प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुंदर समुद्र तट की फोटो है, लेकिन किसी ने गलती से उसके बीच में अपनी पुरानी, जंग लगी मछली पकड़ने वाली नाव छोड़ दी है। आप उसे हटाना चाहते हैं।
समस्या:
यदि आप केवल एक मानक "इरेज़र" (मिटाने वाले) टूल का उपयोग करते हैं, तो यह नाव को तो हटा सकता है लेकिन पीछे एक अजीब, गहरा साया या पानी पर ऐसा प्रतिबिंब छोड़ सकता है जो वहां नहीं होना चाहिए। साथ भी ऐसा हो सकता है कि यदि आप खुद इरेज़र सर्कल बनाने की कोशिश करते हैं, तो आप साये के एक छोटे से हिस्से को छोड़ सकते हैं या गलती से रेत के कुछ हिस्से को ढक सकते हैं।
वर्तमान में अधिकांश AI टूल्स जो यह काम करते हैं, वे धीमे, बहुत अधिक सोचने वाले शेफ की तरह हैं। वे फोटो को "पकाने" के लिए बहुत समय लेते हैं, कई चरणों से गुजरते हैं ताकि बैकग्राउंड एकदम सही दिखे। वे शक्तिशाली तो हैं लेकिन आपके फोन पर रियल-टाइम उपयोग या त्वरित संपादन के लिए बहुत धीमे हैं।
समाधान: OSOR (वन-स्टेप ऑब्जेक्ट रिमूवल)
यह पेपर एक नई विधि पेश करता है जिसे OSOR कहा जाता है। OSOR को एक जादुई, इंस्टेंट फोटो एडिटर के रूप में सोचें जो एक ही चरण में किसी वस्तु और उसके बिखरे हुए प्रभावों (जैसे साये और प्रतिबिंब) को हटा सकता है।
यह तीन सरल ट्रिक्स के माध्यम से कैसे काम करता है, यहाँ दिया गया है:
1. "स्मार्ट बाउंड्री" टीचर (ऑक्यूपेंसी-गाइडेड डिस्क्रिमिनेटर)
जब आप एक ही चरण में किसी चीज़ को मिटाने की कोशिश करते हैं, तो किनारे अक्सर धुंधले या अस्पष्ट दिखते हैं, जैसे कोई खराब फोटोकॉपी।
- उपमा: कल्पना कीजिए कि एक शिक्षक छात्र के चित्र का ग्रेड दे रहा है। एक सामान्य शिक्षक बस कहता है, "यह हिस्सा बॉक्स के अंदर है, यह हिस्सा बाहर है।" लेकिन OSOR का शिक्षक अधिक स्मार्ट है। वह बॉक्स के किनारे को देखता है और कहता है, "यह पिक्सेल बॉक्स के अंदर 50% है, इसलिए इसे आधा रंगा जाना चाहिए।"
- परिणाम: यह "फ्रैक्शनल" (अंशों वाला) शिक्षण AI को यह सीखने में मदद करता है कि वस्तु कहाँ समाप्त होती है और बैकग्राउंड कहाँ शुरू होता है, जिससे बिना धुंधलेपन के एक तीक्ष्ण और साफ किनारा बनता है।
2. "गेस-वर्क" हेल्पर (अल्फा हेड)
उपयोगकर्ता अक्सर वस्तुओं के चारों ओर सटीक घेरा बनाने में कच्चे होते हैं। आप एक ऐसा सर्कल बना सकते हैं जो बहुत छोटा है, साये को छोड़ देता है, या बहुत बड़ा है, जिससे बहुत अधिक हिस्सा ढक जाता है।
- उपमा: इस AI को एक ऐसे चित्रकार के रूप में सोचें जिसे मिटाने के लिए एक रफ स्केच दिया गया है। केवल वही मिटाने के बजाय जो आपने बनाया है, AI के पास एक "छठी इंद्री" (अल्फा हेड) होती है। यदि आप नाव के चारों ओर एक छोटा सा सर्कल बनाते हैं, तो AI पानी को देखता है और सोचता है, "आह, यहाँ एक साया है जो नाव का है, भले ही आपने इसे नहीं बनाया।" फिर वह धीरे से उस साये को भी पेंट कर देता है।
- परिणाम: भले ही आपका चयन अव्यवस्थित या अधूरा हो, AI बाकी के "कचरे" (साये, प्रतिबिंब) को समझ लेता है और उसे स्वचालित रूप से साफ कर देता है।
3. "फैक्ट-चेकर" पाइपलाइन (SAVP)
इस AI को इतना अच्छा बनाने के लिए, शोधकर्ताओं को "पहले" और "बाद" की तस्वीरों के एक विशाल पुस्तकालय की आवश्यकता थी। लेकिन पूर्ण उदाहरण ढूंढना कठिन है क्योंकि कई नकली या अव्यवस्थित होते हैं।
- उपमा: कल्पना कीजिए कि आप एक छात्र को हजारों होमवर्क उदाहरण दिखाकर सिखाने की कोशिश कर रहे हैं। कुछ उदाहरण गलत हैं। शोधकर्ताओं ने एक रोबोट फैक्ट-चेकर (SAVв) बनाया। यह रोबोट एक "पहले" और "बाद" की फोटो को देखता है, जांचता है कि क्या बदलाव निर्देशों (जैसे, "नाव हटाएं") से मेल खाते हैं, और सत्यापित करता है कि साया वास्तव में गायब हो गया है। यदि उदाहरण अच्छा है, तो यह उसे रखता है; यदि बुरा है, तो यह उसे फेंक देता है।
- परिणाम: उन्होंने इस रोबोट का उपयोग एक उच्च-गुणवत्ता वाली पाठ्यपुस्तक (जिसे CORNE कहा जाता है) बनाने के लिए किया जिसमें 280,000 सटीक उदाहरण थे, जिसका अध्ययन करके AI ने वस्तुओं और उनके प्रभावों को पूरी तरह से हटाना सीखा।
बड़ी जीत
पेपर का दावा है कि जहाँ अन्य विधियों को फोटो एडिट करने में 6 से 25 सेकंड लग सकते हैं, OSOR इसे एक सेकंड से भी कम समय में कर देता है (विशेष रूप से, एक शक्तिशाली कंप्यूटर पर लगभग 0.4 से 0.9 सेकंड)।
- गति: यह अगली सर्वश्रेष्ठ विधियों की तुलना में 4 से 30 गुना तेज़ है।
- गुणवत्ता: यह न केवल वस्तु को हटाता है, बल्कि पीछे छूटे "भूतों" (साये/प्रतिबिंब) को भी हटा देता है, जिसे अन्य तेज़ विधियाँ अक्सर मिस कर देती हैं।
- मजबूती (Robustness): यह तब भी अच्छी तरह से काम करता है जब उपयोगकर्ता एक अव्यवस्थित या अधूरा मास्क बनाता है।
संक्षेप में, OSOR एक पेशेवर फोटो एडिटर को काम पर रखने जैसा है जो कैमरा शटर की गति से काम करता है, आपकी तस्वीरों को तुरंत ठीक करता है और यह सुनिश्चित करता है कि पीछे कोई साया या प्रतिबिंब न छूटे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।