From Inpainting to Layer Decomposition: Repurposing Generative Inpainting Models for Image Layer Decomposition
यह शोध पत्र हल्के फाइन-ट्यूनिंग और एक नवीन मल्टी-मोडल कॉन्टेक्स्ट फ्यूजन मॉड्यूल के माध्यम से इमेज लेयर डिकंपोजिशन के लिए जनरेटिव इनपेंटिंग मॉडल्स को पुनरुद्देश्यित करने का प्रस्ताव देता है, जो केवल एक सिंथेटिक डेटासेट का उपयोग करके बेहतर ऑब्जेक्ट रिमूवल और ऑक्लूजन रिकवरी प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुंदर, जटिल पेंटिंग है, जैसे कि सूर्यास्त के सामने खड़े एक व्यक्ति का चित्र। अभी, यदि आप उस व्यक्ति को किसी दूसरे बैकग्राउंड में ले जाना चाहते हैं, या यदि आप यह देखने के लिए व्यक्ति को पूरी तरह से हटाना चाहते हैं कि उस व्यक्ति के बिना सूर्यास्त कैसा दिखता है, तो आपको यह मैन्युअल रूप से करना होगा। यह एक गोंद से चिपके हुए कोलाज से कागज के टुकड़े को काटने की तरह है बिना नीचे के कागज को फटे। यह बिखरा हुआ, कठिन और अक्सर बदसूरत छेद छोड़ देने वाला काम है।
यह पेपर एक नए "जादुई ट्रिक" के बारे में बताता है जो इस समस्या को हल करता है। यहाँ इसका सरल विवरण दिया गया है कि उन्होंने क्या किया:
1. बड़ा विचार: "मैजिक इरेज़र और कॉपी-पेस्ट टूल"
शोधकर्ताओं ने महसूस किया कि लेयर डिकंपोजिशन (व्यक्ति को बैकग्राउंड से अलग करना) का कार्य वास्तव में दो चीजों के बहुत समान है जिसमें कंप्यूटर पहले से ही बहुत अच्छा है:
- इनपेंटिंग (Inpainting): तस्वीर में छेद को भरना (जैसे वॉटरमार्क मिटाना)।
- आउटपेंटिंग (Outpainting): तस्वीर को उसके किनारों से आगे बढ़ाना (जैसे फ्रेम के पीछे क्या है इसकी कल्पना करना)।
उन्होंने एक सरल प्रश्न पूछा: "यदि हमारे पास पहले से ही एक सुपर-स्मार्ट AI है जो छेदों को भर सकता है और तस्वीरों को आगे बढ़ा सकता है, तो क्या हम इसे थोड़ा सा नया गणित सिखाकर वस्तुओं को अलग करना भी सिखा सकते हैं?"
एक बिल्कुल नया, महंगा सुपर-कंप्यूटर दिमाग बनाने के बजाय, उन्होंने एक प्री-ट्रेंड "इनपेंटिंग मॉडल" (एक ऐसा AI जो पहले से ही टूटी हुई तस्वीरों को ठीक करना जानता है) लिया और उसे एक "हल्का अपग्रेड" दिया।
2. उपमा: मास्टर शेफ और नई रेसिपी
प्री-ट्रेंड इनपेंटिंग मॉडल को एक मास्टर शेफ के रूप में सोचें जिसने ब्रेड बनाने की कला में 10 साल बिताए हैं। वे इसमें अद्भुत हैं।
शोधकर्ता चाहते थे कि यह शेफ एक विशिष्ट प्रकार का सैंडविच (फोरग्राउंड को बैकग्राउंड से अलग करना) बनाना भी सीख जाए।
- पुराना तरीका: शेफ को निकाल दें, एक नई टीम रखें, और सैंडविच सीखने के लिए शुरू से एक पूरा नया किचन प्रशिक्षित करने में लाखों डॉलर खर्च करें।
- इस पेपर का तरीका: मास्टर शेफ को लें, उन्हें ब्रेड, मीट और लेट्यूस को लेयर करने का एक त्वरित 15 मिनट का ट्यूटोरियल दें, और उन्हें अपने मौजूदा ब्रेड बनाने के कौशल का उपयोग करके सैंडविच बनाने दें।
उन्होंने LoRA (लो-रैंक अडैप्टेशन) नामक तकनीक का उपयोग किया। कल्पना कीजिए कि आप शेफ को उनके एप्रन में रखने के लिए एक विशेष, पतली "रेसिपी कार्ड" दे रहे हैं। उन्हें शेफ की पूरी याददाश्त को फिर से लिखने की आवश्यकता नहीं है; वे बस उन्हें नए कार्य के लिए मार्गदर्शन देने के लिए यह छोटा कार्ड जोड़ते हैं।
3. गुप्त नुस्खा: "कॉन्टेक्स्ट क्लूज़" (संदर्भ संकेत)
किसी व्यक्ति को बैकग्राउंड से अलग करने का सबसे कठिन हिस्सा यह जानना है कि व्यक्ति कहाँ समाप्त होता है और बैकग्राउंड कहाँ शुरू होता है, खासकर यदि व्यक्ति ने कोई कप पकड़ा हो या उसके बाल बिखरे हुए हों।
शोधकर्ताओं ने एक मल्टी-मोडल कॉन्टेक्स्ट फ्यूजन मॉड्यूल जोड़ा।
- रूपक: कल्पना कीजिए कि आप कागज के एक टुकड़े से एक आकार काटने की कोशिश कर रहे हैं। यदि आप केवल रंग को देखते हैं, तो आप बहुत करीब से काट सकते हैं। लेकिन यदि आपके पास एक शैडो मैप (डेप्थ/गहराई), एक स्केच (किनारे), और एक कलर गाइड (सेगमेंटेशन) भी मेज पर रखे हैं, तो आप पूरी तरह से काट सकते हैं।
- AI फोटो के साथ-साथ इन अतिरिक्त "मैप्स" (जैसे डेप्थ मैप जो दिखाता है कि चीजें कितनी दूर हैं) को देखता है ताकि वस्तु के 3D आकार को समझ सके। यह AI को भ्रमित होने या "हैलुसिनेट" करने (ऐसी चीजें बनाना जो वहां नहीं हैं) से रोकता है।
4. ट्रेनिंग: "फ्रैंकेंस्टीन डेटासेट"
इस AI को सिखाने के लिए, उन्हें "व्यक्ति + बैकग्राउंड" के हजारों उदाहरणों की आवश्यकता थी। लेकिन उच्च-गुणवत्ता वाले, वास्तविक जीवन के उदाहरण दुर्लभ और महंगे हैं।
- समाधान: उन्होंने एक "फ्रैंकेंस्टीन" डेटासेट बनाया। उन्होंने असली फोटो (जिनमें बेहतरीन बनावट है लेकिन किनारे बिखरे हुए हैं) और AI-जेनरेटेड फोटो (जिनकी आकृतियाँ एकदम सही हैं लेकिन वे थोड़े प्लास्टिक जैसे दिखते हैं) को लिया।
- उन्होंने उन्हें आपस में मिला दिया। यह एक असली, स्वादिष्ट स्टेक को एक परफेक्ट, सिंथेटिक स्टेक के साथ मिलाने जैसा है ताकि एक ऐसा ट्रेनिंग मील बनाया जा सके जो AI को दोनों दुनिया का सर्वश्रेष्ठ सिखाता है: वास्तविक बनावट और सटीक आकृतियाँ।
5. परिणाम: "लेयर केक"
जब आप इस नए सिस्टम के माध्यम से एक इमेज चलाते हैं, तो यह आपको केवल एक तस्वीर नहीं देता है। यह आपको एक लेयर केक देता है:
- फोरग्राउंड (Foreground): व्यक्ति (या वस्तु) को उनके बालों और कपड़ों के साथ बाहर निकाला जाता है, जिससे वे एक नए बैकग्राउंड पर पेस्ट करने के लिए तैयार होते हैं।
- बैकग्राउंड (Background): व्यक्ति को हटा दिया जाता है, और AI तुरंत खाली जगह को मूल सूर्यास्त के साथ "भर" देता है, जिससे ऐसा लगता है जैसे व्यक्ति वहां कभी था ही नहीं।
यह क्यों मायने रखता है
- यह सस्ता है: आपको इसे चलाने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है। यह मानक हार्डवेयर पर चलता है क्योंकि यह मौजूदा मॉडल्स का पुन: उपयोग करता है।
- यह तेज़ है: क्योंकि उन्होंने पूरे दिमाग को फिर से प्रशिक्षित नहीं किया, बल्कि केवल एक छोटा "रेसिपी कार्ड" जोड़ा, यह कुशल है।
- यह रचनात्मक है: यह कलाकारों, डिजाइनरों और संपादकों के लिए नई संभावनाएं खोलता है। अब आप आसानी से वस्तुओं को इधर-उधर ले जा सकते हैं, विकर्षणों को हटा सकते हैं, या बिना फोटोशॉप विजार्ड बने नए दृश्य बना सकते हैं।
संक्षेप में: उन्होंने एक ऐसे कंप्यूटर को लिया जो पहले से ही तस्वीरों में छेद भरने में बहुत अच्छा था, उसे कुछ अतिरिक्त संकेत और एक छोटा नया निर्देश मैनुअल दिया, और अब वह एक पेशेवर संपादक की तरह वस्तुओं को उनके बैकग्राउंड से पूरी तरह से अलग कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।