Consistent Feature Transport for Image Relighting
यह शोध पत्र कंसिस्टेंट फीचर ट्रांसपोर्ट (CFT) को प्रस्तुत करता है, जो रेक्टिफाइड फ्लो पर आधारित एक प्रशिक्षण सिद्धांत है जो इमेज रिलाइटिंग को इल्यूमिनेशन फीचर ट्रांसपोर्ट समस्या के रूप में पुनर्गठित करता है ताकि स्रोत और लक्ष्य छवियों के बीच सुसंगत फीचर ट्रांसफॉर्मेशन को स्पष्ट रूप से लागू किया जा सके, जिससे मौजूदा डिफ्यूजन-आधारित विधियों की तुलना में बेहतर इल्यूमिनेशन कंट्रोल और कंटेंट प्रिजर्वेशन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक डिजिटल कलाकार हैं जिसके पास एक जादुई छड़ी है जो किसी भी फोटो में रोशनी बदल सकती है। आप एक उदास, बारिश वाली सड़क के दृश्य को धूप वाले, सुनहरे समय (गोल्डन ऑवर) के मास्टरपीस में बदलना चाहते हैं, या किसी पोर्ट्रेट को कठोर ऑफिस की फ्लोरोसेंट लाइट से बदलकर एक कोमल, रोमांटिक सूर्यास्त की चमक में बदलना चाहते हैं। लेकिन यहाँ एक पेंच है: आप व्यक्ति का चेहरा, उनके कपड़े, या इमारतों का आकार नहीं बदलना चाहते। आप केवल रोशनी को हिलाना चाहते हैं। कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से जेनरेटिव एआई (generative AI) नामक एक क्षेत्र में, शोधकर्ता "डिफ्यूजन मॉडल्स" (diffusion models) का उपयोग करते हैं—इन्हें ऐसे समझें जैसे वे अविश्वसनीय रूप से स्मार्ट कलाकार हैं जो शोर के एक धुंधले बादल से शुरू करके और धीरे-धीरे उसे एक स्पष्ट चित्र में परिष्कृत करके पेंट करना सीखते हैं। हालाँकि ये एआई कलाकार अद्भुत हैं, लेकिन वे कभी-कभी केवल रोशनी बदलने के लिए कहे जाने पर संघर्ष करते हैं। वे गलती से व्यक्ति के बालों का रंग बदल सकते हैं, उनके चेहरे को विकृत कर सकते हैं, या ऐसी छाया बना सकते हैं जो किसी दूसरे ग्रह की लगती हो। बड़ा सवाल यह है कि हम एआई को बाकी सब कुछ बिगाड़े बिना रोशनी को इधर-उधर कैसे सिखाएं?
यह पेपर इस समस्या को हल करने के लिए कंसिस्टेंट फीचर ट्रांसपोर्ट (Consistent Feature Transport - CFT) नामक एक नई तरकीब पेश करता है। बीजिंग इंस्टीट्यूट ऑफ टेक्नोलॉजी, मेइटू इंक (Meitu Inc.), और रेनमिन यूनिवर्सिटी ऑफ चाइना की एक टीम ने महसूस किया कि पिछले तरीके अक्सर यह अनुमान लगाने की कोशिश करते थे कि रोशनी को कैसे बदला जाए, जिससे अक्सर असंगत या अस्त-व्यस्त परिणाम मिलते थे। इसके बजाय, उन्होंने एआई को मूल फोटो और नई, रीलिट (relit) फोटो के बीच एक विशिष्ट "नृत्य" सिखाने का निर्णय लिया। उन्होंने रीलाइटिंग को केवल एक छवि पर पेंट करने के रूप में नहीं, बल्कि एक सटीक "फीचर ट्रांसपोर्ट" समस्या के रूप में तैयार किया। कल्पना कीजिए कि आपके पास दो समान मिट्टी की मूर्तियाँ हैं, लेकिन एक को लाल लैंप से रोशन किया गया है और दूसरी को नीले लैंप से। लक्ष्य एआई को यह सिखाना है कि पहली मूर्ति से "लाल रोशनी" के फीचर्स को दूसरी मूर्ति में कैसे स्लाइड किया जाए, बिना मिट्टी को कुचले या बिगाड़े।
ऐसा करने के लिए, शोधकर्ताओं ने 34,695 पोर्ट्रेट इमेज पेयर्स का एक विशाल नया डेटासेट बनाया, जिसमें नियॉन सिटी लाइट्स से लेकर कोमल सुबह की धूप तक सब कुछ शामिल था, जिसे विशेष रूप से कठिन और विविध बनाने के लिए डिज़ाइन किया गया था। फिर उन्होंने एक विशेष तीन-भागों वाले नियम पुस्तिका का उपयोग करके अपने एआई को प्रशिक्षित किया। पहले, उन्होंने इसे शोर (noise) से चित्र बनाना सिखाया (मानक तरीका)। दूसरा, उन्होंने यह सुनिश्चित किया कि यह मूल छवि का पूर्ण पुनर्निर्माण कर सके (ताकि यह न भूल जाए कि व्यक्ति कैसा दिखता है)। लेकिन असली गुप्त मंत्र तीसरा नियम है: उन्होंने एआई को दो अलग-अलग फोटो के बीच "ट्रांसपोर्ट" सीखने के लिए मजबूर किया जो एक ही लाइटिंग परिवर्तन साझा करते हैं लेकिन जिनमें अलग-अलग लोग हैं। यह एआई को एक फोटो दिखाने जैसा है जिसमें एक व्यक्ति लाल रोशनी में है, फिर एक फोटो जिसमें एक अलग व्यक्ति उसी लाल रोशनी में है, और फिर कहना है, "पता लगाओ कि पहली व्यक्ति से दूसरे व्यक्ति तक रोशनी कैसे बदली, और उस सटीक चाल को इस नए फोटो पर लागू करो।" ऐसा करके, एआई यह सीख जाता है कि "रोशनी को हिलाना" एक विशिष्ट, सुसंगत क्रिया है, जो "चेहरा बदलने" से अलग है।
परिणाम काफी उत्साहजनक हैं। जब उन्होंने अपने नए तरीके का परीक्षण अन्य शीर्ष-स्तरीय एआई टूल्स के मुकाबले किया, तो उनका दृष्टिकोण लगातार बेहतर परिणाम देता रहा। आंकड़ों में, उनके सर्वश्रेष्ठ मॉडल ने 0.9202 का स्ट्रक्चरल सिमिलरिटी इंडेक्स (SSIM) और 23.5105 का पीक सिग्नल-टू-नॉइज़ रेशियो (PSNR) प्राप्त किया, जो अधिकांश प्रतिस्पर्धियों की तुलना में उच्च स्कोर हैं, जिसका अर्थ है कि चेहरे मूल के अधिक करीब रहे और रोशनी अधिक वास्तविक लगी। उन्होंने यह भी पाया कि यह तरकीब केवल लाइटिंग के लिए नहीं थी; जब उन्होंने इसे "स्टाइल ट्रांसफर" (एक फोटो को पेंटिंग जैसा दिखने के लिए बदलना) पर आजमाया, तो यह वहां भी काम कर गया, जो सुझाव देता है कि यह "फीचर ट्रांसपोर्ट" विचार कई प्रकार के इमेज एडिटिंग के लिए एक शक्तिशाली उपकरण है। लेखक सुझाव देते हैं कि विशिष्ट फीचर्स (जैसे रोशनी) को हिलाते हुए अन्य चीजों (जैसे पहचान) को स्थिर रखने के बारे में एआई को स्पष्ट रूप से सिखाकर, हम डिजिटल एडिटिंग को बहुत अधिक विश्वसनीय और अजीब गड़बड़ियों से मुक्त बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।