A hierarchical general video matting framework towards temporal coherence

वीडियो संपादन की डिजिटल दुनिया में, एक निरंतर चुनौती बनी रहती है जो साधारण कटिंग और जटिल पेंटिंग के बीच स्थित है: एक चलते हुए ऑब्जेक्ट को उसके बैकग्राउंड से पूर्ण सटीकता के साथ अलग करना। जब कोई व्यक्ति स्क्रीन पर चलता है, या कोई स्कार्फ हवा में लहराता है, तो उस ऑब्जेक्ट का किनारा शायद ही कभी एक तीखी, साफ रेखा होता है। यह अक्सर रंगों का एक अस्त-व्यस्त मिश्रण होता है, जहाँ फोरग्राउंड (अग्रभूमि) के बाल या कपड़ा बैकग्राउंड की हवा या दृश्य के साथ मिल जाते हैं। इस मिश्रण को वास्तविक दिखाने के लिए, संपादकों को केवल एक ब्लैक-एंड-व्हाइट मास्क की आवश्यकता नहीं होती; उन्हें एक ट्रांसपेरेंसी मैप (पारदर्शिता मानचित्र) की आवश्यकता होती है, जो सूचना की एक ऐसी परत है जो कंप्यूटर को ठीक-ठीक बताती है कि हर एक पिक्सेल में बैकग्राउंड कितना दिखाई दे रहा है। वीडियो मैटिंग के रूप में जानी जाने वाली यह प्रक्रिया तब अविश्वसनीय रूप से कठिन हो जाती है जब ऑब्जेक्ट हिलता है। यदि कंप्यूटर एक फ्रेम के लिए पारदर्शिता की गणना सही ढंग से करता है लेकिन अगले फ्रेम के लिए इसे थोड़ा गलत कर देता है, तो परिणाम एक झिलमिलाता हुआ, अस्थिर दृश्य बन जाता है जो वास्तविकता के भ्रम को तोड़ देता है। वर्षों से, इसका प्रमुख समाधान कृत्रिम बुद्धिमत्ता (AI) में भारी मात्रा में वीडियो डेटा फीड करना रहा है, इस उम्मीद में कि मशीन बाल, फर और कपड़े के पैटर्न को सीख लेगी। हालाँकि, ये डेटा-भारी सिस्टम उन ऑब्जेक्ट्स के साथ संघर्ष करते हैं जिन्हें उन्होंने पहले कभी नहीं देखा है और वे ऐसे परिणाम दे सकते हैं जो एक क्षण से दूसरे क्षण तक धुंधले या असंगत दिखते हैं।

हारबिन यूनिवर्सिटी ऑफ कॉमर्स के शोधकर्ताओं की एक टीम ने एक अलग रास्ता प्रस्तावित किया है, जो भारी प्रशिक्षण डेटा पर निर्भरता से बचता है और इसके बजाय क्रमिक फ्रेमों में पिक्सेल के बीच गणितीय संबंधों पर ध्यान केंद्रित करता है। उनका कार्य एक नया ढांचा पेश करता है जो वीडियो मैटिंग को पिछले उदाहरणों पर आधारित अनुमान लगाने के खेल के रूप में नहीं, बल्कि तत्काल दृश्य साक्ष्य के आधार पर सबसे संभावित समाधान खोजने की एक संरचित समस्या के रूप में देखता है। उनका तर्क है कि दो फ्रेमों के बीच रंग और स्थिति कैसे बदलती है इसका सावधानीपूर्वक विश्लेषण करके, एक कंप्यूटर जटिल, अर्ध-पारदर्शी सामग्रियों जैसे रेशम या धुएं के लिए भी उच्च सटीकता के साथ किसी ऑब्जेक्ट की पारदर्शिता निर्धारित कर सकता है, बिना यह देखे कि उसने उन्हें पहले "देखा" है या नहीं। यह दृष्टिकोण उस झिलमिलाहट के विरुद्ध मजबूत बनाया गया है जो अन्य विधियों को परेशान करती है, यह सुनिश्चित करता है कि निकाला गया ऑब्जेक्ट सुचारू रूप से और स्वाभाविक रूप से चले, जैसे कि वह वास्तव में उस नए बैकग्राउंड का हिस्सा हो जिसमें उसे रखा गया है।

शोधकर्ताओं ने अपने सिस्टम को एक तीन-चरणीय पाइपलाइन के रूप में बनाया है, जो चरणों का एक पदानुक्रम है जो छवि को क्रमिक रूप से परिष्कृत करता है। प्रक्रिया एक प्री-प्रोसेसिंग चरण के साथ शुरू होती है जो एक व्यापक-जाल फिल्टर की तरह कार्य करता है। पूरी छवि को एक साथ हल करने के बजाय, सिस्टम दो फ्रेमों को अगल-बगल देखता है और उन पिक्सेल की तलाश करता है जो स्पष्ट रूप से ऑब्जेक्ट का हिस्सा हैं या स्पष्ट रूप से बैकग्राउंड का हिस्सा हैं। यह दो फ्रेमों में रंगों और स्थितियों की तुलना करके करता है, यह पहचानकर कि कौन से पिक्सेल "अपारदर्शी" (opaque) हैं और कौन से मिश्रित हैं। यह चरण महत्वपूर्ण है क्योंकि यह अनिश्चितता को दूर करता है, जिससे अगले चरण के लिए एक स्वच्छ मानचित्र तैयार होता है। सिस्टम अपनी खोज रणनीति को समायोजित करने में स्मार्ट है; यदि ऑब्जेक्ट और बैकग्राउंड के रंग बहुत अलग हैं, तो यह मिलान करने वाले पिक्सेल के लिए दूर तक देख सकता है, लेकिन यदि वे समान हैं, तो यह गलतियों से बचने के लिए पास रहता है। यह प्रारंभिक पास प्रभावी रूप से एक धुंधले, अनिश्चित किनारे को बहुत अधिक स्पष्ट परिभाषा में बदल देता है, जो अंतिम गणना के लिए एक ठोस आधार तैयार करता है।

एक बार जब सिस्टम स्पष्ट क्षेत्रों की पहचान कर लेता है, तो यह अंतिम परिणाम के लिए आवश्यक विशिष्ट रंग जानकारी एकत्र करने के लिए एक सैंपलिंग चरण की ओर बढ़ता है। इस चरण में, कंप्यूटर अज्ञात, मिश्रित पिक्सेल को देखता है और एक सरल प्रश्न पूछता है: "ज्ञात फोरग्राउंड और बैकग्राउंड से कौन से रंग मिलकर इस विशिष्ट पिक्सेल को बना सकते थे?" यह आसपास के क्षेत्र से नमूने एकत्र करता है, वीडियो की गति का उपयोग करके यह ट्रैक करता है कि ये नमूने एक फ्रेम से दूसरे फ्रेम में कैसे बदलते हैं। यहीं पर विधि पारदर्शिता को संभालने की अपनी क्षमता में चमकती है। प्रत्येक पिक्सेल में योगदान देने वाले फोरग्राउंड और बैकग्राउंड के सटीक रंगों को रिकॉर्ड करके, सिस्टम मूल रंगों के साथ ऑब्जेक्ट का पुनर्निर्माण कर सकता है, न कि केवल ग्रे स्केल का अनुमान लगाकर। यह इन नमूनों पर कितना विश्वास किया जाए, यह तय करने के लिए एक 'कॉन्फिडेंस मेजर' (विश्वास माप) का भी उपयोग करता है, यह सुनिश्चित करता है कि अंतिम परिणाम केवल एक अनुमान नहीं बल्कि उपलब्ध वीडियो साक्ष्य के आधार पर एक गणना की गई संभावना है।

अंतिम चरण पड़ोसी पिक्सेल के बीच संबंधों का सम्मान करने वाली एक स्मूथिंग (सुखमयीकरण) तकनीक का उपयोग करके सब कुछ एक साथ लाता है। सिस्टम शुरुआती अनुमानों और सैंपल किए गए रंग डेटा को एक सॉल्वर के माध्यम से चलाता है जो यह सुनिश्चित करता है कि पारदर्शिता मान छवि में धीरे-धीरे और तार्किक रूप से बदलें। यह चरण झिलमिलाहट को खत्म करने के लिए महत्वपूर्ण है जो वीडियो मैटिंग में अक्सर होती है, क्योंकि यह एक फ्रेम की पारदर्शिता को अगले फ्रेम के साथ सुचारू रूप से संरेखित होने के लिए मजबूर करता है। शोधकर्ताओं ने पाया कि इन तीन परतों को जोड़कर—पहले स्पष्ट क्षेत्रों की पहचान करना, फिर सटीक रंग नमूने एकत्र करना, और अंत में संक्रमणों को सुचारू बनाना—वे ऐसे परिणाम प्राप्त कर सकते थे जो अत्यधिक सटीक और दृश्य रूप से सुसंगत दोनों थे। उनका तरीका डीप लर्निंग के "ब्लैक बॉक्स" पर निर्भर नहीं है, जहाँ कंप्यूटर लाखों उदाहरणों से सीखता है लेकिन असामान्य होने पर विफल हो सकता है। इसके बजाय, यह स्वयं वीडियो के प्रत्यक्ष गणितीय तर्क पर निर्भर करता है।

अपने परीक्षणों में, शोधकर्ताओं ने अपने नए ढांचे की तुलना पुराने पारंपरिक तरीकों और नवीनतम डेटा-संचालित कृत्रिम बुद्धिमत्ता मॉडलों दोनों से की। उन्होंने विभिन्न वीडियो अनुक्रमों का उपयोग किया, जिनमें जटिल बालों वाले लोग और पारभासी किनारों वाले ऑब्जेक्ट शामिल थे, यह देखने के लिए कि प्रत्येक विधि कैसा प्रदर्शन करती है। परिणाम दर्शाते हैं कि उनका दृष्टिकोण ऑब्जेक्ट के चलते समय उसकी सुगमता बनाए रखने में श्रेष्ठ था, जिससे वह झिलमिलाहट प्रभावी रूप से समाप्त हो गई जिसके लिए अन्य विधियाँ संघर्ष करती थीं। जबकि कुछ डेटा-संचालित मॉडल व्यक्ति के सामान्य आकार को पहचानने में अच्छे थे, वे अक्सर ऑब्जेक्ट के तेजी से चलने पर धुंधले किनारे या असंगत रंग उत्पन्न करते थे। इसके विपरीत, नया ढांचा किनारों को तीक्ष्ण रखने और रंगों को वास्तविक बनाए रखने में सक्षम रहा, यहाँ तक कि उन कठिन परिदृश्यों में भी जहाँ बैकग्राउंड और फोरग्राउंड के रंग बहुत समान थे। शोधकर्ताओं ने यह भी प्रदर्शित किया कि उनका तरीका फोरग्राउंड ऑब्जेक्ट को सफलतापूर्वक निकाल सकता है और उसे पूरी तरह से नए बैकग्राउंड में रख सकता है, जिसे कंपोजिटिंग कहा जाता है, एक ऐसे यथार्थवाद के स्तर के साथ जो मौजूदा सर्वोत्तम तकनीकों के बराबर या उससे अधिक है।

इस कार्य का महत्व वीडियो मैटिंग के "सामान्य" मामले को संभालने की इसकी क्षमता में निहित है। अधिकांश वर्तमान सिस्टम विशिष्ट प्रकार के ऑब्जेक्ट्स, जैसे मानव चेहरे, के लिए प्रशिक्षित होते हैं और किसी अन्य चीज़ का सामना करने पर संघर्ष करते हैं। विशाल प्रशिक्षण डेटासेट की आवश्यकता से बचकर, यह नई विधि किसी भी ऑब्जेक्ट, जैसे कि झूमती हुई पेड़ की शाखा या बहते हुए कपड़े को, बिना पुन: प्रशिक्षित किए लागू की जा सकती है। शोधकर्ता सुझाव देते हैं कि यह तकनीक उन्हें वर्चुअल रियलिटी और मेटावर्स में विशेष रूप से उपयोगी बनाती है, जहाँ ऑब्जेक्ट्स को डिजिटल वातावरण में वास्तविक समय में निर्बाध रूप से एकीकृत करने की आवश्यकता होती है। निष्कर्ष बताते हैं कि पिक्सेल के बीच भौतिक संबंधों पर आधारित दृश्य डेटा का सावधानीपूर्वक, चरण-दर-चरण विश्लेषण, उन जटिल समस्याओं को हल कर सकता है जिन्हें डीप लर्निंग ने अभी तक मास्टर नहीं किया है। यह शोध पत्र निष्कर्ष निकालता है कि यह पदानुक्रमित दृष्टिकोण एक विश्वसनीय, उच्च-गुणवत्ता वाला विकल्प प्रदान करता है, जो यह सिद्ध करता है कि कभी-कभी एक चलते हुए चित्र को समझने का सबसे प्रभावी तरीका पिछले उदाहरणों के पुस्तकालय पर भरोसा करने के बजाय, स्वयं पिक्सेलों को करीब से देखना है।