BeyondMasks: Evaluating Causal and Physical Consistency in Video Object Removal

डिजिटल वीडियो की दुनिया में, एक साधारण कमांड के साथ वास्तविकता को संपादित करने की बढ़ती क्षमता मौजूद है। कल्पना कीजिए कि आप एक व्यस्त सड़क की रिकॉर्डिंग देख रहे हैं और एक कंप्यूटर से एक विशिष्ट कार को मिटाने के लिए कहते हैं, जिससे बाकी दृश्य पूरी तरह से बरकरार रहता है। वर्षों तक, इसके पीछे की तकनीक ने एक सीमित कार्य पर ध्यान केंद्रित किया है: उस खाली स्थान को भरना जहाँ कोई वस्तु हुआ करती थी। यह एक चित्रकार की तरह है जो दीवार में छेद को सावधानीपूर्वक फिर से पेंट कर रहा है, आसपास की ईंटों की बनावट और रंग से मेल बिठाने की कोशिश कर रहा है। यह दृष्टिकोण तब अच्छा काम करता है जब वस्तु बस वहीं बैठी होती है, लेकिन यह अक्सर तब विफल हो जाता है जब वस्तु अपने परिवेश के साथ अंतःक्रिया (interact) कर रही होती है। वास्तविक भौतिक दुनिया में, चीजें केवल स्थान नहीं घेरतीं; वे छाया डालती हैं, प्रकाश को परावर्तित करती हैं, कमरे के प्रकाश को बदलने का तरीका बदलती हैं, और अपनी गति के निशान छोड़ जाती हैं, जैसे पानी में लहरें या पैर के कदम से उड़ने वाली धूल। यदि आप वस्तु को हटा देते हैं लेकिन इन भौतिक परिणामों को पीछे छोड़ देते हैं, तो दृश्य गलत दिखता है, जैसे कि फ्रेम में कोई भूत मंडरा रहा हो।

शोधकर्ताओं की एक टीम ने महसूस किया है कि वास्तविक वीडियो संपादन के लिए केवल एक छेद भरने से अधिक की आवश्यकता है; इसके लिए वस्तु और उसके परिवेश को बांधने वाले कारण-और-प्रभाव (cause-and-effect) के संबंधों को समझने की आवश्यकता है। उन्होंने वीडियो संपादन उपकरणों का परीक्षण करने का एक नया तरीका पेश किया है, जिसे 'बियॉन्डमास्क' (BeyondMasks) कहा जाता है, जो कंप्यूटर को न केवल वस्तु को, बल्कि उसके द्वारा बनाए गए अदृश्य भौतिक प्रभावों को भी हटाने की चुनौती देता है। ऐसा करने के लिए, उन्होंने 180 वीडियो क्लिप का एक संग्रह बनाया, जिनमें से आधे कंप्यूटर पर बनाए गए थे और आधे वास्तविक दुनिया में फिल्माए गए थे। प्रत्येक क्लिप में, उनके पास एक "पहले" वाला संस्करण है जिसमें एक वस्तु मौजूद है और एक "बाद" वाला संस्करण है जहाँ वह वस्तु कभी थी ही नहीं, जो एक आदर्श उत्तर कुंजी (answer key) के रूप में कार्य करता है। यह उन्हें यह देखने की अनुमति देता है कि कंप्यूटर कहाँ गलती करता है। उन्होंने पाया कि यहाँ तक कि सबसे उन्नत वीडियो उपकरण भी, जो खाली स्थान को बहुत यथार्थवादी बना सकते हैं, लगातार माध्यमिक प्रभावों को हटाने में विफल रहते हैं। एक छाया ज़मीन पर रह सकती है जहाँ कभी एक लोमड़ी खड़ी थी, या एक लैंप को हटाने के बाद खिड़की में एक प्रतिबिंब रह सकता है। शोधकर्ताओं ने पाया कि वर्तमान तकनीक वस्तु और उसके भौतिक पदचिह्नों को अलग-अलग समस्याओं के रूप में देखती है, जबकि वास्तव में, वे एक और एक ही हैं।

इन विफलताओं को मापने के लिए, टीम ने एक नई स्कोरिंग प्रणाली विकसित की है जो एक आलोचनात्मक दृष्टि की तरह कार्य करती है। केवल यह गिनने के बजाय कि कितने पिक्सेल आदर्श उत्तर से मेल खाते हैं, वे एक परिष्कृत कृत्रिम बुद्धिमत्ता (AI) का उपयोग करते हैं जो वीडियो को देखती है और निर्णय लेती है कि क्या दृश्य भौतिक रूप से सुसंगत (consistent) दिखता है। यह प्रणाली दो चीजों की जाँच करती है: क्या वस्तु पूरी तरह से गायब हो गई है, और क्या वातावरण एक प्राकृतिक अवस्था में लौट आया है जैसे कि वस्तु वहां कभी थी ही नहीं? जब उन्होंने आज उपलब्ध नौ सर्वश्रेष्ठ वीडियो संपादन मॉडलों का परीक्षण किया, तो परिणाम काफी खुलासा करने वाले थे। जबकि कुछ मॉडल छवि की गुणवत्ता के पारंपरिक मापदंडों पर बहुत उच्च अंक प्राप्त करते हैं, वे इस नए भौतिक तर्क के परीक्षण पर खराब प्रदर्शन करते हैं। उदाहरण के लिए, एक टूल तालाब से बत्तख को सफलतापूर्वक मिटा सकता है लेकिन उसके द्वारा बनाई गई लहरों को पीछे छोड़ सकता है, या एक चायदानी को हटा सकता है लेकिन मेज पर उसकी छाया को छोड़ सकता है। अध्ययन दर्शाता है कि ये उपकरण अभी भी प्रकाश और पदार्थ के भौतिकी (physics) को समझने के लिए संघर्ष कर रहे हैं। वे एक ऐसा बैकग्राउंड बना सकते हैं जो विश्वसनीय दिखता है, लेकिन वे उस कारण-श्रृंखला (causal chain) के बारे में तर्क नहीं कर सकते जो एक वस्तु द्वारा ट्रिगर की जाती है।

शोधकर्ताओं ने यह भी देखा कि ये गलतियाँ क्यों होती हैं। उन्होंने पाया कि कई संपादन उपकरण केवल उस क्षेत्र को ब्लॉक करने और कंप्यूटर से यह अनुमान लगाने के लिए कहते हैं कि वहां क्या होना चाहिए। यह दृष्टिकोण मूल्यवान संकेतों को फेंक देता है। यदि कांच का एक कप मेज पर रखा है, तो कंप्यूटर कांच के माध्यम से मेज को देख सकता है। यदि टूल कप को पूरी तरह से ब्लॉक कर देता है, तो वह मेज के उस दृश्य को खो देता है और पैटर्न का अनुमान लगाने के लिए मजबूर होता है, और अक्सर गलत होता है। अध्ययन का सुझाव है कि भविष्य के निष्कासन प्रणालियों (removal systems) को लापता जानकारी को बेहतर ढंग से पुनः प्राप्त करने के लिए केवल 'मास्क्ड इनपेंटिंग' (masked inpainting) पर निर्भर रहने के बजाय संदर्भ-जागरूक तर्क (context-aware reasoning) को शामिल करना चाहिए। अध्ययन एक महत्वपूर्ण अंतर को उजागर करता है जो दिखने में सहज (visually smooth) होने और वास्तव में भौतिक रूप से सही होने के बीच है। यह सुझाव देता है कि वीडियो संपादन को वास्तव में वास्तविक महसूस करने के लिए, तकनीक को सरल चित्र मरम्मत से आगे बढ़ना होगा और भौतिक दुनिया के अदृश्य नियमों को समझना होगा, यह सुनिश्चित करना होगा कि जब किसी वस्तु को हटाया जाता है, तो वह दुनिया जिसमें वह रहती थी, पूर्ण निरंतरता की स्थिति में वापस आ जाए।