कल्पना कीजिए कि आप संग्रहालय में टंगी एक सुंदर पेंटिंग की फोटो खींचने की कोशिश कर रहे हैं, लेकिन उसके सामने लगे कांच के केस में आपका अपना चेहरा और आपके कैमरे की फ्लैश चमक रही है। परिणाम एक अस्त-व्यस्त मिश्रण होता है: वह पेंटिंग जिसे आप देखना चाहते हैं, वह आपकी अपनी परछाई की एक भूतिया परत के नीचे दब गई है। यह "रिफ्लेक्शन रिमूवल" (प्रतिबिंब हटाने) की क्लासिक समस्या है, जो कंप्यूटर विजन में एक बड़ी चुनौती है। लंबे समय तक, कंप्यूटरों ने एक स्थिर, जमी हुई तस्वीर को देखकर यह अनुमान लगाने की कोशिश की है कि कौन सा हिस्सा पेंटिंग का है और कौन सा प्रतिबिंब का। यह एक ही समय में बज रहे दो अलग-अलग गानों को केवल एक स्थिर रिकॉर्डिंग सुनकर अलग करने की कोशिश करने जैसा है; यह अविश्वसनीय रूप से कठिन है क्योंकि कंप्यूटर भ्रमित हो जाता है, जिससे अक्सर धुंधले धब्बे रह जाते हैं या वास्तविक दृश्य के कुछ हिस्से गलती से मिट जाते हैं।

मामले को और खराब बनाने के लिए, कई उन्नत तरीके वीडियो लेकर बड़े आंदोलनों को खोजने की कोशिश करते हैं, जैसे कि कैमरे को बहुत ज़ोर से हिलाना ताकि यह देखा जा सके कि प्रतिबिंब पृष्ठभूमि की तुलना में कैसे अलग तरह से हिलता है। लेकिन असल जिंदगी में, हम कैमरे को इतना अधिक नहीं हिला सकते, या गति इतनी सूक्ष्म होती है कि एक मानक कैमरा, जो धीमी और स्थिर गति से तस्वीरें लेता है, उसे देख नहीं पाता। यहीं पर "इवेंट कैमरा" (event camera) नामक एक विशेष प्रकार का कैमरा काम आता है। एक साधारण कैमरे की तरह जो फ्लिपबुक की तरह स्नैपशॉट लेते हैं, इवेंट कैमरा बहुत तेज़ और संवेदनशील कानों की तरह होते हैं। वे पूरी तस्वीर का इंतज़ार नहीं करते; इसके बजाय, वे प्रकाश के सूक्ष्म, सेकंड के छोटे हिस्सों में होने वाले बदलावों को रिकॉर्ड करते हैं, जो लाखों बार प्रति सेकंड होते हैं। यह उन्हें प्रकाश की उन नन्ही, लगभग अदृश्य लहरों को पकड़ने की अनुमति देता है जो आपके हाथ के जरा से हिलने पर भी उत्पन्न होती हैं।

इस शोध पत्र में, शोधकर्ता एक नया सिस्टम पेश करते हैं जिसे EvReflection कहा जाता है, जो इन सुपर-फास्ट इवेंट कैमरों का उपयोग करके प्रतिबिंब की पहेली को हल करता है। एक एकल स्थिर छवि के आधार पर अनुमान लगाने या कैमरे को हिंसक रूप से हिलाने की आवश्यकता के बजाय, उनकी विधि "माइक्रो-डायनामिक्स" (सूक्ष्म गतिशीलता) का उपयोग करती है—इवेंट कैमरा द्वारा पकड़ी गई प्रकाश की नन्ही, उच्च-गति वाली बदलती स्थितियाँ। क्योंकि प्रतिबिंब (कांच की सतह पर) और वास्तविक दृश्य (कांच के पीछे) अलग-अलग दूरियों पर होते हैं, इसलिए कैमरे की मामूली सी हरकत भी उन्हें थोड़े अलग तरीके से हिला देती है। इवेंट कैमरा इन सूक्ष्म अंतरों को तुरंत पकड़ लेता है। शोधकर्ताओं ने एक स्मार्ट नेटवर्क बनाया है जो इन नन्ही लहरों को एक गुप्त कोड के रूप में उपयोग करता है ताकि प्रतिबिंब को वास्तविक छवि से पूरी तरह से अलग किया जा सके। उन्होंने कंप्यूटर-जनित दृश्यों और एक नए वास्तविक दुनिया के डेटासेट पर इसका परीक्षण किया, और परिणाम दिखाते हैं कि उनकी विधि पिछले तरीकों की तुलना में छवि को बहुत बेहतर तरीके से साफ करती है, वास्तविक विवरणों को धुंधला किए बिना "भूतों" (परछाइयों) को हटा देती है।

समस्या: कांच में छिपा भूत

एक खिड़की के माध्यम से बारिश के दिन बाहर देखने की कल्पना करें। आप बाहर की सड़क ("ट्रांसमिशन" लेयर) देखते हैं, लेकिन आप कांच में अपना चेहरा और अपने पीछे के कमरे का प्रतिबिंब भी देखते है ("रफ्लेक्शन" लेयर)। कंप्यूटर के लिए, ये दोनों परतें एक धुंधले मिश्रण में मिल जाती हैं। वर्षों से, वैज्ञानिक कृत्रिम बुद्धिमत्ता (AI) का उपयोग करके उन्हें अलग करने की कोशिश कर रहे हैं।

पुराना तरीका एक अकेली फोटो को देखना और यह अनुमान लगाना था कि कौन से पिक्सेल प्रतिबिंब के हैं। लेकिन यह एक स्मूदी (smoothie) को अन-मिक्स करके मूल फल वापस पाने की कोशिश करने जैसा है; बिना अधिक सुरागों के यह निश्चित रूप से जानना गणितीय रूप रूप से असंभव है। कभी-कभी प्रतिबिंब बिल्कुल बैकग्राउंड जैसा दिखता है, जिससे कंप्यूटर भ्रमित हो जाता है और पीछे "आर्टिफैक्ट्स" (artifacts)—अजीब धब्बे या दोहरी छवियां—छोड़ देता है जो फोटो को खराब कर देती हैं।

एक अन्य दृष्टिकोण वीडियो लेना और गति को देखना था। यदि आप कैमरा हिलाते हैं, तो कांच पर मौजूद प्रतिबिंब, बैकग्राउंड की तुलना में अलग गति से चलता है क्योंकि वे अलग-अलग गहराई पर होते हैं। हालाँकि, मानक कैमरे इन सूक्ष्म गतिविधियों को पकड़ने के लिए बहुत धीमे होते हैं जब तक कि आप कैमरे को बहुत अधिक न हिलाएं। यदि आप इसे थोड़ा सा भी हिलाते हैं (जैसे हाथ का हल्का सा कंपन), तो एक नियमित कैमरा केवल एक स्थिर छवि देखता है, और कंप्यूटर फिर से फंस जाता है।

समाधान: "माइक्रो-डायनामिक्स" को सुनना

शोधकर्ताओं ने महसूस किया कि जबकि नियमित कैमरे सूक्ष्म गतिविधियों को मिस कर देते हैं, इवेंट कैमरे ऐसा नहीं करते। इवेंट कैमरा एक विशेष सेंसर है जो केवल तभी सक्रिय होता है जब वह प्रकाश में परिवर्तन देखता है। यह इतना तेज़ है कि माइक्रोसेकंड में बदलाव का पता लगा सकता है।

टीम का बड़ा विचार सरल लेकिन शानदार था: अपने हाथ की नन्ही, लगभग अद्विों योग्य गतिविधियों का उपयोग करके प्रतिबिंब और वास्तविक दृश्य के बीच अंतर बताएं।

भले ही आप कैमरे को बहुत स्थिर पकड़कर रखें, आपका हाथ कभी भी पूरी तरह से स्थिर नहीं होता। इसमें सूक्ष्म कंपन होते हैं। क्योंकि प्रतिबिंब कांच की सतह पर है और वास्तविक दृश्य उसके पीछे है, ये सूक्ष्म कंपन प्रतिबिंब और बैकग्राउंड को थोड़े अलग मात्रा में हिला देते हैं। एक नियमित कैमरा इस अंतर को देखने के लिए बहुत धीमा है, लेकिन इवेंट कैमरा इसे तुरंत पकड़ लेता है। यह एक अत्यंत संवेदनशील माइक्रोफ़ोन रखने जैसा है जो एक कमरे में दो लोगों की फुसफुसाहट के बीच अंतर सुन सकता है, भले ही वे लगभग एक ही शब्द फुसफुसा रहे हों।

EvReflection कैसे काम करता है

शोधकर्ताओं ने एक नया AI सिस्टम बनाया है जिसे EvReflection कहा जाता है, जो एक जासूस की तरह दो तरह की आँखों से काम करता है: एक नियमित फोटो (RGB) को देखता है और दूसरा इवेंट कैमरे के हाई-स्पीड डेटा को सुनता है।

1. माइक्रो-डायनामिक्स डिकपलर (MDD): यह सिस्टम का पहला भाग है। यह इवेंट कैमरे से कच्चे डेटा को लेता है और यह पता लगाता है कि प्रतिबिंब और बैकग्राउंड एक-दूसरे से कितने अलग तरह से हिल रहे हैं। यह एक फिल्टर की तरह है जो प्रतिबिंब की "लहर" को बैकग्राउंड की "लहर" से अलग करता है, और उन्हें एक स्पष्ट मानचित्र में बदल देता है कि परतें कहाँ स्थित हैं।
2. पैरालेक्स-अटेंशन रेक्टिफायर (PAR): एक बार जब सिस्टम जान जाता है कि परतें कैसे हिल रही हैं, तो यह दूसरा भाग उस मानचित्र का उपयोग करके नियमित फोटो को साफ करता है। यह फोटो को देखता है और कहता है, "आह, इस छवि का यह हिस्सा प्रतिबिंब की तरह हिल रहा है, इसलिए मैं इसे हटा दूंगा। यह हिस्सा बैकग्राउंड की तरह हिल रहा है, इसलिए मैं इसे रखूंगा।" यह एक विशेष "अटेंशन" मैकेनिज्म का उपयोग करता है ताकि केवल उन्हीं हिस्सों पर ध्यान केंद्रित किया जा सके जिन्हें ठीक करने की आवश्यकता है, जिससे यह सुनिश्चित होता है कि अंतिम छवि स्पष्ट और भूतिया धब्बों से मुक्त हो।

परिणाम: हवा को साफ करना

अपने विचार का परीक्षण करने के लिए, टीम को एक समस्या का समाधान करना था: वास्तविक दुनिया के ऐसे फोटो उपलब्ध नहीं थे जिनमें इवेंट कैमरा डेटा हो ताकि ट्रेनिंग दी जा सके। इसलिए, उन्होंने हजारों नकली लेकिन यथार्थवादी उदाहरण बनाने के लिए एक सिमुलेशन पाइपलाइन बनाई, जहाँ वे जानते थे कि साफ छवि कैसी दिखनी चाहिए। उन्होंने एक मोटर चालित स्लाइड के साथ एक विशेष उपकरण भी बनाया ताकि एक नया वास्तविक दुनिया का डेटासेट EVR2 कैप्चर किया जा सके, जिसमें विभिन्न मोटाई के कांच के माध्यम से ली गई तस्वीरें शामिल हैं।

जब उन्होंने EvReflection का परीक्षण किया, तो परिणाम प्रभावशाली थे:

• मानक टेस्ट सेट्स पर, उनकी विधि ने इमेज क्वालिटी (PSNR) में मौजूदा सर्वोत्तम विधियों को 1.6 dB से अधिक से पीछे छोड़ दिया।
• उनके नए वास्तविक दुनिया के डेटासेट पर, इसने प्रतियोगिता को 1.2 dB से पछाड़ दिया।
• दृश्य रूप से, जहाँ अन्य विधियाँ स्पष्ट घोस्टिंग या धुंधले किनारे छोड़ देती हैं (जैसा कि पेपर के तुलनात्मक चित्रों में देखा गया है), EvReflection ने सफलतापूर्वक प्रतिबिंबों को हटा दिया, जिससे एक साफ और स्पष्ट बैकग्राउंड दिखाई दिया।

यह शोध पत्र सुझाव देता है कि यह दृष्टिकोण विशेष रूप से "मोटे" कांच को संभालने के लिए अच्छा है, जहाँ प्रतिबिंब जटिल दोहरी छवियां बनाता है जो अन्य सिस्टम को भ्रमित कर देती हैं। इवेंट कैमरे से प्राप्त उच्च-गति गति डेटा पर भरोसा करके, सिस्टम को अनुमान लगाने की आवश्यकता नहीं होती है; उसके पास भौतिक प्रमाण होता है कि कौन सी परत कौन सी है।

इसका क्या अर्थ है

यह शोध बताता है कि इवेंट कैमरों को जोड़ने से उन समस्याओं को हल किया जा सकता है जिन्होंने वर्षों से कंप्यूटर विजन को उलझा रखा है। यह दिखाता है कि परतों को अलग करने के लिए हमें हमेशा कैमरे को बहुत अधिक हिलाने की आवश्यकता नहीं होती है; यहाँ तक कि सूक्ष्म, प्राकृतिक गतिविधियाँ भी, यदि सही सेंसर के साथ पकड़ी जाएं, तो ढेर को सुलझाने के लिए पर्याप्त जानकारी प्रदान करती हैं। हालांकि वर्तमान में इस सिस्टम को एक विशिष्ट प्रकार के कैमरे और इसे चलाने के लिए एक शक्तिशाली कंप्यूटर की आवश्यकता है, यह भविष्य के कैमरों के लिए द्वार खोलता है जो वास्तविक समय में प्रतिबिंबों के पार देख सकते हैं, जिससे रोबोट, सेल्फ-ड्राइविंग कारें और फोटोग्राफर दुनिया को स्पष्ट रूप से देख पाएंगे, चाहे उनके सामने कितने भी खिड़कियां क्यों न हों।