EvBS: Event-guided Blur Synthesis for Domain-adaptive Motion Deblurring

कल्पना कीजिए कि आप उड़ते हुए एक हमिंगबर्ड (hummingbird) की एक आदर्श फोटो खींचने की कोशिश कर रहे हैं। यदि आपका कैमरा थोड़ा धीमा है, तो पक्षी एक धुंधले धब्बे जैसा दिखाई देगा। यह मोशन डिब्लरिंग (motion deblurring) की दुनिया है: कंप्यूटर विज़न की एक शाखा जहाँ वैज्ञानिक कंप्यूटर को धुंधली छवियों को "अन-स्मियर" (un-smear) करने और उनके भीतर छिपे तीक्ष्ण विवरणों को बहाल करने के लिए प्रशिक्षित करते हैं। वर्षों से, इसे करने का सबसे अच्छा तरीका कंप्यूटर को हजारों धुंधली और स्पष्ट तस्वीरों के उदाहरण दिखाना रहा है, जिससे वे पैटर्न को सीख सकें। लेकिन यहाँ एक पेंच है: एक कंप्यूटर जो धूप वाले पार्क में ली गई फोटो को अन-ब्लर करना सीखता है, वह एक बारिश वाली शहर की सड़क की फोटो को अन-ब्लर करने के लिए पूछे जाने पर पूरी तरह भ्रमित हो सकता है। "ब्लर" अलग-अलग जगहों पर अलग दिखता है, जिसे वैज्ञानिक "डोमेन शिफ्ट" (domain shift) कहते हैं। यह वैसा ही है जैसे किसी को सूखे फुटपाथ पर गाड़ी चलाना सिखाना और फिर उम्मीद करना कि वह बिना किसी अतिरिक्त अभ्यास के बर्फबारी को भी संभाल लेगा।

इस समस्या को हल करने के लिए, शोधकर्ताओं ने एक विशेष प्रकार के कैमरे का उपयोग करना शुरू किया है जिसे "इवेंट कैमरा" (event camera) कहा जाता है। सामान्य कैमरों के विपरीत जो हर सेकंड के एक अंश में एक तस्वीर लेते हैं, इवेंट कैमरे अति-संवेदनशील कानों की तरह होते हैं जो केवल तभी "सुनते" हैं जब कुछ हिलता है। वे पूरी तस्वीर नहीं देखते; वे केवल प्रकाश के सूक्ष्म, तीव्र परिवर्तनों को रिकॉर्ड करते हैं, जिससे डेटा की एक ऐसी धारा बनती है जो कंप्यूटर को बताती है कि चीजें कैसे हिलीं, भले ही वास्तविक छवि कितनी भी खराब क्यों न हो। "EvBS" नामक यह शोध पत्र एक चतुर प्रश्न पूछता है: यदि हम इवेंट कैमरों का उपयोग करके गति (movement) को तस्वीर (picture) से अलग कर सकते हैं, तो क्या हम इस अलगाव का उपयोग अपने ब्लर-फिक्सिंग कंप्यूटरों को उन नई, वास्तविक दुनिया की स्थितियों को संभालने के लिए सिखाने के लिए कर सकते हैं जिन्हें उन्होंने पहले कभी नहीं देखा है?

समस्या: "बेक्ड-इन" ब्लर (The "Baked-In" Blur)

लेखक वर्तमान तकनीक में एक बड़ी समस्या की ओर इशारा करते हैं। एक सामान्य वीडियो में, ब्लर और वस्तु एक साथ "बेक" (baked) होकर जुड़े होते हैं। यदि आप एक धुंधली कार देखते हैं, तो ब्लर कार के हिलने के कारण होता है। आप उस ब्लर को कार से आसानी से हटाकर किसी पेड़ पर नहीं लगा सकते यह देखने के लिए कि यदि वह पेड़ इतनी तेजी से हिलता तो कैसा दिखता। पिछले तरीकों ने इसे एक स्पष्ट पैच ढूंढकर और उसे फिर से ब्लर करके ठीक करने की कोशिश की, लेकिन वे एक लूप में फंस गए: वे केवल उसी गति का उपयोग कर सकते थे जो पहले से ही उस विशिष्ट पैच से जुड़ी हुई थी। यह वैसा ही था जैसे कि केवल उन्हीं कदमों का अभ्यास करके नृत्य सीखने की कोशिश करना जिन्हें आप पहले से जानते हैं, बजाय इसके कि आप नए मूव्स आजमाएं।

समाधान: "मोशन स्वैप" ट्रिक (The "Motion Swap" Trick)

EvBS (इवेंट-गाइडेड ब्लर सिंथेसिस) के पीछे की टीम ने इस लूप को तोड़ने का एक तरीका निकाला। वे "गति" (movement) और "वस्तु" (object) को दो अलग-अलग सामग्रियों के रूप में देखते हैं। इसे एक कुकिंग शो की तरह समझें जहाँ आपके पास एक शेफ (वस्तु) और एक सॉस (गति) है। आमतौर पर, शेफ उसी सॉस के साथ चिपका रहता है जो उसने पहना हुआ है। EvBS इवेंट कैमरा डेटा का उपयोग करके उस सॉस को एक शेफ से धोने और दूसरे शेफ पर छिड़कने के लिए करता है।

यहाँ बताया गया है कि वे इसे चरण-दर-चरण कैसे करते है:

1. जासूसी कार्य (Dual Source Extractor): सबसे पहले, सिस्टम वास्तविक दुनिया के एक धुंधले वीडियो को स्कैन करता है (लक्ष्य डोमेन)। यह एक जासूस की तरह काम करता है, जो दो चीजों की तलाश करता है:

   • शार्प कंटेंट (Sharp Content): वे क्षेत्र जो अभी भी इतने स्पष्ट हैं कि देखा जा सके कि वस्तु क्या है (जैसे एक स्पष्ट चेहरा या एक स्पष्ट साइन)।
   • मोशन सोर्सेज (Motion Sources): वे क्षेत्र जो बहुत धुंधले हैं लेकिन स्पष्ट गति पैटर्न दिखाते हैं (जैसे एक तेज चलती कार या झूलता हुआ हाथ)।
     सिस्टम यह पता लगाने के लिए इवेंट कैमरा डेटा का उपयोग करता है कि हलचल कहाँ हो रही है, भले ही तस्वीर धुंधली हो।

2. दो रणनीतियाँ (Blur Synthesis): एक बार जब सिस्टम के पास अपनी सामग्रियां आ जाती हैं, तो वह नए प्रशिक्षण डेटा को बनाने के लिए दो अलग-अलग रेसिपी का उपयोग करता है:

   • इंट्रिन्सिक ब्लर (The "Selfie" Method): यह एक स्पष्ट वस्तु को उसकी अपनी प्राकृतिक गति का उपयोग करके ब्लर करता है। यदि कोई व्यक्ति चल रहा है, तो यह उसे ऐसे ब्लर करता है जैसे वह चल रहा हो। यह मानक तरीका है, लेकिन यह अभी भी उपयोगी है।
   • एक्सट्रिन्सिक ब्लर (The "Body Swap" Method): यह जादुई हिस्सा है। सिस्टम एक स्पष्ट वस्तु (जैसे एक स्थिर पेड़) लेता है और उसे एक पूरी तरह से अलग वस्तु (जैसे एक तेज चलती कार) के मोशन पैटर्न का उपयोग करके हिलने के लिए मजबूर करता है। यह ऐसा है जैसे एक पेड़ की फोटो लेना और उस पर डिजिटल रूप से एक रेस कार का ब्लर पेंट कर देना। क्योंकि इवेंट कैमरा डेटा गति को वस्तु से अलग कर देता है, इसलिए कंप्यूटर बिना भ्रमित हुए यह बदलाव कर सकता है।

3. नया प्रशिक्षण वर्ग (The New Training Class): इन "सेल्फी" ब्लर्स और "बॉडी स्वैप" ब्लर्स को मिलाकर, सिस्टम प्रशिक्षण उदाहरणों का एक विशाल और विविध पुस्तकालय बनाता है। यह अब केवल वीडियो में मिली कुछ धुंधली चीजों से नहीं सीख रहा है; यह उस वातावरण में उपलब्ध प्रत्येक संभावित संयोजन से सीख रहा है।

परिणाम: पहले से कहीं अधिक स्पष्ट (Sharper Than Ever)

शोधकर्ताओं ने विभिन्न प्रकार के कंप्यूटर मॉडल पर इस नए फ्रेमवर्क का परीक्षण किया, जिनमें वे मॉडल भी शामिल हैं जो केवल सामान्य चित्रों को देखते हैं और वे भी जो इवेंट कैमरों का उपयोग करते हैं। उन्होंने उन मॉडलों को लिया जिन्हें मानक डेटासेट पर प्रशिक्षित किया गया था और उन्हें नए, विविध डेटा का उपयोग करके "फाइन-ट्यून" किया जो EvBS द्वारा बनाया गया था।

परिणाम प्रभावशाली थे। EVRB नामक एक डेटासेट पर, मॉडलों ने अपनी स्पष्टता स्कोर (PSNR द्वारा मापा गया) में लगभग 2.24 dB का सुधार किया। दूसरे डेटासेट REVD पर, इसमें 2.35 dB का सुधार हुआ, और HighREV डेटासेट्स पर, लाभ बढ़कर 2.63 dB हो गया। इसे समझने के लिए, इमेज प्रोसेसिंग की दुनिया में, एक dB का छोटा सा हिस्सा भी बहुत मायने रखता है; 2 dB से अधिक का लाभ एक बड़ी छलांग है।

जब उन्होंने EvBS की तुलना अन्य हालिया तरीकों से की जो मॉडलों को नए वातावरण के अनुकूल बनाने की कोशिश करते हैं, तो EvBS लगातार शीर्ष पर रहा। उदाहरण के लिए, NAFNet मॉडल पर, EvBS ने अगले सर्वश्रेष्ठ तरीके को 1.01 dB से पीछे छोड़ दिया। दृश्य परिणाम दिखाते थे कि मॉडल बारीक विवरणों को बहाल कर सकते थे—जैसे कि एक पत्ते की बनावट या एक इमारत का किनारा—जिन्हें अन्य तरीके धुंधला छोड़ देते थे।

यह क्यों महत्वपूर्ण है

यह शोध पत्र केवल यह दावा नहीं करता कि यह काम करता है; उन्होंने व्यापक प्रयोगों को चलाकर और यहाँ तक कि यह परीक्षण करके भी इसे साबित किया कि उनके सिस्टम के कुछ हिस्सों को हटाने पर क्या होता है। जब उन्होंने गतियों को बेतरतीब ढंग से बदलने की कोशिश की (बिना यह जांचे कि दिशाएँ मेल खाती हैं या नहीं), तो प्रदर्शन वास्तव में मूल मॉडल की तुलना में खराब हो गया। इससे पुष्टि हुई कि दिशा को मिलाने का उनका विशिष्ट तरीका अत्यंत महत्वपूर्ण था। उन्होंने यह भी दिखाया कि उनका विशेष "इवेंट-गाइडेड" डेटा (FEDA) उपयोग करना मानक मोशन मैप्स का उपयोग करने से बेहतर था, क्योंकि इसने केवल दिशा को ही नहीं, बल्कि गति की तीव्रता को भी पकड़ा।

संक्षेप में, EvBS यह सुझाव देता है कि मूवमेंट को ऑब्जेक्ट से अलग करने के लिए इवेंट कैमरों का उपयोग करके, हम कंप्यूटरों को बहुत अधिक लचीला बना सकते हैं। लैब में सीखे गए धुंधले पैटर्न में फंसे रहने के बजाय, वे अब वास्तविक दुनिया के अव्यवस्थित और अप्रत्याशित ब्लर के अनुकूल हो सकते हैं, जिससे वे स्वायत्त कारों या रोबोटिक्स जैसी चीजों के लिए अधिक विश्वसनीय बन जाते हैं, जहाँ धुंधलेपन में भी स्पष्ट देखना सुरक्षा का मामला हो सकता है।