💻 computer science

Robust Fundamental Matrix Estimation from Single Image Motion Blur

यह शोध पत्र एक्सपोज़र विंडो के भीतर समय के क्षणों के बीच पत्राचार स्थापित करके, अद्वितीय समय-दिशा अस्पष्टता को संबोधित करते हुए और 3D कैमरा गति अनुमान एवं डाउनस्ट्रीम मोशन सेगमेंटेशन को सक्षम करने के लिए अनिश्चितता मापों को शामिल करते हुए, एक एकल मोशन-ब्लर वाली छवि से फंडामेंटल मैट्रिक्स का अनुमान लगाने के लिए एक सुदृढ़ विधि प्रस्तावित करता है।

मूल लेखक: Bao-Long Tran, Per-Erik Forssén, Fredrik Viksten

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bao-Long Tran, Per-Erik Forssén, Fredrik Viksten

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त सड़क की फोटो खींच रहे हैं, लेकिन शटर खुला रहने के दौरान आपका कैमरा हिल जाता है। एक स्पष्ट तस्वीर के बजाय, आपको एक धुंधला सा ढेर मिलता है जहाँ कारें और लोग पेंट की फैली हुई लकीरों की तरह दिखाई देते हैं। आमतौर पर, फोटोग्राफर इसे ठीक करने के लिए इमेज को "डी-ब्लर" (de-blurring) करने की कोशिश करते हैं ताकि इसे फिर से स्पष्ट बनाया जा सके।

यह शोध पत्र एक अलग विचार प्रस्तावित करता है: क्या होगा अगर हम ब्लर (धुंधलेपन) का उपयोग एक सुराग के रूप में करें?

लेखक सुझाव देते हैं कि वे बिखरी हुई लकीरें (जिन्हें "स्मियर्स" कहा जाता है) वास्तव में इस बात का एक छिपा हुआ नक्शा हैं कि कैमरा अंतरिक्ष में कैसे चला। उनका लक्ष्य केवल एक धुंधली फोटो से एक गणितीय वस्तु जिसे फंडामेंटल मैट्रिक्स (Fundamental Matrix) कहा जाता है, उसे निकालना है। इस मैट्रिक्स को एक "मोशन फिंगरप्रिंट" की तरह समझें जो हमें उस 3D दिशा के बारे में बताता है जिसमें कैमरा उस क्षण के दौरान यात्रा कर रहा था जब फोटो ली गई थी।

उन्होंने इस पहेली को कैसे हल किया, यहाँ सरल चरणों में दिया गया है:

1. "टाइम ट्रैवल" की समस्या

सामान्य फोटोग्राफी में, यदि आप एक सेकंड के अंतराल पर दो फोटो लेते हैं, तो आप देख सकते हैं कि चीजें एक फोटो A से फोटो B तक कैसे बदलीं। लेकिन एक मोशन-ब्लर वाली फोटो में, सब कुछ एक ही इमेज में सिमट जाता है।

उपमा: कल्पना कीजिए कि आप एक फिल्म को उल्टा चलते हुए देख रहे हैं। यदि आप एक धुंधले फ्रेम में एक गेंद को लुढ़कते हुए देखते हैं, तो आप केवल एक फ्रेम से यह नहीं बता सकते कि वह बाएं-से-दाएं लुढ़की या दाएं-से-बाएं। ब्लर दोनों तरफ एक जैसा ही दिखता है।
चुनौती: क्योंकि हमें यह नहीं पता कि प्रत्येक लकीर (streak) के लिए समय की दिशा आगे की ओर है या पीछे की ओर, कंप्यूटर विज़न में इस्तेमाल होने वाले मानक गणितीय उपकरण विफल हो जाते हैं। वे भ्रमित हो जाते हैं और कैमरे के पथ को नहीं समझ पाते।

2. "डबल-एंगल" (Double-Angle) ट्रिक

दिशा के बारे में भ्रम को ठीक करने के लिए, शोधकर्ताओं ने लकीरों को वर्णित करने का एक विशेष तरीका ईजाद किया।

उपमा: कल्पना कीजिए कि आपके पास एक दिशा सूचक यंत्र (compass) की सुई है। यदि आप इसे 180 डिग्री घुमाते हैं, तो यह विपरीत दिशा में इशारा करती है, लेकिन यह अभी भी वही सुई है। मानक गणित "उत्तर" और "दक्षिण" को पूरी तरह से अलग मानता है। शोधकर्ताओं ने एक "डबल-एंगल" ट्रिक का उपयोग किया: उन्होंने सुई को दोगुनी गति से घुमाया। अब, चाहे मूल गति उत्तर या दक्षिण की ओर थी, "डबल-एंगल" वाला संस्करण बिल्कुल एक ही दिशा में इशारा करता है। यह इस भ्रम को दूर कर देता है कि समय किस दिशा में बह रहा है।

3. "भरोसा करो" फ़िल्टर (अनिश्चितता)

सभी धुंधली लकीरें मददगार नहीं होती हैं। कुछ लकीरें वस्तुओं के अपने आप चलने के कारण होती हैं (जैसे किसी स्थिर इमारत के पास से गुजरती कार), और कुछ लकीरें किसी चीज़ के छिप जाने (occlusion) के कारण होती हैं।

उपमा: कल्पना कीजिए कि आप लोगों के एक समूह से रास्ता पूछ रहे हैं। कुछ निश्चित हैं, कुछ अनुमान लगा रहे हैं, और कुछ गलत सड़क की ओर देख रहे हैं। यदि आप सभी की बात समान रूप से सुनते हैं, तो आप रास्ता भटक जाएंगे।
समाधान: कंप्यूटर हर लकीर को एक "कॉन्फिडेंस स्कोर" (विश्वास स्कोर) देने के बारे में सीखता है। वह यह सीखता है कि, "मुझे 90% यकीन है कि यह लकीर कैमरे की गति दिखा रही है," और "मुझे इसके बारे में केवल 10% यकीन है क्योंकि यह अजीब दिख रही है।" अंतिम गति पथ की गणना करते समय, कंप्यूटर कम आत्मविश्वास वाले अनुमानों को अनदेखा कर देता है और केवल "विशेषज्ञों" की बात सुनता है।

4. परिणाम: एक मोशन मैप

इन ट्रिक्स को मिलाकर, सिस्टम एक एकल धुंधली फोटो को देख सकता है और अदृश्य रेखाएं (जिन्हें एपिपोलर लाइन्स कहा जाता है) खींच सकता है जो दिखाती हैं कि एक्सपोजर की शुरुआत और अंत में कैमरा किस ओर इशारा कर रहा था।

प्रमाण: उन्होंने कंप्यूटर-जनरेटेड इमेज और वास्तविक दुनिया की तस्वीरों दोनों पर इसका परीक्षण किया। सिस्टम सफलतापूर्वक ऐसी रेखाएं खींचने में सफल रहा जो बैकग्राउंड के दृश्यों के साथ संरेखित (align) थीं, जिससे यह सिद्ध हुआ कि वह कैमरे की गति को समझता है।
वास्तविक दुनिया में उपयोग: उन्होंने दिखाया कि यह मोशन सेगमेंटेशन (motion segmentation) नामक एक विशिष्ट कार्य के लिए काम करता है। इसका मतलब है कि कंप्यूटर एक धुंधली फोटो को देखकर कह सकता है, "बैकग्राउंड कैमरे के हिलने के कारण चल रहा है, लेकिन वह कार अलग तरह से चल रही है, इसलिए आइए इसे हाइलाइट करें।"

यह क्या नहीं कर सकता

यह शोध पत्र अपनी सीमाओं के बारे में ईमानदार है। यदि दृश्य बहुत अराजक है जिसमें कई लोग या कारें एक साथ पूरी तरह से अलग दिशाओं में चल रही हैं, तो सिस्टम भ्रमित हो जाता है और कैमरे के पथ को खोजने में विफल रहता है। यह तब भी संघर्ष करता है जब कैमरा बहुत कम हिलता है या दृश्य केवल एक सपाट दीवार हो।

संक्षेप में: यह शोध पत्र कंप्यूटर को मोशन ब्लर से लड़ने के बजाय उसे पढ़ना सिखाता है। ब्लर को एक गलती के बजाय एक कोडेड संदेश के रूप में मानकर, वे यह पता लगा सकते हैं कि कैमरा कैसे चला, यहाँ तक कि बिना दूसरी फोटो की तुलना किए भी।

तकनीकी सारांश: एकल इमेज मोशन ब्लर से सुदृढ़ फंडामेंटल मैट्रिक्स अनुमान (Robust Fundamental Matrix Estimation)

समस्या विवरण (Problem Statement)

यह शोध पत्र एक नवीन और चुनौतीपूर्ण कंप्यूटर विज़न कार्य को संबोधित करता है: एक एकल मोशन-ब्लर्ड इमेज (single motion-blurred image) से फंडामेंटल मैट्रिक्स (जो सापेक्ष 3D कैमरा मोशन को दर्शाता है) का अनुमान लगाना।

मानक कंप्यूटर विज़न में, फंडामेंटल मैट्रिक्स दो अलग-अलग दृश्यों के बीच पत्राचार (correspondences) से प्राप्त किया जाता है। हालाँकि, एक एकल मोशन-ब्लर्ड फ्रेम में, "दो दृश्य" प्रभावी रूप से एक्सपोज़र विंडो की शुरुआत और अंत होते हैं। प्राथमिक चुनौती टेम्पोरल डायरेक्शन एम्बिग्युटी (temporal direction ambiguity - समय की दिशा संबंधी अस्पष्टता) है: एक मोशन ब्लर स्मीयर (smear) दो बिंदुओं के बीच का पथ दर्शाता है, लेकिन केवल इमेज से यह पहचानना असंभव है कि कौन सा बिंदु शुरुआत है और कौन सा अंत। फलस्वरूप, एक पत्राचार $(p, p')$ को $(p', p)$ के साथ भ्रमित किया जा सकता है। यह अस्पष्टता क्लासिक अनुमान विधियों, जैसे कि 8-पॉइंट एल्गोरिदम या गोल्ड स्टैंडर्ड पद्धति को, अनुपयुक्त बना देती है, क्योंकि वे ज्ञात टेम्पोरल ऑर्डरिंग पर निर्भर करती हैं। इसके अतिरिक्त, मौजूदा कार्य मुख्य रूप से इमेज डी-ब्लरिंग या ऑप्टिकल फ्लो अनुमान पर केंद्रित हैं, जहाँ ब्लर को एक बाधा (nuisance) के रूप में देखा जाता है, न कि ज्यामितीय बाधाओं (geometric constraints) के स्रोत के रूप में।

कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा दो चरणों में कार्य करता है: स्मीयर पाथ एस्टीमेशन (Smear Path Estimation) और फंडामेंटल मैट्रिक्स एस्टीमेशन।

1. स्मीयर पाथ एस्टीमेशन (Smear Path Estimation)

पहले चरण में एक न्यूरल नेटवर्क (U-Net आर्किटेक्चर पर आधारित) शामिल है जो प्रति-पिक्सेल स्मीयर वेक्टर्स और उनके संबंधित अनिश्चितता (uncertainty) की भविष्यवाणी करता है।

डेटा जनरेशन: सिंथेटिक मोशन-ब्लर्ड इमेज को दो शार्प फ्रेम्स के बीच इंटरपोलेटेड इंटरमीडिएट फ्रेम्स के औसत द्वारा बनाया गया है, जिसमें ग्राउंड-ट्रुथ ऑप्टिकल फ्लो (Monkaa और Driving डेटासेट से) का उपयोग किया गया है। एक सेमी-रियल डेटासेट GoPro डेटासेट से बनाया गया है, और एक रियल-वर्ल्ड डेटासेट RBI से 'स्यूडो-ग्राउंड ट्रुथ' के साथ प्राप्त किया गया है।
स्मीयर रिप्रेजेंटेशन: उस दिशात्मक अस्पष्टता को हल करने के लिए जहाँ वेक्टर $(u, v)$ को $(-u, -v)$ के समान माना जाता है, लेखक एक डबल-एंगल रिप्रेजेंटेशन (double-angle representation) का उपयोग करते हैं। वेक्टर कोण $\phi$ को $2\phi$ में मैप किया जाता है, जिससे दो समान मामलों को एक अद्वितीय वेक्टर $(u', v')$ में बदल दिया जाता है।
अनिश्चितता और क्रॉस-चेकिंग: नेटवर्क वेरिएंस मैप $\sigma$ के साथ स्मीयर वेक्टर आउटपुट करता है। विश्वसनीय स्मीयर पैटर्न को अविश्वसनीय पैटर्न (जैसे कि ऑक्लूजन या फ्रेम से बाहर जाते ऑब्जेक्ट्स के कारण) से अलग करने के लिए, स्टार्ट और एंड फ्रेम्स के बीच फॉरवर्ड-बैकवर्ड फ्लो कंसिस्टेंसी का उपयोग करके एक क्रॉस-चेक मैप ( $m_{cr}$ ) तैयार किया जाता है।
लॉस फंक्शन: एक कस्टम लॉस फंक्शन डिज़ाइन किया गया है जो विश्वसनीय पिक्सेल पर डबल-एंगल वेक्टर्स को सुपरवाइज करता है (गाऊसीयन नेगेटिव लॉग-लाइक्लीहुड का उपयोग करके) और क्रॉस-चेक मैप द्वारा पहचाने गए अविश्वसनीय पिक्सेल पर वेरिएंस (अनिश्चितता) को दंडित (penalize) करता है। यह नेटवर्क को अस्पष्ट या ऑक्लूडेड क्षेत्रों में उच्च अनिश्चितता असाइन करने के लिए प्रोत्साहित करता है।

2. सुदृढ़ फंडामेंटल मैट्रिक्स अनुमान (Robust Fundamental Matrix Estimation)

दूसरा चरण अनुमानित स्मीयर एंडपॉइंट्स से फंडामेंटल मैट्रिक्स $F$ का अनुमान लगाता है।

एम्बिग्युटी हैंडलिंग: चूंकि टेम्पोरल दिशा अज्ञात है, इसलिए एक स्मीयर एंडपॉइंट पेयर $(\bar{p} - \bar{s}, \bar{p} + \bar{s})$ को या तो मूल क्रम या उसके ट्रांसपोज़ ऑर्डर के लिए एपिपोलर कंस्ट्रेंट $x^T F y = 0$ को संतुष्ट करना चाहिए। लेखक इसे एक कंस्ट्रेंड ऑप्टिमाइज़ेशन समस्या के रूप में तैयार करते हैं जहाँ उद्देश्य $F$ या $F^T$ में से किसी एक के लिए त्रुटि को कम करना है:
$F^* = \arg \min_F \| \min(|M_{vec}(F)|, |M_{vec}(F^T)|) \|^2$
प्रतिबंध (subject to) $\det(F)=0$ और $\|F\|=1$ है।
रोबस्ट सैंपलिंग: आउटलेयर्स और लोकल मोशन को संभालने के लिए, विधि प्रीएम्प्टिव रैनसाक (Preemptive RANSAC) का उपयोग करती है। महत्वपूर्ण रूप से, सैंपलिंग प्रक्रिया पहले चरण के अनिश्चितता अनुमानों द्वारा निर्देशित होती है; केवल कम अनिश्चितता (उच्च विश्वसनीयता) वाले स्मीयर वेक्टर्स पर ही विचार किया जाता है।
सिमेट्राइज्ड एरर मेट्रिक: दिशात्मक अस्पष्टता के कारण मानक सैम्पसन एरर (Sampson error) का सीधे उपयोग नहीं किया जा सकता है। लेखक एक सिमेट्राइज्ड सैम्पसन एरर ($SErrMin $) पेश करते हैं, जो हाइपोथीसिस$ F $और उसके ट्रांसपोज़$ F^T$ के बीच न्यूनतम त्रुटि लेता है। यह मेट्रिक बिना वास्तविक टेम्पोरल दिशा जाने, रोबस्ट कंसेंसस सेट को परिभाषित करने की अनुमति देता है।

मुख्य योगदान (Key Contributions)

नवीन कार्य प्रारूपण (Novel Task Formulation): यह शोध पत्र एकल मोशन-ब्लर्ड इमेज से फंडामेंटल मैट्रिक्स का अनुमान लगाने के कार्य को प्रस्तुत करता है, जो प्रति-स्मीयर टेम्पोरल दिशा की अनूठी चुनौती को संबोधित करता है।
सुदृढ़ अनुमान ढांचा (Robust Estimation Framework): एक दो-चरणीय पाइपलाइन प्रस्तावित की गई है जो स्मीयर निष्कर्षण के लिए डीप लर्निंग को एक ज्यामितीय सॉल्वर के साथ जोड़ती है जो समय की दिशा की अस्पष्टता (जो $F$ या $F^T$ हो सकती है) को स्पष्ट रूप से संभालता है।
अनिश्चितता-जागरूक शिक्षण (Uncertainty-Aware Learning): लेखक एक लॉस फंक्शन प्रस्तावित करते हैं जो अनिश्चितता की भविष्यवाणी करना सीखता है, जिससे सिस्टम को अनुमान चरण के दौरान अविश्वसनीय स्मीयर भविष्यवाणियों (जैसे ऑक्लूजन से) को कम महत्व देने में सक्षम बनाया जाता है।
प्रतिनिधित्व और एनोटेशन: डबल-एंगल रिप्रेजेंटेशन का उपयोग स्मीयर पाथ सीखने के लिए फायदेमंद पाया गया है, और प्रशिक्षण के लिए सटीक एनोटेशन उत्पन्न करने के लिए क्रॉस-चेकिंग मैप का उपयोग करने की एक प्रक्रिया प्रस्तुत की गई है।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन सिंथेटिक (Monkaa, Driving), सेमी-रियल (GoPro), और रियल-वर्ल्ड (RBI) डेटासेट्स पर किया गया।

स्मीयर अनुमान: प्रस्तावित डबल-एंगल रिप्रेजेंटेशन और क्रॉस-चेक मैप ने सभी डेटासेट्स में सबसे कम एंड-पॉइंट एरर (EPE-S) दिया। अनिश्चितता अनुमानों को वास्तविक त्रुटियों के साथ अच्छी तरह से सह-संबंधित (correlate) पाया गया, जो अविश्वसनीय भविष्यवाणियों को प्रभावी ढंग से फ़िल्टर करता है।
फंडामेंटल मैट्रिक्स अनुमान: सिमेट्राइज्ड सैम्पसन एरर और अनिश्चितता-निर्देशित रैनसाक का उपयोग करते हुए, विधि सफलतापूर्वक उन फंडामेंटल मैट्रिसेस का अनुमान लगाने में सफल रही जो ग्राउंड-ट्रुथ पत्राचार के अनुरूप थे। अनिश्चितता के आधार पर शीर्ष 35% से 45% स्मीयर वेक्टर्स का चयन करने पर सर्वोत्तम प्रदर्शन देखा गया।
डाउनस्ट्रीम एप्लीकेशन: अनुमानित फंडामेंटल मैट्रिक्स और स्मीयर पाथ का सफलतापूर्वक लोकल मोशन सेगमेंटेशन के लिए उपयोग किया गया, जो प्रभावी रूप से ब्लर्ड इमेज में ग्लोबल सीन मोशन से स्वतंत्र रूप से चलने वाली वस्तुओं (जैसे बैकग्राउंड से अलग गति से चलती कार) को अलग करता है।
सीमाएं: यह विधि गतिशील दृश्यों (डायनेमिक सीन्स) में कई स्वतंत्र स्थानीय गतियों या शून्य के करीब कैमरा ट्रांसलेशन वाले दृश्यों में संघर्ष करती है, जहाँ ग्लोबल मोशन सिग्नल कमजोर या डिजेनरेट होता है।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि उनका कार्य यह प्रदर्शित करता है कि टेम्पोरल अस्पष्टता के कारण पहले जिसे 'इल-पोस्ड' (ill-posed) माना जाता था, उससे भी एकल फ्रेम से 3D कैमरा मोशन बाधाओं को निकालना संभव है। मोशन ब्लर में निहित ज्यामितीय बाधाओं का लाभ उठाकर, यह विधि कम विलंबता (latency) के साथ विजुअल ओडोमेट्री और स्ट्रक्चर-फ्रॉम-मोशन कार्यों को करने का एक तरीका प्रदान करती है, जो स्वायत्त ड्राइविंग और ड्रोन उड़ान जैसे अनुप्रयोगों के लिए महत्वपूर्ण है। शोध पत्र इस बात पर जोर देता है कि परिणाम ट्रांसपोज़ (समय की अज्ञात दिशा को दर्शाते हुए) तक अस्पष्ट हो सकता है, लेकिन यह एपिपोलर ज्योमेट्री को परिभाषित करने और डाउनस्ट्रीम कार्यों को सक्षम करने के लिए पर्याप्त है। यह कार्य मोशन ब्लर को हटाने के लिए एक बाधा के रूप में देखने और इसे समृद्ध ज्यामितीय जानकारी के स्रोत के रूप में उपयोग करने के बीच के अंतर को पाटता है।