CSPR-Net: Self-supervised Curved Surface Projection Rectification Network for Geometric Distortion Correction in Non-planar Projections

तकनीकी सारांश: CSPR-Net

शीर्षक: CSPR-Net: गैर-समतलीय प्रक्षेपों (Non-planar Projections) में ज्यामितीय विरूपण सुधार के लिए स्व-पर्यवेक्षित वक्र सतह प्रक्षेपण शोधन नेटवर्क (Self-supervised Curved Surface Projection Rectification Network)

1. समस्या विवरण

जब छवियों को गैर-समतलीय सतहों (जैसे कि बेलनाकार, W-आकार की, या अनिश्चित मैनिफोल्ड्स) पर प्रक्षेपित किया जाता है, तो परिणामी छवियों में गंभीर ज्यामितीय विकृति (geometric warping) उत्पन्न होती है। पारंपरिक सुधार विधियाँ एक महत्वपूर्ण समझौते का सामना करती हैं:

• विशेषता-आधारित विधियाँ (Feature-based methods): (जैसे स्ट्रक्चर्ड लाइट/चेकरबोर्ड) परिवेशी प्रकाश के प्रति संवेदनशील होती हैं और यदि पहचान विफल हो जाती है तो इनमें मैन्युअल हस्तक्षेप की आवश्यकता होती है।
• पुनर्निर्माण-आधारित विधियाँ (Reconstruction-based methods): (जैसे 3D स्कैनिंग) के लिए महंगे, विशिष्ट हार्डवेयर और जटिल अंशांकन (calibration) की आवश्यकता होती है।
• पर्यवेक्षित डीप लर्निंग (Supervised Deep Learning): इसके लिए पिक्सेल-परफेक्ट "ग्राउंड-ट्रुथ" विरूपण मानचित्रों वाले विशाल डेटासेट की आवश्यकता होती है, जिन्हें भौतिक वातावरण में प्राप्त करना अत्यंत कठिन है।

मुख्य चुनौती जटिल सतहों के लिए बिना किसी मैन्युअल लेबलिंग या महंगे 3D सेंसर के उच्च-परिशुद्धता, स्वचालित ज्यामितीय शोधन (rectification) प्राप्त करना है।

2. कार्यप्रणाली

लेखक CSPR-Net का प्रस्ताव करते हैं, जो एक स्व-पर्यवेक्षित डीप लर्निंग फ्रेमवर्क है जो शोधन को प्रोजेक्टर और कैमरा स्पेस के बीच एक द्वि-दिशीय मैपिंग समस्या के रूप में मानता है।

• द्वि-पथ न्यूरल आर्किटेक्चर (Dual-Path Neural Architecture): मानक CNN के बजाय, मॉडल दो स्वतंत्र कोऑर्डिनेट-आधारित मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) का उपयोग करता है: $Net_{p2c}$ (फॉरवर्ड मैपिंग: प्रोजेक्टर $\to$ कैमरा) और $Net_{c2p}$ (बैकवर्ड मैपिंग: कैमरा $\to$ प्रोजेक्टर)। ये नेटवर्क रेसिडुअल लर्नर (residual learners) के रूप में कार्य करते हैं, जो पूर्ण निर्देशांकों के बजाय स्थानीय विस्थापन क्षेत्रों ($\Delta u$) की भविष्यवाणी करते हैं, जिससे प्रशिक्षण स्थिर होता है।
• डिफरेंशिएबल वार्पिंग (Differentiable Warping): एंड-टू-एंड अनुकूलन (optimization) की अनुमति देने के लिए एक स्पेशियल ट्रांसफार्मर (Spatial Transformer) तंत्र को एकीकृत किया गया है, जो बाइलिनियर इंटरपोलेशन के माध्यम से इमेज स्पेस से लॉस सिग्नल को MLP मापदंडों तक प्रवाहित करने में सक्षम बनाता है।
• स्व-पर्यवेक्षित शिक्षण उद्देश्य (Self-Supervised Learning Objective): नेटवर्क को एक मिश्रित लॉस फंक्शन ($L_{total}$) का उपयोग करके प्रशिक्षित किया जाता है जो ग्राउंड ट्रुथ की आवश्यकता को समाप्त करता है:
  • फोटोमेट्रिक और स्ट्रक्चरल कंसिस्टेंसी: यह $L_1$ लॉस और एक ग्रेडिएंट-आधारित लॉस (सोबेल ऑपरेटर का उपयोग करके) के संयोजन का उपयोग करता है ताकि किनारों और हाई-फ्रीक्वेंसी विवरणों का संरेखण सुनिश्चित किया जा सके, भले ही प्रकाश असमान हो।
  • साइकिल-कंसिस्टेंसी लॉस (Cycle-Consistency Loss): यह सुनिश्चित करता है कि मैपिंग $A \to B \to A$ मूल निर्देशांकों को वापस लाती है, जिससे यह सुनिश्चित होता है कि मैपिंग बायजेक्टिव (एक-से-एक) है।
  • ज्यामितीय नियमितीकरण (Geometric Regularization): एक टोटल वेरिएशन (TV) स्मूथनेस लॉस अवास्तविक "पिक्सेल फोल्डिंग" या विच्छेदन को रोकता है।
  • मास्क कंसिस्टेंसी लॉस (Mask Consistency Loss): यह मैपिंग त्रुटियों को रोकने के लिए प्रक्षेपित सामग्री की सीमाओं को कैमरे के फील्ड-ऑफ-व्यू (FOV) के साथ संरेखित करता है।

3. मुख्य योगदान

1. निहित समन्वय प्रतिनिधित्व (Implicit Coordinate Representation): कठोर पैरामीट्रिक मॉडल (जैसे बहुपद/polynomials) से हटकर एक लचीले, निरंतर न्यूरल प्रतिनिधित्व की ओर बढ़ना।
2. पूर्णतः स्व-पर्यवेक्षित प्रतिमान (Fully Self-Supervised Paradigm): यह कच्चे प्रोजेक्शन-कैप्चर इमेज पेयर्स से सीधे स्वायत्त शिक्षण को सक्षम बनाता है, जिससे मैन्युअल एनोटेशन या 3D स्कैनिंग की आवश्यकता समाप्त हो जाती है।
3. पर्यावरणीय शोर के प्रति मजबूती: ग्रेडिएंट-कंसिस्टेंसी लॉस का परिचय मॉडल को परिवेशी प्रकाश या सतह के परावर्तन के कारण होने वाले फोटोमेट्रिक अंतरों को अनदेखा करने की अनुमति देता है।

4. परिणाम

प्रदर्शन को हाई-फिडेलिटी रे-ट्रेसिंग सिमुलेशन और एक DLP प्रोजेक्टर और CMOS कैमरा का उपयोग करके भौतिक प्रयोगों के माध्यम से मान्य किया गया।

• सिमुलेशन परिणाम: CSPR-Net ने 3rd-डिग्री पॉलीनोमियल बेसलाइन को काफी पीछे छोड़ दिया। "प्री-वार्प्ड डोमेन" (प्रक्षेपण के लिए सबसे महत्वपूर्ण मीट्रिक) में, बेसलाइन के 14.29 dB और 0.7779 के मुकाबले, CSPR-Net ने 22.73 dB का PSNR और 0.9282 का SSIM प्राप्त किया।
• भौतिक प्रयोग: मॉडल ने 20.7% एंड-टू-एंड फिडेलिटी (SSM) में सुधार प्रदर्शित किया। इसने जटिल W, V, और M-आकार की सतहों पर छवियों को सफलतापूर्वक ठीक किया।
• सामान्यीकरण (Generalization): जब एक अनदेखे परिदृश्य चित्र (scenic landscape image) (जो प्रशिक्षण के दौरान उपयोग नहीं किया गया था) पर परीक्षण किया गया, तो नेटवर्क ने विभिन्न सतह ज्यामिति के गैर-रेखीय विरूपणों की सफलतापूर्वक भरपाई की, जो सरल अंशांकन पैटर्न से परे इसकी सामान्यीकरण क्षमता को सिद्ध करता है।

5. महत्व

CSPR-Net मैन्युअल/हार्डवेयर-भारी अंशांकन से डेटा-संचालित, स्वायत्त शोधन की ओर एक बदलाव का प्रतिनिधित्व करता है। अनिश्चित मैनिफोल्ड्स पर उच्च-आवृत्ति वाले ज्यामितीय परिवर्तनों को संभालने की इसकी क्षमता इसे स्पेशियल ऑगमेंटेड रियलिटी (SAR), प्रोजेक्शन मैपिंग और इमर्सिव डिस्प्ले के लिए अत्यधिक मूल्यवान बनाती है। स्व-पर्यवेक्षित रूप से ज्यामितीय समस्या को हल करके, यह गतिशील या जटिल वातावरण में उच्च-फिडेलिटी प्रोजेक्शन के लिए प्रवेश की बाधाओं को कम करता है।