💻 computer science

Frames2Residual: Spatiotemporal Decoupling for Self-Supervised Video Denoising

यह शोध पत्र फ्रेम्स2रेसिडुअल (F2R) का प्रस्ताव करता है, जो एक स्व-पर्यवेक्षित (self-supervised) वीडियो डिनोइजिंग फ्रेमवर्क है जो मौजूदा ब्लाइंड-स्पॉट नेटवर्क्स की सीमाओं को दूर करने और sRGB एवं रॉ (raw) दोनों बेंचमार्क पर बेहतर प्रदर्शन प्राप्त करने के लिए प्रशिक्षण को ब्लाइंड टेम्पोरल कंसिस्टेंसी मॉडलिंग और नॉन-ब्लाइंड स्पेशियल टेक्सचर रिकवरी चरणों में अलग करता है।

मूल लेखक: Mingjie Ji, Zhan Shi, Kailai Zhou, Zixuan Fu, Xun Cao

प्रकाशित 2026-03-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mingjie Ji, Zhan Shi, Kailai Zhou, Zixuan Fu, Xun Cao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप जन्मदिन की पार्टी के एक धुंधले और दानेदार (grainy) होम वीडियो को ठीक करने की कोशिश कर रहे हैं। वीडियो हिल रहा है और उसमें हर जगह स्टैटिक शोर (static noise) है। आपका लक्ष्य इसे फिर से स्पष्ट और चमकदार बनाना है।

यह शोध पत्र एक नई विधि पेश करता है जिसे Frames2Residual (F2R) कहा जाता है ताकि इस समस्या को हल किया जा सके। यह समझने के लिए कि यह क्यों खास है, आइए मौजूदा तरीकों की समस्या को देखें और देखें कि F2R एक सरल उपमा (analogy) का उपयोग करके इसे कैसे ठीक करता है।

समस्या: "आंखों पर पट्टी बांधा हुआ चित्रकार" बनाम "बारीकियों पर ध्यान देने वाला कलाकार"

वीडियो को साफ करने के लिए अधिकांश वर्तमान AI तरीके एक साथ दो काम करने की कोशिश करते हैं, लेकिन वे संघर्ष करते हैं क्योंकि ये दो कार्य एक-दूसरे के विपरीत काम करते हैं:

समय निरंतरता (The "Blindfolded Painter"): शोर को हटाने के लिए, AI वर्तमान फ्रेम के पहले और बाद के फ्रेमों को देखता है। यह मान लेता है कि यदि पिछला और अगला फ्रेम में एक पेड़ एक ही स्थान पर है, तो वह बीच वाले फ्रेम में भी वहीं होना चाहिए।
- पेंच: गणितीय रूप से सटीक होने के लिए, इन "ब्लाइंड-स्पॉट" (Blind-Spot) तरीकों को खुद को आंखों पर पट्टी बांधनी पड़ती है। उन्हें यह मानकर चलना होता है कि वे उस केंद्र वाले फ्रेम को देख नहीं सकते जिसे वे ठीक करने की कोशिश कर रहे हैं। वे केवल पड़ोसी फ्रेमों को देखते हैं।
- परिणाम: क्योंकि वे केंद्र को नहीं देख पाते, वे सूक्ष्म और अनूठी बारीकियों (जैसे शर्ट की बनावट या साइन बोर्ड पर लिखे अक्षर) को छोड़ देते हैं। वीडियो चिकना तो हो जाता है लेकिन धुंधला दिखता है, जैसे कि कोई वॉटरकलर पेंटिंग जहाँ सभी तीखे किनारे बह गए हों।
स्थानिक विवरण (The "Detail-Obsessed Artist"): तीखे विवरण प्राप्त करने के लिए, आपको सीधे केंद्र वाले फ्रेम को देखने की आवश्यकता होती है।
- पेंच: यदि आप सीधे केंद्र वाले फ्रेम को देखते हैं, तो आप सारा शोर भी देख लेते हैं। यदि आप केंद्र को देखते हुए शोर को ठीक करने की कोशिश करते हैं, तो AI भ्रमित हो सकता है और वास्तविक विवरणों के साथ शोर को भी गलती से मिटा सकता है।

संघर्ष: आप सुरक्षित रहने के लिए आंखों पर पट्टी भी नहीं बांध सकते (ब्लाइंडफोल्डेड) और विवरण पाने के लिए तस्वीर को सीधे देख भी नहीं सकते। मौजूदा तरीके आमतौर पर "सुरक्षा" (ब्लाइंडफोल्डेड) को चुनते हैं और विवरण खो देते हैं।

समाधान: Frames2Residual (F2R)

इस शोध पत्र के लेखक कहते हैं, "क्यों न इसे दो चरणों में किया जाए?" वे एक दो-चरणीय टीम का प्रस्ताव देते हैं जो काम को विभाजित करती है, बिल्कुल एक निर्माण दल की तरह जो पहले एक ठोस ढांचा बनाता है और फिर अंतिम स्पर्श देता है।

चरण 1: "सुरक्षित आधार" (Blind Temporal Estimator)

काम: इस टीम के सदस्य ने आंखों पर पट्टी बांधी हुई है। वे केवल वर्तमान फ्रेम के पहले और बाद के फ्रेमों को देखते हैं।
उपमा: कल्पना कीजिए कि आप किसी फोटो में अपने दोस्त ने क्या पहना है, इसका अनुमान लगाने की कोशिश कर रहे हैं, लेकिन आप फोटो को स्वयं नहीं देख सकते। आप केवल फोटो के 1 सेकंड पहले और 1 सेकंड बाद की फोटो देखते हैं। आप पोशाक के सामान्य आकार और रंग का सटीक अनुमान लगा सकते हैं क्योंकि वे बहुत अधिक नहीं बदलते।
परिणाम: वे वीडियो का एक "सुरक्षित" संस्करण बनाते हैं। यह बहुत स्थिर और सुसंगत (बिना झिलमिलाहट के) है, लेकिन यह थोड़ा धुंधला है क्योंकि वे सूक्ष्म विवरण नहीं देख पाए। इसे एंकर (Anchor) कहा जाता है।

चरण 2: "विवरण सुधारक" (Non-blind Spatial Refiner)

काम: अब, आंखों की पट्टी हट जाती है! इस टीम के सदस्य को मूल शोर वाले फोटो और चरण 1 में बनाए गए "सुरक्षित आधार" (Safe Anchor) दोनों को देखने का मौका मिलता है।
उपमा: सोचिए कि "सुरक्षित आधार" एक पेंटिंग का स्केच है। "विवरण सुधारक" एक ऐसा कलाकार है जो उस स्केच को लेता है और पूछता है, "ठीक है, मुझे शर्ट का सामान्य आकार पता है, लेकिन उसकी सिलवटें कैसी हैं? लोगो कैसा है? बनावट कैसी है?"
ट्रिक: AI पूरी तस्वीर को शून्य से बनाने की कोशिश नहीं करता है। यह केवल शोर वाले फोटो और सुरक्षित स्केच के बीच के अंतर (जिसे "रेसिड्यूअल" या residual कहा जाता है) को खोजता है। यह पूछता है, "स्केच में कौन से उच्च-आवृत्ति (high-frequency) वाले विवरण गायब हैं जिन्हें मुझे वापस जोड़ना चाहिए?"
परिणाम: यह वीडियो में तीखी बनावट और सूक्ष्म विवरणों को वापस जोड़ देता है, बिना चरण 1 में स्थापित स्थिरता को बिगाड़े।

यह एक बड़ी बात क्यों है

कोई धुंधला टेक्स्ट नहीं: पेपर के उदाहरणों में, अन्य तरीकों ने साइन बोर्ड पर लिखे टेक्स्ट को अपठनीय धब्बों में बदल दिया। F2R टेक्स्ट को स्पष्ट रखता है क्योंकि चरण 2 विशेष रूप से उन गायब विवरणों की तलाश करता है।
कोई घोस्टिंग नहीं: चूंकि चरण 1 समय की निरंतरता के प्रति बहुत सावधान था, इसलिए वीडियो में चलते हुए ऑब्जेक्ट्स के पीछे अजीब "घोस्ट" ट्रेल (भूतिया निशान) नहीं दिखते।
स्व-शिक्षित: सबसे अच्छी बात? इस सिस्टम को सीखने के लिए किसी "साफ" वीडियो की आवश्यकता नहीं है। यह केवल शोर वाले वीडियो का उपयोग करके खुद को सिखाता है, जिससे यह लाइव-सेल माइक्रोस्कोपी या पुरानी घरेलू फिल्मों जैसी वास्तविक दुनिया की स्थितियों के लिए एकदम सही बन जाता है जहाँ कोई "परफेक्ट" संस्करण मौजूद नहीं होता।

सारांश

Frames2Residual एक विशेषज्ञ टीम को काम पर रखने जैसा है:

एक आर्किटेक्ट (वास्तुकार) जो वीडियो का एक पूरी तरह से स्थिर, शोर-मुक्त ढांचा बनाता है (जटिल विवरणों को अनदेखा करते हुए)।
एक इंटीरियर डिजाइनर जो उस स्थिर ढांचे को लेता है और सावधानीपूर्वक उसमें उच्च गुणवत्ता वाले विवरण भरता है, यह जानते हुए कि वे वास्तव में कहाँ होने चाहिए।

काम को "समय" और "स्थान" में विभाजित करके, AI को दोनों का सर्वश्रेष्ठ मिलता है: एक ऐसा वीडियो जो स्थिर भी है और अविश्वसनीय रूप से स्पष्ट भी।

यहाँ शोध पत्र "Frames2Residual: Spatiotemporal Decoupling for Self-Supervised Video Denoising" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सेल्फ-सुपरवाइज्ड वीडियो डिनोइजिंग (Self-supervised video denoising) का लक्ष्य बिना ग्राउंड ट्रुथ (GT) डेटा के, शोर वाले इनपुट से स्वच्छ वीडियो को पुनर्स्थापित करना है। मौजूदा विधियाँ आमतौर पर इमेज-आधारित फ्रेमवर्क (जैसे Noise2Noise या Blind-Spot Networks) को टेम्पोरल आयाम (temporal dimension) में विस्तारित करती हैं, लेकिन वे एक मौलिक संघर्ष का सामना करती हैं:

संघर्ष (The Conflict): सेल्फ-सुपरविजन के लिए आवश्यक सांख्यिकीय स्वतंत्रता (statistical independence) की धारणा को संतुष्ट करने के लिए, वीडियो ब्लाइंड-स्पॉट नेटवर्क्स (BSNs) को केंद्र पिक्सेल को मास्क करना पड़ता है। जबकि यह शोर की स्वतंत्रता सुनिश्चित करता है, यह महत्वपूर्ण स्पैटियोटेम्पोरल सहसंबंधों (spatiotemporal correlations) को खंडित कर देता है। केंद्र फ्रेम को बाहर करने से, मॉडल उच्च-आवृत्ति वाली बनावट (high-frequency textures) को पुनः प्राप्त करने के लिए प्रत्यक्ष स्थानिक साक्ष्य (spatial evidence) का उपयोग नहीं कर पाता, जिससे पिक्सेल विच्छिन्नता (discontinuities) और महत्वपूर्ण बनावट की हानि होती है।
सीमा (The Limitation): इसके विपरीत, जो विधियाँ केंद्र फ्रेम का उपयोग करती हैं (नॉन-ब्लाइंड), वे या तो शोर स्वतंत्रता की धारणाओं का उल्लंघन करती हैं या मोशन वार्पिंग (motion warping) पर निर्भर करती हैं जो आर्टिफ़ेक्ट्स (घोस्टिंग/ब्लरिंग) पेश करते हैं।
लक्ष्य: लेखकों का लक्ष्य शोर की स्वतंत्रता (टेम्पोरल मॉडलिंग) की आवश्यकता को स्थानिक विवरण की रिकवरी (टेक्चर रिस्टोरेशन) से अलग करके इस ट्रेड-ऑफ को हल करना है।

2. कार्यप्रणाली: Frames2Residual (F2R)

प्रस्तावित F2R फ्रेमवर्क एक स्पैटियोटेम्पोरल डिकपलिंग रणनीति (spatiotemporal decoupling strategy) पेश करता है, जो प्रशिक्षण प्रक्रिया को दो अलग-अलग चरणों में विभाजित करता है। यह एक रेसिड्यूअल डोमेन (residual domain) में संचालित होता है, जो स्थिर संरचनाओं को संभालने के लिए एक प्री-ट्रेन्ड इमेज डिनोइज़र का लाभ उठाता है ताकि वीडियो नेटवर्क केवल उच्च-आवृत्ति वाले रेसिड्यूल्स को रिकवर करने पर ध्यान केंद्रित कर सके।

मुख्य आर्किटेक्चर (Core Architecture)

रेसिड्यूअल डोमेन लर्निंग (Residual Domain Learning): एक प्री-ट्रेन्ड इमेज डिनोइज़र ( $D$ ) फ्रेम-दर-फ्रेम शोर वाले वीडियो को प्रोसेस करता है ताकि एक स्ट्रक्चरल बेसलाइन ( $\hat{x}_i$ ) और एक हाई-फ्रीक्वेंसी रेसिड्यूअल ( $r_i = y_i - \hat{x}_i$ ) उत्पन्न किया जा सके। वीडियो नेटवर्क पूर्ण स्वच्छ फ्रेम के बजाय इन रेसिड्यूल्स की भविष्यवाणी करना सीखता है।
दो-चरणीय प्रशिक्षण (Two-Stage Training):
1. चरण 1: ब्लाइंड टेम्पोरल एस्टीमेटिंग (Blind Estimator - BE)
  - रणनीति: यह एक फ्रेम-वाइज ब्लाइंड स्ट्रैटेजी का उपयोग करता है। केंद्र फ्रेम ( $y_t$ ) को इनपुट से पूरी तरह से बाहर रखा जाता है।
  - तंत्र: नेटवर्क पड़ोसी फ्रेमों ( $\{y_i\}_{i \neq t}$ ) से केवल टेम्पोरल रेसिड्यूअल का अनुमान लगाता है।
  - अलाइनमेंट: बिना केंद्र संदर्भ के मोशन को संभालने के लिए, यह एक फ्लो-गाइडेड अटेंशन अलाइनमेंट मॉड्यूल (FAAM) का उपयोग करता है। यह मॉड्यूल प्री-कंप्यूटेड ऑप्टिकल फ्लो का उपयोग करके पड़ोसी फीचर्स को वार्प करता है, लेकिन अविश्वसनीय मोशन और वार्पिंग आर्टिफ़ेक्ट्स को फ़िल्टर करने के लिए अटेंशन मैकेनिज्म (चैनल और स्पेशियल) का उपयोग करता है।
  - आउटपुट: एक टेम्पोरली कंसिस्टेंट एंकर ( $\hat{x}_{s1}$ ) जो शोर से मुक्त है लेकिन इसमें अद्वितीय इंट्रा-फ्रेम टेक्सचर की कमी है।
2. चरण 2: नॉन-ब्लाइंड स्पेशियल रिफाइनमेंट (Spatial Refiner - SR)
  - रणनीति: यह एक रिकरप्शन स्ट्रैटेजी (Recorruption Strategy) का उपयोग करता है। चरण 1 के टेम्पोरल एंकर को सिंथेटिक शोर ( $n'$ ) जोड़कर "रिकरप्ट" किया जाता है ताकि एक छद्म-नॉइजी (pseudo-noisy) केंद्र फ्रेम ( $y'_t$ ) बनाया जा सके।
  - तंत्र: अब केंद्र फ्रेम अवलोकन योग्य (observable) है (नॉन-ब्लाइंड)। नेटवर्क उस विशिष्ट रेसिड्यूअल की भविष्यवाणी करना सीखता है जो इमेज डिनोइज़र द्वारा खो दिया गया था ( $r'_t = \hat{x}_{s1} - D(y'_t)$ )।
  - अलाइनमेंट: चूंकि केंद्र फ्रेम दृश्यमान है, नेटवर्क फ्लो-गाइडेड डिकॉर्मेबल अलाइनमेंट मॉड्यूल (FDAM) का उपयोग करता है। यह जियोमेट्रिक मिसअलाइनमेंट को ठीक करने और सूक्ष्म बनावट (fine textures) को पुनः प्राप्त करने के लिए डिकॉर्मेबल कन्वेल्शनल नेटवर्क्स (DCN) का उपयोग करके आक्रामक, सब-पिक्सेल अलाइनमेंट की अनुमति देता है।
  - इन्फरेंस (Inference): टेस्टिंग के दौरान, चरण 1 BE को हटा दिया जाता है। प्रशिक्षित चरण 2 SR मूल शोर वाले वीडियो और चरण 1 से (अंतर्निहित रूप से सीखे गए) टेम्पोरल कंसिस्टेंसी का उपयोग करके अंतिम डिनोइज्ड वीडियो आउटपुट करता है।

3. मुख्य योगदान (Key Contributions)

अंतर्निहित संघर्ष की पहचान: यह पेपर स्पष्ट रूप से पहचानता है कि शोर की स्वतंत्रता (ब्लाइंड-स्पॉट) को लागू करने से टेक्चर रिकवरी रुक जाती है, जबकि स्थानिक साक्ष्य (नॉन-ब्लाइंड) का उपयोग करने से स्वतंत्रता की धारणाओं के उल्लंघन का जोखिम होता है।
स्पैटियोटेम्पोरल डिकपलिंग फ्रेमवर्क (F2R): एक नवीन दो-चरणीय आर्किटेक्चर जो टेम्पोरल कंसिस्टेंसी मॉडलिंग (चरण 1, ब्लाइंड) को स्थानिक टेक्चर रिकवरी (चरण 2, नॉन-ब्लाइंड) से अलग करता है, जिससे यह संघर्ष हल हो जाता है।
रेसिड्यूअल-डोमेन फॉर्मूलेशन: एक प्री-ट्रेन्ड इमेज डिनोइज़र को स्टेटिक स्ट्रक्चरल मॉडलिंग सौंपकर, फ्रेमवर्क विशेष रूप से उच्च-आवृत्ति वाले स्पेशियल रेसिड्यूल्स को रिकवर करने पर ध्यान केंद्रित करता है, जिससे लर्निंग ऑब्जेक्टिव सरल हो जाता है।
विशेष अलाइनमेंट मॉड्यूल:
- FAAM: स्ट्रक्चरल डिस्टॉर्शन को रोकने के लिए ब्लाइंड स्टेज के लिए रूढ़िवादी (conservative), अटेंशन-आधारित अलाइनमेंट।
- FDAM: बारीक विवरणों को पुनः प्राप्त करने के लिए नॉन-ब्लाइंड स्टेज के लिए आक्रामक (aggressive), डिकॉर्मेबल अलाइनमेंट।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक गौसियन नॉइज़ (DAVIS, Set8) और वास्तविक दुनिया के रॉ वीडियो (CRVD) बेंचमार्क पर F2R का मूल्यांकन किया।

मात्रात्मक प्रदर्शन (Quantitative Performance):
- सिंथेटिक (DAVIS): F2R ने 36.14 dB का औसत PSNR प्राप्त किया, जो सबसे अच्छे सेल्फ-सुपरवाइज्ड प्रतियोगी (TAP) से 0.66 dB बेहतर है और कुछ मेट्रिक्स में सुपरवाइज्ड मेथड्स जैसे FloRNN से काफी बेहतर है।
- रियल-वर्ल्ड (CRVD): F2G ने 45.71 dB औसत PSNR प्राप्त किया, जो अग्रणी अनसुपरवाइज्ड मेथड (TAP) से 0.56 dB अधिक है और यहाँ तक कि सुपरवाइज्ड FloRNN से भी बेहतर प्रदर्शन किया।
गुणात्मक प्रदर्शन (Qualitative Performance):
- विजुअल तुलना दर्शाती है कि F2R प्रभावी ढंग से उच्च-आवृत्ति वाली बनावट (जैसे फैब्रिक पैटर्न, साइन बोर्ड पर टेक्स्ट) को रिकवर करता है जो अन्य विधियों (जैसे UDVD या NAFNet) में धुंधली या लुप्त हो जाती है।
- यह वार्पिंग-आधारित विधियों में सामान्य घोस्टिंग आर्टिफ़ेक्ट्स के बिना टेम्पोरल कंसिस्टेंसी बनाए रखता है।
एब्लेशन स्टडीज (Ablation Studies):
- चरण 1 को हटाने से चरण 2 विफल हो जाता है (ट्रिवियल आइडेंटिटी मैपिंग सीखना), जो टेम्पोरल एंकर की आवश्यकता को सिद्ध करता है।
- प्रत्येक चरण के लिए सही अलाइनमेंट मॉड्यूल का उपयोग करना (चरण 1 के लिए FAAM, चरण 2 के लिए FDAM) महत्वपूर्ण है; दोनों के लिए एक समान मॉड्यूल का उपयोग करने से प्रदर्शन कम हो जाता है।

5. महत्व (Significance)

सैद्धांतिक प्रगति: F2R वीडियो रेस्टोरेशन में सेल्फ-सुपरवाइज्ड लर्निंग के लिए एक नया प्रतिमान (paradigm) प्रदान करता है, यह प्रदर्शित करते हुए कि "ब्लाइंडनेस" और "स्पेशियल एविडेंस" को क्रमवार उपयोग किया जा सकता है न कि परस्पर अनन्य (mutually exclusive) बाधाओं के रूप में।
व्यावहारिक प्रभाव: विधि स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्राप्त करती है, जो अनसुपरवाइज्ड और सुपरवाइज्ड विधियों के बीच के अंतर को कम करती है। यह उन अनुप्रयोगों के लिए अत्यंत महत्वपूर्ण है जहाँ ग्राउंड ट्रुथ उपलब्ध नहीं है, जैसे लाइव-सेल फ्लोरोसेंस माइक्रोस्कोपी, अल्ट्राफास्ट ट्रांजिएंट इमेजिंग और लो-लाइट फोटोग्राफी।
दक्षता (Efficiency): कार्यों को अलग करके और प्री-ट्रेन्ड प्रायर्स का उपयोग करके, फ्रेमवर्क जटिल मोशन मॉडल को शुरू से सीखने की कम्प्यूटेशनल जटिलता से बचता है, जबकि प्रभावी रूप से शोर को दबाने और विवरणों को संरक्षित करने का कार्य करता है।