Adaptive Local Frequency Filtering for Fourier-Encoded Implicit Neural Representations

यहाँ शोध पत्र "Adaptive Local Frequency Filtering for Fourier-Encoded Implicit Neural Representations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

इम्प्लिसिट न्यूरल रिप्रेजेंटेशन्स (INRs) असतत नमूनों (जैसे चित्र, 3D आकृतियाँ) से निरंतर संकेतों को मॉडल करने के लिए शक्तिशाली उपकरण हैं। हालाँकि, मानक INRs स्पेक्ट्रल बायस (spectral bias) से ग्रस्त होते हैं, जहाँ वे उच्च-आवृत्ति (high-frequency) विवरणों की तुलना में कम-आवृत्ति (low-frequency) घटकों को बहुत तेज़ी से सीखते हैं।

इस प्रभाव को कम करने के लिए, फूरियर-एनकोडेड INRs (पोज़िशनल एनकोडिंग का उपयोग करके) का व्यापक रूप से उपयोग किया जाता है ताकि इनपुट निर्देशांकों को एक उच्च-आयामी फीचर स्पेस में बदला जा सके। प्रभावी होने के बावजूद, ये विधियाँ आमतौर पर पूरे स्थानिक डोमेन (spatial domain) में समान रूप से लागू किए गए एक निश्चित आवृत्तियों के सेट (fixed set of frequencies) पर निर्भर करती हैं। यह एक मौलिक विसंगति पैदा करता है:

• प्राकृतिक संकेत नॉन-स्टेशनरी (non-stationary) होते हैं: चिकने क्षेत्र (जैसे आकाश, बैकग्राउंड) कम आवृत्तियों द्वारा नियंत्रित होते हैं, जबकि किनारे (edges), बनावट (textures) और सूक्ष्म संरचनाओं के लिए उच्च आवृत्तियों की आवश्यकता होती है।
• सीमा: एक वैश्विक रूप से स्थिर फूरियर बेसिस स्थानीय विविधताओं के अनुकूल नहीं हो सकता। यह अक्सर चिकने क्षेत्रों में अनावश्यक उच्च-आवृत्ति शोर (noise) पेश करता है या जटिल क्षेत्रों में तीक्ष्ण विवरणों को पकड़ने में विफल रहता है, जिससे अभिसरण (convergence) धीमा हो जाता है और पुनर्निर्माण की गुणवत्ता उप-इष्टतम (suboptimal) हो जाती है।

2. कार्यप्रणाली: एडेप्टिव लोकल फ्रीक्वेंसी फिल्टरिंग (AL-Filter)

लेखक फूरियर-एनकोडेड INRs में स्थानिक रूप से अनुकूलित आवृत्ति मॉड्यूलेशन (spatially adaptive frequency modulation) पेश करने के लिए एक विधि प्रस्तावित करते हैं।

मुख्य तंत्र (Core Mechanism)

एक निश्चित आवृत्ति सेट का उपयोग करने के बजाय, यह विधि एक सीखने योग्य, स्थानिक रूप से परिवर्तनशील पैरामीटर $\alpha(\mathbf{x})$ पेश करती है जो एनकोडेड फूरियर फीचर्स को मॉड्यूलेट करती है।

• लर्नेबल ग्रिड (Learnable Grid): पैरामीटर $\alpha(\mathbf{x})$ एक लर्न करने योग्य ग्रिड पर संग्रहीत है और किसी भी इनपुट निर्देशांक $\mathbf{x}$ पर मल्टीलीनर इंटरपोलेशन (multilinear interpolation) के माध्यम से क्वेरी किया जाता है। यह स्थानिक सुगमता सुनिश्चित करता है और स्थानीय अनुकूलन की अनुमति देता है।
• फिल्टर डिज़ाइन: फिल्टर रिस्पॉन्स $H_B(\alpha(\mathbf{x}))$ को दो सिग्मॉइड (sigmoid) फलनों के अंतर के रूप में परिभाषित किया गया है। यह एनकोडेड चैनल अक्ष पर एक सुचारू, नियंत्रणीय बैंड-पास फिल्टर (band-pass filter) बनाता है।
  • लो-पास व्यवहार (Low-pass behavior): जब $\alpha(\mathbf{x})$ लो-इंडेक्स बाउंड्री के पास होता है, तो फिल्टर कम-आवृत्ति वाले चैनलों पर जोर देता है।
  • बैंड-पास व्यवहार (Band-pass behavior): जब $\alpha(\mathbf{x})$ बीच में होता है, तो यह विशिष्ट फ्रीक्वेंसी बैंड्स का चयन करता है।
  • हाई-पास व्यवहार (High-pass behavior): जब $\alpha(\mathbf{x})$ हाई-इंडेक्स बाउंड्री के पास होता है, तो यह उच्च-आवृत्ति वाले चैनलों पर जोर देता है।
• अनुप्रयोग: फिल्टर को मल्टी-लेयर पर्सेप्ट्रॉन (MLP) में प्रवेश करने से पहले फूरियर-एनकोडेड फीचर वेक्टर $\gamma(\mathbf{x})$ पर एलिमेंट-वाइज (element-wise) लागू किया जाता है:
  $$\gamma'(\mathbf{x}) = H_B(\alpha(\mathbf{x})) \odot \gamma(\mathbf{x})$$

सैद्धांतिक विश्लेषण (NTK परिप्रेक्ष्य)

लेखक न्यूरल टेंगेंट कर्नेल (Neural Tangent Kernel - NTK) फ्रेमवर्क का उपयोग करके इस विधि का विश्लेषण करते हैं।

• वे व्युत्पन्न करते हैं कि एडेप्टिव फिल्टर प्रभावी रूप से कर्नेल स्पेक्ट्रम के आइजनवैल्यूज़ (eigenvalues) को स्थानीय रूप से रीस्केल (rescale) करता है।
• एक विशिष्ट फ्रीक्वेंसी स्केल $j$ के लिए स्थानीय प्रभावी आइजनवैल्यू को इस प्रकार अनुमानित किया जा सकता है: $\lambda_j^{AL}(\mathbf{x}) \approx \bar{H}_j(\alpha(\mathbf{x}))^2 \lambda_j$।
• निहितार्थ: जटिल विवरणों वाले क्षेत्रों में, फिल्टर उच्च-आवृत्ति कर्नेल घटकों के प्रभावी भार को बढ़ाता है, जिससे स्थानीय संरचनाओं का सीखना तेज हो जाता है। चिकने क्षेत्रों में, यह उच्च-आवृत्ति घटकों को दबा देता है, जिससे शोर और ओवरफिटिंग को रोका जा सके।

3. प्रमुख योगदान (Key Contributions)

1. एडेप्टिव लोकल फ्रीक्वेंसी फिल्टरिंग: एक नवीन विधि जो लर्न करने योग्य पैरामीटर $\alpha(\mathbf{x})$ के माध्यम से फूरियर-एनकोडेड INRs में स्थानिक रूप से परिवर्तनशील फ्रीक्वेंसी मॉड्यूलेशन सक्षम करती है।
2. NTK-आधारित व्याख्या: एक सैद्धांतिक विश्लेषण जो दिखाता है कि कैसे फिल्टर प्रभावी कर्नेल स्पेक्ट्रम को स्थानीय सिग्नल विशेषताओं के अनुरूप पुनर्गठित करता है, जो बेहतर अभिसरण के लिए एक गणितीय स्पष्टीकरण प्रदान करता है।
3. व्याख्यात्मकता (Interpretability): सीखे गए $\alpha(\mathbf{x})$ मैप्स मॉडल की फ्रीक्वेंसी प्राथमिकताओं का एक सहज दृश्य (visualization) प्रदान करते हैं, जो चिकने क्षेत्रों और उच्च-आवृत्ति विवरण क्षेत्रों के बीच स्पष्ट अंतर करते हैं।
4. प्रदर्शन लाभ: फिक्स्ड-फ्रीक्वेंसी बेसलाइन्स की तुलना में पुनर्निर्माण गुणवत्ता, अभिसरण गति और विरल डेटा (sparse data) को संभालने में सुधार प्रदर्शित किया गया।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन तीन अलग-अलग कार्यों पर किया गया:

• 2D इमेज फिटिंग:

  • सेटअप: 512x512 प्राकृतिक छवियों को फिट करना।
  • परिणाम: प्रस्तावित विधि (विशेष रूप से साइन-एक्टिवेशन वेरिएंट, Ours-Sine) ने उच्चतम PSNR (46.27 dB) और SSIM (0.9938) प्राप्त किया, जो PE-MLP, SIREN और DINER जैसे बेसलाइन्स से काफी बेहतर है।
  • अवलोकन: यह प्रतिस्पर्धियों की तुलना में तेजी से अभिसरित हुआ और टेक्स्ट तथा सूक्ष्म बनावट को बेहतर ढंग से संरक्षित किया, जो अक्सर स्मूथिंग आर्टिफैक्ट्स (smoothing artifacts) उत्पन्न करते हैं।

• 3D शेप रिप्रेजेंटेशन (SDFs):

  • सेटअप: जटिल 3D मॉडल्स (जैसे Armadillo, Dragon) के लिए साइन्ड डिस्टेंस फील्ड्स (Signed Distance Fields) का पुनर्निर्माण।
  • परिणाम: सर्वोत्तम औसत चैम्फर डिस्टेंस (Chamfer distance) और IoU प्राप्त किया।
  • गुणात्मक (Qualitative): विधि ने चिकनी सतहों (जैसे Armadillo की छाती) और उच्च-आवृत्ति विवरणों (जैसे पैर की बनावट) के बीच सफलतापूर्वक संतुलन बनाया, जबकि बेसलाइन्स या तो विवरणों को अत्यधिक स्मूथ कर देते थे या चिकने क्षेत्रों में शोर पैदा करते थे।

• स्पार्स डेटा रिकंस्ट्रक्शन (Inpainting):

  • सेटअप: केवल 5% और 35% देखे गए पिक्सेल से छवियों का पुनर्निर्माण।
  • रणनीति: गायब क्षेत्रों में स्थानिक सुगमता को प्रोत्साहित करने के लिए $\alpha(\mathbf{x})$ ग्रिड पर एक टोटल वेरिएशन (Total Variation - TV) पेनल्टी जोड़ी गई।
  • परिणाम: मॉडल ने 5% स्पर्सिटी पर भी वैश्विक संरचना और 35% पर सूक्ष्म विवरणों को सफलतापूर्वक रिकवर किया। सीखे गए $\alpha(\mathbf{x})$ मैप्स ने चिकने गायब क्षेत्रों (कम $\alpha$) बनाम एज-रिच क्षेत्रों (उच्च $\alpha$) की सही पहचान की।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य वर्तमान INR विधियों की एक महत्वपूर्ण सीमा को संबोधित करता है: वैश्विक फ्रीक्वेंसी एनकोडिंग की नॉन-स्टेशनरी सिग्नल्स को संभालने में असमर्थता। वैश्विक फ्रीक्वेंसी चयन को एक निश्चित ग्लोबल बेसिस से अलग करके और इसे पोजीशन-डिपेंडेंट (स्थान-निर्भर) बनाकर, लेखक फूरियर-एनकोडेड INRs में एक व्यावहारिक और व्याख्यात्मक सुधार प्रदान करते हैं।

मुख्य बातें:

• दक्षता: यह विधि न्यूनतम कम्प्यूटेशनल ओवरहेड (सैंपल्स की संख्या के रैखिक में) के साथ प्रदर्शन में महत्वपूर्ण सुधार करती है।
• लचीलापन: यह लो-पास, बैंड-पास और हाई-पास व्यवहारों को एक एकल लर्न करने योग्य फ्रेमवर्क में एकीकृत करता है।
• अंतर्दृष्टि: स्थानीय फ्रीक्वेंसी रिस्पॉन्स पर स्पष्ट नियंत्रण, "ब्लैक बॉक्स" न्यूरल फिटिंग से आगे बढ़कर, व्याख्यात्मक स्पेक्ट्रल अनुकूलन की ओर एक नया दृष्टिकोण प्रदान करता है।

प्रस्तावित AL-Filter, इमप्लिसिट न्यूरल रिप्रेजेंटेशन्स को वास्तविक दुनिया के सिग्नल्स के लिए अधिक मजबूत बनाने की दिशा में एक महत्वपूर्ण कदम है, जो स्थान के अनुसार जटिलता में भिन्न होते हैं।