💻 computer science

FiRe: Frequency Reparameterization as a Preconditioner for Periodic Implicit Neural Representations

यह शोध पत्र FiRe को प्रस्तुत करता है, जो एक विधि है जो आवधिक इम्पलिसिट न्यूरल रिप्रेजेंटेशन (Implicit Neural Representations) के अनुकूलन को एक लो-रैंक गेटिंग पाथ (low-rank gating path) के माध्यम से प्रति-न्यूरॉन आवृत्तियों को पुन: पैरामीटराइज़ करके त्वरित करती है, जो एक निहित प्रीकंडीशनर (implicit preconditioner) के रूप में कार्य करता है ताकि बेहतर इनिशियलाइजेशन कंडीशनिंग प्राप्त की जा सके और उच्च पुनर्निर्माण गुणवत्ता के साथ तेज़ अभिसरण (faster convergence) प्राप्त किया जा सके।

मूल लेखक: Harinandan Shukla, Rajarshi Verma, Jitin Singla

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Harinandan Shukla, Rajarshi Verma, Jitin Singla

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक नेटवर्क को बेहतर और तेज़ी से "देखना" सिखाना

कल्पना कीजिए कि आप एक रोबोट को परिदृश्य (landscape) का चित्र बनाना सिखाने की कोशिश कर रहे हैं। रोबोट एक विशेष प्रकार के मस्तिष्क (एक न्यूरल नेटवर्क) का उपयोग करता है जो निर्देशांकों (जैसे मानचित्र पर x और y) को देखकर और यह अनुमान लगाकर सीखता है कि पिक्सेल का रंग क्या होना चाहिए।

समस्या यह है कि इन रोबोटों की एक बुरी आदत है: वे बड़ी, चिकनी चीजों जैसे आकाश या पहाड़ी को बनाने में माहिर हैं, लेकिन वे पेड़ की पत्तियों, बाड़ के खंभों या ईंट की दीवार की बनावट जैसी तीखी बारीकियों (sharp details) को बनाने में बहुत खराब हैं। वे "बड़ी तस्वीर" जल्दी सीख लेते हैं लेकिन "बारीक विवरण" सीखने के लिए लंबे समय तक संघर्ष करते हैं।

तकनीकी शब्दों में, इसे स्पेक्ट्रल बायस (spectral bias) कहा जाता है। रोबोट पहले कम आवृत्तियों (low frequencies - चिकनी चीजें) को सीखता है और उच्च आवृत्तियों (high frequencies - तीखी बारीकियां) को अंत में सीखता है।

समाधान: FiRe (फ्रीक्वेंसी रीपैरामीट्रिज़ेशन)

लेखकों ने FiRe नामक एक नया टूल बनाया है। FiRe को एक नए प्रकार का मस्तिष्क मानने के बजाय, इसे रोबोट के मस्तिष्क के हर एक न्यूरॉन के लिए एक स्मार्ट वॉल्यूम नॉब (volume knob) के रूप में समझें।

यह कैसे काम करता है, इसके लिए कुछ उपमाओं का उपयोग किया गया है:

1. "एक ही आकार सबके लिए" वाली समस्या

मानक मॉडलों (जैसे SIREN या FINER) में, नेटवर्क के हर न्यूरॉन को ठीक उसी गति (आवृत्ति) पर कंपन करने के लिए मजबूर किया जाता है।

उपमा: कल्पना कीजिए कि एक गायक दल (choir) है जहाँ हर गायक को अपनी मर्जी के बिना एक ही पिच पर गाने के लिए मजबूर किया जाता है, चाहे किसी भी नोट की आवश्यकता हो। यदि गाने में बैकग्राउंड के लिए एक कम बेस नोट और पक्षी की आवाज़ के लिए एक ऊँची सीटी की आवश्यकता है, तो सभी एक ही नोट गाने में फंसे रहते हैं। यह अक्षम है। कुछ गायक ऊर्जा बर्बाद कर रहे हैं, और ऊँचे स्वर कभी पर्याप्त तेज़ नहीं हो पाते।

2. FiRe के "स्मार्ट वॉल्यूम नॉब्स"

FiRe हर न्यूरॉन को अपना खुद का छोटा, समायोज्य (adjustable) वॉल्यूम नॉब देता है।

उपमा: अब, गायक व्यक्तिगत रूप से अपनी पिच को एडजस्ट कर सकते हैं। जो गायक चिकने आकाश को कवर कर रहे हैं, वे कम और स्थिर रह सकते हैं। जो गायक पेड़ की तीखी पत्तियों को कवर कर रहे हैं, वे अपनी पिच को ऊँचा कर सकते हैं।
यह कैसे किया जाता है: FiRe एक "लो-रैंक गेट" (low-rank gate) का उपयोग करता है। इसे नेटवर्क में एक बहुत ही कुशल साइड-ब्रांच के रूपas समझें जो यह गणना करता है कि इमेज के जिस हिस्से को देख रहा है, उसके आधार पर प्रत्येक न्यूरॉन की सही "गति" क्या होनी चाहिए। यह इस बात को नहीं बदलता कि न्यूरॉन क्या करता है, बल्कि केवल यह कि वह कितनी तेजी से कंपन करता है।

इससे मदद क्यों मिलती है? ("प्रीकंडीशनर" का जादू)

पेपर का तर्क है कि FiRe केवल नेटवर्क को अधिक शक्ति ही नहीं देता; यह सीखने की प्रक्रिया को सुचारू बनाता है।

कीचड़ भरी सड़क की उपमा: कल्पना कीजिए कि आप एक कार (लर्निंग एल्गोरिदम) को पहाड़ी पर चढ़ाने की कोशिश कर रहे हैं।
- FiRe के बिना: सड़क गहरे, कीचड़ भरे गड्ढों से भरी है। कार कम-आवृत्ति वाले गड्ढों (चिकने हिस्सों) में फंस जाती है और उच्च-आवृत्ति वाले उभारों (बारीकियों) पर पकड़ बनाने के लिए बहुत लंबा समय लेती है।
- With FiRe: FiRe एक प्री-कंडीशनर (pre-conditioner) के रूप में कार्य करता है। यह कार के चलना शुरू करने से पहले ही गड्ढों को भर देता है और सड़क को चिकना कर देता है। यह कार को फेरारी नहीं बनाता (यह अंतिम गंतव्य या कार के इंजन को नहीं बदलता); यह बस सड़क को चलाने के लिए आसान बनाता है।
परिणाम: कार पहाड़ी के शीर्ष (परफेक्ट इमेज) तक बहुत तेज़ी से पहुँच जाती है। यह उन तीखी बारीकियों को प्रशिक्षण के पहले कुछ मिनटों में ही सीख लेता है जिन्हें सीखने में आमतौर पर घंटों लग जाते।

सावधानी: यह एक शुरुआती बढ़त है, कोई सुपरपावर नहीं

पेपर बहुत सावधानी से बताता है कि Fiरे क्या नहीं करता है।

उपमा: FiRe एक ऐसे धावक की तरह है जिसे दौड़ में 100 मीटर की बढ़त (head start) मिली है।
- दौड़ की शुरुआत में (कम ट्रेनिंग बजट): बढ़त पाने वाला धावक बहुत आगे होता है। वे विजेता दिखते हैं।
- फिनिश लाइन पर (पूर्ण अभिसरण/convergence): यदि आप दोनों धावकों को बहुत लंबे समय तक दौड़ने देते हैं, तो पीछे से शुरू करने वाला अंततः बराबरी कर लेता है। वे दोनों एक ही समय पर समाप्त करते हैं क्योंकि उनकी दौड़ने की क्षमता (समान "फंक्शन क्लास") समान है।
वास्तविकता: FiRe नेटवर्क को तेज़ी से सीखने में मदद करता है और यदि आप प्रशिक्षण को जल्दी रोक देते हैं (जो वास्तविक दुनिया के अनुप्रयोगों में आम है) तो बेहतर परिणाम देता। यदि आप बहुत, बहुत लंबे समय तक प्रशिक्षण देते हैं, तो मानक नेटवर्क अंततः बराबरी कर लेता है, और लाभ समाप्त हो जाता है।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने 2D छवियों (जैसे लैंडस्केप फोटो) पर परीक्षण किया:

गति: FiRe नेटवर्क मानक नेटवर्क की तुलना में बहुत तेज़ी से उच्च-गुणवत्ता वाली छवियों तक पहुँच गए।
विवरण: छवियाँ अधिक स्पष्ट (sharper) दिखीं, विशेष रूप से किनारों और बनावट (उच्च-आवृत्ति विवरण) में।
निष्पक्षता: उन्होंने सुनिश्चित किया कि तुलना निष्पक्ष हो। उन्होंने केवल FiRe को अधिक न्यूरॉन्स (अधिक "मांसपेशियां") नहीं दिए। उन्होंने मानक नेटवर्क को समान संख्या में न्यूरॉन्स और समान "बेस स्पीड" दी, ताकि अंतर केवल FiRe के स्मार्ट नॉब्स का हो।
रिज़ॉल्यूशन: लाभ छोटी छवियों पर या जब प्रशिक्षण का समय कम हो, तब सबसे अधिक था। बड़ी, जटिल छवियों पर, लाभ थोड़ा कम हो गया, लेकिन Fi-रे फिर भी मदद करता रहा।

एक वाक्य में सारांश

FiRe एक चतुर तकनीक है जो न्यूरल नेटवर्क के प्रत्येक न्यूरॉन को एक व्यक्तिगत "स्पीड डायल" देती है, जिससे नेटवर्क सामान्य से बहुत तेज़ी से तीखी, विस्तृत छवियां सीख सकता है, हालांकि यदि आपके पास प्रशिक्षण के लिए अनंत समय है तो यह अंतिम परिणाम को नहीं बदलता है।

तकनीकी सारांश: FiRe (फ्रीक्वेंसी रीपैरामिटराइजेशन)

1. समस्या विवरण (Problem Statement)

आवधिक इम्पलिसिट न्यूरल रिप्रेजेंटेशन (Periodic Implicit Neural Representations - INRs), जैसे कि SIREN और FINER, मानक ReLU एक्टिवेशन को साइनुसोइडल (sinusoidal) फंक्शन से बदलकर निरंतर संकेतों (continuous signals) को एनकोड करने के लिए डिज़ाइन किए गए हैं। हालाँकि, इन आर्किटेक्चर में स्पेक्ट्रल बायस (spectral bias) की समस्या होती है, जो एक ऐसी घटना है जहाँ ग्रेडिएंट डिसेंट स्वाभाविक रूप से सिग्नल के लो-फ्रीक्वेंसी घटकों को पहले फिट करता है, जबकि हाई-फ्रीक्वेंसी विवरणों (बारीक टेक्सचर, शार्प एजेस) को रिकवर करने में अधिक समय लगता है।

मौजूदा आवधिक INRs की मुख्य सीमा यह है कि वे प्रत्येक न्यूरॉन को एक एकल ग्लोबल फ्रीक्वेंसी मल्टीप्लायर ( $\omega_0$ ) आवंटित करते हैं। यह दृष्टिकोण प्रतिनिधित्व बजट (representational budget) का अक्षम आवंटन करता है क्योंकि सिग्नल के विभिन्न हिस्सों (जैसे, एक शार्प एज बनाम एक स्मूथ बैकग्राउंड) को अलग-अलग लोकल फ्रीक्वेंसी की आवश्यकता होती है। हालाँकि FINER जैसी विधियाँ फ्रीक्वेंसी एनवेलप में प्री-एक्टिवेशन मैग्नीट्यूड को वापस फीड करके फ्रीक्वेंसी को इनपुट-डिपेंडेंट बनाने का प्रयास करती हैं, फिर भी वे निश्चित ग्लोबल पैरामीटर्स या विशिष्ट एक्टिवेशन स्ट्रक्चर पर निर्भर रहती हैं। चुनौती यह है कि फ्रीक्वेंसी को केवल ग्लोबल फ्रीक्वेंसी मल्टीप्लायर (जो फंक्शन क्लास को बदल देता है) बढ़ाए बिना या अत्यधिक पैरामीटर्स जोड़े बिना, प्रति-न्यूरॉन फ्रीक्वेंसी को सीखने योग्य (learnable) और इनपुट-डिपेंडेंट कैसे बनाया जाए।

2. कार्यप्रणाली: FiRe (फ्रीक्वेंसी रीपैरामिटराइजेशन)

FiRe, प्रत्येक न्यूरॉन को एक बाउंडेड (bounded), इनपुट-डिपेंडेंट फ्रीक्वेंसी स्केल असाइन करके आवधिक INRs की फ्रीक्वेंसी को रीपैरामिटराइज़ करने के लिए एक तंत्र पेश करता है।

मुख्य तंत्र (Core Mechanism)

फ्रीक्वेंसी को मुख्य वेट मैट्रिक्स में फोल्ड करने के बजाय, FiRe एक लो-रैंक गेटिंग पाथ (low-rank gating path) सम्मिलित करता है जो एक्टिवेशन फंक्शन से पहले प्री-एक्टिवेशन को गुणा करता है।
एक मानक SIREN एक्टिवेशन $h = \sin(\omega_0(Wx + b))$ के लिए, FiRe इसे इस प्रकार संशोधित करता है:
$h = \sin(\omega_0 \cdot s(x) \odot (Wx + b))$
जहाँ $s(x) \in (0, 2)$ एक सीखा गया गेट है जिसे एक लो-रैंक बॉटलनेक के रूप में लागू किया गया है:
$s(x) = 2 \sigma(U_{\uparrow} U_{\downarrow} x + b_{\uparrow})$
यहाँ, $U_{\uparrow}$ और $U_{\downarrow}$ लो-रैंक मैट्रिसेस हैं, और $\sigma$ लॉजिस्टिक सिग्मॉइड (logistic sigmoid) है। यह संरचना सुनिश्चित करती है कि फ्रीक्वेंसी बाउंडेड और स्थिर बनी रहे।

इनिशियलाइजेशन और कंट्रोल्स (Initialization and Controls)

इनिशियलाइजेशन: गेट को इस तरह इनिशियलाइज़ किया जाता है कि $U_{\uparrow} = 0$ और $b_{\uparrow} = 1$ हो, जिसके परिणामस्वरूप शुरुआत में एक कांस्टेंट गेट वैल्यू $s_i \approx 1.46$ प्राप्त होती है। यह सुनिश्चित करता है कि Fi-Re एक स्केल्ड फ्रीक्वेंसी के साथ एक मानक आवधिक नेटवर्क के रूप में शुरू हो।
फ्रीक्वेंसी इक्वलाइजेशन ( $w_{scale}$ ): यह सुनिश्चित करने के लिए कि प्रदर्शन में सुधार केवल उच्च ग्लोबल फ्रीक्वेंसी के कारण नहीं है, लेखक एक वेट-रीस्केलिंग कंट्रोल का उपयोग करते हैं। बेसलाइन नेटवर्क के वेट्स को $1/1.46$ से स्केल किया जाता है ताकि इनिशियलाइजेशन के समय बेसलाइन की रियलइज़्ड (realized) प्रति-न्यूरॉन फ्रीक्वेंसी ठीक FiRe के समान हो।
पैरामीटर मैचिंग: बेसलाइन को FiRe के पैरामीटर काउंट से मेल खाने के लिए चौड़ा (widened) किया जाता है (रैंक के आधार पर 1.4%–7.7% ओवरहेड जोड़कर), जिससे यह सुनिश्चित होता है कि लाभ केवल बढ़ी हुई क्षमता (capacity) के कारण नहीं है।

3. सैद्धांतिक तंत्र: NTK डिकंपोजिशन (Theoretical Mechanism: NTK Decomposition)

पेपर न्यूरल टेंगेंट कर्नेल (Neural Tangent Kernel - NTK) पर आधारित एक सैद्धांतिक स्पष्टीकरण प्रदान करता है।

एडिटिव डिकंपोजिशन: क्योंकि गेट पाथ पैरामीटर्स ( $\theta_g$ ) और कैरियर/सिग्नल पाथ पैरामीटर्स ( $\theta_c$ ) अलग-अलग हैं, इसलिए एम्पिरिकल NTK ( $K$ ) सटीक रूप से एक एडिटिव सम में डिकंपोज होता है:
$K = K_c + K_g$
इम्प्लिसिट प्रीकंडीशनिंग: गेट पाथ कर्नेल में एक पॉजिटिव-सेमीडेफिनिट ब्लॉक ( $K_g$ ) जोड़ता है। भले ही गेट फंक्शनली इनिशियलाइजेशन पर कांस्टेंट हो, लेकिन अपने स्वयं के पैरामीटर्स के सापेक्ष इसका ग्रेडिएंट नॉन-जीरो है। यह फंक्शनल मैप को बदले बिना ऑप्टिमाइज़ेशन लैंडस्केप में नए टेंगेंट डायरेक्शन्स जोड़ता है।
स्पेक्ट्रल प्रभाव: वेइल के इनइक्वेलिटी (Weyl's inequality) के अनुसार, $K_g$ जोड़ने से कुल कर्नेल के आइजनवैल्यू (eigenvalues) बढ़ जाते हैं। यह टेंगेंट स्पेस के इफेक्टिव रैंक को बढ़ाता है (प्रयोगों में 23–44%) और इनिशियलाइजेशन पर ऑप्टिमाइज़ेशन समस्या की कंडीशनिंग में सुधार करता है।
कन्वर्जेंस इम्प्लिकेशन: "लेज़ी" (lazy) NTK रिजीम में, उच्च आइजनवैल्यू और उच्च प्रभावी रैंक वाला कर्नेल अधिक आइजन-डायरेक्शन्स के साथ रेसिडुअल एरर को तेजी से कम करने की अनुमति देता है। यह समझाता है कि क्यों FiRe शुरुआती ट्रेनिंग कन्वर्जेंस को तेज करता है, विशेष रूप से हाई-फ्रीक्वेंसी घटकों के लिए जो धीमे-डिके होने वाले आइजन-मोड्स (eigenmodes) से संबंधित होते हैं।

4. प्रमुख परिणाम (Key Results)

लेखकों ने DIV2K और Kodak डेटासेट्स का उपयोग करके विभिन्न रेजोल्यूशन (256², 512², 1024²) और रैंकों पर 2D इमेज फिटिंग कार्यों का मूल्यांकन किया।

कन्वर्जेंस एक्सेलेरेशन: Fi-Re, पैरामीटर-मैच्ड बेसलाइन्स की तुलना में ट्रेनिंग के शुरुआती चरणों में काफी बेहतर प्रदर्शन करता है (जो INR फिटिंग के लिए विशिष्ट छोटे बजट होते हैं)।
- 256² रेजोल्यूशन पर, Fi-Re-SIREN और Fi-Re-FINER ने 2000 इपोक पर बेसलाइन्स की तुलना में +0.5 से +0.7 dB PSNR गेन हासिल किया।
- यह लाभ कम रैंक (1–4) पर सबसे अधिक स्पष्ट है और जैसे-जैसे रैंक बढ़ता है (जैसे, रैंक 8), यह कम होता जाता है, जो सुझाव देता है कि लाभ कच्चे क्षमता (raw capacity) के बजाय एक सुसंगत प्रीकंडीशनिंग मोड से आता है।
रेजोल्यूशन डिपेंडेंस: जैसे-जैसे इमेज रेजोल्यूशन बढ़ता है, प्रदर्शन लाभ कम होता जाता है। इसका कारण यह है कि उच्च रेजोल्यूशन एक निश्चित बजट पर कन्वर्जेंस से दूर होते हैं; Fi-Re द्वारा प्रदान किया गया "हेड स्टार्ट" कुल ऑप्टिमाइज़ेशन के आवश्यक भाग का एक छोटा हिस्सा बन जाता है।
स्पेक्ट्रल लोकलाइजेशन: लाभ हाई-फ्रीक्वेंसी बैंड में केंद्रित हैं। स्पेक्ट्रल विश्लेषण दिखाता है कि Fi-Re बेसलाइन की तुलना में ग्राउंड ट्रुथ के हाई-फ्रीक्वेंसी पावर को अधिक बारीकी से ट्रैक करता है, जबकि लो/मिड फ्रीक्वेंसी दोनों द्वारा समान रूप से फिट की जाती हैं।
कोई एसिम्प्टोटिक एडवांटेज नहीं: महत्वपूर्ण रूप से, जैसे-जैसे ट्रेनिंग पूर्ण कन्वर्जेंस (जैसे, 8000 इपोक) की ओर बढ़ती है, पैरामीटर-मैच्ड बेसलाइन अंततः Fi-Re से आगे निकल जाती है। यह पुष्टि करता है कि Fi-Re फंक्शन क्लास या अंतिम समाधान को नहीं बदलता है, बल्कि यह ऑप्टिमाइज़ेशन ट्रेजेक्टरी के लिए एक प्रीकंडीशनर के रूप में कार्य करता है।
स्थिरता: Fi-Re की रियलइज़्ड फ्रीक्वेंसी पूरी ट्रेनिंग के दौरान बेसलाइन के साथ मैच रहती है, जो पुष्टि करती है कि लाभ रीपैरामिटराइजेशन के कारण हैं, न कि किसी छिपे हुए फ्रीक्वेंसी शिफ्ट के कारण।

5. महत्व और दावे (Significance and Claims)

पेपर Fi-Re को नेटवर्क की प्रतिनिधित्व क्षमता (representational capacity) का विस्तार करने के बजाय ऑप्टिमाइज़ेशन को तेज करने के एक तरीके के रूप में प्रस्तुत करता है।

मैकेनिज्म आइसोलेशन: लेखक इस बात पर जोर देते हैं कि INR साहित्य में पिछले स्पष्ट लाभ ग्लोबल फ्रीक्वेंसी या पैरामीटर काउंट में अनियंत्रित वृद्धि के कारण भ्रमित हो सकते थे। इन कारकों को सख्ती से नियंत्रित करके, वे गेट के ऑप्टिमाइज़ेशन-ज्यामिति प्रभाव (optimization-geometry effect) को अलग करते हैं।
इम्प्लिसिट प्रीकंडीशनिंग: Fi-Re को एक इम्प्लिसिट प्रीकंडीशनर के रूप में पहचाना गया है जो इनिशियलाइजेशन पर NTK की कंडीशनिंग में सुधार करता है। यह रीपैरामिटराइजेशन और तेज़ कन्वर्जेंस के बीच एक सैद्धांतिक सेतु प्रदान करता है।
व्यावहारिक उपयोगिता: यह विधि उन परिदृश्यों में सबसे अधिक मूल्यवान है जहाँ INRs को एक निश्चित, छोटे बजट (जो अभ्यास में सामान्य है) के लिए प्रशिक्षित किया जाता है, न कि पूर्ण कन्वर्जेंस तक। इन सेटिंग्स में, Fi-Re बारीक विवरणों और टेक्सचर के उच्च गुणवत्ता वाले पुनर्निर्माण प्रदान करता है।
विनम्रता: लेखक स्पष्ट रूप से कहते हैं कि Fi-Re पूर्ण कन्वर्जेंस पर कोई लाभ नहीं देता है और NTK-आधारित स्पष्टीकरण "लेज़ी रिजीम" अनुमान पर निर्भर करता है, जो जैसे-जैसे ट्रेनिंग आगे बढ़ती है कमजोर होता जाता है। यह पद्धति वर्तमान में 2D इमेज फिटिंग तक सीमित है, और 3D (SDFs, NeRF) में इसका विस्तार एक खुला प्रश्न है।

संक्षेप में, Fi- रहे यह प्रदर्शित करता है कि आवधिक न्यूरॉन्स की फ्रीक्वेंसी को लो-रैंक गेट के माध्यम से रीपैरामिटराइज़ करने से ऑप्टिमाइज़ेशन लैंडस्केप की कंडीशनिंग में काफी सुधार हो सकता है, जिससे तेज़ कन्वर्जेंस और बेहतर हाई-फ्रीक्वेंसी रिकंस्ट्रक्शन मिलता है, बशर्ते कि तुलना सख्ती से फ्रीक्वेंसी- और पैरामीटर-मैच्ड बेसलाइन्स के विरुद्ध की जाए।