तकनीकी सारांश: उच्च-निष्ठा वाले इम्पलिसिट न्यूरल रिप्रेजेंटेशन (INR) के लिए रैंक का अनुकूलन

1. समस्या विवरण

इम्पलिसिट न्यूरल रिप्रेजेंटेशन (INRs) आकृतियों, छवियों, दृश्यों और चिकित्सा डेटा सहित विविध सिग्नल मोडालिटीज़ को मॉडल करने के लिए एक बहुमुखी ढांचा बन गए हैं। हालाँकि, मानक ReLU एक्टिवेशन वाले साधारण मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) व्यापक रूप से "स्पेक्ट्रल बायस" (spectral bias) से ग्रस्त माने जाते हैं, जो एक अंतर्निहित वास्तुशिल्प (architectural) सीमा है जो उन्हें उच्च-आवृत्ति (high-frequency) सामग्री को प्रभावी ढंग से प्रदर्शित करने से रोकती है।

परिणामस्वरूप, क्षेत्र मुख्य रूप से इस बायस को दूर करने के लिए वास्तुशिल्प हस्तक्षेपों (architectural interventions) पर केंद्रित रहा है, जैसे कि कोऑर्डिनेट एम्बेडिंग्स (जैसे, फूरियर फीचर्स) और विशिष्ट एक्टिवेशन फंक्शन (जैसे, SIREN, WIRE)। जबकि ये विधियाँ अभिव्यक्ति (expressiveness) में सुधार करती हैं, वे नई चुनौतियाँ भी पेश करती हैं: अत्यधिक अभिव्यंजक आर्किटेक्चर अक्सर 'इम्प्लिसिट रेगुलराइजेशन' की कमी रखते हैं, जिससे इल-पोज़्ड (ill-posed) इनवर्स समस्याओं में दोलनशील पैटर्न (oscillatory patterns) उत्पन्न होते हैं, जबकि कम-आवृत्ति पक्षपाती आर्किटेक्चर सूक्ष्म विवरणों को फिट करने में विफल हो सकते हैं।

यह शोध पत्र इस प्रचलित धारणा को चुनौती देता है कि लो-फ्रीक्वेंसी बायस एक अंतर्निहित वास्तुशिल्प दोष है। इसके बजाय, लेखक तर्क देते हैं कि यह स्थिर रैंक क्षरण (stable rank degradation) का एक लक्षण है। उनका मानना है कि साधारण MLPs की उच्च-आवृत्ति सिग्नलों को फिट करने में असमर्थता वजन अपडेट (weight updates) की प्रभावी आयामीता (dimensionality) के पतन के कारण है, न कि स्वयं नेटवर्क आर्किटेक्चर के कारण।

2. कार्यप्रणाली: एक स्थिर रैंक परिप्रेक्ष्य

लेखक वास्तुशिल्प डिजाइन के बजाय ऑप्टिमाइज़ेशन डायनेमिक्स पर ध्यान केंद्रित करते हैं, और एक एकीकृत मीट्रिक के रूप में स्थिर रैंक (stable rank) की अवधारणा का उपयोग करते हैं।

2.1 सैद्धांतिक ढांचा

शोध पत्र एक्टिवेशन और वेट अपडेट के बीच एक लीनियर-अल्जेब्रिक लिंक स्थापित करता है। एक लेयर $l$ के लिए, वेट के सापेक्ष ग्रेडिएंट को अपस्ट्रीम ग्रेडिएंट और इनपुट एक्टिवेशन के बाहरी उत्पाद (outer product) के रूप में परिभाषित किया गया है: $\nabla W_l \mathcal{L} = G_{l+1} H_l^\top$।

• रैंक बाधा (Rank Constraint): वेट अपडेट का रो-स्पेस (row space), बैच एक्टिवेशन्स के स्पैन (span) के भीतर होता है ($rowspace(\nabla W_l \mathcal{L}) \subseteq colspace(H_l)$)।
• क्षरण (Degradation): कोऑर्डिनेट-आधारित नेटवर्क में, इनपुट एक्टिवेशंस अक्सर कम-आयामी सबस्पेस में होते हैं। जैसे-जैसे सिग्नल परतों के माध्यम से प्रसारित होते हैं, नॉन-लिनियैरिटीज़ स्थानीय रूप से रैंक बढ़ा सकती हैं, लेकिन विशिष्ट हस्तक्षेपों के बिना, नेटवर्क प्रगतिशील रूप से कम-आयामी सबस्पेस पर कार्य करने की प्रवृत्ति रखता है, जिससे "रैंक पतन" (rank collapse) होता है।
• स्थिर रैंक (Stable Rank): लेखक इन अपडेट्स की प्रभावी आयामीता को मापने के लिए स्थिर रैंक, $s(A) = \frac{\|A\|_F^2}{\|A\|_2^2}$ का उपयोग करते हैं। कम स्थिर रैंक इंगित करती है कि अपडेट कुछ विशिष्ट दिशाओं में केंद्रित है, जो नेटवर्क की उच्च-आवृत्ति विवरणों को सीखने की क्षमता को सीमित करता है।

2.2 मौजूदा हस्तक्षेपों की पुनर्व्याख्या

लेखक मौजूदा वास्तुशिल्प संशोधनों की इस दृष्टिकोण से पुनर्व्याख्या करते हैं:

• इनपुट-स्तरीय (जैसे, फूरियर फीचर्स): ये इनपुट बैच मैट्रिक्स $H_0$ का विस्तार करते हैं, जिससे पहले-लेयर अपडेट के स्थिर रैंक की ऊपरी सीमा बढ़ जाती है।
• एक्टिवेशन-स्तरीय (जैसे, SIREN, BatchNorm): इनका लक्ष्य नेटवर्क में पूरे समय एक्टिवेशन्स के स्पैन $H_l$ को बनाए रखना है, ताकि गहराई के साथ रैंक कम न हो।

2.3 प्रस्तावित समाधान: म्यूऑन (Muon) ऑप्टिमाइज़र

शोध पत्र प्रस्तावित करता है कि सबसे सीधा उपचार ऑप्टिमाइज़र स्तर पर हस्तक्षेप करना है। वे Muon पेश करते हैं, जो एक ऑर्थोगोनलाइज़िंग ऑप्टिमाइज़र है जिसे ग्रेडिएंट अपडेट में स्पष्ट रूप से आइसोट्रॉपी (isotropy) लागू करने के लिए डिज़ाइन किया गया है।

• तंत्र (Mechanism): एक वेट अपडेट मैट्रिक्स $U$ के लिए, Muon इसे निकटतम सेमी-ऑर्थोगोनल मैट्रिक्स $Ortho(U)$ (Newton-Schulz इटरेशन के माध्यम से, जो SVD का सन्निकटन है) में मैप करता है। यह सुनिश्चित करता है कि अपडेट सभी सिंगुलर दिशाओं में समान रूप से वितरित हो, जिससे अपडेट की स्थिर रैंक को अधिकतम करके $\min(d_l, d_{l+1})$ तक पहुँचाया जा सके।
• कार्यान्वयन: Muon को हिडन-लेयर वेट मैट्रिसेस पर लागू किया जाता है, जबकि स्थिरता और दक्षता बनाए रखने के लिए बायस और इनपुट/आउटपुट पैरामीटर्स के लिए मानक Adam का उपयोग किया जाता है। यह दृष्टिकोण मॉडल-अज्ञेय (model-agnostic) है और वास्तविक प्रति-चरण (per-step) ग्रेडिएंट्स पर कार्य करता है।

3. प्रमुख योगदान

1. एक एकीकृत मीट्रिक के रूप में स्थिर रैंक: शोध पत्र INR में अभिव्यक्ति के एक प्रमुख माप के रूप में स्थिर रैंक का प्रस्ताव करता है, यह तर्क देते हुए कि प्रशिक्षण के दौरान रैंक क्षरण, न कि वास्तुशिल्प सीमाएं, साधारण MLPs में लो-फ्रीक्वेंसी बायस का प्राथमिक कारण है।
2. एकीकृत ढांचा: यह एक ऐसा ढांचा प्रदान करता है जो विविध वास्तुशिल्प संशोधनों (कोऑर्डिनेट एम्बेडिंग्स, वैकल्पिक एक्टिवेशन) की प्रभावशीलता को स्थिर रैंक बढ़ाने या संरक्षित करने के तरीकों के रूप में समझाता है।
3. Muon ऑप्टिमाइज़र: लेखक Muon प्रस्तावित करते हैं, जो एक ऑर्थोगोनलाइज़िंग ऑप्टिमाइज़र है जो स्पष्ट रूप से रैंक पतन को रोकता है, जो वास्तुशिल्प परिवर्तनों की आवश्यकता के बिना उच्च-निष्ठा सिग्नल लर्निंग के लिए एक प्राकृतिक उपचार के रूप में कार्य करता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोगों से पता चलता है कि Muon सभी परीक्षण किए गए आर्किटेक्चर (ReLU MLPs, SIREN, FINER, आदि) और मोडालिटीज़ (छवियां, ऑडियो, 3D आकार, मेडिकल CT, NeRFs) में प्रदर्शन में महत्वपूर्ण सुधार करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने चार डोमेन में Adam (और Lion) के विरुद्ध Muon का मूल्यांकन किया:

• इमेज ओवरफिटिंग (Kodak Dataset):

  • Muon ने साधारण Vanilla ReLU MLPs के PSNR में ~7–8 dB (~22.8 से ~30.0 dB तक) का सुधार किया, जिससे वे Adam के साथ प्रशिक्षित फूरियर फीचर नेटवर्क्स (FFNs) के बराबर आ गए।
  • Gaussian MLPs, SIREN, और FINER के लिए भी महत्वपूर्ण लाभ (2–4 dB) देखे गए।
  • स्थिर रैंक विश्लेषण ने दिखाया कि Muon हिडन लेयर्स में उच्च रैंक बनाए रखता है, जबकि Adam और Lion महत्वपूर्ण रैंक पतन प्रदर्शित करते हैं।

• ऑडियो ओवरफिटिंग:

  • Muon ने सभी आर्किटेक्चर में काफी उच्च सिग्नल-टू-नॉइज़ रेशियो (SNR) प्राप्त किया। एक ReLU FFN के लिए, SNR में +12.5 dB का सुधार हुआ।
  • साधारण ReLU MLPs, Adam के साथ लंबे ऑडियो क्लिप को रिकंस्ट्रक्ट करने में विफल रहे लेकिन Muon के साथ सफल रहे, जो यह सुझाव देता है कि विफलता ऑप्टिमाइज़ेशन अस्थिरता के कारण थी न कि क्षमता की सीमाओं के कारण।

• साइंड डिस्टेंस फील्ड्स (SDF):

  • Armadillo और Thai Statue डेटासेट्स पर, Muon ने Chamfer Distance को कम किया और IoU में सुधार किया, विशेष रूप से छोटे आर्किटेक्चर (8x32) के लिए।

• इनवर्स प्रॉब्लम्स (Inverse Problems):

  • CT रिकंस्ट्रक्शन: Muon ने स्पार्स-व्यू CT रिकंस्ट्रक्शन में ReLU MLPs के लिए PSNR में +7 dB तक सुधार किया, जिससे विषम संरचनाओं (heterogeneous structures) में आर्टिफैक्ट्स कम हुए।
  • सिंगल इमेज सुपर-रिज़ॉल्यूशन (SISR): Muon ने ReLU FFNs को विशेष रूप से प्रभावी बनाया, जो कुछ मेट्रिक्स में मजबूत हाई-फ्रीक्वेंसी बायस वाले आर्किटेक्चर (जैसे FINER) को भी पीछे छोड़ दिया, जो संभवतः ऑर्थोगोनल अपडेट के साथ ReLU के लाभकारी लो-फ्रीक्वेंसी बायस के कारण है।
  • न्यूरल रेडिएंस फील्ड्स (NeRF): Muon ने सिंथेटिक दृश्यों (जैसे Chair, Hotdog) पर रिकंस्ट्रक्शन आर्टिफैक्ट्स को कम किया और PSNR में +9 dB तक सुधार किया, जिससे अधिक सटीक दृश्य पुनर्निर्माण प्राप्त हुआ।

5. महत्व और दावे

शोध पत्र का दावा है कि ऑप्टिमाइज़ेशन, INR डिज़ाइन का एक तीसरा, कम खोजा गया अक्ष (axis) है, जो इनपुट और एक्टिवेशन-स्तरीय हस्तक्षेपों के पूरक है।

• वास्तुशिल्प नियतत्ववाद (Architectural Determinism) को चुनौती: परिणाम इस धारणा को चुनौती देते हैं कि वास्तुशिल्प परिवर्तन INR प्रदर्शन के प्राथमिक चालक हैं। लेखक प्रदर्शित करते हैं कि केवल ऑप्टिमाइज़ेशन ही मॉडल की निष्ठा (fidelity) को महत्वपूर्ण रूप से प्रभावित कर सकता है, जिससे साधारण ReLU MLPs को उच्च-निष्ठा वाले सिग्नलों को दर्शाने में सक्षम बनाया जा सकता है।
• योगात्मक प्रभाव (Additive Effects): शोध पत्र तर्क देता है कि इनपुट-स्तरीय, एक्टिवेशन-स्तरीय और ऑप्टिमाइज़ेशन-स्तरीय हस्तक्षेप अलग-अलग, पूरक अक्षों पर कार्य करते हैं। उन्हें मिलाना (जैसे, फूरियर फीचर्स के साथ Muon का उपयोग करना) सबसे सटीक पुनर्निर्माण प्रदान करता है।
• व्यावहारिक प्रभाव: Muon का उपयोग करके, विशेषज्ञ सरल, अधिक मजबूत आर्किटेक्चर (जैसे ReLU MLPs) के साथ उच्च-निष्ठा वाले परिणाम प्राप्त कर सकते हैं, जो अत्यधिक अभिव्यंजक, विशिष्ट नेटवर्क में देखे जाने वाले दोलनशील पैटर्न के प्रति कम संवेदनशील हैं।

6. सीमाएँ

लेखक कई सीमाओं को स्वीकार करते हैं:

• लक्ष्य रैंक (Target Rank): स्थिर रैंक ढांचा एक नैदानिक (diagnostic) उपकरण के रूप में कार्य करता है लेकिन एक इष्टतम लक्ष्य रैंक की भविष्यवाणी नहीं करता है। कुछ इल-पोज़्ड इनवर्स समस्याओं में, एक कम प्रेरित स्थिर रैंक एक लाभकारी 'इम्प्लिसिट रेगुलराइज़र' के रूप में कार्य कर सकता है।
• सन्निकटन (Approximation): Muon ऑर्थोगोनलाइज़ेशन के लिए Newton-Schulz सन्निकटन का उपयोग करता है। शोध पत्र इस सन्निकटन के निहितार्थों का गहराई से अध्ययन नहीं करता है, बल्कि Muon को एक अंतिम इष्टतम समाधान के बजाय एक व्यापक डिज़ाइन स्पेस के हिस्से के रूप में देखता है।
• ट्यूनिंग जटिलता: Muon लर्निंग रेट शेड्यूल्स (Muon और सहायक Adam पैरामीटर्स के लिए अलग-अलग दरें) के संबंध में अतिरिक्त ट्यूनिंग जटिलता पेश करता है।
• अभिव्यक्ति अंतराल (Expressiveness Gap): हालांकि Muon अंतर को कम करता है, फिर भी Muon के साथ प्रशिक्षित ReLU MLP, सभी सेटिंग्स में SIREN या FINER जैसे विशिष्ट आर्किटेक्चर की तुलना में कम अभिव्यंजक रहता है।