तकनीकी सारांश: इनपुट-कॉन्वेक्स न्यूरल नेटवर्क प्रशिक्षण के लिए एक लिफ्ट (A Lift for Input-Convex Neural Network Training)

1. समस्या विवरण (Problem Statement)

इनपुट-कॉन्वेक्स न्यूरल नेटवर्क (ICNNs) उन कार्यों के लिए आवश्यक हैं जिनमें कॉनवेक्स स्केलर फील्ड्स की आवश्यकता होती है, जिसमें लॉग-कॉन्केव डेंसिटी एस्टीमेशन, कॉनवेक्स-पोटेंशियल नॉर्मलाइजिंग फ्लो, ऑप्टिमल ट्रांसपोर्ट, और बेयसियन पोस्टीरियर्स के लिए ट्रांसपोर्ट-मैप इन्वर्जन शामिल हैं। ICNNs की एक संरचनात्मक बाधा यह है कि इनपुट कॉनवेक्सिटी को बनाए रखने के लिए इंटर-लेयर वेट्स का गैर-ऋणात्मक ($\theta \succeq 0$) रहना अनिवार्य है।

इस बाधा को लागू करने वाली वर्तमान विधियाँ महत्वपूर्ण अनुकूलन विकृतियों (optimization pathologies) से ग्रस्त हैं:

• प्रोजेक्टेड ग्रेडिएंट डिसेंट (PGD): मानक दृष्टिकोण एक अनकन्स्ट्रेंड स्टेप और उसके बाद एक हार्ड प्रोजेक्शन ($\theta \leftarrow \max(\theta, 0)$) शामिल करता है। यह प्रोजेक्शन एक्टिव सेट (जहाँ वेट्स शून्य होते हैं) पर नॉन-डिफरेंशिएबल है। फलस्वरूप, क्लासिकल कन्वर्जेंस गारंटी स्मूथ ऑब्जेक्टिव्स के लिए लागू नहीं होती है क्योंकि ICNN लैंडस्केप नॉन-स्मूथ होता है, और इस विधि में लॉस सरफेस को स्मूथ करने के लिए कोई तंत्र नहीं होता है।
• सॉफ्टप्लस रीपैरामेट्राइजेशन (Softplus Reparametrization): एक डिफरेंशिएबल विकल्प वेट्स को एक मोनोटोन मैप जैसे $\theta = \psi(\tilde{\theta})$ का उपयोग करके रीपैरामेट्राइज करता है। हालांकि, चेन-रूल प्रीफैक्टर $\psi'(\tilde{\theta})$ तब विलुप्त (vanish) हो जाता है जब $\tilde{\theta} \to -\infty$ होता है। यह एक "रीडआउट शोल्डर" (readout shoulder) बनाता है—पैरामीटर स्पेस का एक विस्तृत क्षेत्र जहाँ ग्रेडिएंट्स तेजी से कम (exponentially attenuated) हो जाते हैं। स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) इस क्षेत्र में फंस जाता है, जिससे एस्केप टाइम (escape times) पॉलिनोमियल के बजाय एक्सपोनेंशियल (Kramers–Arrhenius regime) हो जाता है, जिससे ट्रेनिंग रुक जाती है और लॉस प्लेटो (plateau) हो जाता है।

मौजूदा सुधार, जैसे कि स्पेशलाइज्ड इनिशियलाइजेशन या ADMM विद पॉजिटिविटी, लक्षणों का समाधान करते हैं, मूल स्ट्रक्चरल ग्रेडिएंट एटेनुएशन का नहीं, और अक्सर लिमिट में PGD में ही सिमट जाते हैं या डेटा-कंडीशन्ड रीपैरामेट्राइजेशन प्रदान करने में विफल रहते हैं।

2. कार्यप्रणाली: द लिफ्ट (Methodology: The Lift)

फुल-वेवफॉर्म इन्वर्जन (FWI) में पैरामीटर-एक्सटेंशन लिफ्ट्स से प्रेरित होकर, लेखक लिफ्ट (the lift) का प्रस्ताव करते हैं, जो एक रीपैरामेट्राइजेशन रणनीति है जो इंटर-लेयर वेट्स को सीधे कंस्ट्रेंट करने के बजाय एक अनकन्स्ट्रेंड हाइपरनेटवर्क को प्रशिक्षित करती है जो इनपुट बैच के परम्यूटेशन-इनवेरिएंट सारांश के आधार पर वेट्स उत्सर्जित (emit) करता है।

2.1 रीपैरामेट्राइजेशन (The Reparametrization)

लिफ्ट प्री-रीडआउट इटरेट $\tilde{\theta}$ को दो घटकों में विभाजित करता है:
$$\tilde{\theta} = b + h_\phi(X)$$
$$\theta = \psi(\tilde{\theta})$$
जहाँ:

• $b \in \mathbb{R}^d$ एक सीखने योग्य स्लैक बायस (slack bias) है (जो बैचों में स्थिर रहता है)।
• $h_\phi(X)$ एक हाइपरनेटवर्क बॉडी (hypernetwork body) है (एक DeepSets-शैली का नेटवर्क) जो इनपुट बैच $X = (x_1, \dots, x_n)$ पर आधारित वेट्स उत्सर्जित करता है।
• $\psi$ एक मानक पॉजिटिविटी रीडआउट (जैसे सॉफ्टप्लस) है।

ट्रेनिंग ऑब्जेक्टिव सीधे वेट्स $\theta$ के बजाय हाइपरनेटवर्क पैरामीटर्स $\phi$ और स्लैक $b$ पर ICNN लॉस $L$ को मिनिमाइज करता है।

2.2 क्रिया का तंत्र (Mechanism of Action)

मुख्य नवाचार बैच-प्रेरित स्टोकेस्टिसिटी (batch-induced stochasticity) का परिचय है जो रीडआउट शोल्डर के ग्रेडिएंट एटेनुएशन को बायपास करता है।

1. स्लैक चैनल (Slack Channel): बायस $b$ एक आइडेंटिटी जैकोबियन ($\partial \tilde{\theta} / \partial b = I$) वाला पथ प्रदान करता है।
2. बैच कंडीशनिंग (Batch Conditioning): बॉडी $h_\phi(X)$ हर बैच $X$ के साथ बदलता है। भले ही पैरामीटर्स $(\phi, b)$ फ्रीज हों, $X$ के री-सैंपल होने पर इटरेट $\tilde{\theta}$ में उतार-चढ़ाव होता है।
3. क्रॉस-कोवेरिएंस (Cross-Covariance): ये उतार-चढ़ाव इटरेट जिटर $\delta \tilde{\theta}$ और ग्रेडिएंट फ्लक्चुएशन $\delta g$ के बीच एक नॉन-जीरो क्रॉस-कोवेरिएंस पैदा करते हैं। डायरेक्ट सॉफ्टप्लस के विपरीत (जहाँ $\delta \tilde{\theta} \equiv 0$), यह क्रॉस-कोवेरिएंस $\sigma^2_{Jac}$ स्ट्रक्चरली नॉन-जीरो है।

यह क्रॉस-कोवेरिएंस लॉस लैंडस्केप के इम्प्लिसिट स्ट्रॉन्ग-कॉनवेक्सिफिकेशन (implicit strong-convexification) के रूप में कार्य करता है। यह प्रभावी लैंडस्केप में एक कर्वेचर मोडुलस $\mu_{eff} \propto \sigma^2_{Jac}$ जोड़ता है, जिससे ऑप्टिमाइज़र केवल ग्रेडिएंट-ड्रिवन स्टेप्स के बजाय एक डिफ्यूसिव मैकेनिज्म के माध्यम से ग्रेडिएंट-एटेन्यूएटेड शोल्डर से बाहर निकल पाता है।

3. मुख्य योगदान (Key Contributions)

3.1 लिफ्ट आर्किटेक्चर (The Lift Architecture)

पेपर एक ड्रॉप-इन रैपर पेश करता है जो मौजूदा ICNN पाइपलाइन्स को रिप्लेस कर सकता है, जो डायरेक्ट वेट ऑप्टिमाइजेशन के बजाय स्लैक-प्लस-हाइपरनेटवर्क एमिशन का उपयोग करता है। यह स्टोकैस्टिसिटी का एक स्रोत जोड़ता है जो $\psi$ को बदले बिना लॉस लैंडस्केप को सॉफ्ट करता है।

3.2 स्ट्रक्चरल आवश्यकता (Theorem 1)

लेखकों ने पहचाना और सिद्ध किया कि इस मैकेनिज्म के कार्य करने के लिए तीन संरचनात्मक घटक संयुक्त रूप से आवश्यक हैं:

1. लर्नेबल स्लैक ($b$): एक आइडेंटिटी-जैकोबियन पथ प्रदान करता है।
2. बैच-कंडीशन्ड बॉडी ($h_\phi(X)$): डेटा पर निर्भर इटरेट फ्लक्चुएशन उत्पन्न करता है।
3. क्रॉस-कोवेरिएंस कपलिंग: बॉडी के एमिशन और ग्रेडिएंट (दोनों एक ही बैच द्वारा संचालित) के बीच सहसंबंध।
   पेपर सिद्ध करता है कि किसी भी एक घटक को हटाने से क्रॉस-कोवेरिएंस एस्टीमेटर शून्य हो जाता है, जिससे कंडीशनिंग का लाभ समाप्त हो जाता है।

3.3 सैद्धांतिक गारंटी (Theoretical Guarantees)

• लेम्मा 1 (Implicit Strong-Convexification): क्रॉस-कोवेरिएंस पुलबैक लैंडस्केप में एक स्ट्रॉन्गली-कॉनवेक्स क्वाड्रेटिक टर्म जोड़ता है, जो $\psi$ को संशोधित किए बिना शोल्डर को प्रभावी ढंग से स्मूथ करता है।
• कोरोलरी 1 (Escape Rate): शोल्डर से एस्केप करने का मीन फर्स्ट-पैसेज टाइम (mean first-passage time) एक अरहेनियस लॉ (Arrhenius law) का पालन करता है जहाँ लिफ्ट का प्रभावी वेरिएंस $\sigma^2_{Jac}$ को शामिल करता है। इसके परिणामस्वरूप डायरेक्ट सॉफ्टप्लस की तुलना में तेजी से एस्केप रेट मिलता है, जो कुछ रेगिम्स में एक्सपोनेंशियल के बजाय पॉलिनोमियल स्केलिंग में बदल जाता है।

4. अनुभवजन्य परिणाम (Empirical Results)

लिफ्ट का मूल्यांकन दो ICNN प्रतिमानों (paradigms) में किया गया: लॉग-कॉनकेव एनर्जी-बेस्ड मॉडल्स (EBMs) और कॉनवेक्स-पोटेंशियल फ्लो।

• लॉग-कॉनकेव EBM ट्रेनिंग:

  • 1D से 32D टारगेट्स: 1D Gumbel/Laplace डिस्ट्रीब्यूशन से लेकर 32-डायमेंशनल MNIST ऑटोएन्कोडर लेटेंट्स तक के टारगेट्स पर, लिफ्ट ने डायरेक्ट सॉफ्टप्लस की तुलना में लगातार कम टेस्ट लॉस (Total Variation distance) प्राप्त किया।
  • एब्लेशन स्टडीज (Ablation Studies): एक फोर-आर्किटेक्चर एब्लेशन ने पुष्टि की कि केवल पूर्ण लिफ्ट (स्लैक, बॉडी और कपलिंग के साथ) ही एक परिमित (finite) क्रॉस-कोवेरिएंस रीडिंग देता है; सभी आंशिक वेरिएंट शून्य पर गिर गए, जो Theorem 1 को वैलिडेट करता है।
  • एस्केप डायनेमिक्स (Escape Dynamics): 1D Gumbel टारगेट पर, लिफ्ट के कोऑर्डिनेट्स को शोल्डर रीजन में साइकिल करते हुए देखा गया, जबकि डायरेक्ट सॉफ्टप्लस के कोऑर्डिनेट्स ट्रैप्ड (एब्जॉर्बिंग स्टेट) हो गए।

• कॉनवेक्स-पोटेंशियल फ्लो:

  • 2D सिंथेटिक टारगेट्स: 8-Gaussians और 2-spirals टारगेट्स पर, लिफ्ट ने कन्वर्जेंस डिस्ट्रीब्यूशन को उस लोअर-लॉस बेसिन की ओर शिफ्ट किया जहाँ डायरेक्ट सॉफ्टप्लस शायद ही कभी पहुँच पाता है।
  • 21-डायमेंशनल टैबुलर बेंचमार्क (HEPMASS): लिफ्ट ने 22.85 नैट्स का टेस्ट लॉस प्राप्त किया, जो डायरेक्ट सॉफ्टप्लस (443.88 नैट्स) और PGD (27.01 नैट्स) से काफी बेहतर प्रदर्शन करता है।
  • लैंडस्केप विज़ुअलाइज़ेशन: लॉस लैंडस्केप के विज़ुअलाइज़ेशन ने दिखाया कि जबकि कॉन्स्ट्रेंड $\theta$-स्पेस में ट्राजेक्टरी एक प्लेटो पर पिन होती दिख रही थी, वही ट्राजेक्टरी लिफ्टेड $(\phi, b)$-स्पेस में एक स्मूथ वैली (valley) की ओर नीचे जा रही थी।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि लिफ्ट ICNN ट्रेनिंग में एक मौलिक संरचनात्मक सीमा को संबोधित करता है: पॉजिटिविटी रीडआउट्स के कारण होने वाला ग्रेडिएंट एटेनुएशन।

• PGD से परे: PGD के विपरीत, जो एक हार्ड, नॉन-स्मूथ प्रोजेक्शन लगाता है, लिफ्ट लैंडस्केप को स्मूथ करता है, जिससे ऑप्टिमाइज़र उन क्षेत्रों में नेविगेट कर पाता है जहाँ ग्रेडिएंट्स विलुप्त हो जाते।
• सॉफ्टप्लस से परे: डायरेक्ट सॉफ्टप्लस के विपरीत, जो वेनिशिंग प्रीफेक्टर्स के कारण एक्सपोनेंशियल एस्केप टाइम्स से जूझता है, लिफ्ट डिफ्यूसिव एस्केप चैनल बनाए रखने के लिए बैच-प्रेरित शोर (noise) का उपयोग करता है।
• स्ट्रक्चरल बनाम कैपेसिटी: इसका लाभ बढ़े हुए पैरामीटर काउंट (ओवर-पैरामिट्राइजेशन) के कारण नहीं है। डायरेक्ट सॉफ्टप्लस नेटवर्क को हाइपरनेटवर्क के पैरामीटर काउंट से मैच करने के लिए चौड़ा करने के बावजूद भी डायरेक्ट मेथड विफल रहा, जो पुष्टि करता है कि लाभ रॉ कैपेसिटी से नहीं बल्कि कंडीशनिंग से आता है।
• लॉस-अग्नोस्टिकिज्म (Loss-Agnosticism): यह मैकेनिज्म बैच सारांश और ग्रेडिएंट के स्ट्रक्चरल कपलिंग पर निर्भर करता है, जिससे यह विशिष्ट लॉस फंक्शन के बावजूद विभिन्न ICNN अनुप्रयोगों (EBMs, flows, optimal transport) के लिए लागू करने योग्य बन जाता है, बशर्ते बैच स्टोकेस्टिसिटी मौजूद हो।

लेखक निष्कर्ष निकालते हैं कि लिफ्ट एक प्लेटो-बाउंडेड ट्रेनिंग ट्राजेक्टरी को एक वैली-डिसेन्डिंग (valley-descending) ट्राजेक्टरी में बदल देता है, जिससे ICNNs को मानक बाधा प्रवर्तन विधियों की तुलना में निम्नतम टेस्ट लॉस और अधिक मजबूत समाधान तक पहुँचने में सक्षम बनाया जा सके।