📊 statistics

Closed-Form Last Layer Optimization

यह शोध पत्र एक क्लोज्ड-फॉर्म लास्ट लेयर ऑप्टिमाइज़ेशन विधि प्रस्तावित करता है जो अंतिम परत के भार (weights) को बैकबोन मापदंडों के एक फलन (function) के रूप में मानता है, जिससे एक अल्टरनेटिंग ऑप्टिमाइज़ेशन स्कीम सक्षम होती है जो न्यूरल टेंगेंट कर्नेल रिजीम में कुशलतापूर्वक अभिसरित (converge) होती है और स्क्वेयर्ड लॉस रिग्रेशन कार्यों पर मानक SGD और Adam से बेहतर प्रदर्शन करती है।

मूल लेखक: Alexandre Galashov, Nathaël Da Costa, Liyuan Xu, Philipp Hennig, Arthur Gretton

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexandre Galashov, Nathaël Da Costa, Liyuan Xu, Philipp Hennig, Arthur Gretton

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पेंटिंग करना सिखा रहे हैं। आपके रोबोट के दो मुख्य भाग हैं:

कलाकार (The Artist - द बैकबोन): यह हिस्सा दुनिया को देखना, आकृतियों, रंगों और बनावटों को पहचानना सीखता है। यह जटिल और रचनात्मक है, और इसे सीखने में काफी समय लगता है।
चित्रकार (The Painter - द लास्ट लेयर): यह अंतिम चरण है जहाँ रोबोट यह तय करता है कि किसी विशिष्ट लक्ष्य चित्र से मेल खाने के लिए उसे ठीक-ठीक कौन से ब्रशस्ट्रोक (तुलिका प्रहार) करने हैं।

पुराना तरीका: "कदम-दर-कदम" (Step-by-Step)

आमतौर पर, जब हम इन रोबोट्स को प्रशिक्षित करते हैं, तो हम स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) नामक विधि का उपयोग करते हैं। इसे एक ऐसे हाइकर (पगडंडी यात्री) के रूप में समझें जो कोहरे में घाटी के निचले हिस्से को खोजने की कोशिश कर रहा है।

हाइकर (कंप्यूटर) एक छोटा कदम उठाता है, यह जाँचता है कि क्या वह नीचे आया है, और फिर दूसरा कदम उठाता है।
वे कलाकार और चित्रकार दोनों के लिए एक साथ ऐसा ही करते हैं।
समस्या क्या है? चित्रकार वास्तव में बहुत सरल है। यदि आप जानते हैं कि कलाकार ने अब तक क्या बनाया है, तो आप गणितीय रूप से तुरंत सटीक ब्रशस्ट्रोक की गणना कर सकते हैं। लेकिन पुराना तरीका चित्रकार को भी कलाकार की तरह ही छोटे, धीमे कदम उठाने के लिए मजबूर करता है, भले ही उत्तर वहीं सामने इंतज़ार कर रहा हो।

नया विचार: "इंस्टेंट फिक्स" (The Instant Fix)

यह पेपर रोबोट को प्रशिक्षित करने का एक स्मार्ट तरीका प्रस्तावित करता है। यह महसूस करता है कि चित्रकार के लिए, हमें अनुमान लगाने और जाँचने की आवश्यकता नहीं है। हम गणित की समस्या को तुरंत हल कर सकते है (एक "क्लोज्ड-फॉर्म सॉल्यूशन")।

इसलिए, नया तरीका इस प्रकार काम करता है:

कलाकार चलता है: रोबोट अपनी दृष्टि (बैकबोन) में सुधार करने के लिए एक कदम उठाता है।
चित्रकार अपनी जगह पर सेट हो जाता है: छोटे कदम उठाने के बजाय, रोबोट उस विशिष्ट दृष्टि के लिए एकदम सटीक पेंटिंग की तुरंत गणना करता है। यह बिल्कुल वैसा ही है जैसे चित्रकार अपने हाथ को ड्राइंग से पूरी तरह मिलाने के लिए तुरंत समायोजित करता है।
दोहराना: कलाकार फिर से चलता है, और चित्रकार तुरंत पुन: व्यवस्थित हो जाता है।

"मिनी-बैचेस" की समस्या (The Problem with "Mini-Batches")

वास्तविक दुनिया में, हम रोबोट को एक साथ पूरी दुनिया नहीं दिखा सकते; हम उसे छोटे-छोटे दृश्य (मिनी-बैचेस) दिखाते हैं।

यदि आप चित्रकार से केवल एक छोटे से दृश्य के आधार पर एकदम सटीक चित्र बनाने के लिए कहते हैं, तो वह भ्रमित हो सकता है और अत्यधिक प्रतिक्रिया दे सकता है। वह उस एक दृश्य को बहुत अधिक याद कर सकता है और अगले वाले पर विफल हो सकता है। इसे ओवरफिटिंग (Overfitting) कहा जाता है।
कल्पना कीजिए कि आपने एक शेफ को चावल के केवल एक दाने को चखकर एक आदर्श भोजन पकाने के लिए कहा। वह उस एक दाने के कारण बहुत अधिक नमक डाल सकता है क्योंकि वह दाना नमकीन था।

समाधान: "प्रॉक्सिमल रेगुलराइज़र" (The Solution: "The Proximal Regularizer")

इसे ठीक करने के लिए, लेखक इसमें एक "हल्का सा धक्का" या एक मेमोरी टर्म जोड़ते हैं।

जब चित्रकार नए दृश्य के लिए सटीक समाधान की गणना करता है, तो उसे बताया जाता है: "इस दृश्य के लिए इसे सटीक बनाओ, लेकिन अपनी शैली को पिछले दृश्य से बहुत अधिक मत बदलो।"
यह चित्रकार को स्थिर रखता है। वे वर्तमान डेटा के लिए सबसे अच्छा उत्तर तो ढूंढते हैं, लेकिन वे बहुत अधिक उतार-चढ़ाव नहीं करते। यह एक डांसर की तरह है जो संगीत के लिए अपनी मुद्रा को समायोजित करता है लेकिन रेलिंग को पकड़कर अपना संतुलन बनाए रखता है (पिछली स्थिति)।

यह क्यों महत्वपूर्ण है (परिणाम)

पेपर ने कई कार्यों पर इसका परीक्षण किया, जैसे अणुओं के रासायनिक गुणों की भविष्यवाणी करना (क्वांटम केमिस्ट्री) और जटिल भौतिक समीकरणों को हल करना (फ्लुइड डायनेमिक्स)।

गति और स्थिरता: नया तरीका बहुत अधिक स्थिर था, विशेष रूप से तब जब रोबोट केवल थोड़े से डेटा के साथ काम कर रहा था (छोटे बैच साइज)। बिना "हल्के से धक्के" वाला पुराना "इंस्टेंट फिक्स" तरीका छोटे डेटा पर क्रैश हो जाता और विफल हो जाता।
मानक प्रशिक्षण से बेहतर: कई मामलों में, यह नया दृष्टिकोण मानक "कदम-दर-कदम" पद्धति की तुलना में तेजी से सीखा और कम गलतियाँ कीं।
कॉज़ल इन्फरेंस (Causal Inference): यह "इंस्ट्रूमेंटल वेरिएबल रिग्रेशन" (जो अर्थशास्त्र और विज्ञान में कारण-और-प्रभाव को समझने के लिए उपयोग किया जाता है) जैसे कठिन प्रकार के समस्या के लिए विशेष रूप से प्रभावी रहा, जहाँ इसने अंत में सब कुछ फिर से गणना करने के धीमे और महंगे दूसरे चरण की आवश्यकता को समाप्त कर दिया।

एक कमी (The Catch)

पेपर नोट करता है कि यह जादू तभी अच्छा काम करता है जब लक्ष्य स्क्वेर्ड एरर (Squared Error) को कम करना हो (मूल रूप से, "मैं अपने अनुमान से कितना दूर हूँ?")। यह रिग्रेशन (संख्याओं की भविष्यवाणी करना) के लिए बहुत अच्छा काम करता है।

जब उन्होंने इसे वर्गीकरण (Classification) (श्रेणियों का अनुमान लगाना, जैसे "क्या यह बिल्ली है या कुत्ता?") पर आजमाया, तो यह छोटे डेटासेट (जैसे CIFAR-100) पर आश्चर्यजनक रूप से अच्छा काम कर गया, लेकिन हजारों श्रेणियों वाले विशाल डेटासेट (जैसे ImageNet) पर यह संघर्ष करता रहा। लेखक सुझाव देते हैं कि उन विशाल श्रेणी सूचियों के लिए, मानक "क्रॉस एंट्रॉपी" विधि अभी भी सर्वश्रेष्ठ है, और इस नए तरीके को वहां काम करने के योग्य बनाना भविष्य का कार्य है।

सारांश

इस पेपर को एक रोबोट को पेंटिंग सिखाने के रूप में सोचें, जहाँ "कलाकार" को धीरे-धीरे और सावधानी से सीखने दिया जाता है, जबकि "चित्रकार" को हर नए स्केच के लिए एकदम सटीक स्थिति में तुरंत सेट होने दिया जाता है, बशर्ते वे बहुत अधिक असंतुलित न हों। यह न्यूरल नेटवर्क को प्रशिक्षित करने का एक तरीका है जो उन्हें तेज़, अधिक स्थिर और स्मार्ट बनाता है, विशेष रूप से उन कार्यों के लिए जिनमें संख्याएं और भौतिकी शामिल हैं।

तकनीकी सारांश: क्लोज्ड-फॉर्म लास्ट लेयर ऑप्टिमाइजेशन (Closed-Form Last Layer Optimization)

समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क को आमतौर पर स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) या इसके वेरिएंट्स का उपयोग करके अनुकूलित (optimize) किया जाता है, जो सभी परतों (layers) के साथ समान व्यवहार करते हैं। हालाँकि, एक स्क्वेयर्ड लॉस फंक्शन (squared loss function) के तहत, बैकबोन द्वारा उत्पादित फीचर्स के दिए गए होने पर, न्यूरल नेटवर्क की लीनियर लास्ट लेयर के लिए इष्टतम वेट्स (optimal weights) का एक क्लोज्ड-फॉर्म समाधान (विशेष रूप से, एक रिज रिग्रेशन समाधान) प्राप्त होता है।

मानक SGD लास्ट लेयर को पैरामीटर्स के एक सेट के रूप में मानता है जिन्हें ग्रेडिएंट स्टेप्स के माध्यम से अपडेट किया जाता है, और इस विश्लेषणात्मक इष्टतमता (analytical optimality) की अनदेखी करता है। यह एक विसंगति पैदा करता है: जबकि बैकबोन पैरामीटर्स ( $\theta$ ) के लिए पुनरावृत्ति अनुकूलन (iterative optimization) की आवश्यकता होती है, लास्ट लेयर वेट्स ( $W$ ) को सैद्धांतिक रूप से सीधे कंप्यूट किया जा सकता है। इसके अलावा, स्टोकेस्टिक सेटिंग्स में मिनी-बैचेस के साथ, प्रत्येक बैच के लिए क्लोजड-फॉर्म समाधान को नाईव तरीके से कंप्यूट करने से उस विशिष्ट बैच के प्रति गंभीर ओवरफिटिंग होती है, जिससे अस्थिरता आती है। मौजूदा दृष्टिकोण जो इसका लाभ उठाने का प्रयास करते हैं (जैसे, कॉज़ल इन्फरेंस में), अक्सर क्लोज्ड-फॉर्म इनवर्स के माध्यम से बैकप्रोपैगेशन की मांग करते हैं, जो कम्प्यूटेशनल रूप से महंगा है, या लास्ट लेयर को बैकबोन से अलग कर देते हैं, जिससे अनुकूलन अस्थिरता होती है।

कार्यप्रणाली (Methodology)

लेखक एक ऐसी प्रशिक्षण प्रक्रिया प्रस्तावित करते हैं जो लास्ट लेयर को बैकबोन पैरामीटर्स का एक निहित (implicit), नियत (deterministic) फंक्शन मानती है, जो केवल बैकबोन के लिए अनुकूलन करती है और यह सुनिश्चित करती है कि लास्ट लेयर हर चरण पर इष्टतम बनी रहे।

1. सैद्धांतिक आधार (नियत मामला - Deterministic Case)

एक निश्चित बैकबोन पैरामीटर $\theta$ के लिए, इष्टतम लास्ट लेयर $W^\star(\theta)$ रेगुलराइज्ड स्क्वेयर्ड लॉस को कम करती है:
$W^\star(\theta) = \arg\min_W \sum \|y_i - W\phi_\theta(x_i)\|^2 + \beta\|W\|_F^2$
लेखक एनवेलप थ्योरम (Envelope Theorem) का लाभ उठाते हुए यह दिखाते हैं कि कंपोजिट लॉस $L^\star(\theta) = L(W^\star(\theta), \theta)$ का $\theta$ के सापेक्ष ग्रेडिएंट, मूल लॉस के ग्रेडिएंट के समान है जहाँ $W$ को $W^\star(\theta)$ पर स्थिर रखा गया है:
$\nabla_\theta L^\star(\theta) = \nabla_\theta L(W^\star(\theta), \theta)$
यह महत्वपूर्ण परिणाम बताता है कि आपको $W^\star(\theta)$ को कंप्यूट करने के लिए आवश्यक मैट्रिक्स इनवर्जन के माध्यम से बैकप्रोपैगेट करने की आवश्यकता नहीं है। इसके बजाय, एल्गोरिदम दो चरणों के बीच बारी-बारी से चलता है:

$W_{t+1} = W^\star(\theta_t)$ की गणना करना (क्लोज्ड-फॉर्म अपडेट)।
$\theta_{t+1} = \theta_t - \alpha \nabla_\theta L(W_{t+1}, \theta_t)$ को अपडेट करना (बैकबोन के माध्यम से मानक बैकप्रोपैगेशन)।

2. व्यावहारिक अनुकूलन (स्टोकेस्टिक मिनी-बैच - Stochastic Mini-Batch)

स्टोकेस्टिक सेटिंग में, एकल मिनी-बैच पर $W^\star$ कंप्यूट करने से ओवरफिटिंग होती है। इसे संबोधित करने के लिए, लेखक एक प्रॉक्सिमल रेगुलराइज़र (proximal regularizer) पेश करते हैं जो वर्तमान क्लोज्ड-फॉर्म समाधान और पिछले अनुमान $W_t$ के बीच की दूरी को दंडित (penalize) करता है। उद्देश्य बनता है:
$L_{B_t, W_t}^{\text{prox}}(W, \theta) = \sum_{(x,y) \in B_t} \|y - W\phi_\theta(x)\|^2 + \lambda \|W - W_t\|_F^2$
इस प्रॉक्सिमल लॉस के लिए क्लोज्ड-फॉर्म समाधान है:
$W^\star_{B_t, W_t}(\theta) = (Y_t \phi_\theta(X_t)^\top + \lambda W_t)(\phi_\theta(X_t)\phi_\theta(X_t)^\top + \lambda I)^{-1}$
यह फॉर्मूलेशन प्रभावी रूप से लास्ट लेयर पर एक अनुमानित कलमन फ़िल्टर (approximate Kalman filter) लागू करता है, जो पिछले बैचों से जानकारी संचित करता है और वर्तमान बैच के अनुकूल होता है। एल्गोरिदम बैकबोन को SGD के माध्यम से अपडेट करता है और फिर इस प्रॉक्सिमल क्लोज्ड-फॉर्म समाधान का उपयोग करके लास्ट लेयर को फिर से फिट करता है।

3. वर्गीकरण विस्तार (Classification Extension)

हालांकि मुख्य रूप से रिग्रेशन के लिए डिज़ाइन किया गया है, इस पद्धति को वन-हॉट लेबल्स को टारगेट के रूप में उपयोग करके स्क्वेयर्ड लॉस के माध्यम से वर्गीकरण के लिए विस्तारित किया गया है। आउटपुट को $\arg\max$ ऑपरेशन के माध्यम से व्याख्यायित किया जाता है। लेखक नोट करते हैं कि हालांकि यह ह्यूरिस्टिक छोटे-से-मध्यम क्लास काउंट के लिए काम करता है, लेकिन यह प्रोबेबिलिटी नॉर्मलाइजेशन की गारंटी नहीं देता है।

प्रमुख योगदान (Key Contributions)

ऑप्टिमाइजेशन फ्रेमवर्क: एक व्यावहारिक एल्गोरिदम जो स्टैंडर्ड बैकप्रोपैगेशन के माध्यम से मैट्रिक्स इनवर्जन ऑपरेशन के माध्यम से बैकप्रोपैगेशन की आवश्यकता के बिना, एनवेलप थ्योरम का लाभ उठाकर, स्टैंडर्ड SGD पाइपलाइन्स में क्लोज्ड-फॉर्म लास्ट लेयर अपडेट को एकीकृत करता है।
स्टोकेस्टिक रेगुलराइजेशन: एक प्रॉक्सिमल फॉर्मूलेशन जो लास्ट लेयर को उसके पिछले अनुमान की ओर रेगुलराइज करके मिनी-बैच सेटिंग्स में ओवरफिटिंग को रोकता है, जिसे अनुमानित कलमन फ़िल्टरिंग के रूप में व्याख्यायित किया गया है।
सैद्धांतिक विश्लेषण:
- NTK रिजीम: फंक्शन स्पेस में नॉन-कॉन्वेक्सिटी के बावजूद, न्यूरल टेंगेंट कर्नेल (NTK) इन्फिनिट-विड्थ लिमिट में ग्लोबल मिनिमम तक अभिसरण (convergence) को सिद्ध किया गया है।
- वन-स्टेप विश्लेषण: एक थ्योरेटिकल बाउंड जो क्लोज्ड-फॉर्म स्टेप की ग्रेडिएंट डिसेंट स्टेप पर श्रेष्ठता को क्वांटिफाई करता है, यह दिखाता है कि लाभ फीचर मैट्रिक्स के कंडीशन नंबर (सिंगुलर वैल्यूज का वेरिएंस) से संबंधित है।
प्रायोगिक सत्यापन: विविध कार्यों में स्टैंडर्ड SGD और नाईव क्लोज्ड-फॉर्म रिज रिग्रेशन बेसलाइन की तुलना में सुधार प्रदर्शित किया गया।

प्रायोगिक परिणाम (Experimental Results)

मेथड (" $\ell_2$ c.f. proximal ( $\lambda$ )") का मूल्यांकन स्टैंडर्ड स्क्वेयर्ड लॉस SGD/Adam और एक नाईव क्लोज्ड-फॉर्म रिज बेसलाइन (" $\ell_2$ c.f. ridge ( $\beta$ )") के विरुद्ध किया गया।

क्वांटम केमिस्ट्री (QM9): प्रॉक्सिमल मेथड ने लगातार स्टैंडर्ड SGD से बेहतर प्रदर्शन किया, विशेष रूप से छोटे बैच साइज में जहाँ नाईव रिज बेसलाइन विफल रहा। इसने बैकबोन ऑप्टिमाइज़र (SGD बनाम Adam) के चयन के प्रति मजबूती दिखाई।
फूरियर न्यूरल ऑपरेटर्स (FNO): विस्कस बर्गर्स समीकरण के ऑपरेटर लर्निंग में, प्रॉक्सिमल मेथड विभिन्न बैच साइज में प्रभावी रहा, जबकि नाईव रिज बेसलाइन छोटे बैच में विफल रहा। मेथड ने हाई-डायमेंशनल स्पेशियल डिग्री ऑफ फ्रीडम को प्रभावी ढंग से संभाला।
डीप फीचर इंस्ट्रुमेंटल वेरिएबल (DFIV): कॉज़ल इन्फरेंस में, इस पद्धति ने ट्रेनिंग के बाद पूरे डेटासेट पर लास्ट लेयर्स के महंगे पुनर्मूल्यांकन की आवश्यकता को समाप्त कर दिया, और प्रदर्शन में पुनर्मूल्यांकन रणनीतियों के बराबर उपलब्धि हासिल की, जबकि यह कम्प्यूटेशनल रूप से कुशल रहा।
वर्गीकरण (CIFAR-100, ImageNet): CIFAR-100 पर, इस पद्धति ने छोटे-से-मध्यम बैच साइज के लिए क्रॉस एंट्रॉपी के बराबर या उससे बेहतर सटीकता प्राप्त की। हालाँकि, ImageNet (बड़े क्लास काउंट) पर, यह क्रॉस एंट्रॉपी से कम प्रदर्शन करता है, जो उच्च-कार्डिनैलिटी वर्गीकरण के लिए स्क्वेर्ड लॉस की एक सीमा को उजागर करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि लास्ट लेयर के क्लोज्ड-फॉर्म समाधान का लाभ उठाना अनुकूलन को गति देने और स्थिरता में सुधार करने (विशेष रूप से रिग्रेशन कार्यों और छोटे-बैच रिजीम में) के लिए एक व्यवहार्य और प्रभावी रणनीति है।

सैद्धांतिक महत्व: यह कार्य फंक्शन स्पेस में संशोधित लॉस के क्रिटिकल पॉइंट्स का पहला विश्लेषण प्रदान करता है और NTK रिजीम में ग्लोबल मिनिमम तक अभिसरण को सिद्ध करता है, जो फंक्शन स्पेस में निहित नॉन-कॉन्वेक्सिटी को संबोधित करता है।
व्यावहारिक महत्व: प्रॉक्सिमल फॉर्मूलेशन मिनी-बैच क्लोज्ड-फॉर्म अपडेट में निहित ओवरफिटिंग की समस्या को हल करता है, जिससे यह विधि मानक प्रशिक्षण पाइपलाइनों के अनुकूल और मजबूत बनती है।
सीमाएं: लेखक स्पष्ट रूप से कहते हैं कि यह विधि वर्तमान में स्क्वेर्ड लॉस तक सीमित है। हालांकि यह कम क्लास वाले वर्गीकरण के लिए अच्छा प्रदर्शन करती है, लेकिन यह बड़े पैमाने के वर्गीकरण (ImageNet) पर क्रॉस एंट्रॉपी से कम प्रदर्शन करती है, जो यह सुझाव देता है कि इस दृष्टिकोण को क्रॉस-एंट्रॉपी लॉस के अनुकूल बनाना भविष्य के कार्य के लिए एक आवश्यक दिशा है। यह विधि कुछ अतिरिक्त कम्प्यूटेशनल ओवरहेड (मैट्रिक्स इनवर्जन) भी लाती है जो लास्ट लेयर के आयाम के साथ स्केल करती है, जिससे यह छोटे-बैच रिजीम में स्टैंडर्ड SGD की तुलना में धीमी हो जाती है, हालांकि यह लागत बैकबोन के आकार के बढ़ने के साथ कम हो जाती है।