तकनीकी सारांश: स्थिरता के किनारे (Edge of Stability) का डेटा वितरण के माध्यम से चयनात्मक रूप से सीखना आकार देना

1. समस्या विवरण

स्थिरता के किनारे (Edge of Stability - EoS) पर मौजूदा साहित्य इसे मुख्य रूप से अनुकूलन (optimization) के एक वैश्विक गुण के रूप में मानता है, जहाँ शीर्ष हेसियन आइजनवैल्यू (top Hessian eigenvalue) स्वयं $2/\eta$ (जहाँ $\eta$ लर्निंग रेट है) की दहलीज के पास स्व-स्थिर (self-stabilize) होती है। जबकि इस शासन (regime) की गतिशीलता—जो संकेत-परिवर्तित दोलनों (sign-alternating oscillations) और एक धीमी सुधारात्मक ड्रिफ्ट (corrective drift) द्वारा चिह्नित है—का अच्छी तरह से दस्तावेजीकरण किया गया है, इस दहलीज पर कार्य करने के कार्यात्मक परिणामों पर स्पष्टता का अभाव है। विशेष रूप से, यह अज्ञात है कि क्या स्थिरता का प्रतिबंध एक समान लाभ प्रदान करता है या क्या यह प्रशिक्षण डेटा के विभिन्न उपसमूहों (subsets) के माध्यम से सीखने को विभेदात्मक रूप से आकार देता है। केंद्रीय प्रश्न यह है: क्या EoS शासन एक चयनात्मक शिक्षण पूर्वाग्रह (selective learning bias) प्रेरित करता है, और यदि हाँ, तो कौन से ज्यामितीय और गतिशील गुण निर्धारित करते हैं कि किन डेटा उपसमूहों को लाभ होगा?

2. कार्यप्रणाली

2.1 प्रयोगात्मक सेटअप और प्रोटोटाइप वर्गीकरण

लेखक CIFAR-10 (ऑटोमोबाइल बनाम ट्रक) पर एक बाइनरी क्लासिफिकेशन कार्य के साथ एक नियंत्रित प्रयोगात्मक ढांचे को स्थापित करते हैं, जिसमें दो-हिडन-लेयर वाले MLP को फुल-बैच ग्रेडिएंट डिसेंट के माध्यम से प्रशिक्षित किया जाता है। डेटा ज्यामिति के प्रभावों को अलग करने के लिए, वे एक प्रोटोटाइप वर्गीकरण (prototype taxonomy) को परिभाषित करते हैं जो प्रशिक्षण वितरण को क्लास सेंट्रॉइड्स ($\mu_c$) और लेबल निरंतरता के सापेक्ष उनकी स्थिति के आधार पर चार समूहों में विभाजित करता है, जो प्रशिक्षित मॉडल से स्वतंत्र है:

1. इनलायर्स (Inliers): सही लेबल के साथ क्लास सेंट्रॉइड के पास उच्च-घनत्व वाले बिंदु।
2. बाउंड्री (Boundary): इंटर-क्लास बाउंड्री के पास इन-डिस्ट्रीब्यूशन बिंदु (उच्च लेबल अस्पष्टता)।
3. इनपुट-आउटलायर्स (Input-outliers): ज्यामितीय रूप से असामान्य इनपुट ( $\mu_c$ से दूर) जिनके लेबल सही हैं।
4. आउटपुट-आउटलायर्स (Output-outliers): गलत लेबल वाले उच्च-घनत्व वाले इनपुट (सिंथेटिक रूप से निर्मित)।

2.2 ब्रांचिंग हस्तक्षेप (कारण पहचान/Causal Identification)

EoS शासन में बने रहने बनाम उससे बाहर निकलने के प्रभाव को कारणवश (causally) पहचानने के लिए, लेखक एक ब्रांचिंग हस्तक्षेप (branching intervention) का उपयोग करते हैं:

• बेसलाइन ब्रांच (Baseline Branch): मूल लर्निंग रेट $\eta$ पर प्रशिक्षण जारी रखती है, जिससे EoS शासन में बना रहता है।
• एग्जिट ब्रांच (Exit Branch): EoS के प्रारंभ में (जब डिटेक्ट किया जाता है कि शीर्ष हेसियन आइजनवैल्यू $\lambda_1$ पहुँच गई है $2/\eta$), लर्निंग रेट को आधा कर दिया जाता है ($\eta \to \eta/2$)। यह स्थिरता दहलीज को $4/\eta$ तक बढ़ा देता है, जिससे ऑप्टिमाइज़र को EoS शासन से बाहर निकलने की अनुमति मिलती है।
• तुलना: हस्तक्षेप के बाद दोनों शाखाओं के बीच प्रति-समूह लॉस ($\ell_k$) के विचलन की तुलना करके, लेखक EoS स्थिरता प्रतिबंध के कारण संबंधी (causal) प्रभाव को अलग करते हैं।

2.3 तंत्र अलगाव (Mechanism Isolation)

लेखक दो परिकल्पित आवश्यक शर्तों का परीक्षण करते हैं जो किसी उपसमूह के लिए EoS से लाभ उठाने हेतु आवश्यक हैं:

1. दिशात्मक संरेखण (Directional Alignment): उपसमूह का समग्र ग्रेडिएंट शीर्ष हेसियन आइजनवेक्टर ($v_1$) के साथ संरेखित होना चाहिए। इसे "रैंडम-डायरेक्शन" इनपुट-आउटलायर्स का निर्माण करके परीक्षण किया जाता है जहाँ विस्थापन दूरी (displacement distance) संरक्षित रहती है, लेकिन दिशा को रैंडमाइज किया जाता है, जिससे सुसंगत संरेखण नष्ट हो जाता है।
2. ग्रेडिएंट निरंतरता (Gradient Persistence): उपसमूह को एक गैर-लुप्त होने वाले (non-vanishing) ग्रेडिएंट परिमाण को बनाए रखना चाहिए। इसकी तुलना MSE लॉस (जहाँ ग्रेडिएंट बने रहते हैं) बनाम CE लॉस (जहाँ आत्मविश्वास से वर्गीकृत बिंदुओं के लिए ग्रेडिएंट लुप्त हो जाते हैं) के बीच करके की जाती है।

3. मुख्य परिणाम

3.1 चयनात्मक शिक्षण ट्रेड-ऑफ

ब्रांचिंग हस्तक्षेप यह प्रकट करता है कि EoS चयनात्मक है, वैश्विक नहीं। स्थिरता प्रतिबंध अनुकूलन प्रयास को असमान रूप से पुनर्वितरित करता है:

• लाभार्थी (Beneficiaries): वे उपसमूह जिनके ग्रेडिएंट $v_1$ के साथ संरेखित होते हैं और बने रहते हैं (जैसे, MSE के तहत इनपुट-आउटलायर्स, CE के तहत आउटपुट-आउटलायर्स), एग्जिट ब्रांच की तुलना में EoS ब्रांच में त्वरित लॉस रिडक्शन दिखाते हैं।
• दमनकर्ता (Suppressors): ऑर्थोगोनल ग्रेडिएंट या लुप्त होने वाले परिमाण वाले उपसमूह (जैसे, विशिष्ट स्थितियों के तहत इनलायर्स और बाउंड्री पॉइंट्स) एग्जिट ब्रांच के सापेक्ष EoS ब्रांच में कम प्रगति दिखाते हैं।
• यह ट्रेड-ऑफ विभिन्न आर्किटेक्चर (CNN, ResNet), ऑप्टिमाइज़र (SGD, Momentum), और क्लास पेयर्स में दोहराया जाता है।

3.2 तंत्र: संरेखण $\times$ निरंतरता

एक समूह द्वारा EoS लाभ प्राप्त करने के लिए दो शर्तें संयुक्त रूप से आवश्यक हैं:

1. संरेखण (Alignment): समूह का समग्र ग्रेडिएंट शीर्ष हेसियन आइजनवेक्टर ($v_1$) के साथ संरेखित होना चाहिए।
   • साक्ष्य: जब इनपुट-आउटलायर्स को रैंडम दिशाओं में विस्थापित किया जाता है (दूरी सुरक्षित रखते हुए लेकिन संरेखण को नष्ट करते हुए), तो उनका कर्वेचर प्रभाव $(\nabla \ell_k \cdot v_1)^2$ एक क्रम (order of magnitude) से गिर जाता है, और EoS लाभ गायब हो जाता है।
2. निरंतरता (Persistence): समूह को एक गैर-लुप्त होने वाला ग्रेडिएंट परिमाण बनाए रखना चाहिए।
   • साक्ष्य: क्रॉस-एन्ट्रॉपी (CE) लॉस के तहत, आत्मविश्वास से वर्गीकृत इनपुट-आउटलायर्स के लिए ग्रेडिएंट संतृप्त (लुप्त) हो जाते हैं। फलस्वरूप, E-O-S लाभ आउटपुट-आउटलायर्स की ओर स्थानांतरित हो जाता है, जिनके ग्रेडिएंट लेबल असंगतता के कारण सक्रिय रहते हैं, भले ही उनका संरेखण कम हो।

3.3 ज्यामिति लाभार्थी को निर्धारित करती है

वह उपसमूह जो EoS से लाभ उठाता है, डेटा वितरण की ज्यामितीय संरचना द्वारा निर्धारित होता है:

• मानक CIFAR-10 सेटअप में, इनपुट-आउटलायर्स (सेंट्रॉइड्स से सबसे दूर) $v_1$ पर हावी होते हैं और लाभ उठाते हैं।
• एक कठिन क्लास पेयर (Cat vs. Dog) या विभिन्न आउटलायर निर्माण मापदंडों के साथ, बाउंड्री पॉइंट्स सबसे दूर स्थित समूह बन सकते हैं, $v_1$ पर हावी हो सकते हैं, और प्राथमिक लाभार्थी बन सकते हैं।
• प्राकृतिक डेटा: प्राकृतिक CIFAR-10 वितरण पर, EoS के प्रारंभ में सेंट्रॉइड दूरी और $v_1$ के साथ संरेखण के बीच एक सकारात्मक सहसंबंध उभरता है, जो पुष्टि करता है कि ज्यामितीय आउटलायर्स स्वाभाविक रूप से अस्थिर मोड (unstable mode) को संचालित करते हैं।

3.4 सामान्यीकरण और मजबूती के निहितार्थ

शोध पत्र प्रारंभिक साक्ष्य प्रस्तुत करता है कि प्रशिक्षण-समय की चयनात्मकता टेस्ट-टाइम व्यवहार में स्थानांतरित होती है:

• एडवर्सरियल रोबस्टनेस (Adversarial Robustness): EoS बाउंड्री पॉइंट्स पर मजबूती में सुधार करता है केवल तभी जब बाउंड्री पॉइंट्स $v_1$ पर हावी हों। यदि इनपुट-आउटलायर्स हावी हैं, तो EoS ब्रांच बाउंड्री मजबूती पर खराब प्रदर्शन करती है क्योंकि अनुकूलन बजट अन्य दिशाओं में डाइवर्ट हो जाता है।
• OOD सामान्यीकरण (OOD Generalization): EoS एक्सट्रैपोलेटेड इनपुट्स पर OOD प्रदर्शन में सुधार करता है केवल तभी जब वे प्रशिक्षण के दौरान $v_1$ पर हावी हों।

4. सैद्धांतिक ढांचा

लेखक ग्लोबल लॉस से पर-सबसेट लॉस (per-subset losses) तक सेल्फ-स्टेबिलाइजेशन फ्रेमवर्क (Damian et al., 2023) का विस्तार करते हैं। वे व्युत्पन्न करते हैं कि EoS शासन में चक्र-औसत ड्रिफ्ट (cycle-averaged drift) में एक अतिरिक्त पद शामिल है जो $-\nabla S$ (जहाँ $S$ शार्पनेस है) के समानुपाती है। एक उपसमूह $k$ पर विभेदक प्रभाव एक सेलेक्टर द्वारा शासित होता है:
$$Q_k = \langle \nabla \ell_k, \nabla S \rangle$$
सिंगल-मोड सन्निकटन (single-mode approximation) के तहत, यह सेलेक्टर शीर्ष आइजनवेक्टर पर उपसमूह ग्रेडिएंट के वर्ग प्रोजेक्शन के समानुपाती है:
$$C_k = (\nabla \ell_k \cdot v_1)^2 = \|\nabla \ell_k\|^2 \cos^2 \theta_k$$
यह अपघटन (decomposition) पुष्टि करता है कि किसी उपसमूह के लिए EoS ड्रिफ्ट का अनुभव करने के लिए दिशात्मक संरेखण ($\cos^2 \theta_k$) और ग्रेडिएंट परिमाण निरंतरता ($\|\nabla \ell_k\|^2$) दोनों आवश्यक हैं।

5. महत्व और दावे

यह शोध पत्र EoS की समझ को एक स्केलर स्थिरता सीमा से बदलकर एक तंत्र (mechanism) के रूप में देखने का दावा करता है जो डेटा वितरण के माध्यम से सीखने के आवंटन को नियंत्रित करता है।

• फ्लैटनेस का पुनर्गठन (Reframing Flatness): लेखक तर्क देते हैं कि "फ्लैटनेस" समाधान का केवल एक स्केलर गुण नहीं है बल्कि एक दिशात्मक गुण है जो डेटा ज्यामिति द्वारा निर्धारित होता है। कम कर्वेचर का कार्यात्मक लाभ पूरी तरह से इस बात पर निर्भर करता है कि कौन सा उपसमूह शीर्ष हेसियन आइजनडायरेक्शन पर हावी है।
• इंडक्टिव बायस (Inductive Bias): EoS एक इंडक्टिव बायस के रूप में कार्य करता है जो समकक्ष मिनीमाइजर्स के बीच चयन करने के बजाय, उनके ज्यामितीय संबंध के आधार पर विशिष्ट उपसमूहों के लिए अनुकूलन का चयन करता है।
• एकीकृत दृष्टिकोण: यह कार्य पैरामीटर स्पेस में निहित (implicit) रेगुलराइजेशन (कर्वेचर बाधाएं) को डेटा वितरण पर इंडक्टिव बायस (कौन से उदाहरण सीखे जाते हैं) के साथ जोड़ता है।
• सीमित दायरा: लेखक अपनी सीमाओं को स्वीकार करते हुए कहते हैं कि प्रयोग हेसियन-वेक्टर उत्पादों की कम्प्यूटेशनल लागत के कारण छोटे मॉडलों और फुल-बैच प्रशिक्षण तक सीमित हैं। वे कहते हैं कि क्या ये चयनात्मक प्रभाव बड़े डेटासेट्स, मिनी-बैच ऑप्टिमाइज़र, या रिप्रेजेंटेशन-स्पेस प्रोटोटाइप पर बने रहते हैं, यह एक खुला प्रश्न है।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि 'एज ऑफ स्टेबिलिटी' एक चयनात्मक शासन है जहाँ स्थिरता का प्रतिबंध उन उपसमूहों के लिए सीखने को बढ़ाता है जो शीर्ष हेसियन आइजनडायरेक्शन के साथ संरेखित होते हैं और बने रहते हैं, जबकि दूसरों को दबा देता है, जिससे मॉडल के कार्यात्मक गुणों को मौलिक रूप से आकार मिलता है।