Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization

तकनीकी सारांश: स्थानीय वक्रता (Local Curvature) और शार्पनेस-अवेयर मिनिमाइजेशन (SAM) के माध्यम से f-डाइवर्जेंस-आधारित नियमितीकरण (Regularization) की व्याख्या

समस्या विवरण
लाइफलों लर्निंग एजेंटों और सामान्य डीप लर्निंग के संदर्भ में, ओवरफिटिंग और स्थानीय संवेदनशीलता को नियंत्रित करने के लिए मजबूत सामान्यीकरण (generalization) प्राप्त करना आवश्यक है। इन दोनों के लिए दो प्रमुख दृष्टिकोण हैं: डाइवर्जेंस-आधारित नियमितीकरण (जो मूल और विचलित इनपुट के बीच भविष्य कहनेवाला वितरणों के अंतर को दंडित करता है) और शार्पनेस-अवेयर मिनिमाइजेशन (SAM), जो ऐसे पैरामीटर्स की खोज करता है जिनमें लॉस लैंडस्केप 'फ्लैट' (flat) हो। हालांकि दोनों विधियाँ विक्षोभ (perturbations) के प्रति मजबूती से प्रेरित हैं, उनका सैद्धांतिक संबंध अभी भी अनछुआ रहा है। विशेष रूप से, यह स्पष्ट नहीं है कि क्या एक डाइवर्जेंस रेगुलराइज़र द्वारा प्रेरित स्थानीय ज्यामिति को उस हेसियन संरचना (Hessian structure) से औपचारिक रूप से जोड़ा जा सकता है जिसे SAM अप्रत्यक्ष रूप से नियंत्रित करता है।

कार्यप्रणाली
यह शोध पत्र $f$-डाइवर्जेंस नियमितीकरण के स्थानीय द्वितीय-क्रम ज्यामिति (second-order geometry) का विश्लेषण करके एक एकीकृत सैद्धांतिक ढांचा स्थापित करता है। लेखक निम्नलिखित चरणों के माध्यम से आगे बढ़ते हैं:

1. स्थानीय द्विघातीय विस्तार (Local Quadratic Expansion): वे जब मॉडल का प्रेडिक्टिव डिस्ट्रीब्यूशन $P$ और एक विचलित डिस्ट्रीब्यूशन $Q$ करीब होते हैं, तो $f$-डाइवर्जेंस के लिए द्वितीय-क्रम टेलर विस्तार (Taylor expansion) व्युत्पन्न करते हैं। वे दिखाते हैं कि इस स्थानीय शासन (regime) में, कोई भी $f$-डाइवर्जेंस $\phi''(1)/2$ द्वारा स्केल किए गए द्विघातीय दंड (quadratic penalty) में बदल जाता है।
2. ज्यामितीय व्याख्या:
   • पैरामीटर स्पेस: जब विक्षोभ पैरामीटर स्पेस में होते हैं ($\theta \to \theta + \delta$), तो रेगुलराइज़र एक दंड प्रेरित करता है जो $\delta^\top F_x(\theta) \delta$ के समानुपाती होता है, जहाँ $F_x(\theta)$ फिशर इंफॉर्मेशन मैट्रिक्स (Fisher information matrix) है।
   • इनपुट स्पेस: जब विक्षोभ इनपुट स्पेस में होते हैं ($x \to T(x)$), तो रेगुलराइज़र एक "पुलबैक" (pullback) द्विघातीय रूप प्रेरित करता है जिसमें इनपुट के सापेक्ष घनत्व (density) का ग्रेडिएंट शामिल होता है।
3. SAM के साथ संबंध: लेखक इस डाइवर्जेंस-प्रेरित दंड की तुलना SAM से करते हैं। दिखाया गया है कि SAM स्थानीय रूप से एक स्पेक्ट्रल कर्वेचर पेनल्टी (spectral curvature penalty) का अनुमान लगाता है जो प्रमुख हेसियन आइगेनवैल्यू ($\lambda_{\max}(H)$) के समानुपाती है। पेपर यह प्रदर्शित करता है कि एक्सपोनेंशियल-फैमिली आउटपुट डिस्ट्रीब्यूशन (जैसे सॉफ्टमैक्स के साथ क्रॉस-एन्ट्रॉपी) के लिए नेगेटिव लॉग-लाइक्लीहुड (NLL) उद्देश्यों के तहत, फिशर मैट्रिक्स, जनरललाइज्ड गॉस-न्यूटन (GGN) मैट्रिक्स के साथ मेल खाता है, जो हेसियन के पॉजिटिव-सेमीडेफिनिट घटक को कैप्चर करता है। इस प्रकार, डाइवर्सेंस-आधारित नियमितीकरण और SAM, साझा कर्वेचर ज्यामिति के माध्यम से स्थानीय रूप से तुलनीय हो जाते हैं।
4. नियंत्रित अनुभवजन्य परीक्षण (Controlled Empirical Testbed): अपने सैद्धांतिक दावों को मान्य करने के लिए, लेखक एसिमेट्रिक $\alpha$-skew जेन्सन-शैनन डाइवर्जेंस (JSD) परिवार का उपयोग करते हैं। इस परिवार के लिए स्थानीय कर्वेचर गुणांक $\alpha(1-\alpha)$ के रूप में स्केल होता है, जो सममित बिंदु (symmetric point) $\alpha = 1/2$ पर अधिकतम होता है। यह उन्हें डाइवर्जेंस रेगुलराइज़र की मौलिक संरचना को बदले बिना कर्वेचर पेनलाइजेशन की शक्ति को बदलने की अनुमति देता है।

प्रमुख योगदान

• एकीकृत स्थानीय विस्तार: पेपर $f$-डाइवर्जेंस नियमितीकरण के लिए एक स्थानीय द्वितीय-क्रम विस्तार व्युत्पन्न करता है, यह प्रदर्शित करते हुए कि यह पैरामीटर स्पेस में फिशर ज्यामिति और इनपुट स्पेस में पुलबैक मेट्रिक द्वारा निर्धारित कर्वेचर-सेंसिटिव दंड प्रेरित करता है।
• SAM के साथ औपचारिक लिंक: यह स्थापित करता है कि मानक संभाव्य लॉस धारणाओं (विशेष रूप से एक्सपोनेंशियल फैमिली के साथ NLL) के तहत, डाइवर्जेंस नियमितीकरण द्वारा प्रेरित ज्यामिति, फिशर/GGN/हेसियन संबंध के माध्यम से SAM की द्वितीय-क्रम व्याख्याओं के स्थानीय रूप से तुलनीय है।
• सामान्य विक्षोभ ढांचा: विश्लेषण इनपुट-स्पेस विक्षोभों तक विस्तृत है, यह दर्शाता है कि डाइवर्जेंस-आधारित नियमितीकरण मानक SAM (जो आमतौर पर पैरामीटर विक्षोभों के माध्यम से परिभाषित किया जाता है) की तुलना में अधिक सामान्य विक्षोभ ढांचा प्रदान करता है, जबकि समान स्थानीय संवेदनशीलता व्याख्या को बनाए रखता है।
• कर्वेचर गुणांक व्युत्पत्ति: $\alpha$-skew JSD परिवार के लिए, लेखक स्पष्ट रूप से व्युत्पन्न करते हैं कि स्थानीय कर्वेचर गुणांक $\alpha(1-\alpha)$ के समानुपाती है, जो सममित मामले ($\alpha=1/2$) को अधिकतम कर्वेचर पेनलाइजेशन वाले शासन के रूप में पहचानता है।

परिणाम
अनुभवजन्य सत्यापन चार बेंचमार्क डेटासेट्स (CIFAR-10, Fashion-MNIST, EMNIST, और Oxford-IIIT Pet) पर एक EfficientNet-B2 मॉडल और इनपुट-स्पेस विक्षोभों (रैंडम मास्किंग) का उपयोग करके किया गया था।

• प्रदर्शन रुझान: सभी डेटासेट्स में, मॉडल प्रदर्शन (सटीकता और नेगेटिव लॉग-लाइक्लीहुड द्वारा मापा गया) लगातार सममित शासन $\alpha = 1/2$ के पास सबसे अच्छा रहा। यह सैद्धांतिक भविष्यवाणी के अनुरूप है कि सबसे मजबूत स्थानीय कर्वेचर पेनलाइजेशन (जो $\alpha=1/2$ पर अधिकतम होता है) बेहतर सामान्यीकरण प्रदान करता है।
• लॉस लैंडस्केप विज़ुअलाइज़ेशन: CIFAR-10 पर ResNet-18 का उपयोग करके लॉस लैंडस्केप के विज़ुअलाइज़ेशन ने दिखाया कि डाइवर्जेंस नियमितीकरण के साथ प्रशिक्षित मॉडल बेसलाइन की तुलना में अधिक 'फ्लैट' लोकल मिनिमा की ओर अभिसरण (converge) करते हैं। इसके अलावा, $\alpha=0.5$ वाले सममित सेटिंग में प्रशिक्षित मॉडल ने सबसे फ्लैट बेसिन दिखाया, जो उच्चतम कर्वेचर पेनलाइजेशन के अनुरूप है, जबकि $\alpha=0.9$ वाले एसिमेट्रिक सेटिंग ने मध्यम फ्लैटनेस दिखाई।
• सांख्यिकीय मेट्रिक्स: लॉस लैंडस्केप सांख्यिकी (औसत लॉस, हेसियन के ट्रेस का वर्ग, और अधिकतम आइगेनवैल्यू) के मात्रात्मक विश्लेषण ने पुष्टि की कि $\alpha=0.5$ सेटिंग के परिणामस्वरूप बेसलाइन और अत्यधिक एसिमेट्रिक सेटिंग्स की तुलना में सबसे कम औसत लॉस और कम कर्वेचर मेट्रिक्स प्राप्त हुए।

महत्व और दावे
पेपर का दावा है कि वह स्थानीय ज्यामितीय परिप्रेक्ष्य से डाइवर्जेंस-आधारित नियमितीकरण और शार्पनेस-अवेयर मिनिमाइजेशन के बीच के संबंध को स्पष्ट करता है। यह तर्क देता है कि हालांकि दोनों विधियाँ एक ही उद्देश्य नहीं हैं, लेकिन जब विशिष्ट संभाव्य धारणाएं लागू होती हैं, तो वे एक साझा कर्वेचर ज्यामिति के माध्यम से स्थानीय रूप से संरेखित हो जाती हैं।

लेखक अपने योगदान को मुख्य रूप से विश्लेषणात्मक बताते हैं। वे स्पष्ट करते हैं कि कब डाइवर्जेंस-आधारित नियमितीकरण, फिशर ज्यामिति, और शार्पनेस-अवेयर ऑब्जेक्टिव्स स्थानीय रूप से तुलनीय हो जाते हैं। उनका अनुभवजन्य अध्ययन डाइवर्जेंस-आधारित नियमितीकरण के व्यापक स्थानीय-कर्वेचर परिप्रेक्ष्य को $\alpha$-skew JSD परिवार और इनपुट विक्षोभों के विशिष्ट संदर्भ में मान्य करने पर केंद्रित है, न कि सभी सेटिंग्स में SAM के साथ प्रत्यक्ष प्रयोगात्मक समानता का दावा करने पर। यह कार्य सुझाव देता है कि प्रेरित स्थानीय कर्वेचर की शक्ति डाइवर्जेंस-आधारित नियमितीकरण की प्रभावशीलता के लिए एक सार्थक कारक है, जिसमें सममित शासन (symmetric regime) परीक्षण किए गए परिदृश्यों में इष्टतम प्रदर्शन प्रदान करता है।