Navigating Potholes with Geometry-Aware Sharpness Minimization

तकनीकी सारांश: ज्यामिति-जागरूक शार्पनेस मिनिमाइजेशन के साथ गड्ढों (Potholes) से पार पाना

समस्या विवरण

आधुनिक डीप लर्निंग लॉस लैंडस्केप एक दोहरी-पैमाने वाली संरचना प्रदर्शित करते हैं: बड़े पैमाने की, सुचारू विशेषताएं (चौड़े बेसिन, घाटियाँ) जो आर्किटेक्चर और डेटा द्वारा आकार लेती हैं, और छोटे पैमाने की, तीक्ष्ण विशेषताएं (संकीर्ण घाटियाँ, स्थानीयकृत "गड्ढे") जो खराब सामान्यीकरण (generalization) के लिए आकर्षण केंद्र (attractors) के रूप में कार्य करती हैं। वर्तमान अनुकूलन अनुसंधान इन पैमानों को दो काफी हद तक स्वतंत्र जांच रेखाओं के माध्यम से संबोधित करता है:

1. ज्यामिति-जागरूक विधियाँ (जैसे, Natural Gradient, K-FAC, Shampoo) वक्रता अनुमानों (curvature estimates) का उपयोग करके अवरोहण दिशाओं (descent directions) को नया आकार देती हैं, जो औसत लॉस ज्योमेट्री में इल-कंडीशनिंग (ill-conditioning) को संबोधित करती हैं। हालांकि, वे संचित, सुचारू सांख्यिकी पर निर्भरता के कारण तीक्ष्ण, स्थानीयकृत विशेषताओं के प्रति असंवेदनशील होती हैं।
2. शार्पनेस-जागरूक विधियाँ (जैसे, SAM) मापदंडों को वक्र (flatter) मिनिमा की ओर पक्षपाती करने के लिए विक्षोभ (perturbation) उत्पन्न करती हैं। जबकि स्थानीय तीक्ष्णता को जांचने में प्रभावी होने के बावजूद, साधारण SAM सभी पैरामीटर दिशाओं को समान रूप से (यूक्लिडियन रूप से) मानता है, जो अंतर्निहित अनुकूलन ज्यामिति की अनदेखी करता है।

मूल समस्या यह है कि कोई भी दृष्टिकोण अकेले पूर्णतः आवश्यक गतिशीलता को कैप्चर नहीं कर पाता है: ज्यामिति-जागरूक विधियाँ स्थानीय तीक्ष्णता को मिस करती हैं, जबकि शार्पनेस-जागरूक विधियों में ज्यामितिक दिशात्मकता का अभाव होता है।

कार्यप्रणाली: LLQR+SAM

लेखक LLQR+SAM का प्रस्ताव करते हैं, जो एक धीरे-धीरे अपडेट होने वाले, सीखे गए प्रीकंडीशनर (preconditioner) और एक शार्पनेस-जागरूक विक्षोभ (perturbation) को सहक्रियात्मक रूप से संयोजित करता है।

1. प्रीकंडीशनर (LLQR)

यह विधि LLQR (लेयरवाइज लीनियर-क्वाड्रेटिक रेगुलेटर) का उपयोग करती है, जो एक संरचित इनवर्स प्रीकंडीशनर $U$ (जहाँ $P = U^{-1}$ मेट्रिक है) को सीखता है।

• तंत्र: LLQR लेयरवाइज नेटवर्क डायनेमिक्स और एक चुनी गई डाइवर्जेंस (जैसे, KL/Fisher या Newton/Bregman) से प्राप्त लीनियर-क्वाड्रेटिक-रेगुलेटर ऑब्जेक्टिव को एक लेयरवाइज ऑप्टिमल कंट्रोल समस्या के रूप में पुनर्गठित करता है।
• अपडेट शेड्यूल: प्रीकंडीशनर $U$ को रुक-रुक कर (जैसे, प्रत्येक 500 स्टेप्स पर) अपडेट किया जाता है और एक स्लो एक्सपोनेंशियल मूविंग एवरेज (EMA) के रूप में बनाए रखा जाता है। यह सुनिश्चित करता है कि $U$ औसत लॉस ज्योमेट्री की एक सुचारू, कम-रिज़ॉल्यूशन वाली तस्वीर कैप्चर करे लेकिन तीव्र, स्थानीयकृत उतार-चढ़ाव के प्रति असंवेदनशील रहे।
• संरचना: $U$ को संरचित ब्लॉक्स (जैसे, डायगोनल या K-FAC) द्वारा दर्शाया गया है ताकि अभिव्यक्ति (expressivity) और कम्प्यूटेशनल लागत के बीच संतुलन बनाया जा सके।

2. शार्पनेस विक्षोभ (SAM)

मानक SAM एक यूक्लिडियन बॉल के भीतर सबसे खराब स्थिति वाले विक्षोभ का मूल्यांकन करता है। LLQR+SAM इसे दो तरह से संशोधित करता है:

• ज्यामिति-जागरूक विक्षोभ: विक्षोभ $\epsilon_t$ को सीखे गए मेट्रिक $P = U^{-1}$ द्वारा प्रेरित नॉर्म (norm) में कंप्यूट किया जाता है। विक्षोभ की दिशा $P$ के तहत सामान्यीकृत तीव्र-आरोहण (steepest-ascent) दिशा है:
  $$\theta^+ = \theta + \rho \frac{U g(\theta)}{\|g(\theta)\|_U}$$
• ज्यामिति-जागरूक ट्रांसपोर्ट: बाहरी ग्रेडिएंट अपडेट भी उसी सीखे गए मेट्रिक $U$ का उपयोग करता है ताकि विक्षोभित बिंदु से ग्रेडिएंट को ट्रांसपोर्ट किया जा सके:
  $$\theta \leftarrow \theta - \eta U \nabla L(\theta^+)$$

3. एल्गोरिदम प्रवाह

एल्गोरिदम एक दो-समय-पैमाने (two-timescale) वाली संरचना पर काम करता है:

1. धीमा समय-पैमाना (Slow Timescale): औसत ज्यामिति को ट्रैक करने के लिए LLQR स्टेट $U$ को आवधिक रूप से अपडेट किया जाता है।
2. तेज़ समय-पैमाना (Fast Timescale): प्रत्येक मिनी-बैच पर, वर्तमान $U$ का उपयोग करके एक SAM विक्षोभ लागू किया जाता है, और परिणामी ग्रेडिएंट को $U$ का उपयोग करके ट्रांसपोर्ट किया जाता है।

सैद्धांतिक विश्लेषण: गड्ढा बचाव (Pothole Escape)

लेखक एक दो-पैमाने वाले क्वाड्रेटिक मॉडल पर इस विधि का विश्लेषण करते हैं: $L(\theta) = \frac{1}{2}\theta^\top (\bar{H} + H_\epsilon)\theta$, जहाँ $\bar{H}$ सुचारू औसत ज्यामिति को दर्शाता है और $H_\epsilon$ एक तीक्ष्ण, स्थानीयकृत "गड्ढे" को दर्शाता है।

• होवरिंग तंत्र (Hovering Mechanism): SAM विक्षोभ इटरेट को ठीक न्यूनतम (minimum) पर स्थिर होने से रोकता है, जिससे यह न्यूनतम के आसपास "होवर" करने के लिए मजबूर होता है।
• बचाव का प्रवर्धन (Amplification of Escape): एक दिशा में जो गड्ढे के अनुरूप है, LLQR+SAM के लिए होवरिंग एनवेलप (दोलन का पैमाना) $\rho \bar{\lambda}^{-1/2}$ के रूप में व्युत्पन्न किया गया है, जहाँ $\bar{\lambda}$ औसत ज्यामिति की वक्रता (curvature) है।
• मुख्य अंतर्दृष्टि: साधारण SAM के लिए, होवरिंग एनवेलप सभी दिशाओं में समान ($\rho$) होता है। LLQR+SAM के लिए, एनवेलप को औसत वक्रता के व्युत्क्रम वर्गमूल द्वारा स्केल किया जाता है।
  • चौड़े बेसिनों में (छोटा $\bar{\lambda}$), होवरिंग स्केल बड़ा होता है लेकिन बेसिन के भीतर ही रहता है।
  • गड्ढों में (जहाँ स्थानीय तीक्ष्णता उच्च है लेकिन आसपास की औसत बेसिन सपाट है), होवरिंग स्केल गड्ढे के आकर्षण क्षेत्र (basin of attraction) से बाहर निकल जाता है।
• परिणाम: प्रीकंडीशनर विशेष रूप से उन दिशाओं में एस्केप सिग्नल को प्रवर्धित करता है जहाँ औसत ज्यामिति सपाट है लेकिन स्थानीय विशेषता तीक्ष्ण है। यह प्रवर्धन कारक तब बढ़ता है जब आसपास का बेसिन अधिक सपाट होता है, ठीक वहीं जहाँ प्रीकंडीशनिंग सबसे अधिक फायदेमंद होती है।

प्रायोगिक परिणाम

लेखक मानक विजन और सीक्वेंस मॉडलिंग बेंचमार्क पर LLQR+SAM को मान्य करते हैं, जो दोनों व्यक्तिगत घटकों (केवल LLQR, केवल SAM) और अन्य बेसलाइनों की तुलना में निरंतर लाभ प्रदर्शित करते हैं।

• विज़न बेंचमार्क:
  • CIFAR-10/100: LLQR+SAM, VGG16-BN, ResNet-18, WRN-28-10, और PyramidNet-110 में स्टेट-ऑफ-द-आर्ट टेस्ट एक्यूरेसी प्राप्त करता है। नेचुरल ग्रेडिएंट (NGD) प्रेरित ज्योमेट्री वेरिएंट आमतौर पर सबसे मजबूत परिणाम देता है।
  • TinyImageNet: यह विधि SAM अकेले की तुलना में सुधार करती है, यहाँ तक कि उन सेटिंग्स में भी जहाँ LLQR अकेले SGD से बेहतर प्रदर्शन नहीं कर सका, जो बताता है कि ज्यामिति पूरक जानकारी प्रदान करती है।
  • ImageNet (ResNet-50): LLQR को F-SAM (एक मजबूत SAM वेरिएंट) के साथ मिलाने से F-SAM अकेले की तुलना में बेहतर Top-1 एक्यूरेसी और तेज़ अभिसरण (convergence) मिलता है।
• सीक्वेंस मॉडलिंग:
  • IWSLT14 (जर्मन-से-अंग्रेजी): ट्रांसफॉर्मर मॉडल्स पर, LLQR+SAM, AdamW, SAM और LLQR अकेले की तुलना में सर्वश्रेष्ठ BLEU स्कोर और तेज़ ऑप्टिमाइज़ेशन अभिसरण प्राप्त करता है।
• मजबूती (Robustness):
  • लेबल नॉइज़: सिमेट्रिक लेबल करप्शन (80% शोर तक) के तहत, LLQR+SAM, SAM की तुलना में बेहतर मजबूती प्रदर्शित करता है, जो इंगित करता है कि सीखे गए ज्यामिति के माध्यम से शार्पनेस-अवेयर अपडेट को ट्रांसपोर्ट करना भ्रष्ट पर्यवेक्षण (corrupted supervision) के प्रति प्रतिरोध को मजबूत करता है।
• स्केलेबिलिटी:
  • ViT मॉडल्स: ViT-Tiny से लेकर ViT-Large तक के प्रयोगों में, LLQR+SAM का कम्प्यूटेशनल ओवरहेड पैरामीटर्स की संख्या के साथ लगभग रैखिक रूप से ($O(P^{1.27})$) स्केल करता है, जो दूसरे क्रम (second-order) के तरीकों की विशिष्ट द्विघात स्केलिंग (quadratic scaling) से बहुत बेहतर है। वॉल-क्लॉक टाइम व्यावहारिक बना रहता है, विशेष रूप से तब जब LLQR अपडेट कम बार किए जाते हैं।

महत्व और दावे

पेपर का दावा है कि धीमी सीखी गई ज्यामिति और तेज़ शार्पनेस सुधार का संयोजन केवल योगात्मक नहीं, बल्कि सहक्रियात्मक (synergistic) है।

1. पूरक तंत्र: सीखा गया प्रीकंडीशनर $U$ और SAM विक्षोभ स्वतंत्र सामग्रियां नहीं हैं, बल्कि एक ही सीखी गई ज्यामिति के दो पूरक उपयोग हैं। $U$ फ्लैट दिशाओं में तेज़ अभिसरण सक्षम करता है और साथ ही तीक्ष्ण गड्ढों से बचने के सिग्नल को प्रवर्धित करता है।
2. सैद्धांतिक औचित्य: दो-समय-पैमाने वाली संरचना को जटिल लैंडस्केप को नेविगेट करने के एक तंत्र के रूप में दिखाया गया है: धीमा मेट्रिक "होवरिंग" स्केल को औसत ज्यामिति के अनुरूप आकार देता है, जिससे ऑप्टिमाइज़र को चौड़े बेसिनों में स्थिर रहते हुए तीक्ष्ण स्थानीय मिनिमा से बचने में मदद मिलती है।
3. व्यावहारिक दक्षता: एक सेकंड-ऑर्डर-प्रेरित विधि होने के बावजूद, LLQR+SAM एक कम्प्यूटेशनल बाधा (bottleneck) नहीं बनता है। यह SAM की सामर्थ्य को बनाए रखते हुए बेहतर सामान्यीकरण प्रदान करता है, जिससे यह बड़े पैमाने के प्रशिक्षण के लिए एक व्यवहार्य विकल्प बन जाता है।

लेखक अपनी सीमाओं के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि उनका सैद्धांतिक विश्लेषण एक आदर्श क्वाड्रेटिक मॉडल पर निर्भर करता है, और हालांकि उनका अनुभवजन्य दायरा व्यापक है, इसमें अभी तक बड़े भाषा मॉडल (LLM) प्री-ट्रेनिंग या प्रत्येक आर्किटेक्चर परिवार को कवर नहीं किया गया है।