Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization

तकनीकी सारांश: हेसियन आइजनवेक्टर विस्थापन और स्थानीयकरण के माध्यम से ऑप्टिमाइज़र-निर्भर प्रशिक्षण गतिकी का लक्षण वर्णन

समस्या विवरण
न्यूरल नेटवर्क प्रशिक्षण को समझना अभी भी चुनौतीपूर्ण बना हुआ है क्योंकि यह उच्च-आयामी (high-dimensional) और गैर-उत्तल (non-convex) प्रकृति का होता है। जबकि हेसियन मैट्रिक्स (पैरामीटर्स के सापेक्ष लॉस के दूसरे डेरिवेटिव का मैट्रिक्स) लॉस लैंडस्केप, सामान्यीकरण (generalization) और शार्पनेस के विश्लेषण के लिए एक मानक उपकरण है, अधिकांश पूर्व कार्य मुख्य रूप से हेसियन आइजनवैल्यू (वक्रता परिमाण) या समग्र रूप से शीर्ष-$k$ आइजनस्पेस की स्थिरता पर केंद्रित रहे हैं। अग्रणी हेशियन आइजनवेक्टर्स (leading Hessian eigenvectors), जो पैरामीटर स्पेस में वक्रता की विशिष्ट दिशाओं को कूटबद्ध करते हैं, के विकास को समझने में एक महत्वपूर्ण अंतराल मौजूद है। यह स्पष्ट नहीं है कि क्या ये आइजनवेक्टर मिनी-बैच प्रशिक्षण के दौरान स्थिर होते हैं, विस्थापित (drift) होते हैं, या पुनर्गठित (reorganize) होते हैं, और क्या विभिन्न ऑप्टिमाइज़र लॉस लैंडस्केप के माध्यम से गुणात्मक रूप से भिन्न ज्यामितीय प्रक्षेपवक्र (trajectories) प्रेरित करते हैं।

कार्यप्रणाली
लेखक MNIST और FashionMNIST डेटासेट पर मल्टीलेयर पर्सेप्ट्रॉन (MLP) के प्रशिक्षण के दौरान अग्रणी हेसियन आइजनवेक्टर्स, $\{v^{(i)}(t)\}$, के समय-निर्भर विकास की जांच करते हैं। यह अध्ययन तीन ऑप्टिमाइज़र की तुलना करता है: स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD), Adam, और शार्पनेस-अवेयर मिनिमाइजेशन (SAM)।

आइजनवेक्टर गतिकी को मापने के लिए, शोध पत्र दो पूरक मेट्रिक्स का उपयोग करता है:

1. आइजनवेक्टर विस्थापन (Eigenvector Displacement): ग्लास सिस्टम (glassy systems) के विश्लेषण से प्रेरित, यह मीट्रिक एक शुरुआती समय $t_w$ पर एक आइजनवेक्टर और एक प्रतीक्षा समय $t$ के बाद उसकी स्थिति के बीच वर्ग यूक्लिडियन दूरी को मापता है। यह एक टू-टाइम कोरिलेशन फंक्शन के रूप में कार्य करता है ताकि स्थिर गतिकी और "एजिंग" (aging) व्यवहार (जहाँ परिवर्तन की दर प्रशिक्षण की आयु पर निर्भर करती है) के बीच अंतर किया जा सके। एक रैंडम नल मॉडल, जो रैंडम पैरामीटर इनिशियलाइजेशन के तहत अपेक्षित हेसियन पर आधारित है, एक बेसलाइन के रूप में कार्य करता है।
2. इनवर्स पार्टिसिपेशन रेशियो (IPR): यह मीट्रिक आइजनवेक्टर मास के स्थानीयकरण (localization) को मापता है। $1/N$ (जहाँ $N$ कुल पैरामीटर्स की संख्या है) के करीब IPR मान डेलोकेलाइजेशन (समान प्रसार) को दर्शाता है, जबकि $O(1)$ के करीब मान लोकलाइजेशन (पैरामीटर्स के एक छोटे समूह पर संकेंद्रण) को दर्शाता है। इस संदर्भ में, IPR यह मापता है कि नेटवर्क के भारों (weights) में वक्रता के प्रति संवेदनशीलता कैसे वितरित है।

प्रयोगों में मिनी-बैच के साथ प्रशिक्षित 3-लेयर फुली-कनेक्टेड MLP का उपयोग किया गया है। हेसियन का मूल्यांकन पूर्ण डेटासेट पर अंतराल पर किया जाता है, और पूर्ण मैट्रिक्स बनाने से बचने के लिए हेसियन-वेक्टर उत्पादों का उपयोग करके लैंकोस इटरेशन (Lanczos iteration) के माध्यम से आइजनवेक्टर्स की गणना की जाती है।

मुख्य परिणाम
अध्ययन विस्थापन और स्थानीयकरण गतिकी में स्पष्ट, ऑप्टिमाइज़र-निर्भर व्यवहार प्रकट करता है:

• विस्थापन और स्थिरता (Displacement and Stability):

  • SGD: "एजिंग" व्यवहार प्रदर्शित करता है जहाँ अग्रणी आइजनवेक्टर ($v^{(1)}$) शुरू में तेजी से बदलता है लेकिन धीरे-धीरे स्थिर होता जाता है। विस्थापन रैंडम बेसलाइन से नीचे संतृप्त (saturate) हो जाता है, जो यह दर्शाता है कि SGD धीरे-धीरे अधिक स्थिर अग्रणी वक्रता दिशाओं की ओर ले जाता है।
  • Adam: काफी अधिक पुनर्गठन (reorganization) दिखाता है। आइजनवेक्टर विस्थापन रैंडम बेसलाइन के पास फ्लैट हो जाता है, जो लगभग पूर्ण डिकोरिलेशन और प्रशिक्षण के दौरान अग्रणी वक्रता दिशाओं के निरंतर बदलाव का सुझाव देता है।
  • SAM: SGD की तुलना में धीमी लेकिन निरंतर ड्रिफ्ट के साथ मध्यवर्ती व्यवहार प्रदर्शित करता है।
  • ये गतिकी बैच आकार और लर्निंग रेट के विविधताओं के प्रति रोबस्ट हैं, सिवाय फुल-बैच रिजीम के।

• स्थानीयकरण (Localization - IPR):

  • Adam: एक मजबूत लोकलाइजेशन घटना को प्रेरित करता है जहाँ अग्रणी आइजनवेक्टर पैरामीटर्स के एक छोटे समूह पर केंद्रित हो जाता है (IPR $\approx 0.1$)। यह सुझाव देता है कि Adam के तहत, भारों का एक छोटा समूह अग्रणी वक्रता दिशाओं में असमान रूप से योगदान देता है।
  • SGD: एक डेलोकेलाइजिंग प्रवृत्ति दिखाता है, जिसमें IPR मान यूनिफॉर्म बेसलाइन ($1/N$) की ओर घटते हैं, जो यह दर्शाता है कि वक्रता संवेदनशीलता पैरामीटर्स के बीच अधिक समान रूप से फैल जाती है।
  • SAM: SGD की तुलना में थोड़ा उच्च लोकलाइजेशन प्रदर्शित करता है, लेकिन रन के बीच कम वेरिएंस बनाए रखता है।

• एलाइनमेंट (Alignment): शोध पत्र नोट करता है कि जबकि ग्रेडिएंट आमतौर पर शीर्ष आइजनवेक्टर्स के साथ संरेखित होते हैं, Adam का अपडेट एलाइनमेंट कम (0.1 से कम) रहता है, जो संभवतः इसके मोमेंटम पैरामीटर के कारण है, जबकि SGD और SAM अपडेट ग्रेडिएंट के साथ अधिक निकटता से संरेखित होते हैं।

महत्व और दावे
शोध पत्र का दावा है कि हेसियन आइजनवेक्टर गतिकी को ट्रैक करना ऑप्टिमाइज़र व्यवहार के उन प्रमुख अंतरों को पकड़ सकता है जो केवल स्पेक्ट्रल विश्लेषण के माध्यम से दिखाई नहीं देते हैं। प्राथमिक महत्व इस बात में निहित है कि यह प्रदर्शित करना है कि:

1. ऑप्टिमाइज़र का चुनाव ज्यामिति निर्धारित करता है: विभिन्न ऑप्टिमाइज़र केवल एक ही लैंडस्केप को अलग-अलग गति से पार नहीं करते; वे गुणात्मक रूप से भिन्न रूपों में लैंडस्स्केप अन्वेषण (exploration) को प्रेरित करते हैं। SGD वक्रता दिशाओं को स्थिर करता है, जबकि Adam उन्हें लगातार पुनर्गठित करता है।
2. स्थानीयकरण एक स्थिर सांख्यिकी के रूप में: Adam के तहत आइजनवेक्टर्स के मिश्रण के बावजूद, लोकलाइजेशन मीट्रिक (IPR) प्रशिक्षण के दौरान एक स्थिर सांख्यिकी बना रहता है। यह सुझाव देता है कि भले ही वक्रता की विशिष्ट दिशाएं घूम रही हों, वक्रता की प्रकृति (चाहे वह कुछ पैरामीटर्स द्वारा संचालित हो या वितरित हो) एक दिए गए ऑप्टिमाइज़र के लिए सुसंगत रहती है।
3. विश्लेषण के लिए निहितार्थ: ये निष्कर्ष सुझाव देते हैं कि आइजनवेक्टर अस्थिरता लॉस लैंडस्केप के नए क्षेत्रों के अन्वेषण को सुगम बनाकर अनुकूलन (optimization) में मदद कर सकती है। इसके अलावा, Adam के तहत देखा गया लोकलाइजेशन लक्षित प्रूनिंग (pruning) और अनिश्चितता मात्रा निर्धारण (uncertainty quantification) के लिए व्यावहारिक निहितार्थ रख सकता है, क्योंकि यह उन विशिष्ट भारों के उपसमुच्चय की पहचान करता है जो सबसे अधिक उत्तल (convex) दिशाओं पर हावी हैं।

लेखक निष्कर्ष निकालते हैं कि ये गतिकी हाइपरपैरामीटर विविधताओं (मिनी-बैच रिजीम के भीतर) के प्रति रोबस्ट हैं और भविष्य के कार्य इन अवलोकनों का लाभ उठाकर ऑप्टिमाइज़र गतिकी में सुधार कर सकते हैं और पैरामीटर रेडंडेंसी का उपयोग कर सकते हैं।