📊 statistics

Large-Step Training Dynamics of a Two-Factor Linear Transformer Model

यह शोध पत्र एक टू-फैक्टर लीनियर ट्रांसफार्मर मॉडल की लार्ज-स्टेप ट्रेनिंग डायनेमिक्स का विश्लेषण करता है, जो यह प्रदर्शित करता है कि उच्च लर्निंग रेट्स इन-कॉन्टेक्स्ट लीनियर रिग्रेशन के सीखने की गति को तेज करने के बजाय, सिस्टम को मोनोटोन कन्वर्जेंस से बदलकर चक्रों (साइकिल), बाउंडेड केओस, या डाइवर्जेंस की ओर ले जाकर प्रशिक्षण के परिणामों को मौलिक रूप से बदल सकते हैं।

मूल लेखक: Krishnakumar Balasubramanian

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Krishnakumar Balasubramanian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक सरल गणित की समस्या (लीनियर रिग्रेशन) हल करना सिखा रहे हैं, जिसे एक "प्रॉम्प्ट" में कुछ उदाहरण दिखाकर सिखाया जाता है। यह रोबोट एक विशेष प्रकार के मस्तिष्क का उपयोग करता है जिसे ट्रांसफॉर्मर (Transformer) कहा जाता है। आमतौर पर, हम इन रोबोटों को उनकी आंतरिक सेटिंग्स को समायोजित करने के लिए बहुत छोटे, सावधानीपूर्ण कदम उठाकर सिखाते हैं। हालाँकि, यह शोध पत्र पूछता है: क्या होगा यदि हम रोबोट को विशाल, लापरवाह छलांग लगाने के लिए कहें?

लेखक, कृष्णकुमार बालासुब्रमण्यन ने पाया कि जब आप इन विशाल कदमों (लार्ज लर्निंग रेट्स) का उपयोग करते हैं, तो रोबोट केवल तेज़ या धीमा नहीं सीखता। इसके बजाय, यह अजीब और अप्रत्याशित तरीकों से व्यवहार करने लगता है जिसे हम केवल "छोटे कदम" वाले सिद्धांत को देखकर नहीं देख सकते।

यहाँ रोज़मर्रा के उपमाओं (analogies) का उपयोग करके शोध के निष्कर्षों का विवरण दिया गया है:

1. सेटअप: एक दो-टांगों वाला रोबोट

रोबोट के मस्तिष्क को दो मुख्य पैरों (कारकों/factors) के रूप में सोचें जो एक भविष्यवाणी करने के लिए मिलकर काम करते हैं।

लक्ष्य: रोबोट चाहता है कि ये दोनों पैर (एक लक्ष्य स्कोर (शून्य त्रुटि) तक पहुँचने के लिए) पूर्ण सामंजगरूपता में काम करें।
संतुलन: यदि दोनों पैर समान शक्ति के हैं, तो रोबोट "संतुलित" है। यदि एक पैर दूसरे की तुलना में बहुत अधिक मजबूत है, तो वह "असंतुलित" है।

2. "विशाल कदम" का प्रभाव (The "Giant Step" Effect)

जब रोबोट छोटे कदम लेता है, तो वह लक्ष्य की ओर धीरे-धीरे चलता है। लेकिन जब लेखक ने रोबोट को विशाल कदम लेने के लिए कहा, तो व्यवहार पूरी तरह बदल गया। रोबोट का रास्ता एक सहज चाल के बजाय एक अराजक नृत्य (chaotic dance) जैसा दिखने लगा।

शोध पत्र में पाँच अलग-अलग "मोड्स" (modes) की पहचान की गई है जिनमें रोबक कदम के आकार के आधार पर फंस सकता है:

मोड 1: सुचारू यात्री (Monotone Convergence)
- क्या होता है: रोबोट विशाल कदम उठाता है लेकिन फिर भी हर बार लक्ष्य के करीब पहुँचता है। यह एक हाइकर की तरह है जो बड़े कदम उठाता है लेकिन हमेशा आगे बढ़ता रहता है।
मोड 2: कैटापल्ट/गुलेल (Catapult Convergence)
- क्या होता है: रोबोट लक्ष्य को पार कर जाता है, बहुत आगे निकल जाता है, और फिर वापस आता है। यह ऐसा दिखता है जैसे यह विफल हो रहा हो (त्रुटि बढ़ जाती है), लेकिन वास्तव में यह पहले की तुलना में अधिक करीब पहुँचने के लिए उस गति (momentum) का उपयोग करता है। यह एक गुलेल की तरह है: आप आगे शूट करने के लिए पीछे की ओर बहुत दूर खींचते हैं।
मोड 3: पेंडुलम (Periodic Nonconvergence)
- क्या होता है: रोबोट कभी स्थिर नहीं होता। यह दो विशिष्ट स्थानों के बीच हमेशा झूलता रहता है। यह एक पेंडुलम की तरह है जो कभी नहीं रुकता। रोबोट "सीख" रहा है, लेकिन वह काम कभी पूरा नहीं करता; वह बस दो अलग-अलग उत्तरों के बीच झूलता रहता है।
मोड 4: अराजक नर्तक (Chaotic Nonconvergence)
- क्या होता है: रोबोट का रास्ता पूरी तरह से अप्रत्याशित हो जाता है। वह एक सीमित क्षेत्र के भीतर उछलता रहता है लेकिन एक ही पैटर्न को दोहराता नहीं है। यह एक पिनबॉल मशीन की तरह है जहाँ गेंद कांच के अंदर रहती है लेकिन कभी भी एक अनुमानित पथ का पालन नहीं करती।
मोड 5: बेकाबू/भाग जाना (Divergence)
- क्या होता है: कदम इतना बड़ा है कि रोबोट दुनिया के किनारे से बाहर उड़ जाता है। वह कभी वापस नहीं आता और प्रशिक्षण पूरी तरह से विफल हो जाता है।

3. छिपा हुआ खतरा: "चेबिशेव दीर्घवृत्त" (The Chebyshev Ellipse)

सबसे आश्चर्यजनक खोज एक छिपी हुई सीमा है, जो एक दीर्घवृत्त (ellipse - एक खिंचा हुआ वृत्त) के आकार की है।

दीर्घवृत्त के अंदर: यदि रोबोट इस आकार के अंदर शुरू करता है, तो वह सुरक्षित रहता है। वह झूल सकता है या अराजक हो सकता है, लेकिन वह उड़कर दूर नहीं जाएगा।
दीर्घवृत्त के बाहर: यदि रोबोट इसके बाहर शुरू करता है, तो उसका भाग जाना (diverge) तय है।
ट्विस्ट: यह दीर्घवृत्त एक विकर्षक दीवार (repelling wall) है। यह एक फिसलन भरी पहाड़ी की तरह है। यदि रोबूल पहाड़ी पर है, तो वह पहाड़ी से दूर फिसलेगा, न कि उसकी ओर। इसका मतलब है कि भले ही रोबोट अच्छा प्रदर्शन करता हुआ दिखे, एक छोटा सा धक्का (जैसे डेटा में छोटा सा बदलाव) उसे अराजकता या विचलन की ओर धकेल सकता है।

4. "मिनी-बैच" का आश्चर्य

वास्तविक जीवन में, रोबोट सारा डेटा एक साथ नहीं देखते; वे छोटे टुकड़ों (मिनी-बैच) को देखते हैं।

शोध पत्र का दावा: लेखक दिखाता है कि मिनी-बैचिंग केवल प्रक्रिया में "थोड़ा शोर (noise) जोड़ने" के बारे में नहीं है। इसके बजाय, हर बार जब रोबोट डेटा के एक नए टुकड़े को देखता है, तो वह प्रभावी रूप से एक अलग मानचित्र (map) पर स्विच कर जाता है।
उपमा: कल्पना कीजिए कि रोबोट एक पथ पर चल रहा है। कभी-कभी वह एक ऐसे मानचित्र को देखता है जो कहता है "वृत्त के अंदर रहें।" लेकिन अगला डेटा का टुकड़ा उसे एक अलग मानचित्र देता है जो कहता है "वृत्त वास्तव में वहाँ है।"
परिणाम: भले ही रोबोट औसतन संतुलित और सुरक्षित हो, एक अकेला "दुर्भाग्यशाली" मिनी-बैच उसे अदृश्य दीवार (दीर्घवृत्त) के पार धकेल सकता है और उसे अराजकता में उड़ा सकता है। यह समझाता है कि प्रशिक्षण अचानक अस्थिर क्यों हो जाता है, भले ही समग्र डेटा ठीक लग रहा हो।

5. संतुलन क्यों महत्वपूर्ण है

शोध पत्र यह भी बताता है कि रोबोट के पैरों को "संतुलित" करना क्यों महत्वपूर्ण है।

यदि दोनों पैर असमान (असंतुलित) हैं, तो रोबोट बहुत अधिक नाजुक हो जाता है। "सुरक्षित क्षेत्र" (दीर्घवृत्त) छोटा हो जाता है।
यही कारण है कि "लेयरनॉर्म" (LayerNorm - जो रोबोट के आंतरिक संकेतों को संतुलित करने में मदद करता है) जैसी तकनीकें काम करती हैं: वे रोबोट के पैरों को समान रखती हैं, जिससे वह गिरने से पहले बड़े कदम उठा पाता है।

सारांश

यह शोध पत्र तर्क देता है कि लार्ज लर्निंग रेट केवल प्रशिक्षण को तेज़ नहीं करते; वे मंजिल को भी बदल देते।
एक एकल पूर्ण समाधान की ओर बढ़ने के बजाय, बड़े कदम इसे निम्नलिखित में फंसा सकते हैं:

एक लूप में (हमेशा झूलते रहना)।
एक अराजक नृत्य में (अप्रत्याशित लेकिन सीमित)।
एक बेकाबू क्रैश में (विचलन)।

"विशाल कदम" नए, अजीब आकर्षण केंद्रों (destinations) को बनाते हैं जो तब मौजूद नहीं होते जब आप छोटे कदम उठाते हैं। इन विशाल कदमों में जीवित रहने की कुंजी रोबोट के आंतरिक कारकों को संतुलित रखना और यह सुनिश्चित करना है कि कोई भी एकल मिनी-बैच उसे छिपी हुई "चेबिशेव" दीवार के पार न धकेल दे।

तकनीकी सारांश: एक टू-फैक्टर लीनियर ट्रांसफॉर्मर मॉडल की लार्ज-स्टेप ट्रेनिंग डायनेमिक्स

समस्या विवरण
जबकि ग्रेडिएंट-फ्लो विश्लेषणों (इन्फिनिटेसिमल-स्टेप लिमिट्स) ने सफलतापूर्वक प्रदर्शित किया है कि सरलीकृत लीनियर ट्रांसफॉर्मर्स इन-कॉन्टेक्स्ट लीनियर रिग्रेशन सीख सकते हैं, वे बड़े लर्निंग रेट पर परिमित-स्टेप (finite-step) ग्रेडिएंट डिसेंट (GD) के व्यवहार को समझाने में विफल रहते हैं। अनुभवजन्य अवलोकन संकेत देते हैं कि बड़े लर्निंग रेट ट्रेनिंग अस्थिरता पैदा करते हैं, जैसे कि अटेंशन-लॉगिट ग्रोथ और आउटपुट डाइवर्जेंस, जिन्हें वॉर्मअप और वेट डिके जैसी तकनीकों द्वारा अक्सर कम किया जाता है। क्वाड्रेटिक रिग्रेशन पर मौजूदा साहित्य बताता है कि लार्ज-स्टेप GD एक क्यूबिक मैप में बदल सकता है जिसमें पांच अलग-अलग चरण होते हैं: मोनोटोन कन्वर्जेंस, कैटापल्ट कन्वर्जेंस, पीरियोडिक नॉन-कन्वर्जेंस, केओटिक नॉन-कन्वर्जेंस, और डाइवर्जेंस। हालांकि, यह स्पष्ट नहीं है कि क्या ट्रांसफॉर्मर ट्रेनिंग में भी समान बिफरकेशन संरचनाएं (bifurcation structures) मौजूद हैं, जहाँ अटेंशन लॉगिट्स सीखे गए कारकों (factors) में बायलिनियर (bilinear) होते हैं, और ये डायनेमिक्स संतुलित सबस्पेस के बजाय पूर्ण पैरामीटर स्पेस में कैसे प्रकट होते हैं।

कार्यप्रणाली
लेखक इन डायनेमिक्स का अध्ययन करने के लिए एक वन-प्रॉम्प्ट लीनियर-ट्रांसफॉर्मर ट्रेनिंग समस्या का सटीक रूप से रिड्यूसिबल (exactly reducible) मॉडल व्युत्पन्न करते हैं।

रिडक्शन: एक फिक्स्ड प्रॉम्प्ट वाले सिंगल-लेयर लीनियर सेल्फ-अटेंशन मॉडल से शुरू करते हुए, लेखक दिखाते हैं कि स्क्वेर्ड प्रेडिक्शन लॉस पर परिमित-स्टेप ग्रेडिएंट डिसेंट, रीस्केलिंग के बाद, एक टू-डायमेंशनल प्रोडक्ट मैप $\Phi_\mu(a, b)$ में बदल जाता है। यहाँ, $a$ और $b$ बायलिनियर अटेंशन प्रोडक्ट (जैसे, क्वेरी/की या वैल्यू/प्रोजेक्शन घटक) के दो स्केलर कारकों का प्रतिनिधित्व करते हैं, और $\mu$ एक प्रभावी स्टेप-साइज़ पैरामीटर है जो लर्निंग रेट $\eta$ , प्रॉम्प्ट-रिस्पॉन्स स्केल, और एक ज्योमेट्री कांस्टेंट के समानुपाती है।
कोऑर्डिनेट ट्रांसफॉर्मेशन: सिस्टम का विश्लेषण एरर ( $e = ab - \mu$ ) और इम्बैलेंस ( $w = a - b$ ) कोऑर्डिनेट्स का उपयोग करके किया जाता है। यह ट्रांसफॉर्मेशन प्रकट करता है कि "बैलेंस्ड लाइन" ( $w=0$ ) इनवेरिएंट है और ज्ञात स्केलर क्यूबिक मैप को रिकवर करती है जिसका अध्ययन क्वाड्रेटिक रिग्रेशन में किया गया है।
डायनेमिकल सिस्टम्स विश्लेषण: लेखक पूरे टू-डायमेंशनल मैप का विश्लेषण करने के लिए डिस्क्रीट डायनेमिकल सिस्टम्स के उपकरणों का उपयोग करते हैं। मुख्य अवधारणाओं में इनवेरिएंट सेट्स, लयापुनोव एक्सपोनेंट्स, ट्रांसवर्स स्टेबिलिटी और सेपरेट्रिसेस (separatrices) शामिल हैं। वे इनवेरिएंट मैनिफोल्ड्स (एलिप्स) के अस्तित्व की जांच करते हैं जो विभिन्न प्रकार के डायनेमिकल व्यवहार वाले क्षेत्रों को अलग करते हैं और इम्बैलेंस दिशा में गड़बड़ी के खिलाफ इन मैनिफोल्ड्स की स्थिरता का विश्लेषण करते हैं।
मिनी-बैच एक्सटेंशन: डिटर्मिनिस्टिक विश्लेषण को मिनी-बैच ग्रेडिएंट डिसेंट तक विस्तारित किया गया है, जिसे एक रैंडम डायनेमिकल सिस्टम के रूप में मॉडल किया गया है जहाँ प्रभावी पैरामीटर $\mu$ बैचों के बीच स्टोकेस्टिक रूप से स्विच करता है।

मुख्य योगदान और परिणाम

टू-फैक्टर मैप में सटीक रिडक्शन: पेपर यह स्थापित करता है कि एक विशिष्ट स्केलर सेक्टर पर वन-प्रॉम्प्ट लीनियर ट्रांसफॉर्मर की फाइनाइट-स्टेप ट्रेनिंग सटीक रूप से इस मैप के समान है:
$\Phi_\mu(a, b) = (a - (ab - \mu)b, \, b - (ab - \mu)a)$
यह मैप लॉस $\ell_\mu(a, b) = \frac{1}{2}(ab - \mu)^2$ पर यूनिट-स्टेप ग्रेडिएंट डिसेंट है।
बैलेंस्ड स्केलर डायनेमिक्स (द क्यूबिक ट्रांजिशन): इनवेरिएंट बैलेंस्ड लाइन ( $w=0$ ) पर, डायनेमिक्स स्केलर क्यूबिक मैप $e_{k+1} = F_\mu(e_k)$ में बदल जाते हैं। लेखक $\mu$ के संबंध में फेज डायग्राम को रिकवर और स्पष्ट रूप से लक्षणित करते हैं:
- मोनोटोन कन्वर्जेंस: $0 < \mu \le 2\sqrt{2}-2 \approx 0.828$ ।
- कैटापल्ट कन्वर्जेंस: $2\sqrt{2}-2 < \mu \le 1$ । एरर एक स्टेप में स्पाइक हो सकता है लेकिन फिर भी कन्वर्ज होता है।
- पीरियोडिक नॉन-कन्वर्जेंस: $1 < \mu < \sqrt{5}-1 \approx 1.236$ । सिस्टम एक स्थिर पीरियड-टू ऑर्बिट में सेटल हो जाता है।
- केओटिक बाउंडेड डायनेमिक्स: $\sqrt{5}-1 < \mu < 2$ ।
- डाइवर्जेंस: $\mu > 2$ ।
टू-डायमेंशनल स्ट्रक्चरल परिणाम:
- इनवेरिएंट चेबिशेव एलिप्स: $0 < \mu < 2$ के लिए, सिस्टम में एक स्पष्ट इनवेरिएंट एलिप्स $E_\mu$ है जिसे $(a+b)^2/(2+\mu) + (a-b)^2/(2-\mu) = 4$ द्वारा परिभाषित किया गया है। इस एलिप्स पर, एरर डायनेमिक्स चेबिशेव पॉलीनोमियल $e_{k+1} = e_k^3 - 3e_k$ (जो एंगल ट्रिपलिंग $\theta \to 3\theta$ के समान है) का पालन करते हैं, जो केओटिक डायनेमिक्स को ले जाते हैं।
- ट्रांसवर्स स्टेबिलिटी: लेखक सिद्ध करते हैं कि $E_\mu$ एक ट्रांसवर्सली रिपेलिंग सेपरेट्रिक्स है। जबकि यह केओटिक डायनेमिक्स को ले जाता है, सामान्य आस-पास के ट्रैजेक्टरीज इसके प्रति आकर्षित नहीं होते हैं; बल्कि, यह जीरो-एरर कर्व (या पीरियोडिक ऑर्बिट्स) के आकर्षण बेसिन और डाइवर्जेंस क्षेत्र को अलग करने वाली एक सीमा के रूप में कार्य करता है।
- बैलेंस्ड अट्रैक्टर्स: इसके विपरीत, $1 < \mu < 2$ के लिए, बैलेंस्ड स्केलर अट्रैक्टर्स (पीरियड-टू ऑर्बिट सहित) ट्रांसवर्सली अट्रैक्टिंग होते हैं। इसका अर्थ है कि यदि सिस्टम में फैक्टर इम्बैलेंस है, तो भी इसे बैलेंस्ड केओटिक या पीरियोडिक डायनेमिक्स की ओर खींचा जा सकता है, बशर्ते कि यह रिपेलिंग सेपरेट्रिक्स को पार न करे।
- इंटिरियर रिजिडिटी: एलिप्स का सख्त इंटीरियर ( $D < 0$ ) जीरो-एरर कर्व द्वारा समर्थित डायनेमिक्स के अलावा किसी भी छिपे हुए ऑफ-बैलेंस्ड रिकरेंट डायनेमिक्स (साइकिल या केओस) को नहीं रखता है। इंटीरियर से जीरो-एरर कर्व की ओर कोई भी कन्वर्जेंस शून्य माप (measure zero) वाले एक विशिष्ट बीजगणितीय "लैंडिंग वेब" के माध्यम से ही होना चाहिए।
मिनी-बैच डायनेमिक्स: पेपर मिनी-बैच GD को अलग-अलग प्रभावी पैरामीटर्स $\nu$ वाले मैप्स के बीच रैंडम स्विचिंग के रूप में मॉडल करता है। यह प्रदर्शित करता है कि एक एकल असामान्य मिनी-बैच किसी इटरेट को फुल-बैच स्थिर क्षेत्र (फुल-बैच एलिप्स के अंदर) से अस्थिर क्षेत्र (बाहर) में धकेल सकता है, भले ही फुल-बैच औसत स्थिर हो। इसके अलावा, स्टोकेस्टिक स्विचिंग एक डिटरमिनिस्टिक रूप से स्थिर बैलेंस्ड लाइन को ट्रांसवर्सली अनस्टेबल बना सकती है यदि बैच साइज पर्याप्त छोटा हो, जिससे फैक्टर इम्बैलेंस का एक्सपोनेंशियल ग्रोथ होता है।

महत्व और दावे
पेपर का दावा है कि बड़े कांस्टेंट लर्निंग रेट केवल कन्वर्जेंस को तेज या ग्रेडिएंट-फ्लो लिमिट को बाधित नहीं करते हैं; वे मौलिक रूप से सीखे गए ट्रांसफॉर्मर के ट्रेनिंग अट्रैक्टर को बदल देते हैं।

नए अट्रैक्टर्स: शार्प स्टेबिलिटी थ्रेशोल्ड के परे, फाइनाइट-स्टेप ट्रेनिंग सिंगल इन-कॉन्टेक्ट लीनियर-रिग्रेशन सॉल्यूशन के बजाय साइकिल, बाउंडेड केओस, या डाइवर्जेंस में सेटल हो सकती है।
अस्थिरता का तंत्र: अस्थिरता केवल लॉस लैंडस्केप में शोर या उच्च कर्वेचर के कारण नहीं है, बल्कि बायलिनियर पैरामीट्राइजेशन से उत्पन्न होने वाली डिस्क्रीट-टाइम बिफरकेशन संरचना से उत्पन्न होती है।
बैलेंस की भूमिका: ट्रेनिंग की स्थिरता दो कारकों ( $a$ और $b$ ) के बीच संतुलन के प्रति अत्यधिक संवेदनशील है। इम्बैलेंस अधिकतम स्थिर लर्निंग रेट को कम कर देता है, जो क्वेरी/की नॉर्मलाइजेशन और वेट टाइंग जैसी तकनीकों की अनुभवजन्य सफलता के लिए एक मैकेनिकल स्पष्टीकरण प्रदान करता है।
मिनी-बैच संवेदनशीलता: परिणाम बताते हैं कि मिनी-बैच ट्रेनिंग केवल फुल-बैच GD प्लस नॉइज़ नहीं है। इसके बजाय, इसमें अलग-अलग डायनेमिकल रेजीम्स के बीच स्विच करना शामिल है, जहाँ एक एकल "अनस्टेबल" बैच डाइवर्जेंस या केओटिक व्यवहार में संक्रमण को ट्रिगर कर सकता है, भले ही पॉपुलेशन औसत स्थिरता का सुझाव दे।

लेखक बनाए रखते हैं कि ये परिणाम कम किए गए बायलिनियर मॉडल के लिए विशिष्ट हैं और इन्हें आधुनिक, डीप ट्रांसफॉर्मर्स के लिए सार्वभौमिक स्थिरांक के रूप में नहीं पढ़ा जाना चाहिए। हालांकि, संरचनात्मक ढांचा—यह दिखाना कि कैसे फाइनाइट-स्टेप ट्रेनिंग बायलिनियर फैक्टराइजेशन के माध्यम से नए डायनेमिकल अट्रैक्टर्स बनाती है—देखी गई ट्रेनिंग अस्थिरताओं के लिए एक सटीक मैकेनिकल स्पष्टीकरण प्रदान करता है।