🤖 machine learning

Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories

यह शोध पत्र यह प्रदर्शित करता है कि ऑप्टिमाइज़र अपडेट के बजाय लॉस ग्रेडिएंट्स का विश्लेषण करने से ग्रेडिएंट-दिशा संवेदनशीलता (gradient-direction sensitivity) और लीनियर-सेंट्रॉइड हाइपोथेसिस फीचर्स के बीच एक गहरा, पूर्व में छिपा हुआ जुड़ाव प्रकट होता है, जो यह दर्शाता है कि अटेंशन अपडेट को लो-रैंक सबस्पेस तक सीमित करने से ग्रोकिंग (grokking) में तेजी आती है जबकि प्राकृतिक फुल-रैंक अपडेट अत्यधिक रैंक-रिडंडेंट होते हैं।

मूल लेखक: Yongzhong Xu

प्रकाशित 2026-04-29

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yongzhong Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: कार को चलते हुए देखना बनाम सड़क को देखना

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक सेल्फ-ड्राइविंग कार एक जटिल शहर में रास्ता बनाना कैसे सीखती है। आप जानना चाहते हैं: कौन से विशिष्ट मोड़ और लेन वास्तव में कार को रास्ता सीखने में मदद कर रहे हैं?

लंबे समय से, शोधकर्ता इसे समझने के लिए कार की वास्तविक गति (ऑप्टिमाइज़र का प्रक्षेपवक्र/ट्रैजेक्टरी) को देखते आए हैं। वे देखते हैं कि पिछले कुछ मिनटों में कार ने कौन सा रास्ता लिया, उस रास्ते के बीच में एक रेखा खींचते हैं, और कहते हैं, "आहा! कार इस विशिष्ट दिशा में आगे बढ़कर सीख रही है।"

यह पेपर तर्क देता है कि कार की गति को देखना भ्रामक है।

लेखक कहते हैं कि कार की गति एक अस्त-व्यस्त मिश्रण है:

मोमेंटम (Momentum): कार अभी भी उन मोड़ों से अपनी गति बनाए हुए है जो उसने 10 सेकंड पहले लिए थे।
एडेप्टिव स्केलिंग (Adaptive Scaling): कार अपनी गति को इस आधार पर समायोजित कर रही है कि सड़क कितनी फिसलन भरी महसूस हो रही है।
वेट डिके (Weight Decay): कार सड़क के केंद्र में रहने की कोशिश कर रही है, भले ही उसे इसकी आवश्यकता न हो।
परस्पर विरोधी लक्ष्य (Conflicting Goals): मल्टी-टास्क सेटिंग में, कार एक ही समय में किराने की दुकान, जिम और ऑफिस जाने की कोशिश कर रही है। वह रास्ता जो वह लेती है, वह एक समझौता है, न कि किसी एक गंतव्य के लिए स्पष्ट मार्ग।

पेपर का दावा है कि वास्तव में कार क्या सीख रही है यह समझने के लिए, आपको यह नहीं देखना चाहिए कि कार कहाँ गई। इसके बजाय, आपको उन सड़क संकेतों और मानचित्रों (ग्रेडिएंट्स) को देखना चाहिए जिन्हें कार ठीक उसी क्षण देख रही थी।

मुख्य खोज: "अस्त-व्यस्त रास्ता" बनाम "स्पष्ट संकेत"

शोधकर्ताओं ने इसका परीक्षण गणित की समस्याओं (जैसे जोड़ और गुणा) को सीखने वाले एक कंप्यूटर मॉडल पर किया। उन्होंने यह देखने के लिए एक "परीक्षण" का उपयोग किया कि क्या मॉडल विशिष्ट विशेषताएं (जैसे संख्याओं को जोड़ने का मानसिक नियम) बना रहा है।

1. पुराना तरीका (कार को देखना):
जब उन्होंने मॉडल द्वारा लिए गए पथ (अपडेट) का विश्लेषण किया, तो परीक्षण के परिणाम कमजोर और भ्रमित करने वाले थे।

परिणाम: मॉडल सीखता हुआ लग रहा था, लेकिन सीखने की "दिशा" यादृच्छिक (रैंडम) दिख रही थी। जटिल कार्यों में जहाँ मॉडल को एक साथ चार काम करने थे, वहाँ यह परीक्षण पूरी तरह विफल रहा। ऐसा लगा जैसे मॉडल कुछ भी विशिष्ट नहीं सीख रहा है।
उपमा: यह एक हाइकर (पगडंडी पर चलने वाले) के गंतव्य को उसके कीचड़ भरे पदचिह्नों को देखकर समझने की कोशिश करने जैसा है। पदचिह्न फिसलने, रुकने और दिशा बदलने का एक उलझा हुआ ढेर हैं, इसलिए आप यह नहीं बता सकते कि वह वास्तव में किस दिशा में जाने की कोशिश कर रहा था।

2. नया तरीका (मानचित्र को देखना):
शोधकर्ताओं ने ग्रेडिएंट्स (कच्चा गणितीय संकेत जो मॉडल को बताता है कि अस्त-व्यस्त ऑप्टिमाइज़र स्टेप्स आने से पहले उसे किस दिशा में जाना चाहिए) का विश्लेषण करना शुरू किया।

परिणाम: अचानक, संकेत अविश्वसनीय रूपकी तरह स्पष्ट हो गया। सीखने की "दिशा" पहले की तुलना में 30 से 100 गुना अधिक मजबूत हो गई।
उपमा: पदचिह्नों को देखने के बजाय, उन्होंने हाइकर द्वारा ठीक उसी सेकंड लक्षित किए गए GPS निर्देशांकों को देखा। दिशा तीक्ष्ण, स्पष्ट और गंतव्य के साथ पूरी तरह से संरेखित थी।

मुख्य निष्कर्ष: "ऑप्टिमाइज़र" (वह एल्गोरिदम जो मॉडल को अपडेट करता है) इतना शोर और इतिहास जोड़ देता है कि वह वास्तविक सीखने के संकेत को छिपा देता है। वास्तविक सीखने को देखने के लिए आपको मोमेंटम और इतिहास को हटाना होगा।

मल्टी-टास्क समस्या: "कमेटी मीटिंग"

पेपर ने एक ऐसे मॉडल को भी देखा जो एक ही समय में चार अलग-अलग गणित की समस्याओं (जोड़, घटाव, गुणा और एक जटिल वर्ग सूत्र) को सीखने की कोशिश कर रहा था।

पुराना दृष्टिकोण: जब उन्होंने मॉडल के संयुक्त पथ को देखा, तो वह एक आपदा जैसा लगा। मॉडल चार अलग-अलग "कमेटी" को संतुष्ट करने की कोशिश कर रहा था, और परिणामी पथ एक ऐसा समझौता था जो उनमें से किसी को भी अच्छी तरह से संतुष्ट नहीं करता था। डायग्नोस्टिक टूल ने कहा, "यह मॉडल किसी भी विशिष्ट विशेषता को नहीं सीख रहा है।"
नया दृष्टिकोण: जब उन्होंने प्रत्येक कमेटी के लिए अलग-अलग "मानचित्र" (जोड़ के लिए ग्रेडिएंट, फिर घटाव के लिए, आदि) को देखा, तो उन्होंने पाया कि मॉडल वास्तव में सभी चार कार्यों के लिए बहुत अच्छी तरह सीख रहा था।
उपमा: कल्पना कीजिए कि चार लोग मिलकर लंच ऑर्डर करने का निर्णय ले रहे हैं।
- पुराना तरीका: आप अंतिम, अस्त-व्यस्त समझौते को देखते हैं (जैसे, "चलो पिज्जा टॉपिंग्स के साथ सलाद लेते हैं")। यह एक बुरा निर्णय लगता है जो किसी को भी संतुष्ट नहीं करता।
- नया तरीका: आप प्रत्येक व्यक्ति को व्यक्तिगत रूप से क्या ऑर्डर करना था, यह सुनते हैं। आप महसूस करते हैं कि व्यक्ति A वास्तव में सलाद चाहता था, और व्यक्ति B वास्तव में पिज्जा चाहता था। "अस्त-व्यस्त समझौता" केवल उनके बीच बहस का परिणाम था, लेकिन उनकी व्यक्तिगत इच्छाएं स्पष्ट और मजबूत थीं।

निष्कर्ष: मल्टी-टास्क ट्रेनिंग में, "समझौता पथ" (compromise path) इस तथ्य को छिपा देता है कि मॉडल प्रत्येक कार्य के लिए अलग-अलग विशेषताएं सफलतापूर्वक सीख रहा है। देखने के लिए आपको कार्यों को अलग करना होगा।

"रैंक-3" का आश्चर्य: यह आकार के बारे में है, दिशा के बारे में नहीं

शोधकर्ताओं ने एक और प्रयोग किया। उन्होंने पूछा: "क्या हमें मॉडल को इन विशिष्ट दिशाओं में सीखने की आवश्यकता है जो हमने पाई हैं, या बस किसी भी कम-आयामी (low-dimensional) दिशा में?"

उन्होंने मॉडल को केवल एक बहुत छोटे, सरल "सबस्पेस" (उसके विशाल मस्तिष्क का एक छोटा, 3-आयामी हिस्सा) का उपयोग करके सीखने के लिए मजबूर किया।

परिणाम: मॉडल ने तेजी से (लगभग 2.3 गुना तेजी से) सीखा जब उसे इस छोटे से हिस्से का उपयोग करने के लिए मजबूर किया गया।
ट्विस्ट: इससे कोई फर्क नहीं पड़ा कि उन्होंने कौन सा हिस्सा इस्तेमाल किया। चाहे उन्होंने वह "स्मार्ट" हिस्सा इस्तेमाल किया जो उन्हें नए तरीके से मिला था, या कोई पूरी तरह से यादृच्छिक (रैंडम) हिस्सा, मॉडल ने उतनी ही तेजी से सीखा।
उपमा: कल्पना कीजिए कि आप एक बड़े सूटकेस को एक छोटी कार की डिक्की में फिट करने की कोशिश कर रहे हैं।
- आप सोच सकते हैं, "मुझे कपड़ों को इस विशिष्ट तरीके से मोड़ना होगा ताकि वे फिट हो सकें।"
- लेकिन प्रयोग ने दिखाया कि जब तक आप बस सूटकेस को कंप्रेस (दबाना) करते हैं (रैंक को कम करते हैं), तो वह फिट हो जाता है और जल्दी पहुँच जाता है। इससे कोई फर्क नहीं पड़ता कि आप शर्ट या पैंट को पहले मोड़ते हैं; स्पेस को कंप्रेस करने की क्रिया ही मायने रखती है।

निष्कर्ष: मॉडल जिन विशिष्ट "दिशाओं" में सीखता है, वे सीखने की प्रक्रिया का एक लक्षण मात्र हैं, कारण नहीं। असली जादू यह है कि मॉडल को इन गणितीय ट्रिक्स को सीखने के लिए अपने पूरे, अस्त-व्यस्त मस्तिष्क की आवश्यकता नहीं है; उसे केवल इसके एक छोटे, संकुचित संस्करण की आवश्यकता है।

सामान्य दर्शकों के लिए सारांश

पदचिह्नों को देखना बंद करें: यदि आप समझना चाहते हैं कि AI कैसे सीखता है, तो उसके द्वारा लिए गए पथ (ऑप्टिमाइज़र अपडेट) को न देखें। वह पथ इतिहास और समझौतों के कारण बहुत अस्त-व्यस्त है।
मानचित्र को देखें: उन कच्चे निर्देशों (ग्रेडिएंट्स) को देखें जिनका AI अभी पालन कर रहा है। यह वास्तविक "सीखने की दिशाओं" को प्रकट करता है, जो बहुत अधिक मजबूत और स्पष्ट हैं।
कार्यों को अलग करें: यदि एक AI एक साथ कई चीजें कर रहा है, तो संयुक्त पथ एक विफलता जैसा दिखेगा। वास्तविक सफलता देखने के लिए आपको प्रत्येक कार्य को अलग-अलग देखना होगा।
सादगी जीतती है: AI तेजी से सीखता है जब उसे सरल होने के लिए मजबूर किया जाता है। उसे सीखने के लिए जटिल, विशिष्ट दिशाओं की आवश्यकता नहीं है; उसे बस एक छोटे, सरल स्थान तक सीमित रहने की आवश्यकता है।

यह पेपर मूल रूप से हमें बताता है कि AI को "व्याख्या करने" के लिए हमारे वर्तमान उपकरण गलत चीज़ को देख रहे हैं। डेटा के एक स्वच्छ दृश्य की ओर स्विच करके, हम देख सकते हैं कि AI हमारी सोच से कहीं अधिक प्रभावी ढंग से और सरलता से सीख रहा है।

यहाँ शोध पत्र "Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) में, एक केंद्रीय प्रश्न यह पहचानना है कि पैरामीटर स्पेस के कौन से दिशाएँ विशिष्ट फीचर्स (सर्किट्स) के निर्माण से संबंधित हैं। एक सामान्य नैदानिक दृष्टिकोण (diagnostic approach) रोलिंग विंडोज़ पर सिंगुलर वैल्यू डिकम्पोज़िशन (SVD) का उपयोग करके ऑप्टिमाइज़र ट्राजेक्टरीज़ (पैरामीटर अपडेट, $\Delta \theta$ ) की लो-रैंक संरचना का विश्लेषण करना है। यह विधि, जिसे अपडेट SED (Update SED) कहा जाता है, इस धारणा पर आधारित है कि जिस दिशा में ऑप्टिमाइज़र गति करता है, वह फीचर निर्माण के लिए प्रासंगिक दिशाओं को निष्ठापूर्वक दर्शाता है।

लेखक तर्क देते हैं कि आधुनिक ट्रेनिंग पाइपलाइनों (AdamW के मोमेंटम, एडेप्टिव स्केलिंग और वेट डिके के साथ) और विशेष रूप से मल्टीटास्क सेटिंग्स में यह धारणा त्रुटिपूर्ण है। उनका मानना है कि ऑप्टिमाइज़र अपडेट अंतर्निहित ग्रेडिएंट सिग्नल को एकत्रित और विकृत (distort) कर देते हैं, जिससे ट्रैजेक्टरी-आधारित डायग्नोस्टिक्स और वास्तविक फीचर निर्माण के बीच का संरेखण (alignment) छिप सकता है या नष्ट हो सकता है।

2. कार्यप्रणाली (Methodology)

यह अध्ययन एक 2-लेयर ट्रांसफॉर्मर आर्किटेक्चर के भीतर मॉड्यूलर अंकगणित कार्यों (जोड़, घटाव, गुणा और $a^2+b^2$ ) पर ग्रोकिंग (grokking) का उपयोग करके इस परिकल्पना की जांच करता है। लेखक लीनियर सेंट्रॉइड हाइपोथीसिस (LCH) के विरुद्ध दो वर्गों के स्पेक्ट्रल एस्टिमेटर्स की तुलना करते हैं, जो यह प्रस्तावित करता है कि फीचर्स उन दिशाओं में बनते हैं जो कार्य-विशिष्ट सेंट्रॉइड्स की संवेदनशीलता (sensitivity) को अधिकतम करती हैं।

तुलना किए गए मुख्य एस्टिमेटर्स:

अपडेट SED (Update SED): वास्तविक AdamW पैरामीटर अपडेट ( $\Delta \theta_t$ ) पर रोलिंग विंडो में SVD करता है। यह उस "पथ" को कैप्चर करता है जिसे ऑप्टिमाइज़र लेता है।
ग्रेडिएंट SED (Gradient SED): वर्तमान पैरामीटर्स पर मूल्यांकित कच्चे ग्रेडिएंट्स ( $g_t = \nabla_\theta L$ $g_{t} = \nabla_{θ} L$ ) पर रोलिंग विंडो में SVD करता है। यह ऑप्टिमाइज़र के आर्टिफैक्ट्स (मोमेंटम, एडेप्टिव स्केलिंग, वेट डिके) से मुक्त होकर लॉस लैंडस्केप के "सबसे तीव्र ढलान" (steepest descent) की दिशा को कैप्चर करता है।
- मल्टीटास्क एक्सटेंशन: मल्टीटास्क सेटिंग्स में, लेखक प्रत्येक कार्य के लॉस को अलग से बैकप्रोपैगेट करके पर-ऑप ग्रेडिएंट्स ( $g_{op}$ ) की गणना करते हैं, न कि एकत्रित कुल लॉस ग्रेडिएंट का उपयोग करते हैं।

नैदानिक मीट्रिक (Diagnostic Metric):

एक स्पेक्ट्रल दिशा $v_k$ और फीचर निर्माण के बीच कपलिंग को परटर्बेटिव रेशियो $R_k$ द्वारा मापा जाता है:
$R_k(t) = \frac{A(v_k, t)}{\text{median}_j A(r_j, t)}$
जहाँ $A(v, t)$ यह मापता है कि जब अटेंशन पैरामीटर्स को दिशा $v$ के अनुदिश विक्षेपित (perturb) किया जाता है, तो कार्य सेंट्रॉइड में क्या परिवर्तन होता है। एक उच्च $R_k$ इंगित करता है कि दिशा $v$ फीचर निर्माण के प्रति अत्यधिक संवेदनशील है।

कॉज़ल इंटरवेंशन (Causal Interventions):

लेखक SED आधार या रैंडम आधार द्वारा परिभाषित लो-रैंक सबस्पेस (Rank-3) में अटेंशन अपडेट को सीमित करके कॉज़ल इंटरवेंशन करते हैं। वे दो प्रोजेक्शन विधियों का परीक्षण करते हैं:

अपडेट प्रोजेक्शन: अंतिम AdamW अपडेट को प्रोजेक्ट करना।
ग्रेडिएंट प्रोजेक्शन: ग्रेडिएंट को ऑप्टिमाइज़र के मोमेंटम और एडेप्टिव स्केलिंग मोमेंट्स की गणना करने से पहले प्रोजेक्ट करना।

3. मुख्य परिणाम (Key Results)

A. सिंगल-टास्क परिणाम: ग्रेडिएंट बनाम अपडेट

अपडेट SED की विफलता: सिंगल-टास्क मॉडल्स पर, अपडेट SED मध्यम कपलिंग रेश्यो ( $\bar{R}_k \approx 3\text{--}9\times$ ) देता है। जोड़ (Addition) असामान्य रूप से कपल्ड दिखता है, जबकि गुणा (multiplication) कमजोर है।
ग्रेडिएंट SED की सफलता: अपडेट को कच्चे ग्रेडिएंट्स से बदलने पर कपलिंग रेश्यो 30–100 $\times$ बढ़ जाता है ( $\bar{R}_k \approx 100\text{--}330\times$ $\overset{ˉ}{R}_{k} \approx 100 - 330 \times$ )।
- गुणा (Multiplication) सबसे मजबूत कपल्ड कार्य बन जाता है, जो अपडेट SED रैंकिंग को उलट देता है।
- "ऑप-स्प्रेड" (कार्यों के बीच भिन्नता) काफी कम हो जाता है।
रोलिंग विंडो की भूमिका: $W=1$ (इंस्टेंटेनियस ग्रेडिएंट) पर उच्च कपलिंग यह सुझाव देती है कि ग्रेडिएंट दिशा ही प्राथमिक चालक है। रोलिंग विंडो ( $W=20$ ) मुख्य रूप से एक डिनोइजिंग मैकेनिज्म के रूप में कार्य करती है, जो सिग्नल को मोनोटोनिक रूप से कम करती है लेकिन रैंडम की तुलना में कई गुना अधिक सिग्नल बनाए रखती है।

B. मल्टीटास्क परिणाम: एकत्रीकरण की महत्वपूर्ण विफलता

अपडेट SED का पतन: मल्टीटास्क ट्रेनिंग में, अपडेट SED पूरी तरह विफल हो जाता है, जिससे $\bar{R}_k \le 1$ (रैंडम से भी बदतर) प्राप्त होता है। एकत्रित ऑप्टिमाइज़र अपडेट, जो चार प्रतिस्पर्धी उद्देश्यों को संतुलित करता है, किसी भी एकल कार्य के फीचर-प्रासंगिक सबस्पेस के लंबवत (orthogonal) हो जाता है।
ग्रेडिएंट SED की रिकवरी: पर-ऑप ग्रेडिएंट SED का उपयोग करने से मजबूत कपलिंग ( $\bar{R}_k \approx 20\text{--}45\times$ $\overset{ˉ}{R}_{k} \approx 20 - 45 \times$ ) वापस मिल जाती है।
- महत्वपूर्ण रूप से, मल्टीटास्क ग्रेडिएंट SED सिग्नल, सिंगल-टास्क अपडेट SED सिग्नल की तुलना में अधिक मजबूत है।
- यह सिद्ध करता है कि फीचर निर्माण मल्टीटास्क सेटिंग्स में मजबूत है, लेकिन यह ऑप्टिमाइज़र के अपडेट स्टेप में प्रतिस्पर्धी ग्रेडिएंट्स के एकत्रीकरण द्वारा छिपा हुआ है।

C. कॉज़ल इंटरवेंशन: रैंक बनाम दिशा

त्वरण (Acceleration): अपडेट को Rank-3 सबस्पेस तक सीमित करने से ग्रोकिंग लगभग 2.3 $\times$ तेज हो जाता है।
दिशा स्वतंत्रता (Direction Independence): यह त्वरण तब भी होता है जब सबस्पेस SED आधार (फीचर-अलाइन्ड) हो या रैंडम आधार हो।
- ग्रेडिएंट प्रोजेक्शन: जब ग्रेडिएंट को ऑप्टिमाइजेशन से पहले प्रोजेक्ट किया जाता है, तो SED सबस्पेस को हटाने (रैंडम रखना) का कोई नकारात्मक प्रभाव नहीं पड़ता है, और केवल रैंडम रैंक-3 रखना भी उतना ही तेज करता है जितना कि SED आधार को रखना।
- अपडेट प्रोजेक्शन: प्रारंभिक प्रयोगों ने सुझाव दिया था कि SED को हटाने से मदद मिलती है, लेकिन यह AdamW के आंतरिक मोमेंटम/एडेप्टिव स्केलिंग द्वारा जानकारी वापस लीक करने का एक आर्टिफैक्ट था। ग्रेडिएंट प्रोजेक्शन इस आर्टिफैक्ट को समाप्त कर देता है।
निष्कर्ष: रैंक बाधा (रेडंडेंसी को कम करना) ही त्वरण का कारण है, न कि विशिष्ट दिशा। अटेंशन पर प्राकृतिक AdamW अपडेट "रैंक-रेडंडेंट" है, जिसमें ग्रोकिंग ट्रांजिशन के दौरान ज्यादातर गैर-कार्यात्मक गति शामिल होती है।

4. मुख्य योगदान (Key Contributions)

मेथोडोलॉजिकल शिफ्ट: यह प्रदर्शित करता है कि फीचर निर्माण के स्पेक्ट्रल विश्लेषण के लिए ग्रेडिएंट संरचना, न कि ऑप्टिमाइज़र ट्राजेक्टरी, सही ऑब्जेक्ट है। ऑप्टिमाइज़र अपडेट गुणात्मक विकृति पैदा करते हैं जो फीचर-प्रासंगिक दिशाओं को छिपा देते हैं।
मल्टीटास्क इंटरप्रिटेबिलिटी: प्रतिस्पर्धी कार्यों के बीच ग्रेडिएंट एकत्रीकरण को सर्किट-स्तरीय व्याख्या के लिए एक सामान्य बाधा के रूप में पहचानता है। मल्टीटास्क ट्रेनिंग में फीचर संरचना को पुनः प्राप्त करने के लिए कार्य-विशिष्ट ग्रेडिएंट विश्लेषण आवश्यक है।

कॉज़ल स्पष्टीकरण: यह दिखाता है कि हालांकि ग्रेडिएंट-व्युत्पन्न दिशाएँ फीचर निर्माण के मजबूत डायग्नोस्टिक्स हैं, वे अनन्य रूप से कॉज़ल नहीं हैं। अपडेट का लो-रैंक स्वभाव ही मुख्य कारक है, न कि ग्रेडिएंट बेसिस के साथ विशिष्ट संरेखण।

आर्टिफैक्ट की पहचान: यह प्रकट करता है कि ग्रोकिंग में पिछले "रैंक-1 मैनिफोल्ड" अवलोकन आंशिक रूप से AdamW अपडेट में निहित शोर और विरूपण द्वारा अस्पष्ट थे।

5. महत्व (Significance)

इंटरप्रिटेबिलिटी के लिए: यह कार्य फीचरों को खोजने के लिए पैरामीटर अपडेट ट्राजेक्टरीज़ (जैसे वेट डिफरेंस पर PCA) के विश्लेषण के मानक अभ्यास को चुनौती देता है। यह तर्क देता है कि ऐसी विधियाँ विशेष रूप से जटिल मल्टीटास्क या बड़े पैमाने की सेटिंग्स (जैसे Mixture-of-Experts) में फीचर निर्माण को व्यवस्थित रूप से कम आंकती हैं।
ट्रेनिंग डायनेमिक्स के लिए: यह सुझाव देता है कि AdamW जैसे ऑप्टिमाइज़र्स द्वारा लिया गया "प्राकृतिक" पथ अक्सर अक्षम और रेडंडेंट होता है। अनुकूलन को निचले रैंक तक सीमित करने से प्रदर्शन से समझौता किए बिना लर्निंग को काफी तेज किया जा सकता है।
भविष्य की दिशाएं: ये निष्कर्ष संकेत देते हैं कि बड़े पैमाने के मॉडल्स (LLMs, इंस्ट्रक्शन ट्यूनिंग) के लिए, यह समझना आवश्यक है कि विशिष्ट सर्किट कैसे बनते, इसके लिए एकत्रित ट्राजेक्टरी विश्लेषण के बजाय प्रति-कार्य ग्रेडिएंट (या एम्पिरिकल फिशर पर Lanczos जैसे अनुमान) का विश्लेषण करना अनिवार्य है।

संक्षेप में, यह शोध पत्र तर्क देता है कि ग्रेडिएंट सिग्नल है, और ऑप्टिमाइज़र शोर है। न्यूरल नेटवर्क कैसे फीचर्स सीखते हैं, इसे समझने के लिए, हमें पैरामीटर स्पेस के माध्यम से ऑप्टिमाइज़र द्वारा लिए गए विकृत पथ के बजाय कच्चे ग्रेडिएंट लैंडस्केप का विश्लेषण करना चाहिए, विशेष रूप से कार्य-वार (per-task) अपघटन के साथ।