🤖 machine learning

Measuring Dead Directions: Decomposing and Classifying Singular Structure off Canonical Alignment

यह शोध पत्र एक एकल चेकपॉइंट से दिशात्मक-फिशर दर (directional-Fisher rate) से दिशा-विशिष्ट शिक्षण क्रमों को निकालकर, वैश्विक शिक्षण गुणांकों को पुनः प्राप्त करने और कैनोनिकल संरेखण या डिसेंट पूर्वशर्तों की आवश्यकता के बिना सिंगुलर उतार-चढ़ाव को मैप करने के माध्यम से, प्रशिक्षित न्यूरल नेटवर्क में सिंगुलर संरचनाओं को मापने और वर्गीकृत करने के लिए एक नियतात्मक, संरेखण-मुक्त विधि प्रस्तुत करता है।

मूल लेखक: Tejas Pradeep Shirodkar

प्रकाशित 2026-07-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tejas Pradeep Shirodkar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, जटिल मशीन (एक न्यूरल नेटवर्क) है जिसे कोई काम करने के लिए प्रशिक्षित किया गया है। समय के साथ, जैसे-जैसे यह सीखता है, इसके कुछ आंतरिक हिस्से काम करना बंद कर देते हैं या अनावश्यक हो जाते हैं। डीप लर्निंग की दुनिया में, इन्हें "डेड डायरेक्शन्स" (dead directions) कहा जाता है।

यह शोध पत्र इन मृत हिस्सों को मापने और समझने का एक नया तरीका पेश करता है, जिसके लिए आपको मशीन को फिर से शुरू करने या इसे एक लंबी, धीमी प्रक्रिया से गुजारने की आवश्यकता नहीं है। यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "भूतिया" हिस्सों को खोजना

एक प्रशिक्षित न्यूरल नेटवर्क को ऊन के एक विशाल, उलझे हुए गोले की तरह समझें। कुछ धागे कसे हुए हैं और काम कर रहे हैं (जीवित हिस्से), जबकि अन्य ढीले, शिथिल या पूरी तरह से बेकार हैं (मृत हिस्से)।

पुराना तरीका: इन बेकार धागों को खोजने के लिए, वैज्ञानिक पहले ऊन को धीरे-धीरे अलग करते थे (descent) या उसे एक रूलर के साथ पूरी तरह से संरेखित (canonical alignment) करते थे ताकि यह देखा जा सके कि कहाँ ढीलापन है। यदि ऊन मुड़ा हुआ था या रूलर टेढ़ा था, तो वे मृत हिस्सों को नहीं खोज पाते थे।
नया तरीका: यह शोध पत्र एक "फ्लैशलाइट" (टॉर्च) विधि प्रदान करता है। आप मशीन पर ठीक वैसे ही रोशनी डाल सकते हैं जैसा वह अभी स्थित है (एक फ्रोजन चेकपॉइंट), भले ही वह मुड़ी हुई या बिखरी हुई हो, और तुरंत मृत हिस्सों की पहचान कर सकते हैं।

2. उपकरण: "डायरेक्शनल फिशर" स्कैन

लेखक एक उपकरण का उपयोग करते हैं जिसे डायरेक्शनल फिशर (Directional Fisher) कहा जाता है। कल्पना कीजिए कि आपके पास मशीन में एक विशिष्ट दिशा है जिसे आप टेस्ट करना चाहते हैं।

परीक्षण: आप मशीन को उस दिशा में थोड़ा सा धकेलते हैं और देखते हैं कि "त्रुटि" (काम की कठिनाई) कितनी बदलती है।
परिणाम:
- यदि मशीन उस दिशा में जीवित है, तो त्रुटि तुरंत बदल जाती है (जैसे एक सख्त स्प्रिंग को धकेलना)।
- यदि मशीन उस दिशा में मृत है, तो त्रुटि बढ़ने से पहले कुछ समय के लिए स्थिर रहती है।
- "ऑर्डर" ( $k$ ): यह शोध पत्र मापता है कि वह स्थिर स्थान (flat spot) कितनी देर तक रहता है। इस अवधि को "ऑर्डर" कहा जाता है।
  - एक छोटा स्थिर स्थान बताता है कि हिस्सा केवल थोड़ा सा मृत है।
  - एक लंबा, गहरा स्थिर स्थान बताता है कि हिस्सा पूरी तरह से मृत है (एक सिंगुलैरिटी/singularity)।
  - यह "ऑर्डर" हमें बताता है कि उस विशिष्ट स्थान पर मशीन ने कितनी जटिलता खो दी है।

3. ट्विस्ट: यह तब भी काम करता है जब मशीन मुड़ी हुई हो

आमतौर पर, इसे मापने के लिए मृत हिस्से को मशीन के आंतरिक ग्रिड के साथ पूरी तरह से संरेखित (align) होना पड़ता था (जैसे ग्राफ पेपर पर एक सीधी रेखा)। लेकिन वास्तविक मशीनें इन मृत हिस्सों को तिरछा या घुमावदार बना देती हैं।

उपमा: कल्पना कीजिए कि आप एक छाया की लंबाई मापने की कोशिश कर रहे हैं। यदि सूरज एक अजीब कोण पर है, तो छाया टेढ़ी होगी। पुराने तरीके कहते थे, "हम इसे तब तक नहीं माप सकते जब तक सूरज सीधे ऊपर न हो।"
नवाचार: यह नया तरीका कहता है, "हमें कोण की परवाह नहीं है।" यह गणितीय रूप से मशीन के आंतरिक डेटा से सही "छाया" (मृत दिशा) का निर्माण कर सकता है और इसे पूरी तरह से माप सकता है, भले ही वह 45 डिग्री पर घूम गई हो।

4. मृत हिस्सों को छाँटना: "वास्तविक मृत्यु" बनाम "नकली मृत्यु"

यह शोध पत्र हमें दो प्रकार के "मृत" दिशाओं के बीच अंतर करना भी सिखाता है:

वास्तविक मृत्यु (नोड-डेथ - Node-Death): एक हिस्सा जो वास्तव में काम करना बंद कर चुका है क्योंकि मशीन ने सीख लिया कि उसे इसकी आवश्यकता नहीं है। यह जटिलता की एक स्थायी हानि है। मशीन इस विशेषता (feature) को "भूल" गई है।
गेज सिमेट्री (Gauge Symmetry - नकली मृत्यु): एक हिस्सा जो मृत दिखता है लेकिन वास्तव में मशीन के डिज़ाइन का एक नियम है। यह एक ऐसे दरवाजे की तरह है जो बंद दिखता है लेकिन वास्तव में वह केवल एक सजावटी पैनल है जिसे कभी खोलने के लिए नहीं बनाया गया था। यह सीखने की हानि नहीं है; यह केवल आर्किटेक्चर की एक विशेषता है।
समाधान: यह विधि "सपाटपन की गहराई" (depth of flatness) को देखती है। वास्तविक मृत्यु का एक विशिष्ट गणितीय हस्ताक्षर होता है; नकली मृत्यु (गेज) एक अलग स्तर पर होती है। यह शोध पत्र स्वचालित रूप से उन्हें अलग करता है।

5. यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

गति: यह अविश्वसनीय रूप से तेज़ है। आपको मॉडल को फिर से प्रशिक्षित करने या जटिल सिमुलेशन चलाने की आवश्यकता नहीं है। आप बस एक स्नैपशॉट लेते हैं और एक त्वरित गणना करते हैं।
स्पष्टता: पूरे मशीन की जटिलता के लिए एक अस्पष्ट संख्या देने के बजाय, यह विधि इसे विभाजित करती है। यह आपको बताता है: "यहाँ प्रकार A के 5 मृत हिस्से हैं, और प्रकार B के 3 मृत हिस्से हैं।"
सटीकता: यह विभिन्न प्रकार की मशीनों (ट्रांसफॉर्मर्स, कन्वोल्यूशनल नेटवर्क) और विभिन्न परतों (layers) पर काम करता है, जो यह सिद्ध करता है कि मृत्यु का "ऑर्डर" केवल संयोग नहीं है, बल्कि मशीन के डिज़ाइन (जैसे कि उपयोग किए गए एक्टिवेशन फंक्शन का प्रकार) द्वारा निर्धारित होता है।

सारांश

यह शोध पत्र हमें न्यूरल नेटवर्क के लिए एक निश्चित (deterministic), त्वरित एक्स-रे प्रदान करता है। यह हमें एक प्रशिक्षित AI को देखने, यह खोजने, कि कौन से हिस्से बेकार हो गए हैं, यह मापने कि वे कितने बेकार हैं, और यह अंतर करने की अनुमति देता है कि कौन से हिस्से वास्तव में सीखने के कारण मृत हुए हैं और कौन से हिस्से केवल सजावटी होने के लिए डिज़ाइन किए गए थे—और यह सब बिना मशीन को पूरी तरह से संरेखित किए या उसे किसी धीमी ट्रेनिंग लूप से गुजारे।

तकनीकी सारांश: कैनोनिकल अलाइनमेंट से हटकर डेड डायरेक्शंस (Dead Directions) का मापन

समस्या विवरण (Problem Statement)
सिंगुलर लर्निंग थ्योरी (Singular Learning Theory) वातानाबे ट्रिपल (Watanabe triple) के माध्यम से प्रशिक्षित न्यूरल नेटवर्क को लक्षणित करती है: लर्निंग कोएफिशिएंट ( $\lambda$ ), मल्टीप्लिसिटी ( $m$ ), और सिंगुलर फ्लक्चुएशन ( $\nu$ )। ये इनवेरियंट्स (invariants) बेयसियन फ्री एनर्जी और जनरलाइजेशन एरर को नियंत्रित करते हैं। हालांकि, वास्तविक नेटवर्कों पर इन्हें मापना महंगा होता है और अक्सर स्टोकेस्टिक पोस्टीरियर सैंपलिंग (जैसे SGLD) पर निर्भर करता है, जो केवल एक वैश्विक स्केलर (global scalar) देता है बिना विशिष्ट नेटवर्क कोऑर्डिनेट्स तक संरचना को स्थानीयकृत किए। पूर्ववर्ती नियतात्मक (deterministic) विधियों के लिए सिंगुलैरिटी के "ऑर्डर" ( $k$ ) को पढ़ने के लिए दो प्रतिबंधात्मक पूर्वशर्तों की आवश्यकता थी: कैनोनिकल अलाइनमेंट (डेड डायरेक्शन को हर लेयर में कोऑर्डिनेट एक्सिस के साथ संरेखित होना चाहिए) और डिसेंट (descent) (रीडिंग को ट्रेनिंग ट्राजेक्टरी के साथ होनी चाहिए जो सिंगुलैरिटी की ओर बढ़ रही हो)। वास्तविक प्रशिक्षित नेटवर्क अक्सर इन शर्तों का उल्लंघन करते हैं, जिससे डेड डायरेक्शंस एक्सिस से हटकर घूम जाते हैं या ऐसे विसरित (diffuse) ढांचे बनाते हैं जिन्हें मानक प्रति-कोऑर्डिनेट स्कैन नहीं पकड़ पाते।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक डिसेंट-फ्री (descent-free), अलाइनमेंट-फ्री (alignment-free) मेजरमेंट पाइपलाइन प्रस्तावित करता है जो एक एकल फ्रोजन चेकपॉइंट (frozen checkpoint) पर कार्य करती है। यह विधि दो चरणों से बनी है: डिटेक्शन (Detection) और रीडिंग (Reading)।

डिटेक्शन (आर्किटेक्चर-अनुकूल):
- डिटेक्टर लेयर के नेचुरल सेकंड-मोमेंट ऑब्जेक्ट के नियर-कर्नेल (near-kernel) की पहचान करके "डेड डायरेक्शन" ( $u$ ) का पता लगाता है।
- जेनेरिक लेयर्स के लिए, यह K-FAC (Kronecker-factored approximate curvature) फैक्टर पेयर ( $A \otimes G$ ) का उपयोग करता है, जो A-G द्वैत (duality) का लाभ उठाता है: यदि इनपुट कोवेरिएंस ( $A$ ) दिशा को अलग करने में विफल रहता है, तो आउटपुट-ग्रेडिएंट कोवेरिएंस ( $G$ ) सफल होता है, और इसके विपरीत।
- कनवोल्यूशनल लेयर्स के लिए, यह स्पैटियल-पैच कोवेरिएंस का उपयोग करता है; लेयरनॉर्म (LayerNorm) के लिए, यह नॉर्मलाइजेशन स्केल के क्लोज्ड-फॉर्म कर्नेल का उपयोग करता है।
- महत्वपूर्ण रूप से, यह विधि फिशर स्पेक्ट्रम की खोज करने के बजाय इन फैक्टर्स से संयुक्त मोड (joint mode) का निर्माण करती है, जिससे "गेज फ्लोर" (फ्लैट सिमेट्री डायरेक्शंस) और उन null spaces से बचा जा सके जो ऑर्डर-कैरिंग मोड से नीचे होते हैं।
रीडिंग (डिसेंट-फ्री स्कैन):
- एक बार जब दिशा $u$ नामांकित हो जाती है, तो विधि एक सिंथेटिक स्कैन करती है: $\theta(t) = \theta_0 + tu$ , जहाँ $\theta_0$ एक फ्रोजन चेकपॉइंट है।
- यह इस स्कैन के साथ डायरेक्शनल फिशर $F(\theta(t))$ को मापता है।
- फिशर की ग्रोथ रेट से ऑर्डर $k$ को रिकवर किया जाता है: $u^\top F(\theta(t)) u = \Theta(t^{2(k-1)})$ ।
- एक प्योरिटी-मैच्ड विंडो (purity-matched window) सेलेक्टर एसिम्प्टोटिक रिजीम ( $t \to 0$ ) को आइसोलेट करता है, जिससे फिट क्वालिटी ( $r^2 > 0.95$ ) को अधिकतम किया जा सके, यह सुनिश्चित करते हुए कि रिकवर्ड एक्सपोनेंट लोअर-ऑर्डर कंपोनेंट्स या गेज नॉइज़ से दूषित न हो।
- विधि दिशाओं को उनके परिमाण (magnitude) और ढलान (slope) के आधार पर वर्गीकृत करती है: एक सीमित ढलान एक जेन्युइन सिंगुलैरिटी (जैसे नोड-डेथ, डेप्थ सिंगुलैरिटी) को इंगित करती है, जबकि "फ्लोर" पर एक फ्लैट मैग्नीट्यूड एक गेज सिमेट्री (जैसे लेयरनॉर्म कर्नेल, रोटेशन) को दर्शाता है।

मुख्य योगदान (Key Contributions)

अलाइनमेंट-फ्री ऑर्डर रिकवरी: यह विधि बिना किसी आवश्यकता के कि डेड डायरेक्शन को कोऑर्डिनेट एक्सिस के साथ संरेखित होना चाहिए, प्रति-दिशा ऑर्डर $k$ (और इस प्रकार स्थानीय लर्निंग कोएफिशिएंट $\lambda_{dir} = 1/(2k)$ ) को रिकवर करती है। यह उन रोटेटेड नोड-डेथ्स को सफलतापूर्वक पढ़ सकती है जहाँ मानक स्कैन विफल हो जाते हैं।
डेड स्ट्रक्चर का वर्गीकरण (Taxonomy of Dead Structure): यह विधि डेड डायरेक्शंस को जेन्युइन सिंगुलैरिटीज (एक्टिवेशन एनालिटिक ऑर्डर या नेटवर्क डेप्थ द्वारा निर्धारित सीमित ऑर्डर) और फ्लैट गेजेस (अनंत ऑर्डर, जो मल्टीप्लिसिटी में योगदान देते हैं लेकिन कॉम्प्लेक्सिटी में नहीं) में वर्गीकृत करती है। यह कर्व्ड गेज ऑर्बिट्स (जो ढलान में सीमित ऑर्डर की नकल करते हैं) और वास्तविक सिंगुलैरिटीज के बीच अंतर करने के लिए एक मैग्नीट्यूड-आधारित मानदंड पेश करती है।
डिटरमिनिस्टिक डिकंपोजिशन: पोस्टीरियर सैंपलर के विपरीत जो एक सिंगल ग्लोबल $\lambda$ लौटाते हैं, यह विधि जटिलता को प्रति-दिशा ऑर्डर और डेड-सबस्पेस डायमेंशन (प्रमुख ऑर्डर वाले दिशाओं की संख्या) में विभाजित करती है।
ऑप्टिमाइज़र-डिपेंडेंट ज्योमेट्री: अध्ययन यह प्रदर्शित करता है कि जबकि ऑर्डर आर्किटेक्चर (एक्टिवेशन फंक्शन या डेप्थ) द्वारा निर्धारित होता है, डेड स्ट्रक्चर का आधार (basis) और शार्पनेस ऑप्टिमाइज़र द्वारा निर्धारित होती है। ऑर्थोगोनलाइजिंग ऑप्टिमाइज़र साफ और पठनीय संरचनाएं बनाते हैं, जबकि मानक ऑप्टिमाइज़र संरचनाओं को बहुत विसरित या रोटेटेड छोड़ सकते हैं जिसे कैनोनिकल विधियों द्वारा पढ़ा नहीं जा सकता।
वातानाबे ट्रिपल का मैपिंग:
- ऑर्डर ( $k$ ): यूनिवर्सल सिंगुलर फ्लक्चुएशन $\nu(k)$ को निर्धारित करता है।
- मल्टीप्लिसिटी ( $m$ ): नॉर्मल-क्रॉसिंग धारणा के तहत डेड-सबस्पेस डायमेंशन से रिकवर किया जाता है।
- फ्लक्चुएशन ( $\nu$ ): पेपर दिखाता है कि जबकि ऑर्डर सैद्धांतिक $\nu(k)$ को फिक्स करता है, एक प्रशिक्षित नेटवर्क का वास्तविक (realized) $\nu$ इस यूनिवर्सल वैल्यू से कम होता है क्योंकि "लाइव" स्ट्रक्चर उस डेटा फ्लक्चुएशन को सोख लेती है जो डेड डायरेक्शन के लिए होता है।

परिणाम (Results)

निर्मित सेल्स (Constructed Cells) पर वैलिडेशन: विधि अनुमानित ऑर्डर्स को सटीक रूप से रिकवर करती है ( $k=2$ के लिए GELU/ReLU नोड-डेथ, $k=3$ के लिए स्क्वेयर्ड-ReLU, $k=L$ के लिए डेप्थ- $L$ लीनियर नेटवर्क) जिसमें $r^2 \approx 1.000$ है।
वास्तविक नेटवर्क:
- फ्रॉम-स्क्रैच ViT: MLP ब्लॉक्स में रोटेटेड नोड-डेथ्स के लिए एक्टिवेशन-प्रेडिक्टेड ऑर्डर ( $k \approx 2$ या $3$) को सफलतापूर्वक रिकवर करता है, जबकि प्रति-कोऑर्डिनेट स्कैन विचलित मान देते हैं।
- फाइन-ट्यूनिंग DINOv2: कोई नोड-डेथ नहीं पाता है, बल्कि डेड स्ट्रक्चर को आर्किटेक्चरल गेजेस (लेयरनॉर्म-कर्नेल, अटेंशन QK रोटेशन) के रूप में वर्गीकृत करता है, जो सीखा गया सिंगुलैरिटी और सिमेट्री के बीच अंतर करने की विधि की क्षमता की पुष्टि करता है।
- ऑप्टिमाइज़र तुलना: वैनिला Muon अक्सर डेड स्ट्रक्चर को पढ़ने के लिए बहुत विसरित छोड़ देता है, जबकि स्केल्ड-पोलर ऑर्थोगोनलाइज़र साफ, एक्सिस-अलाइन्ड या रोटेटेड स्ट्रक्चर बनाते हैं जिन्हें यह विधि सटीक रूप से पढ़ती है।
ग्लोबल कोएफिशिएंट: उन एनालिटिक मॉडल्स पर जहाँ सिंगुलर स्ट्रक्चर गणनीय (enumerable) है, असेंबल किए गए प्रति-दिशा ऑर्डर मशीन प्रिसिजन के साथ क्लोज्ड-फॉर्म ग्लोबल $\lambda$ से मेल खाते हैं।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि यह ऑर्डर रिकवरी को एक डिटरमिनिस्टिक, आर्किटेक्चर-जनरल रीडिंग में बदल देता है जो पूर्ववर्ती कार्यों की कैनोनिकल-अलाइनमेंट और डिसेंट पूर्वशर्तों को हटा देता है। यह लर्निंग कोएफिशिएंट को डीकंपोज करने के लिए महंगे पोस्टीरियर सैंपलिंग का एक "सस्ता" (एकल फॉरवर्ड/बैकवर्ड पास) विकल्प प्रदान करता है।

लेखक अपनी सीमा के संबंध में विनम्रता व्यक्त करते हैं:

यह 'रीड' इस बात पर कंडीशनल है कि डिटेक्टर सफलतापूर्वक दिशा नामांकित करे; यह रैंडम दिशाओं में संरचना नहीं खोजता।
यह ऑप्टिमाइज़र द्वारा छोड़ी गई संरचना का लक्षण वर्णन करता है; यदि ऑप्टिमाइज़र एक विसरित समाधान छोड़ता है (जैसे डीप ट्रांसफॉर्मर पर वैनिला Muon), तो रिकवर करने के लिए कोई साफ ऑर्डर नहीं होता।
हालांकि यह ऑर्डर और लोकल कोएफिशिएंट को सटीक रूप से रिकवर करता है, प्रशिक्षित नेटवर्कों में वास्तविक सिंगुलर फ्लक्चुएशन लाइव-स्ट्रक्चर अवशोषण द्वारा दबा दिया जाता है, जिसका अर्थ है कि यूनिवर्सल $\nu(k)$ एक ऊपरी सीमा (upper bound) है, न कि सटीक वास्तविक मान।
यह विधि वर्तमान में केवल "गणनीय" (enumerable) संरचनाओं को संभालती है; जटिल डिटर्मिनेंटल वैरायटी (जैसे वाइड मैट्रिक्स डीप लीनियर नेटवर्क) के लिए, ग्लोबल असेंबली के लिए अभी भी पोस्टीरियर सैंपलिंग या अधिक उन्नत बीजगणितीय समाधान की आवश्यकता हो सकती है।

संक्षेप में, यह पेपर एक फ्रोजन चेकपॉइंट पर प्रशिक्षित नेटवर्कों की सिंगुलर ज्योमेट्री को "पढ़ने" के लिए एक व्यावहारिक ढांचा स्थापित करता है, जो जटिलता का एक विस्तृत, प्रति-दिशा मानचित्र प्रदान करता है जो वैश्विक सैंपलिंग विधियों का पूरक है।