🤖 machine learning

Dead-Direction Signatures: A Cheap Spectral Reading of Singular Complexity

यह शोध पत्र डेड-डायरेक्शन सिग्नेचर (DDS) प्रस्तुत करता है, जो एक गणनात्मक रूप से कुशल, क्लोज्ड-फॉर्म स्पेक्ट्रल विधि है जो एक्टिवेशन और ग्रेडिएंट स्पेक्ट्रा का विश्लेषण करके स्थानीय लर्निंग कोएफिशिएंट का अनुमान लगाती है और डीप नेटवर्क में रैंक-डेफिसिट सिंगुलैरिटीज़ को ट्रैक करती है, जो पारंपरिक सिंगुलर लर्निंग थ्योरी के लिए आवश्यक महंगी स्टोकेस्टिक सैंपलिंग का एक स्केलेबल विकल्प प्रदान करती है।

मूल लेखक: Tejas Pradeep Shirodkar, P. J. Narayanan

प्रकाशित 2026-06-23

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tejas Pradeep Shirodkar, P. J. Narayanan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: एक स्मार्ट मशीन के "आकार" को मापना

कल्पना कीजिए कि आपने एक बहुत ही जटिल मशीन (एक डीप न्यूरल नेटवर्क) बनाई है जो समस्याओं को हल करना सीखती है। आप जानना चाहते हैं: यह मशीन वास्तव में कितनी जटिल है? क्या यह एक साधारण उपकरण है, या यह एक विशाल, ज़रूरत से ज़्यादा बना हुआ जीव है जिसमें बहुत सारे छिपे हुए, बेकार हिस्से हैं?

AI की दुनिया में, इस जटिलता को मापने का एक प्रसिद्ध और बहुत महंगा तरीका है जिसे LLC (लोकल लर्निंग कोएफिशिएंट) कहा जाता है। LLC को एक उच्च श्रेणी वाली, धीमी गति वाली एक्स-रे मशीन की तरह समझें। रीडिंग प्राप्त करने के लिए, आपको मशीन को एक विशाल, समय लेने वाले सिमुलेशन (लाखों स्टेप्स) के माध्यम से चलाना पड़ता है ताकि यह देख सके कि यह अपने "ब्रेकिंग पॉइंट्स" (सिंगुलैरिटीज़) के पास कैसा व्यवहार करती है। यह सटीक है, लेकिन यह इतना धीमा और महंगा है कि आप इसका अक्सर उपयोग नहीं कर सकते, खासकर आधुनिक बड़े AI मॉडल्स पर।

यह पेपर एक नया, सस्ता और तेज़ तरीका पेश करता है जिसे DDS (डेड-डायरेक्शन सिग्नेचर) कहा जाता है। एक धीमी सिमुलेशन चलाने के बजाय, DDS मशीन के आंतरिक गियरों की एक त्वरित "स्नैपशॉट" लेता है और तुरंत आपको बताता है कि उनमें से कितने टूटे हुए या बेकार हैं।

मुख्य अवधारणा: "डेड डायरेक्शन्स" (मृत दिशाएँ)

DDS को समझने के लिए, कल्पना कीजिए कि एक कार सड़क पर चल रही है।

एक्टिव डायरेक्शन्स (सक्रिय दिशाएँ): ये वे पहिए हैं जो वास्तव में घूम रहे हैं और कार को आगे बढ़ा रहे हैं।
डेड डायरेक्शन्स (मृत दिशाएँ): ये वे पहिए हैं जो अटक गए हैं, अपनी जगह पर ही घूम रहे हैं, या ऐसी दिशा में इशारा कर रहे हैं जहाँ कार नहीं जा सकती। वे "डेड" हैं।

एक जटिल AI मॉडल में, कई "दिशाएं" होती हैं जिनमें मॉडल सैद्धांतिक रूप से बदलाव कर सकता है। हालाँकि, जब मॉडल एक विशिष्ट कार्य सीखता है, तो इनमें से कई दिशाएं "डेड" हो जाती हैं। मॉडल को अब उनकी ज़रूरत नहीं होती; वे अनावश्यक (redundant) हो जाती हैं।

पेपर का मुख्य दावा है: आप इन "डेड डायरेक्शन्स" को केवल संख्याओं की दो सरल सूचियों (स्पेक्ट्रा) को देखकर पा सकते हैं जो मॉडल एक सामान्य रन के दौरान उत्पन्न करता है:

एक्टिवेशन लिस्ट: मॉडल क्या "देखता" है (परतों का आउटपुट)।
ग्रेडिएंट लिस्ट: मॉडल कैसे "महसूस" करता है कि उसे कैसे बदलना चाहिए (त्रुटि संकेत)।

तीन "सिग्नेचर" (सस्ते रीडिंग)

लेखक इन सूचियों को पढ़ने के तीन विशिष्ट तरीके प्रस्तावित करते हैं। इन्हें एक मैकेनिक के किट के तीन अलग-अलग उपकरणों के रूप में समझें:

"सबसे छोटा गियर" चेक (रेट ऑब्जर्वेबल):
- उपमा: ट्रांसमिशन में सबसे छोटे गियर की जांच करने की कल्पना करें। यदि मशीन पूरी तरह से काम कर रही है, तो सबसे छोटा गियर अभी भी घूमने के लिए पर्याप्त बड़ा है। यदि मशीन में "डेड डायरेक्शन्स" हैं, तो वह सबसे छोटा गियर लगभग शून्य तक सिकुड़ जाता है।
- दावा: मॉडल के ग्रेडिएंट लिस्ट में सबसे छोटी संख्या को देखकर, DDS तुरंत पता लगा सकता है कि क्या कोई डेड डायरेक्शन मौजूद है। यह एक ऐसी आवाज़ सुनने जैसा है जो बताती है कि एक पहिया फँसा हुआ है।
"वॉल्यूम" चेक (वॉल्यूम ऑब्जर्वेबल):
- उपमा: एक गुब्बारे की कल्पना करें। यदि आपके पास एक डेड डायरेक्शन है, तो गुब्बारा थोड़ा पिचक जाता है। यदि आपके पास दो डेड डायरेक्शन्स हैं, तो यह और भी अधिक पिचक जाता है।
- दावा: यह पेपर का "स्मोकिंग गन" (पुख्ता सबूत) है। लेखकों ने एक गणितीय नियम पाया है: यदि आप मॉडल के सक्रिय हिस्सों के कुल "वॉल्यूम" को मापते हैं, तो इसके सिकुड़ने की दर आपको बिल्कुल सटीक बताती है कि कितने डेड डायरेक्शन्स हैं।
- यह विशेष क्यों है: पिछले तरीके केवल यह कह सकते थे कि "कुछ गलत है।" यह तरीका कह सकता है कि "ठीक 3 डेड डायरेक्शन्स हैं," और यह एक विशिष्ट गणितीय अनुपात के साथ करता है (उदाहरण के लिए, यदि 3 डेड डायरेक्शन्स हैं, तो वॉल्यूम 1 डेड डायरेक्शन की तुलना में 3 गुना तेज़ी से सिकुड़ता है)।
"मिरर" चेक (स्ट्रक्चरल कोरिलेशन):
- उपमा: दर्पण में प्रतिबिंब देखने की कल्पना करें। यदि वस्तु बाईं ओर चलती है, तो प्रतिबिंब दाईं ओर चलता है।
- दावा: पेपर दिखाता है कि मॉडल के "देखने" वाली सूची (एक्टिवेशंस) में "सबसे छोटा गियर" और उसके "महसूस करने" वाली सूची (ग्रेडिएंट्स) में "सबसे छोटा गियर" पूरी तरह से जुड़े हुए हैं। यदि एक सिकुड़ता है, तो दूसरा एक अनुमानित तरीके से सिकुड़ता है। यह एक सुरक्षा जांच के रूप में कार्य करता है ताकि यह सुनिश्चित हो सके कि रीडिंग वास्तविक है न कि केवल कोई गड़बड़ी।

यह क्यों मायने रखता है ("सस्ता" वाला हिस्सा)

पेपर अपने नए तरीके (DDS) की तुलना पुराने, महंगे तरीके (LLC) से करता है।

पुराना तरीका (LLC): जटिलता की रीडिंग प्राप्त करने के लिए, आपको सिमुलेशन के 4,400 से 1,000,000 स्टेप्स चलाने होते हैं। यह एक पंख का वजन मापने के लिए एक विशाल तराजू बनाने, उसे एक सप्ताह तक कैलिब्रेट करने और फिर उसे तौलने जैसा है।
नया तरीका (DDS): आप बस मॉडल को एक बार चलाते हैं (एक सिंगल फॉरवर्ड पास) और उन नंबरों पर एक त्वरित गणितीय गणना करते हैं जो वह बाहर निकालता है। यह पंख को देखने और तुरंत उसका वजन जानने जैसा है क्योंकि आप पंख के आकार के नियम जानते हैं।

परिणाम:

सरल, परीक्षण योग्य गणितीय समस्याओं पर जहाँ उत्तर ज्ञात है, DDS मुकाबले महंगे तरीके के मुकाबले 99% सटीक था।
एक जटिल "ट्रांसफॉर्मर" मॉडल (जिस प्रकार का उपयोग चैटबॉट्स के लिए किया जाता है) पर, महंगा तरीका अलग-अलग आकार के मॉडलों के बीच अंतर बताने में विफल रहा (यह "फ्लैट" और बेकार था)। हालाँकि, DDS ने सफलतापूर्वक उन्हें अलग किया, जिससे पता चला कि बड़े मॉडलों में छोटे मॉडलों की तुलना में अधिक "डेड डायरेक्शन्स" होते हैं।
DDS, महंगे तरीके की तुलना में 1,000 से 10,000 गुना तेज़ है।

दावों का सारांश

डिटेक्शन (पता लगाना): DDS "डेड डायरेक्शन्स" (मॉडल के बेकार हिस्सों) को तुरंत पहचान सकता है।
काउंटिंग (गिनना): यह केवल उन्हें पाता ही नहीं है; यह उन्हें गिनता भी है। यदि किसी मॉडल में 3 डेड डायरेक्शन्स हैं, तो गणित एक विशिष्ट पैटर्न दिखाता है जो पुष्टि करता है कि वह "3" है।
स्पीड (गति): यह एक विशाल, धीमी सिमुलेशन को एक सरल, क्लोज्ड-फॉर्म गणितीय सूत्र से बदल देता है।
विश्वसनीयता (Reliability): यह विभिन्न प्रकार के मॉडल्स और प्रशिक्षण विधियों में काम करता है, बशर्ते मॉडल ने वास्तव में कार्य को सीखा हो और एक "सिंगुलर" अवस्था (उच्च दक्षता की स्थिति जहाँ उसने अनावश्यक चीजों को हटा दिया है) तक पहुँच गया हो।

यह पेपर क्या दावा नहीं करता है:

यह दावा नहीं करता कि यह बीमारियों का इलाज करेगा या सेल्फ-ड्राइविंग कारें बनाएगा।
यह दावा नहीं करता कि यह हर संभव AI मॉडल पर हर स्थिति में काम करता है (यह नोट करता है कि कुछ विशिष्ट प्रशिक्षण विधियाँ, जैसे कुछ कार्यों पर Adam, "ट्रैजेक्टरी" नियमों को तोड़ सकती हैं, हालांकि "स्टैटिक" स्नैपशॉट अभी भी काम करता है)।
यह दावा नहीं करता कि यह सभी उद्देश्यों के लिए पूरी तरह से महंगे तरीके की जगह लेगा; महंगा तरीका अभी भी एक अलग प्रकार की "बायेसियन" अंतर्दृष्टि प्रदान करता है जो DDS नहीं देता है।

संक्षेप में, यह पेपर हमें AI मॉडल्स के लिए एक स्टेथोस्कोप देता है। मॉडल की जटिलता को समझने के लिए पूर्ण, महंगे पोस्टमार्टम (LLC) करने के बजाय, अब हम इसकी धड़कन (DDS) सुन सकते हैं और तुरंत जान सकते हैं कि इसके कितने आंतरिक हिस्से वास्तव में काम कर रहे हैं और कितने बस बेकार भार हैं।

तकनीकी सारांश: डेड-डायरेक्शन सिग्नेचर (DDS)

समस्या विवरण

सिंगुलर लर्निंग थ्योरी (SLT) अपने ओवरपैरामीटराइज्ड डीप नेटवर्क की जटिलता को उनके लॉस सिंगुलैरिटीज़ (loss singularities) की स्थानीय ज्यामिति के माध्यम से वर्णित करती है। इस ढांचे में प्राथमिक इनवेरिएंट 'रियल लॉग कैनोनिकल थ्रेशोल्ड' (RLCT, जिसे $\lambda$ द्वारा दर्शाया गया है) है, जो एक सिंगुलर मिनिमम के पास मॉडल की प्रभावी जटिलता को मापता है। व्यवहार में, लोकल लर्निंग कोएफिशिएंट (LLC) $\lambda$ के लिए एक मानक एस्टिमेटर के रूप में उभरा है। हालाँकि, LLC का अनुमान लगाना अत्यधिक गणनात्मक रूप से कठिन है, जिसके लिए स्थानीय पोस्टीरियर (posterior) को इंटीग्रेट करने के लिए स्टोकेस्टिक ग्रेडिएंट लैंगविन डायनेमिक्स (SGLD) सैंपलिंग के माध्यम से प्रति चेकपॉइंट $10^4$ से $10^6$ फॉरवर्ड-बैकवर्ड पास की आवश्यकता होती है। यह लागत LLC को बड़े पैमाने के मॉडलों (जैसे LLMs) या प्रशिक्षण के दौरान उच्च-आवृत्ति निगरानी के लिए अव्यवहारिक बना देती है।

यह शोध पत्र पोस्टीरियर इंटीग्रेशन के ओवरहेड के बिना सिंगुलर स्ट्रक्चर को पढ़ने के लिए एक "सस्ते" विकल्प की आवश्यकता को संबोधित करता है। विशेष रूप से, यह उन "डेड-डायरेक्शंस" (dead directions) को खोजने और मापने का प्रयास करता है—वे पैरामीटर दिशाएँ जहाँ लॉस लैंडस्केप फ्लैट (सिंगुलर) होता है—नेटवर्क एक्टिवेशन और ग्रेडिएंट्स के क्लोज्ड-फॉर्म स्पेक्ट्रल रीडिंग्स का उपयोग करके।

कार्यप्रणाली: डेड-डायरेक्शन सिग्नेचर (DDS)

लेखक डेड-डायरेक्शन सिग्नेचर (DDS) पेश करते हैं, जो क्लोज्ड-फॉर्म स्पेक्ट्रल ऑब्जर्वेबल्स का एक परिवार है, जिसे एक सैद्धांतिक ढांचे (Shirodkar, 2026) से प्राप्त किया गया है जो डेड-डायरेक्शंस के साथ फिशर इंफॉर्मेशन के क्षय दर (decay rate) को RLCT से जोड़ता है।

सैद्धांतिक आधार

यह ढांचा यह मानता है कि एक सिंगुलर मिनिमम पर, फिशर इंफॉर्मेशन मैट्रिक्स $F(\theta)$ विशिष्ट "डेड-डायरेक्शंस" $u$ के अनुदिश रैंक खो देता है। यदि KL डाइवर्जेंस $K(\theta_0 + tu) \sim t^{2k}$ के रूप में घटता है (जहाँ $k$ KL ऑर्डर है), तो डायरेक्शनल फिशर इंफॉर्मेशन $\Theta(t^{2(k-1)})$ के रूप में घटता है। चयन नियम (selection rule) इस क्षय घातांक (decay exponent) को RLCT के डायरेक्शनल योगदान ( $1/2k$ ) से जोड़ता है।

यह ढांचा किसी भी सिंगुलर मिनिमम पर एक्टिवेशन स्पेक्ट्रम और फिशर-ग्राम स्पेक्ट्रम के बीच एक स्ट्रक्चरल कोरिलेशन स्थापित करता है। एक $L$ -लेयर नेटवर्क के लिए जो KFAC-डिकम्पोजेबल फिशर इंफॉर्मेशन $F_\ell \approx A_\ell \otimes G_\ell$ रखता है:

फिशर-साइड: प्रति-सैंपल-ग्रेडिएंट फिशर-ग्राम का सबसे छोटा सकारात्मक आइगेनवैल्यू, $\lambda^+_{\min}(G_\ell)$ , $\Theta(t^{2(L-\ell)})$ के रूप में घटता है।
एक्टिवेशन-साइड: एक्टिवेशन मैट्रिक्स का स्क्वेर्ड सबसे छोटा सिंगुलर वैल्यू, $\sigma^2_{\min}(X_\ell)$ , $\Theta(t^{2\ell})$ के रूप में घटता है।
कोरिलेशन: ये दोनों मात्राएँ को-मोनोटोनिक (co-monotonic) हैं, जिसका अर्थ है कि एसिम्प्टोटिक लिमिट में स्पीयरमैन रैंक कोरिलेशन $+1$ के करीब पहुँच जाता है।

तीन DDS ऑब्जर्वेबल्स

DDS एक चुने गए लेयर $\ell$ पर SGLD पोस्टीरियर चेन के स्थान पर तीन सस्ते, क्लोज्ड-फॉर्म रीडिंग का उपयोग करता है:

रेट ऑब्जर्वेबल ( $\lambda^+_{\min}(G_\ell)$ ): फिशर-ग्राम का सबसे छोटा स्ट्रिक्टली पॉजिटिव आइगेनवैल्यू। यह डेड-डायरेक्शंस की उपस्थिति का पता लगाता है और उन्हें विशिष्ट लेयर्स (जैसे बॉटलनेक्स) तक स्थानीयकृत करता है।
वॉल्यूम ऑब्जर्वेबल ( $\log \det^+(G_\ell)$ ): एक्टिव फिशर स्पेक्ट्रम का लॉग-वॉल्यूम (पॉजिटिव आइगेनवैल्यूज के लॉग का योग)। यह ऑब्जर्वेबल डेड-डायरेक्शंस की संख्या (रैंक-डेफिसिट $r$ ) के प्रति संवेदनशील है।
ड्यूल ऑब्जर्वेबल ( $\sigma_{\min}(X_\ell)$ ): एक्टिवेशन मैट्रिक्स का सबसे छोटा सिंगुलर वैल्यू। यह फिशर-साइड रेट के लिए एक एक्टिवेशन-साइड प्रॉक्सी प्रदान करता है, जिसे सिंगल फॉरवर्ड पास और SVD के माध्यम से कंप्यूट किया जा सकता है।

मुख्य योगदान

डिटेक्शन और रैंक-डेफिसिट काउंटिंग:
- डिटेक्शन: जैसे ही एक डेड-डायरेक्शन प्रकट होता है, $\lambda^+_{\min}(G_\ell)$ कई ऑर्डर्स ऑफ मैग्नीट्यूड (जैसे $\sim 246\times$ ) गिर जाता है, जिससे सिंगल बैकवर्ड पास से डिटेक्शन संभव होता है।
- काउंटिंग: पेपर एक रैंक-मल्टीप्लिकेटिव वॉल्यूम आइडेंटिटी पेश करता है। जबकि सिंगल-आइगेनवैल्यू मॉनिटर्स "रैंक-ब्लाइंड" होते हैं, $\log \det^+(G_\ell)$ का स्लोप रैंक-डेफिसिट $r$ के साथ रैखिक रूप से स्केल करता है। विशेष रूप से, रैंक-1 बेसलाइन के सापेक्ष स्लोप रेश्यो $r$ के बराबर होता है (जैसे $r=2, 3, 4$ के लिए स्लोप 2.0, 3.1, 4.0)। यह DDS को डेड-डायरेक्शंस को गिनने की क्षमता देता है, जो सिंगल-आइगेनवैल्यू मॉनिटर्स के पास नहीं है।
क्लोज्ड-फॉर्म RLCT के विरुद्ध सत्यापन:
- Aoyagi (2005) रिड्यूस्ड-रैंक रिग्रेशन एंकर पर (जहाँ विश्लेषणात्मक $\lambda$ ज्ञात है), DDS ऑब्जर्वेबल्स उच्च कोरिलेशन ( $|\rho| \in [0.95, 0.98]$ ) के साथ विश्लेषणात्मक $\lambda$ को रैंक-ट्रैक करते हैं।
- लेखक प्रदर्शित करते हैं कि जबकि क्रॉस-सेल रैंक-ट्रैकिंग एक "सेनिटी गेट" है (यहाँ तक कि साधारण क्षमता प्रॉक्सी भी इसे पास कर लेते हैं), रैंक-मल्टीप्लिकेटिव वॉल्यूम आइडेंटिटी एक विभेदक परीक्षण (discriminating test) के रूप में कार्य करती है जिसे साधारण प्रॉक्सी पुनरुत्पादित नहीं कर सकते।
नॉन-लीनियर ट्रांसफॉर्मर पर विस्तार:
- Nanda मॉड्यूलर-एडिशन ट्रांसफॉर्मर विड्थ स्वीप पर, DDS ऑब्जर्वेबल्स मॉडल विड्थ्स ( $d_{\text{model}}$ ) को 18 ऑर्डर्स ऑफ मैग्नीट्यूड के पार अलग करते हैं (साइन कोहेरेंस $|\rho| \in [0.62, 0.96]$ के साथ)।
- इसके विपरीत, समान प्रोटोकॉल बजट पर कैलिब्रेटेड LLC "रैंक-फ्लैट" (विड्थ्स को पहचानने में असमर्थ) रहता है, और यहाँ तक कि 9x अधिक SGLD बजट भी विड्थ्स को हल करने में विफल रहता है।
लागत दक्षता:
- DDS ऑब्जर्वेबल्स LLC की तुलना में कई गुना सस्ते हैं। $\sigma_{\min}(X_\ell)$ के लिए एक फॉरवर्ड पास और एक SVD ( $O(Nh^2)$ ) की आवश्यकता होती है। $\lambda^+_{\min}(G_\ell)$ और $\log \det^+(G_\ell)$ के लिए एक बैकवर्ड पास और आइगेनडिकम्पोजिशन ( $O(h^3)$ ) की आवश्यकता होती है।
- छोटे मॉडलों पर, DDS कैलिब्रेटेड LLC की तुलना में $\sim 300\times$ सस्ता है; LLM विड्थ्स पर, स्ट्रक्चरल कोरिलेशन के कारण de-facto फिशर-साइड ऑर्डरिंग को सस्ते एक्टिवेशन-साइड $\sigma_{\min}$ के माध्यम से रिकवर किया जा सकता है, जिससे महंगे $O(h^3)$ फिशर आइगेनडिकम्पोजिशन से बचा जा सकता है।

परिणाम

क्लोज्ड-फॉर्म एंकर: 14 सेल्स के Aoyagi 2005 एंकर पर, कैलिब्रेटेड LLC 99% मीन पर विश्लेषणात्मक $\lambda$ को रिकवर करता है। DDS ऑब्जर्वेबल्स $\lambda$ को $|\rho| \ge 0.95$ के साथ रैंक-ट्रैक करते हैं।
वॉल्यूम आइडेंटिटी: 7 नॉइजी-ब्रिज कॉन्फ़िगरेशन में, $\log \det^+(G)$ स्लोप रेश्यो $r=2, 3, 4$ के लिए क्रमशः 2.0, 3.1, और 4.0 के माध्य के साथ रैंक-डेफिसिट $r$ को ट्रैक करता है (अनुमानित 2, 3, 4)।
ट्रांसफॉर्मर विड्थ स्वीप: DDS ऑब्जर्वेबल्स बढ़ती हुई $d_{\text{model}}$ के साथ मोनोटोनिक डिसेंट (5–15 ऑर्डर्स ऑफ मैग्नीट्यूड तक) दिखाते हैं, जबकि LLC फ्लैट रहता है।
स्ट्रक्चरल कोरिलेशन: स्टेटिक आइडेंटिटी $\lambda^+_{\min}(G_\ell) \propto \sigma^2_{\min}(X_\ell)$ विविध टेस्टबेड्स (कैनोनिकल ब्रिज, बराक स्पार्स पैरिटी, नंदा मॉड्यूलर एडिशन) में $\rho \ge +0.75$ के कोरिलेशन के साथ बनी रहती है, यहाँ तक कि उन रेजीम्स में भी जहाँ ट्राजेक्टरी रेट-फिट्स विफल हो जाते हैं (जैसे AdamW+CE)।
ग्रोकिंग डायनेमिक्स: Barak स्पार्स पैरिटी में, DDS ऑब्जर्वेबल्स "क्लीनअप" चरण के दौरान सिंगुलर मिनिमम में ज्यामितीय गिरावट (लगभग 10 ऑर्डर्स कम होना) का पता लगाते हैं, जबकि LLC स्थिर (plateau) रहता है।

महत्व और दायरा

पेपर का दावा है कि DDS पहला डायरेक्शनल, पैरामीटर-लोकल हैंडल प्रदान करता है जो सिंगुलर कॉम्प्लेक्सिटी के लिए कम्प्यूटेशनल रूप से व्यवहार्य है।

पूरकता: DDS को LLC के पूरक के रूप में प्रस्तुत किया गया है। जबकि LLC पोस्टीरियर पर इंटीग्रेट करके बेयसियन सारांश (जैसे WAIC, सिंगुलर फ्लक्चुएशन, डेवलपमेंटल प्लेटो) प्रदान करता है, DDS क्लोज्ड-फॉर्म में सिंगुलर स्ट्रक्चर की "डायरेक्शनल, लेयर-लोकल" रीडिंग प्रदान करता है।
सीमाएँ: लेखक अपने दायरे के बारे में विनम्र हैं। DDS को क्लोज्ड-फॉर्म RLCT वाले पैरामेट्रिक सिंगुलर मॉडलों और एक नॉन-लीनियर ट्रांसफॉर्मर विड्थ स्वीप पर सत्यापित किया गया है। ट्राजेक्टरी रेट-प्रेडिक्शन (जैसे विशिष्ट पावर-लॉ एक्सपोनेंट्स) के लिए "कैनोनिकल अलाइनमेंट" (आमतौर पर G-इनवेरिएंट मेट्रिक्स पर SGD) की आवश्यकता होती है और वे एडम-क्लास ऑप्टिमाइज़र के तहत विफल हो सकते हैं क्योंकि वे नॉन-इक्विवेरिएंट होते हैं। हालाँकि, स्टेटिक स्ट्रक्चरल कोरिलेशन AdamW+CE के तहत भी बना रहता है।
भविष्य का कार्य: पेपर अन्य व्यापक ट्रांसफॉर्मर आर्किटेक्चर, अटेंशन-ओनली चेन्स और अन्य एल्गोरिथमिक कार्यों तक इन रीड्स को विस्तारित करने को ओपन एम्पिरिकल वर्क के रूप में पहचानता है। यह यह भी सुझाव देता है कि समान डेड-डायरेक्शन रीड्स अंततः बिना SGLD के वेटानाबे ट्रिपल (multiplicity $m$ , fluctuation $\nu$ ) और WAIC के शेष भाग तक विस्तारित हो सकते हैं।

संक्षेप में, DDS, LLC के इंटीग्रेटेड पोस्टीरियर रीडिंग के बदले सस्ते, क्लोज्ड-फॉर्म स्पेक्ट्रल रीडिंग्स का उपयोग करता है, जिससे डेड-डायरेक्शंस का पता लगाना और उन्हें गिनना एक अंश लागत पर संभव हो जाता है, जिससे बड़े मॉडलों के लिए सिंगुलर कॉम्प्लेक्सिटी विश्लेषण व्यावहारिक बन जाता है।