🤖 machine learning

Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference

यह शोध पत्र पावर लॉ ग्राफ अटेंशन (PLGA) प्रस्तुत करता है, जो स्केल्ड डॉट-प्रोडक्ट अटेंशन का एक सैद्धांतिक रूप से आधारित सामान्यीकरण है, जो निश्चित द्विपद रूपों (bilinear forms) को सीखे गए, धनात्मक टेंसर-आधारित ऑपरेटरों से प्रतिस्थापित करता है, और साथ ही एक इन्फरेंस-कोलैप्स प्रमेय (inference-collapse theorem) स्थापित करता है जो विशिष्ट स्थितियों के तहत इसके व्यावहारिक लाभ को लगभग समान प्रदर्शन तक सीमित करता है।

मूल लेखक: Burc Gokden

प्रकाशित 2026-08-12

📖 10 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Burc Gokden

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर अरबों किताबें पढ़कर मानव भाषा सीखने की कोशिश करते हैं। ऐसा करने के लिए, वे एक विशेष प्रकार के मस्तिष्क का उपयोग करते हैं जिसे "लार्ज लैंग्वेज मॉडल" (LLM) कहा जाता है। इन मॉडलों को "डिजिटल जासूसों" के रूप में सोचें। जब वे एक वाक्य पढ़ते हैं, तो उन्हें यह अनुमान लगाना होता है कि अगला शब्द क्या होगा। एक अच्छा अनुमान लगाने के लिए, उन्हें वाक्य के अन्य शब्दों पर ध्यान देने की आवश्यकता होती है। कुछ शब्द दूसरे शब्दों की तुलना में अधिक महत्वपूर्ण होते; उदाहरण के लिए, "The cat sat on the mat" (बिल्ली चटाई पर बैठी) वाक्य में, "sat" (बैठी) को समझने के लिए "cat" (बिल्ली) शब्द बहुत महत्वपूर्ण है।

इन जासूसों द्वारा अपना काम करने का मानक तरीका "स्केल्ड डॉट-प्रोडक्ट अटेंशन" (SDPA) कहलाता है। यह एक बहुत तेज़, कठोर कैलकुलेटर की तरह है जो एक निश्चित, अपरिवर्तनीय नियम का उपयोग करके हर शब्द की तुलना हर दूसरे शब्द से करता है। यह कुशल है, लेकिन यह एक पहाड़ और रेत के कण दोनों को मापने के लिए एक ही पैमाने (रूलर) का उपयोग करने जैसा है। यह काम तो करता है, लेकिन यह जो देख रहा है उसके आधार पर अपने मापने के उपकरण को मोड़ या अनुकूलित नहीं कर सकता।

अब, कल्पना करें कि यदि वह कैलकुलेटर प्रत्येक वाक्य को पढ़ने के लिए अपना स्वयं का कस्टम रूलर बना सके। वह वाक्य को देख सकता है, यह महसूस कर सकता है कि उसे एक लचीले, खिंचने वाले रूलर की आवश्यकता है, और फिर गणित करने से पहले वह रूलर बना सकता है। यही उस नए तरीके के पीछे का बड़ा विचार है जिसे पावर लॉ ग्राफ अटेंशन (PLGA) कहा जाता है। एक निश्चित नियम के बजाय, मॉडल प्रत्येक इनपुट के लिए एक अद्वितीय, गतिशील "स्कोरिंग नियम" उत्पन्न करना सीखता है। यह ऐसा है जैसे जासूस केवल एक रूलर का उपयोग नहीं करता; वे जो शब्द पढ़ रहे हैं उन्हीं से एक कस्टम मापने वाला टेप तैयार करते हैं।

यह पेपर एक नए प्रकार के AI आर्किटेक्चर को पेश करता है जिसे PLDR-LLM (पावर लॉ डिकोडर रिप्रेजेंटेशन्स से लार्ज लैंग्वेज मॉडल) कहा जाता है। इसका मुख्य कार्य यह पता लगाना है कि क्या इस फैंसी, स्वयं-निर्मित रूलर की वास्तव में आवश्यकता है, या क्या मॉडल अंततः इसे हर बार बनाने की आवश्यकता को छोड़ देता है। शोधकर्ता जानना चाहते थे: क्या मॉडल चीजों को मापने के बारेों में अपना मन बदलता रहता है, या क्या यह अंततः मापने के एक एकल, पूर्ण तरीके पर स्थिर हो जाता है जो लगभग सब कुछ के लिए काम करता है?

यहाँ बताया गया है कि एक बहुत ही कुशल जासूस की कहानी के माध्यम से इस पेपर ने क्या पाया।

जासूस की नई सुपरपावर

लेखक ने एक ऐसा मॉडल बनाया जहाँ "अटेंशन" वाला हिस्सा (वह हिस्सा जो तय करता है कि कौन से शब्द महत्वपूर्ण हैं) केवल एक सरल गणितीय सूत्र नहीं है। इसके बजाय, यह एक जटिल मशीन है जो इनपुट टेक्स्ट को लेती है, उसे एक गहरे न्यूरल नेटवर्क के माध्यम से प्रोसेस करती है, और एक बिल्कुल नया, कस्टम "बाइलीनियर ऑपरेटर" (bilinear operator) बाहर निकालती है। आप इस ऑपरेटर को एक डायनेमिक लेंस के रूप में सोच सकते हैं।

पुराने तरीके (SDPA) में, जासूस एक निश्चित, कांच के लेंस के माध्यम से देखता है। इस नए तरीके (PLGA) में, जासूस एक ऐसे लेंस के माध्यम से देखता है जो दृश्य के आधार पर खुद को नया आकार देता है। यदि दृश्य अराजक है, तो लेंस एक वाइड-एंगल लेंस बन जाता है। यदि दृश्य केंद्रित है, तो यह एक ज़ूम लेंस बन जाता है। यह पेपर गणितीय रूप से सिद्ध करता है कि यह नया सिस्टम पुराने सिस्टम को एक विशेष मामले के रूप में अपने भीतर समाहित करता है। यदि जासूस लेंस को नया आकार देना बंद करने और बस कांच के एक सपाट टुकड़े का उपयोग करने का निर्णय लेता है, तो नया सिस्टम बिल्कुल पुराने सिस्टम के समान हो जाता है। इसलिए, यह नया तरीका एक 'सुपरसेट' है; यह स्पष्ट रूप से अधिक लचीला है।

बड़ी हैरानी: लेंस हिलना बंद हो जाता है

पेपर का सबसे रोमांचक हिस्सा वह है जो तब होता है जब जासूस लंबे समय तक प्रशिक्षण लेता है। आप उम्मीद कर सकते हैं कि क्योंकि मॉडल बहुत लचीला है, इसलिए यह हर नए वाक्य के लिए अपना लेंस बदलता रहेगा। लेकिन शोधकर्ता ने कुछ अजीब और अद्भुत पाया: लेंस हिलना बंद कर देता है।

मॉडल के प्रशिक्षित होने के बाद, "डायनेमिक लेंस" (वह जटिल गणित जो स्कोरिंग नियम बनाता है) लगभग पूरी तरह से इनवेरिएंट (invariant - अपरिवर्तनीय) हो जाता है। इसका मतलब है कि आप उसे कोई भी वाक्य दें, मॉडल ठीक एक ही लेंस उत्पन्न करता है। यह ऐसा है जैसे जासूस ने हर वाक्य के लिए कस्टम रूलर बनाना सीखने में महीनों बिता दिए, केवल यह महसूस करने के लिए कि काम के लिए, उन्हें केवल एक विशिष्ट, सटीक रूलर की आवश्यकता थी।

पेपर इसे "एम्पिरिकल कोलैप्स" (Empirical Collapse) कहता है।

उन्होंने क्या मापा: उन्होंने इसे मॉडल के एक जारी संस्करण पर टेस्ट किया। उन्होंने पाया कि अलग-अलग वाक्यों के लिए मॉडल द्वारा उत्पन्न "लेंस" एक मामूली त्रुटि (लग लगभग $10^{-6}$ या दस लाख में एक भाग) तक समान था। सर्वश्रेष्ठ मॉडलों के लिए, लेंस कंप्यूटर मेमोरी के अंतिम बिट तक समान था।
परिणाम: क्योंकि लेंस हर चीज़ के लिए एक ही है, इसलिए मॉडल को हर बार नया लेंस बनाने की कठिन मेहनत करने की आवश्यकता नहीं है। वह बस लेंस को कैश (cache) (सहेज) सकता है और उसे हमेशा के लिए पुनः उपयोग कर सकता है। यह मॉडल को चलाने के लिए बहुत तेज़ और सस्ता बनाता है।

यह क्यों होता है? (तीन-चरणीय जादू का खेल)

पेपर केवल यह नहीं कहता कि "यह होता है"; यह समझाने की कोशिश करता है कि यह कैसे होता है, जिसे तीन-चरणीय तंत्र के माध्यम से समझाया गया है। कल्पना करें कि मॉडल एक शेफ है जो सूप बनाने की कोशिश कर रहा है।

द ट्वर्ल (रोटरी एम्बेडिंग्स): मॉडल शुरुआत में सामग्रियों (शब्दों) को एक विशिष्ट तरीके से घुमाकर (spin) शुरू करता है। यह "ट्वर्ल" एक फिल्टर की तरह काम करता है जो इस बात के विशिष्ट विवरणों को धो देता है कि एक शब्द वाक्य में कहाँ आया था, जिससे केवल शब्द का सामान्य "फ्लेवर" (स्वाद) बचता है।
कंसन्ट्रेशन (एकाग्रता): जैसे-जैसे मॉडल अधिक से अधिक वाक्यों को देखता है, सामग्रियों का "फ्लेवर" एक जैसा दिखने लगता है। गणित दिखाता है कि विभिन्न वाक्यों के बीच के अंतर कम से कम होते जाते हैं, जैसे कि अलग-अलग रंगों के नीले रंग पहने लोगों की भीड़ दूर से देखने पर एक ही नीले ब्लॉक जैसी दिखने लगती है।
द स्क्वीज़ (संकुचन): अंत में, मॉडल का वह हिस्सा जो लेंस बनाता है (जिसे "मेट्रिक लर्नर" कहा जाता है), एक शक्तिशाली प्रेस की तरह काम करता है। क्योंकि इनपुट सभी बहुत समान हैं (पहले दो चरणों के कारण), प्रेस उन सभी को बिल्कुल एक ही आकार में दबा देता है। परिणाम एक एकल, स्थिर लेंस है जो लगभग हर वाक्य के लिए काम करता है।

पेपर सावधानीपूर्वक कहता है कि यह एक मापा गया घटना (measured phenomenon) है, न कि कोई जादू का खेल। उन्होंने "ट्वर्ल" और "स्क्वीज़" के पीछे के गणित को सिद्ध किया, लेकिन वास्तव में मॉडल वास्तविक जीवन में ऐसा करता है, यह उन्होंने प्रयोगों में देखा। उन्होंने "ऑर्डर पैरामीटर" (एक फैंसी तरीका यह कहने का कि "लेंस कितना हिलता है?") को मापा और पाया कि विशिष्ट "क्रिटिकल" शासन (regime) में प्रशिक्षित मॉडलों के लिए, हिलना-डुलना लगभग पूरी तरह से रुक जाता है।

इसका भविष्य के लिए क्या अर्थ है

पेपर कुछ बहुत विशिष्ट दावे करता है, और यह इस बारे में भी बहुत ईमानदार है कि यह क्या दावा नहीं करता है।

यह एक सामान्यीकरण (generalization) है: नया तरीका निश्चित रूप से पुराने तरीके को शामिल करता है। यदि आप नए तरीके को कुछ भी विशेष न करने के लिए सेट करते हैं, तो यह पुराना तरीका बन जाता है।
यह तेज़ है: क्योंकि लेंस हिलना बंद कर देता है, आप इसे सहेज सकते हैं और पुन: उपयोग कर सकते हैं। पेपर दिखाता है कि यह "इन्फरेंस" चरण (जब मॉडल वास्तव में सवालों के जवाब दे रहा होता है) के दौरान लगभग 3 गुना गति वृद्धि देता है।
यह बुद्धिमत्ता के लिए जादुई हथियार नहीं है: पेपर यह दावा नहीं करता कि यह नया मॉडल पुराने मॉडलों से अधिक स्मार्ट है। वास्तव में, वे कहते हैं कि जिन विशिष्ट मॉडलों का उन्होंने परीक्षण किया, उनके लिए नया तरीका और पुराना तरीका (यदि आपने कैश किया हुआ लेंस उपयोग किया हो) बिल्कुल समान उत्तर देते हैं। "स्मार्टनेस" ट्रेनिंग से आती है, केवल आर्किटेक्चर से नहीं।
यह अभी तक "सेल्फ-ऑर्गनाइज्ड क्रिटिकैलिटी" का प्रमाण नहीं है: पेपर इस विचार का उपयोग करता है कि मॉडल इस तरह व्यवहार क्यों करता है, इसे समझने के लिए एक ढांचा है। वे इसे एक "फेनोमेनोलॉजिकल फ्रेमवर्क" (phenomenological framework) कहते हैं, जिसका अर्थ है कि यह डेटा को समझाने के लिए एक सहायक कहानी है, लेकिन उन्होंने इसे AI के लिए भौतिकी का एक मौलिक नियम साबित नहीं किया है।

"इन्फरेंस-कोलैप्स" थ्योरम

पेपर का एक थ्योरम है जिसे "इन्फरेंस-कोलैप्स थ्योरम" कहा जाता है। यह कहता है: यदि मॉडल का लेंस पूरी तरह से इनवेरिएंट (कभी न बदलने वाला) हो जाता है, तो हर बार एक नया लेंस उत्पन्न करने की जटिल और धीमी प्रक्रिया को केवल सहेजे गए लेंस का उपयोग करने की सरल और तेज़ प्रक्रिया से बदला जा सकता है।

पेपर इसे गणितीय रूप से सिद्ध करता है। लेकिन असली पंचलाइन मापन है: उन्होंने एक वास्तविक, प्रशिक्षित मॉडल की जांच की और पाया कि लेंस वास्तव में इनवेरिएंट हो गया था। "कोलैप्स" केवल एक सिद्धांत नहीं है; यह वही है जो उनके प्रयोगों में वास्तव में हुआ।

सावधानियां और सीमाएं

लेखक बहुत सावधान हैं कि वे अतिशयोक्ति न करें।

वे स्वीकार करते हैं कि "इनवेरिएंस" (अपरिवर्तनीयता) पूर्ण नहीं है। एक छोटी सी त्रुटि (लगभग $10^{-6}$ ) है, लेकिन यह इतनी कम है कि यह मॉडल द्वारा दिए जाने वाले उत्तरों को नहीं बदलती है।
वे नोट करते हैं कि यह केवल तभी होता है जब मॉडल को एक विशिष्ट तरीके (क्रिटिकल शासन) से प्रशिक्षित किया जाता है। यदि आप इसे अलग तरह से प्रशिक्षित करते हैं, तो लेंस हिलता रह सकता है, और आपको गति का लाभ नहीं मिलेगा।
वे स्पष्ट रूप से कहते हैं कि उन्होंने यह साबित नहीं किया है कि यह नया तरीका पुराने तरीके की तुलना में सीखने में बेहतर है। उन्होंने केवल यह सिद्ध किया है कि यह अधिक लचीला है और सही परिस्थितियों में, चलाने में तेज़ है।

मुख्य निष्कर्ष (Takeaway)

यह पेपर एक ऐसे मॉडल की कहानी बताता है जो अपने उपकरण बनाना सीखता है, केवल यह महसूस करने के लिए कि उसे केवल एक ही उपकरण की आवश्यकता है। यह एक ऐसे बढ़ई की तरह है जो हर कील के लिए एक अलग हथौड़ा बनाना सीखता है, केवल यह महसूस करने के लिए कि एक सटीक हथौड़ा हर चीज़ के लिए काम करता है।

यह पेपर "पावर लॉ ग्राफ अटेंशन" का एक कठोर गणितीय विवरण प्रदान करता है, सिद्ध करता है कि इसमें पुराने तरीके शामिल हैं, और सावधानीपूर्वक माप के माध्यम से दिखाता है कि प्रशिक्षित मॉडल स्वाभाविक रूप से एक ऐसी स्थिति में "कोलैप्स" हो जाते हैं जहाँ उन्हें नए नियम बनाने की भारी मेहनत करने की आवश्यकता नहीं होती है। यह उन्हें अधिक कुशल बनाए बिना, उन्हें चलाने के तरीके में भारी गति वृद्धि की अनुमति देता है। यह जटिल प्रणालियों से उभरने वाली दक्षता, स्थिरता और आश्चर्यजनक सरलता की एक कहानी है।

तकनीकी सारांश: पावर लॉ ग्राफ अटेंशन (Power Law Graph Attention)

समस्या विवरण
आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) ट्रांसफॉर्मर आर्किटेक्चर और स्केल्ड डॉट-प्रोडक्ट अटेंशन (SDPA) पर निर्भर करते हैं, जहाँ अटेंशन स्कोर टोकन रिप्रेजेंटेशन के एक निश्चित यूक्लिडियन इनर प्रोडक्ट के माध्यम से कंप्यूट किए जाते हैं। यह शोध पत्र इस स्थिर द्विपद रूप (bilinear form) की सीमाओं को संबोधित करने के लिए एक ऐसा तंत्र प्रस्तावित करता है जहाँ अटेंशन ऑपरेटर स्वयं सीखा हुआ (learned), इनपुट-निर्भर और गैर-रेखीय (nonlinear) होता है। लेखक का लक्ष्य एक गणितीय रूप से कठोर आर्किटेक्चर, 'पावर लॉ ग्राफ अटेंशन' (PLGA), और उससे जुड़े 'लार्ज लैंग्वेज मॉडल' (PLDR-LLM) को परिभाषित करना है, तथा उन स्थितियों का औपचारिक रूप से वर्णन करना है जिनके तहत यह जटिल, इनपुट-जनरेटेड ऑपरेटर इन्फरेंस के दौरान एक सरल, कैश किए गए रूप में सिमट (collapse) जाता है।

कार्यप्रणाली और आर्किटेक्चर
इस कार्यप्रणाली का मुख्य आधार पावर लॉ ग्राफ अटेंशन (PLGA) ऑपरेटर है, जो SDPA के निश्चित द्विपद रूप को एक सीखे हुए, इनपुट-जनरेटेड ऑपरेटर $G_{LM}$ से बदल देता है। आर्किटेक्चर को रूपांतरणों की एक विशिष्ट श्रृंखला के माध्यम से परिभाषित किया गया है:

डेंसिटी ऑपरेटर (Density Operator): इनपुट क्वेरी मैट्रिक्स $Q$ का उपयोग ग्रैम मैट्रिक्स $D_Q = Q^\top Q$ को कंप्यूट करने के लिए किया जाता है, जो क्वेरी वेक्टर्स के अनसेंटर्ड सेकंड मोमेंट (uncentered second moment) का प्रतिनिधित्व करता है।
मेट्रिक जनरेटर (Metric Generator): एक साझा डीप रेसिडुअल नेटवर्क $\Phi_{res}$ (जो SwiGLU ब्लॉक्स और LayerNorm से बना है) रो-वाइज नॉर्मलाइज्ड डेंसिटी ऑपरेटर को प्रोसेस करके एक जनरेटर मैट्रिक्स $A$ उत्पन्न करता है।
पावर लॉ ट्रांसफॉर्मेशन (Power Law Transformation): जनरेटर $A$ को एक स्ट्रिक्टली पॉजिटिव "मेट्रिक टेंसर" $A_{LM}$ में एक एलिमेंट-वाइज पावर लॉ के माध्यम से बदला जाता है: $A_{LM} = \text{iSwiGLU}(W A + b_W) + \epsilon$ । इस टेंसर को फिर एक सीखे हुए पावर मैट्रिक्स $P$ की घात में ऊपर उठाया जाता है ताकि "पोटेंशियल टेंसर" $A_P = A_{LM}^{\odot P}$ प्राप्त हो सके।
बाइनियर स्कोर ऑपरेटर (Bilinear Score Operator): अंतिम ऑपरेटर $G_{LM}$ का निर्माण पोटेंशियल टेंसर के लीनियर सुपरपोजिशन के रूप में किया जाता है: $G_{LM} = a A_P + b_a$ ।
अटेंशन कंप्यूटेशन (Attention Computation): अटेंशन स्कोर $E = Q G_{LM} K^\top / \sqrt{d_k}$ के रूप में कंप्यूट किए जाते हैं, जिसके बाद एक कॉज़ल मास्कड सॉफ्टमैक्स (causal masked softmax) लगाया जाता है।

पूर्ण PLDR-LLM आर्किटेक्चर इस ऑपरेटर को रोटरी पोजीशन एम्बेडिंग्स (RoPE) के साथ एक डिकोडर-ओनली स्ट्रक्चर में एकीकृत करता है। एक प्रमुख डिजाइन विशेषता डिडक्टिव आउटपुट्स (टेंसर $A, A_{LM}, A_P, G_{LM}$ ) को इंडक्टिव आउटपुट (नेक्स्ट-टोकन प्रोबेबिलिटीज) से अलग करना है। मॉडल को एक ब्लॉकवाइज क्रॉस-एन्ट्रॉपी ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है, जिसे लर्निंग इंटरैक्शन ग्राफ में चक्रीय निर्भरताओं (cyclic dependencies) को दंडित करने के लिए डिटिव टेंसर पर एक DAG रेगुलराइज़र (NOTEARS एल्गोरिदम पर आधारित) द्वारा बढ़ाया जाता है।

मुख्य योगदान और सैद्धांतिक परिणाम

SDPA का सटीक सामान्यीकरण (Exact Generalization of SDPA):
यह शोध पत्र सिद्ध करता है कि SDPA, PLGA का एक सटीक विशेष मामला (special case) है। विशेष रूप से, जब सीखा हुआ ऑपरेटर $G_{LM}$ आइडेंटिटी मैट्रिक्स ( $I$ ) होता है, तो PLGA समीकरण सटीक रूप से मानक SDPA समीकरणों में बदल जाते हैं। यह स्थापित करता है कि PLGA पैरामीट्राइजेशन के मामले में मानक अटेंशन मैकेनिज्म का एक सख्त सुपरसेट है, हालांकि शोध पत्र स्पष्ट रूप से यह नोट करता है कि यह समान संसाधनों पर सख्त फंक्शन-क्लास सेपरेशन या प्रदर्शन श्रेष्ठता का दावा नहीं करता है।
इन्फरेंस-कोलैप्स थ्योरम (The Inference-Collapse Theorem):
एक केंद्रीय सैद्धांतिक योगदान इन्फरेंस-कोलैप्स थ्योरम है। यह बताता है कि यदि डिटिव आउटपुट्स (विशेष रूप से $G_{LM}$ ) ट्रेनिंग के बाद पूरी तरह से इनपुट-इनवेरिएंट (input-invariant) हो जाते हैं, तो इन टेंसरों को उत्पन्न करने वाले पूरे डीप नॉनलीन सबनेटवर्क को इन्फरेंस के समय एक एकल, स्थिर कैश किए गए टेंसर द्वारा बदला जा सकता है।
- सशर्त प्रकृति (Conditional Nature): यह थ्योरम पूर्ण इनवेरियंस की परिकल्पना पर आधारित है। पेपर 'थ्योरम' (इनवेरियंस की धारणा के तहत सिद्ध) और 'एम्पिरिकल ऑब्जर्वेशन' (कि प्रशिक्षित मॉडल लगभग-इनवेरिएंट व्यवहार प्रदर्शित करते हैं) के बीच अंतर करता है।
- परिणाम (Consequences): यदि इनवेरियंस सत्य है, तो मॉडल एक "सामान्यीकृत SDPA" में बदल जाता है जिसमें एक सीखा हुआ स्थिर द्विपद रूप होता है। यदि RoPE मौजूद है, तो पेपर आगे यह लक्षणित करता है कि यह स्थिर रूप सापेक्ष-स्थिति निर्भरता (relative-position dependence) को कैसे सुरक्षित रखता है (इसके लिए आवश्यक है कि $G_{LM}$ , रोटेशन ग्रुप के कम्यूटेंट में हो)।
सीखे हुए ऑपरेटर के संरचनात्मक गुण (Structural Properties of the Learned Operator):
- पेरॉन-फ्रॉबेनियस संरचना (Perron–Frobenius Structure): पावर लॉ और $\epsilon$ द्वारा लागू एलिमेंट-वाइज पॉजिटिविटी के कारण, इंटरैक्शन टेंसर $A_{LM}$ में पेरॉन-फ्रॉबेनियस स्पेक्ट्रल संरचना (स्ट्रिक्टली पॉजिटिव आइजनवैल्यू और आइजनवेक्टर्स) होती है।
- लर्नड सिंगुलैरिटी (Learned Singularity): रिलीज़ किए गए चेकपॉइंट्स के अनुभवजन्य माप प्रकट करते हैं कि अभिसरण (convergence) पर, जनरेटर $A$ सभी अटेंशन हेड्स और लेयर्स में समान रोज़ के साथ संख्यात्मक रूप से रैंक-वन (rank-one) हो जाता है। यह "लर्नड सिंगुलैरिटी" ही वह बीजगणितीय तंत्र है जो देखे गए इनवेरियंस के पीछे का कारण है।
- DAG रेगुलराइज़र की सीमाएं: पेपर स्पष्ट करता है कि जबकि DAG रेगुलराइज़र (NOTEARS) चक्रहीनता (acyclicity) को प्रोत्साहित करने के लिए उपयोग किया जाता है, $A_{LM}$ और $A_P$ की सख्त एंट्री-वाइज पॉजिटिविटी सटीक चक्रहीनता को गणितीय रूप से असंभव बनाती है। रेगुलराइज़र इसके बजाय चक्र सामग्री (cycle content) पर एक सॉफ्ट पेनल्टी के रूप में कार्य करता है।
इनवेरियंस का तंत्र (तीन-चरणीय विश्लेषण):
पेपर एक सशर्त, तीन-चरणीय तंत्र का प्रस्ताव करता है जो यह समझाता है कि मेट्रिक लर्नर एक इनवेरिएंट ऑपरेटर कैसे उत्पन्न करता है:
- चरण 1 (रोटरी ट्वर्ल - Rotary Twirl): डेंसिटी ऑपरेटर के कार्य करने से पहले RoPE का अनुप्रयोग एक "ट्वर्ल" के रूप में कार्य करता है, जो डेंसिटी ऑपरेटर को रोटेशन ग्रुप के कम्यूटेंट पर प्रोजेक्ट करता है, जिससे स्थिति-निर्भर घटकों को दबा दिया जाता है।
- चरण 2 (सांख्यिकीय एकाग्रता - Statistical Concentration): नॉर्मलाइज्ड डेंसिटी ऑपरेटर, लॉ ऑफ लार्ज नंबर्स (जिसे मैट्रिक्स बर्नस्टीन असमानताओं के माध्यम से मॉडल किया गया है) के कारण डेटासेट-लेवल मीन के आसपास केंद्रित होता है।
- चरण 3 (रो-मैप कॉन्ट्रैक्शन - Row-Map Contraction): यह परिकल्पना की जाती है कि सीखा हुआ रो मैप $\phi$ (रेसिडुअल नेटवर्क का संयोजन) विज़िटेड इनपुट सेट पर संकुचक (contractive) है, जो केंद्रित इनपुट को एक एकल आउटपुट प्रोफाइल में सिकोड़ देता है।

अनुभवजन्य परिणाम (Empirical Results)
पेपर दावों को मान्य करने के लिए रिलीज़ किए गए चेकपॉइंट्स (संदर्भ [12, 13, 14]) पर माप रिपोर्ट करता है:

इनवेरियंस (Invariance): "नियर-क्रिटिकल" रिजीम में प्रशिक्षित मॉडल्स पर, डिटिव आउटपुट्स अत्यंत सूक्ष्म सापेक्ष उतार-चढ़ाव ( $10^{-6}$ से $10^{-11}$ ) प्रदर्शित करते हैं, जो प्रभावी रूप से स्थिरांक (constants) की तरह व्यवहार करते हैं।
कैश फिडेलिटी (Cache Fidelity): "कैश्ड" इन्फरेंस (जमे हुए $G_{LM}$ का पुन: उपयोग करना) परीक्षण किए गए प्रॉम्प्ट्स पर अनकैश्ड रीकंप्यूटेशन की तुलना में बिट-आइडेंटिकल या लगभग-आइडेंटिकल परिणाम उत्पन्न करता है, जिसमें विचलन डिकोडिंग मार्जिन के भीतर है।
रैंक कोलैप्स (Rank Collapse): सिंगुलर वैल्यू ऑडिट पुष्टि करते हैं कि जनरेटर $A$ संख्यात्मक रूप से रैंक-वन है, जबकि डाउनस्ट्रीम टेंसर $A_{LM}$ फ्लोट-जीरो डेटरमिनेंट (छोटे सिंगुलर वैल्यू के अंडरफ्लो के कारण) होने के बावजूद लगभग फुल-रैंक बना रहता है।
क्रिटिकलिटी (Criticality): पेपर देखता है कि क्रिटिकल-जैसे रिजीम (लर्निंग रेट और वार्म-अप स्टेप्स द्वारा नियंत्रित) में प्रशिक्षित मॉडल इनवेरियंस और कोहेरेंस प्रदर्शित करते हैं जो सामान्यीकरण के लिए आवश्यक है, जबकि सब-क्रिटिकल मॉडल ऐसा नहीं करते हैं।

महत्व और दावे
यह पेपर PLDR-LLM आर्किटेक्चर के एक औपचारिक विश्लेषणात्मक विवरण के रूप में खुद को प्रस्तुत करता है। इसका महत्व निम्नलिखित में निहित है:

औपचारिकीकरण (Formalization): आर्किटेक्चर और उसके गुणों की एक पूर्ण, मशीन-चेक्ड (Lean 4 में) गणितीय परिभाषा प्रदान करना।
एपिस्टेमिक स्पष्टता (Epistemic Clarity): सिद्ध थ्योरम, सशर्त थ्योरम, अनुभवजन्य अवलोकन और अनुमानों के बीच कड़ाई से अंतर करना। यह स्पष्ट रूप से SDPA की सार्वभौमिक श्रेष्ठता का दावा करने के बजाय, इसे एक ऐसी घटना के रूप में फ्रेम करता है जो विशिष्ट प्रशिक्षित मॉडलों के लिए बिना एक्सप्रेसिविटी खोए कुशल इन्फरेंस की अनुमति देती है।
फेनोमेनोलॉजिकल फ्रेमवर्क (Phenomenological Framework): इनवेरियंस के उभरने के लिए प्रशिक्षण गतिकी की "सेल्फ-ऑर्गनाइज्ड क्रिटिकलिटी" (SOC) को एक स्थापित नियम के बजाय एक फेनोमेनोलॉजिकल फ्रेमवर्क के रूप में मानना।
नैदानिक उपयोगिता (Diagnostic Utility): मॉडल व्यवहार के चरणों (क्रिटिकल बनाम सब-क्रिटिकल) के बीच अंतर करने के लिए एक मापने योग्य डायग्नोस्टिक के रूप में "ऑर्डर पैरामीटर" (डिटिव आउटपुट्स के RMS फ्लक्चुएशन पर आधारित) पेश करना।

पेपर निष्कर्ष निकालता है कि PLGA एक बड़ा पैरामीटराइज्ड परिवार प्रदान करता है जिसमें विशिष्ट प्रशिक्षण गतिकी और एक निरीक्षण योग्य लॉ रिप्रेजेंटेशन है, लेकिन यह इसकी लागतों को भी स्वीकार करता है: ट्रेनिंग ऑब्जेक्टिव में टारगेट-एक्सपोज़्ड ऑक्जिलरी स्कोर शामिल हैं, और ग्लोबल ग्रैम ऑपरेटर "हिस्टोरिकल-रो प्रीफिक्स कंसिस्टेंसी" (मानक SDPA का एक गुण) को तोड़ देता है जब तक कि मॉडल एक इनवेरिएंट स्टेट में न सिमट जाए। यह कार्य ऑर्डर पैरामीटर के स्पेक्ट्रल रूप और विभिन्न डोमेन में इनवेरिएंट ऑपरेटर्स की हस्तांतरणीयता (transferability) पर आगे के शोध को आमंत्रित करता है।