📊 statistics

Influence Malleability in Linearized Attention: Dual Implications of Non-Convergent NTK Dynamics

यह शोध पत्र प्रदर्शित करता है कि लीनियरलाइज्ड अटेंशन (linearized attention) अत्यधिक स्पेक्ट्रल प्रवर्धन (spectral amplification) के कारण अपने इनफिनिट-विड्थ न्यूरल टेंगेंट कर्नेल (infinite-width Neural Tangent Kernel) सीमा तक अभिसरण करने में विफल रहता है, जिसके परिणामस्वरूप उच्च "इन्फ्लुएंस मैलिएबिलिटी" (influence malleability) उत्पन्न होती है जो कार्य-विशिष्ट सन्निकटन (task-specific approximation) को बढ़ाते हुए साथ ही प्रतिकूल डेटा हेरफेर (adversarial data manipulation) के प्रति संवेदनशीलता भी बढ़ा देती है।

मूल लेखक: Jose Marie Antonio Miñoza, Paulo Mario P. Medina, Sebastian C. Ibañez

प्रकाशित 2026-03-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jose Marie Antonio Miñoza, Paulo Mario P. Medina, Sebastian C. Ibañez

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "लचीला" बनाम "कठोर" छात्र

कल्पime कि आप दो अलग-अलग छात्रों को फोटो में जानवरों को पहचानना सिखा रहे हैं।

छात्र A (ReLU नेटवर्क): यह छात्र बहुत कठोर (stiff) है। वे नियमों को बहुत सख्ती से याद करते हैं। यदि आप उन्हें बिल्ली की तस्वीर दिखाते हैं, तो वे सीखते हैं कि "बिल्लियों के कान नुकीले होते हैं।" यदि आप फोटो में थोड़ा सा बदलाव करते हैं (जैसे कि एक छोटी सी छाया जोड़ना), तो उन्हें कोई फर्क नहीं पड़ता। उनके सीखने का तरीका अनुमानित और स्थिर है। गणित की दुनिया में, हम इसे "कर्नेल रिजीम" (Kernel Regime) कहते हैं। यह एक कठोर सांचे की तरह है: एक बार आकार सेट हो जाने के बाद, यह बदलता नहीं है।
छात्र B (अटेंशन मैकेनिज्म/Attention Mechanism): यह छात्र बेहद लचीला (flexible) है। वे केवल नियम याद नहीं करते; वे पूरी तस्वीर देखते हैं और तय करते हैं, "ओह, यह बिल्ली जैसी दिख रही है क्योंकि इसमें मूंछें और पूंछ और फर पर पड़ने वाली रोशनी भी है।" वे लगातार इस बात का पुनर्मूल्यांकन करते हैं कि फोटो के कौन से हिस्से सबसे अधिक महत्वपूर्ण हैं। इसे "फीचर लर्निंग" (Feature Learning) कहा जाता है।

पेपर की खोज:
लंबे समय से वैज्ञानिकों का मानना था कि यदि आप छात्र B (अटेंशन) को बहुत विशाल बना दें (उन्हें एक बहुत बड़ा दिमाग दे दें), तो वे अंततः छात्र A की तरह ही कठोर और अनुमानित हो जाएंगे। उन्होंने सोचा था, "पर्याप्त दिमागी शक्ति दें, और यह एक कठोर नियम में स्थिर हो जाएगा।"

यह पेपर साबित करता है कि यह गलत है। भले ही आप अटेंशन वाले छात्र को अनंत रूप से विशाल बना दें, वे कभी कठोर नहीं होंगे। वे हमेशा लचीले बने रहेंगे।

मूल अवधारणा: "इन्फ्लुएंस मैलिएबिलिटी" (प्रभाव की लचीलापन)

लेखकों ने एक नया शब्द बनाया जिसे "इन्फ्लुएंस मैलिएबिलिटी" (Influence Malleability) कहा गया है। इसे इस तरह समझें: "आप कितनी आसानी से किसी छात्र का मन इस बारे में बदल सकते हैं कि उसके सबसे अच्छे दोस्त कौन हैं?"

कम मैलिएबिलिटी (छात्र A): यदि आप छात्र A को बताते हैं, "कुत्ते की वह फोटो वास्तव में एक बिल्ली है," तो वे आपकी बात को अनदेखा कर सकते हैं। किस प्रशिक्षण उदाहरणों (training examples) ने उन्हें सीखने में मदद की, इस पर उनकी राय ठोस है। उन्हें बेवकूफ बनाना कठिन है।
उच्च मैलिएबिलिटी (छात्र B): छात्र B बहुत संवेदनशील है। यदि आप कुत्ते की एक फोटो में थोड़ा सा बदलाव करते हैं ताकि वह बिल्ली जैसी दिखे, तो छात्र B तुरंत अपना विचार बदल देता है: "ओह! मैं गलत था! वह फोटो वास्तव में बिल्लियों को सीखने के लिए सबसे महत्वपूर्ण थी!" वे अपने "सबसे अच्छे दोस्तों" (सबसे सहायक प्रशिक्षण उदाहरणों) के बारे में अपनी राय बहुत आसानी से बदल लेते हैं।

निष्कर्ष: पेपर में पाया गया कि अटेंशन मैकेनिज्म मानक नेटवर्क की तुलना में 6 से 9 गुना अधिक "मैलिएबल" (आसानी से प्रभावित होने वाले) हैं।

"जादुई घन" (Magic Cube) सादृश्य (ऐसा क्यों होता है)

अटेंशन इतना लचीला क्यों रहता है? पेपर एक गणितीय अवधारणा का उपयोग करता है जिसे ग्राम मैट्रिक्स (Gram Matrix) कहा जाता है (जो केवल यह मापने का एक शानदार तरीका है कि सभी प्रशिक्षण फोटो आपस में कितनी समान हैं)।

कल्पना करें कि प्रशिक्षण डेटा हाथ पकड़े हुए लोगों का एक समूह है।

मानक नेटवर्क: वे समूह को देखते हैं और कहते हैं, "ठीक है, ये लोग जुड़े हुए हैं।"
अटेंशन मैकेनिज्म: वे समूह को देखते हैं और कहते हैं, "ठीक है, ये लोग जुड़े हुए हैं, और वे लोग जिनसे वे जुड़े हैं, वे भी जुड़े हुए हैं, और वे लोग जिनसे वे जुड़े हैं, वे भी जुड़े हुए हैं..."

पेपर साबित करता है कि अटेंशन इस "कनेक्शन मैप" को लेता है और इसे घन (cube) करता है (इसे पावर 3 तक बढ़ाता है)।

यदि समूह थोड़ा अस्त-व्यस्त है (गणितीय रूप से, यदि "कंडीशन नंबर" उच्च है), तो उस अस्त-व्यस्तता को घन करने से वह विस्फोटित (explode) हो जाती है।
अटेंशन छात्र को एक कठोर, अनुमानित मशीन की तरह व्यवहार करने के लिए, आपको एक ऐसा मस्तिष्क आकार (चौड़ाई) चाहिए होगा जो ब्रह्मांड के परमाणुओं की संख्या से भी बड़ा हो। चूंकि हम इसे बना नहीं सकते, इसलिए अटेंशन हमेशा लचीला बना रहेगा।

दोधारी तलवार: सुपरपावर बनाम कमजोरी

चूंकि अटेंशन इतना "मैलिएबल" (लचीला) है, इसलिए इसके दो पहलू हैं:

1. सुपरपावर (अच्छाई):
चूंकि यह लगातार पुनर्मूल्यांकन कर सकता है कि कौन से डेटा बिंदु महत्वपूर्ण हैं, इसलिए यह विशिष्ट कार्यों के लिए पूरी तरह से अनुकूलित हो सकता है। यदि कार्य जटिल है (जैसे जंगल में एक विशिष्ट प्रकार की चिड़िया को पहचानना), तो अटेंशन अपने "दोस्तों की सूची" को कार्य की संरचना के साथ पूरी तरह से संरेखित कर सकता है। यह तेजी से सीखता है और साफ डेटा पर कम गलतियाँ करता है क्योंकि यह किसी कठोर बॉक्स में फंसा हुआ नहीं है।

2. कमजोरी (बुराई):
चूंकि यह इतना संवेदनशील है, इसलिए इसे आसानी से धोखा दिया जा सकता है।

कल्पना करें कि एक हैकर "स्टॉप साइन" की फोटो के एक छोटे से पिक्सेल को बदल देता है ताकि वह "स्पीड लिमिट" साइन जैसा दिखने लगे।
छात्र A (कठोर): वे अभी भी इसे स्टॉप साइन के रूप में देख सकते हैं क्योंकि उनके नियम कठोर हैं।
छात्र B (लचीला): क्योंकि वे डेटा के प्रति इतने संवेदनशील हैं, वह छोटा सा बदलाव उनकी पूरी राय बदल देता है। वे सोच सकते हैं, "ओह! उस छोटे पिक्सेल परिवर्तन का मतलब है कि यह स्पीड लिमिट साइन है!"

पेपर दिखाता है कि यह लचीलापन अटेंशन मॉडल्स को मानक मॉडल्स की तुलना में "एडवर्सरियल अटैक्स" (हैकर द्वारा AI को धोखा देने की कोशिश) के प्रति बहुत अधिक असुरक्षित बनाता है।

एक वाक्य में सारांश

यह पेपर प्रकट करता है कि अटेंशन मैकेनिज्म अन्य AI मॉडल्स से मौलिक रूप से भिन्न हैं क्योंकि वे कभी भी कठोर नियमों में "स्थिर" नहीं होते; इसके बजाय, वे अविश्वसनीय रूप से लचीले बने रहते हैं, जो उन्हें जटिल कार्यों को सीखने में शानदार बनाता है लेकिन साथ ही उन्हें हैकर्स द्वारा बेवकूफ बनाना भी आसान बनाता है।

वास्तविक दुनिया के लिए "टेकअवे" (सीख)

यदि आप एक AI सिस्टम बना रहे हैं:

अटेंशन का उपयोग करें यदि आपको जटिल, साफ डेटा के लिए उच्च प्रदर्शन की आवश्यकता है और आप चाहते हैं कि मॉडल बारीकियों के अनुकूल हो।
सावधान रहें यदि आपका डेटा शोर (noisy) वाला हो सकता है या यदि आपको हैकर्स द्वारा आपके सिस्टम को धोखा देने की चिंता है, क्योंकि अटेंशन "नरम" है और इसे आसानी से मोड़ा जा सकता है।

यहाँ शोध पत्र "Influence Malleability in Linearized Attention: Dual Implications of Non-Convergent NTK Dynamics" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

अटेंशन मैकेनिज्म (attention mechanisms) की सैद्धांतिक समझ, विशेष रूप से न्यूरल टेंगेंट कर्नेल (NTK) के ढांचे के भीतर, अपूर्ण बनी हुई है। पारंपरिक NTK सिद्धांत यह मानता है कि पर्याप्त रूप से विस्तृत (wide) न्यूरल नेटवर्क "लेजी ट्रेनिंग" (lazy training) शासन में कार्य करते हैं, जहाँ कर्नेल प्रशिक्षण के दौरान स्थिर रहता है और नेटवर्क अपने अनंत-चौड़ाई वाले सीमा (infinite-width limit) की ओर अभिसरित (converge) होता है।

हालाँकि, यह स्पष्ट नहीं है कि क्या अटेंशन मैकेनिज्म इस पथ का अनुसरण करते हैं। जबकि अटेंशन अनुभवजन्य रूप से सफल है, इसके सीखने के गतिकी (learning dynamics) का कठोर लक्षण वर्णन (rigorous characterization) अभी भी शेष है। यह कार्य जिस केंद्रीय प्रश्न को संबोधित करता है, वह यह है: क्या रैखिकीकृत अटेंशन मैकेनिज्म (linearized attention mechanisms) अपने अनंत-चौड़ाई वाले NTK सीमाओं तक अभिसरित होते हैं, और यदि नहीं, तो इस गैर-अभिसरण (non-convergence) के सैद्धांतिक और व्यावहारिक निहितार्थ क्या हैं?

2. कार्यप्रणाली (Methodology)

लेखक एक पैरामीटर-मुक्त रैखिकीकृत अटेंशन (parameter-free linearized attention) मैकेनिज्म का उपयोग करके सैद्धांतिक विश्लेषण और अनुभवजन्य सत्यापन का संयोजन नियोजित करते हैं।

रैखिकीकृत अटेंशन आर्किटेक्चर (Linearized Attention Architecture):
- वे एक सरलीकृत अटेंशन मैकेनिज्म को परिभाषित करते हैं: $f_{att}(X) = X X^T X$ , जहाँ $X$ इनपुट मैट्रिक्स है। यह आइडेंटिटी प्रोजेक्शन और एक रैखिकीकृत सॉफ्टमैक्स सन्निकटन ( $e^x \approx 1+x$ ) के साथ स्केल्ड डॉट-प्रोडक्ट अटेंशन के अनुरूप है।
- इस आर्किटेक्चर को एक दो-परतीय ReLU MLP के साथ जोड़कर MLP-Attn मॉडल बनाया गया है।
- महत्वपूर्ण रूप से, अटेंशन ट्रांसफॉर्मेशन ट्रांसडक्टिव (transductive) है (पूरे प्रशिक्षण सेट पर गणना की गई) और पैरामीटर-मुक्त है, जो सटीक कर्नेल लक्षण वर्णन की अनुमति देता है।
सैद्धांतिक ढांचा (Theoretical Framework):
- NTK विश्लेषण: लेखक इस क्रमिक आर्किटेक्चर के लिए सटीक NTK को व्युत्पन्न करते हैं और चौड़ाई $m \to \infty$ होने पर इसके अभिसरण गुणों का विश्लेषण करते हैं।
- स्पेक्ट्रल विश्लेषण (Spectral Analysis): वे जांच करते हैं कि अटेंशन ट्रांसफॉर्मेशन ग्राम मैट्रिक्स ( $G = XX^T$ ) के कंडीशन नंबर (condition number) को कैसे प्रभावित करता है।
- इन्फ्लुएंस मैलिएबिलिटी (Influence Malleability): एक नया मीट्रिक पेश किया गया है जो मॉडल की प्रशिक्षण डेटा पर निर्भरता की संवेदनशीलता को मापने के लिए उपयोग किया जाता है। यह मापता है कि जब प्रशिक्षण उदाहरणों को बाधित (perturb) किया जाता है (जैसे, एडवरसेरियल हमलों के माध्यम से), तो प्रभाव स्कोर (influence scores) का "फ्लिप रेट" (flip rate) क्या होता है।
प्रायोगिक सेटअप (Experimental Setup):
- डेटासेट: MNIST, CIFAR-10, और Fashion-MNIST।
- बेसलाइन: मानक 2-परतीय ReLU नेटवर्क (2L-ReLU) के विरुद्ध तुलना।
- मीट्रिक्स: NTK दूरी ( $\|f_m - f_{NTK}\|$ ), इन्फ्लुएंस फ्लिप रेट (FGSM, PGD, और MIM हमलों के तहत), और प्रभाव स्कोर का स्पियरमैन रैंक सहसंबंध (Spearman rank correlation)।

3. प्रमुख योगदान (Key Contributions)

A. रैखिकीकृत अटेंशन का गैर-अभिसरण (Non-Convergence of Linearized Attention)

यह शोध पत्र सिद्ध करता है कि रैखिकीकृत अटेंशन, बड़ी चौड़ाई (अपने तक $m=4096$ ) पर भी, अपने अनंत-चौड़ाई वाले NTK सीमा तक अभिसरित नहीं होता है।

अनुभवजन्य साक्ष्य: 2L-ReLU नेटवर्क के विपरीत, जो चौड़ाई बढ़ने के साथ NTK दूरी में निरंतर कमी दिखाते हैं, MLP-Attn गैर-एकदिष्ट (non-monotonic) या बढ़ती हुई NTK दूरी दिखाता है।
सैद्धांतिक प्रमाण (स्पेक्ट्रल एम्प्लीफिकेशन): लेखक सिद्ध करते हैं कि अटेंशन ट्रांसफॉर्मेशन ग्राम मैट्रिक्स का घन (cube) करता है ( $\tilde{G} = G^3$ $\tilde{G} = G^{3}$ )।
- यह कंडीशन नंबर को बढ़ाता है: $\kappa(\tilde{G}) = \kappa(G)^3$ ।
- NTK सीमा तक अभिसरण प्राप्त करने के लिए, नेटवर्क की चौड़ाई $m$ को इस प्रकार संतुष्ट करना होगा: $m = \Omega(\kappa(G)^6)$ ।
- प्राकृतिक इमेज डेटासेट के लिए जहाँ $\kappa(G) \approx 10^3$ है, आवश्यक चौड़ाई $m \approx 10^{18}$ होगी, जो व्यावहारिक रूप से असंभव है। अतः, अटेंशन दृढ़ता से फीचर लर्निंग रिजीम (जहाँ प्रतिनिधित्व विकसित होते हैं) में कार्य करता है, न कि लेजी ट्रेनिंग रिजीम में।

B. इन्फ्लुएंस मैलिएबिलिटी का परिचय (Introduction of Influence Malleability)

लेखक इन्फ्लुएंस मैलिएबिलिटी को एक मॉडल की विशिष्ट प्रशिक्षण उदाहरणों पर अपनी निर्भरता को गतिशील रूप से बदलने की क्षमता के रूप में परिभाषित करते हैं जब उन उदाहरणों को बाधित किया जाता है।

मीट्रिक: इसे फ्लिप रेट के माध्यम से मापा जाता है—शीर्ष-प्रभावशाली प्रशिक्षण उदाहरणों का प्रतिशत जो एडवरसेरियल व्यवधान के बाद "सहायक" से "हानिकारक" (या इसके विपरीत) में बदल जाते हैं।
निष्कर्ष: रैखिकीकृत अटेंशन, मानक ReLU नेटवर्क की तुलना में 6–9 गुणा अधिक इन्फ्लुएंस मैलिएबिलिटी प्रदर्शित करता है।

C. मैलिएबिलिटी के दोहरे निहितार्थ (Dual Implications of Malleability)

यह शोध पत्र एक मौलिक ट्रेड-ऑफ (trade-off) स्थापित करता है जो अटेंशन की डेटा-निर्भर प्रकृति द्वारा संचालित है:

लाभ (बायस में कमी): डेटा-निर्भर कर्नेल कार्य संरचना (स्पेक्ट्रल एलाइनमेंट) के साथ संरेखित होता है, जो संभावित रूप से अनुमान त्रुटि (बायस) को कम कर सकता है जब लक्षित फलन (target function) डेटा वितरण के प्रमुख मोड से मेल खाता है।
लागत (भेद्यता): यही संवेदनशीलता मॉडल को प्रशिक्षण डेटा के एडवरसेरियल हेरफेर के प्रति अत्यधिक संवेदनशील बनाती है। प्रभावशाली उदाहरणों में छोटे व्यवधान मॉडल के सीखने के प्रक्षेपवक्र (trajectory) और भविष्यवाणियों को नाटकीय रूप से बदल सकते हैं।

4. मुख्य परिणाम (Key Results)

NTK दूरी प्रक्षेपवक्र (NTK Distance Trajectory):
- 2L-ReLU: चौड़ाई के साथ दूरी निरंतर घटती है (जैसे, MNIST: 45.1 $\to$ 39.2), जो कर्नेल रिजीम में अभिसरण की पुष्टि करती है।
- MLP-Attn: दूरी बढ़ती है या उतार-चढ़ाव दिखाती है (जैसे, MNIST: 10.3 $\to$ 43.4; CIFAR-10: 3.7 $\to$ 12.6), जो गैर-अभिसरण की पुष्टि करती है।
इन्फ्लुएंस फ्लिप रेट्स (Influence Flip Rates):
- PGD हमलों ( $\epsilon=0.3$ ) के तहत, MNIST पर MLP-Attn ने 28.9% का फ्लिप रेट दिखाया, जबकि 2L-ReLU ने केवल 3.3% दिखाया।
- यह अंतर विभिन्न डेटासेट और हमलों के प्रकारों में बना रहता है, जो बढ़ी हुई संवेदनशीलता के सैद्धांतिक पूर्वानुमान की पुष्टि करता है।
एडवरसेरियल ट्रेनिंग (Adversarial Training):
- एडवरसेरियल ट्रेनिंग मानक ReLU नेटवर्क को अधिक मैलिएबल बनाने के लिए मजबूर करती है (फ्लिप रेट 3.3% से बढ़कर 43.4% हो जाता है), जो लगभग अटेंशन की जन्मजात मैलिएबिलिटी के बराबर है। यह सुझाव देता है कि अटेंशन की संवेदनशीलता आर्किटेक्चरत्मक रूप से अंतर्निहित है, न कि केवल अनुकूलन गतिकी (optimization dynamics) का परिणाम।
लॉस लैंडस्केप (Loss Landscape):
- MLP-Attn, ReLU नेटवर्क के शार्प मिनिमा की तुलना में लॉस लैंडस्केप में व्यापक, फ्लैट मिनिमा पाता है, जो फीचर लर्निंग गतिकी के अनुरूप है।

5. महत्व और निहितार्थ (Significance and Implications)

सैद्धांतिक बदलाव (Theoretical Shift): यह शोध पत्र अटेंशन मैकेनिज्म पर अनंत-चौड़ाई वाले NTK सिद्धांत की प्रयोज्यता को चुनौती देता है। यह सिद्ध करता है कि अटेंशन मौलिक रूप से एक फीचर लर्निंग तंत्र है, न कि एक कर्नेल विधि, क्योंकि यह ग्राम मैट्रिक्स के स्पेक्ट्रल एम्प्लीफिकेशन के कारण ऐसा है।
मजबूती बनाम अभिव्यंजना (Robustness vs. Expressivity): यह अटेंशन के "दोधारी तलवार" की एक सैद्धांतिक व्याख्या प्रदान करता है: इसकी लचीलापन इसे जटिल डेटा संरचनाओं (लो बायस) के अनुकूल होने की अनुमति देता है, लेकिन यह इसे डेटा पॉइजनिंग और एडवरसेरियल उदाहरणों के प्रति स्वाभाविक रूप से नाजुक (हाई वेरिएंस/सेंसिटिविटी) बनाता है।
व्यावहारिक मार्गदर्शन (Practical Guidance):
- चिकित्सकों (practitioners) को अटेंशन मॉडल पर कर्नेल-आधारित सैद्धांतिक उपकरणों को लागू करते समय सावधान रहना चाहिए।
- उच्च मैलिएबिलिटी यह सुझाव देती है कि अटेंशन-आधारित सिस्टम को कठोर डेटा क्लीनिंग और मजबूत प्रशिक्षण रणनीतियों की आवश्यकता है, क्योंकि उनका प्रदर्शन प्रशिक्षण वितरण की गुणवत्ता के साथ मजबूती से जुड़ा हुआ है।
- निष्कर्ष बताते हैं कि अटेंशन की "शक्ति" (अनुकूलन क्षमता) और उसकी "भेद्यता" (अस्थिरता) दोनों का मूल एक ही है: कर्नेल रिजीम से विचलन।

संक्षेप में, यह कार्य रैखिकीकृत अटेंशन की सीखने की गतिकी को कठोरता से वर्णित करता है, यह सिद्ध करते हुए कि यह NTK सीमा तक अभिसरण नहीं करता है और यह पहचानता है कि इन्फ्लुएंस मैलिएबिलिटी ही वह प्रमुख मीट्रिक है जो इसकी श्रेष्ठ अनुकूलन क्षमता और एडवरसेरियल डेटा हेरफेर के प्रति इसकी भेद्यता, दोनों की व्याख्या करती है।