🤖 machine learning

Hidden Heroes and Gradient Bloats: Layer-Wise Redundancy Inverts Attribution in Transformers

यह शोध पत्र प्रकट करता है कि ट्रांसफॉर्मर्स में ग्रेडिएंट-आधारित एट्रिब्यूशन (attribution) व्यवस्थित रूप से कारण संबंधी महत्व को गलत पहचानता है, क्योंकि यह अनावश्यक प्रारंभिक-परत घटकों ("ग्रेडिएंट ब्लोट्स") को अत्यधिक महत्व देता है और महत्वपूर्ण अंतिम-परत घटकों ("हिडन हीरोज") को कम आंकता है, जिससे त्रुटिपूर्ण यांत्रिक व्याख्याओं से बचने के लिए कारण सत्यापन (causal validation) आवश्यक हो जाता है।

मूल लेखक: Donald Ye

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Donald Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि एक जटिल मशीन के कौन से हिस्से वास्तव में सारा भारी काम कर रहे हैं। आप एक सरल नियम का उपयोग करने का निर्णय लेते हैं: "जब मशीन काम कर रही हो, तो जो हिस्सा सबसे ज़ोर से चिल्लाता है, वही सबसे महत्वपूर्ण होना चाहिए।"

AI की दुनिया में (विशेष रूप से ट्रांसफॉर्मर्स में), इस "चिल्लाने" को ग्रेडिएंट मैग्नीट्यूड (gradient magnitude) कहा जाता है। वैज्ञानिक लंबे समय से यह मानकर चल रहे हैं कि यदि AI के मस्तिष्क के किसी हिस्से में उच्च "ग्रेडिएंट" (परिवर्तनों के प्रति एक मजबूत प्रतिक्रिया) है, तो वह मशीन की बुद्धिमत्ता के लिए सबसे महत्वपूर्ण हिस्सा है।

यह शोध पत्र, "हिडन हीरोज एंड ग्रेडिएंट ब्लोट्स" (Hidden Heroes and Gradient Bloats), तर्क देता है कि यह धारणा खतरनाक रूप से गलत है। वास्तव में, मशीन अक्सर गलत जगहों पर सबसे ज़ोर से चिल्ला रही होती है।

यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया, जिसमें सरल उपमाओं का उपयोग किया गया है:

1. दो पात्र: "द ब्लोट्स" और "द हीरोज"

शोधकर्ताओं ने पाया कि AI मॉडलों में दो बहुत अलग प्रकार के घटक होते हैं, और वे मशीन के अलग-अलग हिस्सों में स्थित होते हैं।

द ग्रेडिएंट ब्लोट्स (शोर मचाने वाले - The Loudmouths):
- वे कहाँ रहते हैं: शुरुआती परतों में (मशीन की शुरुआत में)।
- वे क्या करते हैं: वे अविश्वसनीय रूप से शोर मचाते हैं। जब आप उनमें बदलाव करते हैं, तो वे उच्च "ग्रेडिएंट" संकेतों के साथ चिल्लाते हैं।
- वास्तविकता: वे अधिकतर अनावश्यक (redundant) हैं। उन्हें 20 लोगों के एक समूह की तरह समझें जो एक ही स्वर में गा रहे हैं। यदि आप एक को चुप करा दें, तो गाना मुश्किल से बदलता है क्योंकि बाकी 19 अभी भी गा रहे हैं। वे महत्वपूर्ण दिखते हैं क्योंकि वे शोर मचाते हैं, लेकिन व्यक्तिगत रूप से, वे बहुत कुछ नहीं कर रहे हैं।
- शोध पत्र का दावा: ग्रेडिएंट एट्रिब्यूशन (यानी "शोर का परीक्षण") गलती से सोचता है कि ये सबसे महत्वपूर्ण हिस्से हैं।
द हिडन हीरोज (शांत जीनियस - The Quiet Geniors):
- वे कहाँ रहते हैं: अंतिम परतों में (मशीन के अंत में)।
- वे क्या करते हैं: वे बहुत शांत होते हैं। उनके "ग्रेडिएंट" संकेत बहुत छोटे होते हैं।
- वास्तविकता: वे अनिवार्य हैं। उन्हें एक ऑर्केस्ट्रा के कंडक्टर की तरह समझें। यदि आप कंडक्टर को हटा देते हैं, तो संगीत बिखर जाता है, भले ही कंडक्टर खुद कोई तेज़ आवाज़ न कर रहा हो।
- शोध पत्र का दावा: ग्रेडिएंट एट्रिब्यूशन इन हिस्सों को पूरी तरह से अनदेखा कर देता है, और उन्हें महत्वहीन के रूप में रैंक करता है।

2. प्रयोग: सॉर्टिंग बनाम रिवर्सिंग

शोधकर्ताओं ने इसे AI के लिए दो सरल गणितीय पहेलियों पर परखा:

कार्य A: एक सूची को उलटना (Reversing a list) (जैसे, [1, 2, 3] को [3, 2, 1] में बदलना)।
- परिणाम: "शोर का परीक्षण" यहाँ ठीक-ठाक काम करता है। महत्वपूर्ण हिस्से कुछ हद तक शोर मचाते हैं।
कार्य B: एक सूची को क्रमबद्ध करना (Sorting a list) (जैसे, [3, 1, 2] को [1, 2, 3] में बदलना)।
- परिणाम: "शोर का परीक्षण" पूरी तरह विफल हो गया। AI के "शोर मचाने वाले" (Bloats) को नंबर #1 पर रखा गया, जबकि "शांत जीनियस" (Heroes) को बेकार माना गया।
  ने
  सबसे खराब मामलों में, परीक्षण वास्तव में उल्टा था: वे हिस्से जो सबसे ज़ोर से चिल्ला रहे थे, उन्हें आप सुरक्षित रूप से हटा सकते थे, और शांत हिस्से वे थे जिन्हें आपको बिल्कुल रखने की ज़रूरत थी।

3. "रिडंडेंसी ट्रैप" (Redundancy Trap)

मशीन गलत हिस्सों पर इतनी ज़ोर से क्यों चिल्लाती है?

शोध पत्र इस अवधारणा को सामूहिक अतिरेक (collective redundancy) के माध्यम से समझाता है।

कल्पना कीजिए कि 10 लोगों की एक टीम (द ब्लोट्स) एक रस्सी पकड़े हुए है। यदि आप एक व्यक्ति पर खिंचाव डालते हैं, तो वे सभी तनाव महसूस करते हैं, इसलिए वे सभी चिल्लाते हैं।
AI का "ग्रेडिएंट" उस तनाव को मापता है। वह 10 लोगों को चिल्लाते हुए देखता है और सोचता है, "वाह, ये सभी 10 बहुत महत्वपूर्ण हैं!"
लेकिन यदि आप वास्तव में एक व्यक्ति के लिए रस्सी काट देते हैं, तो बाकी 9 उसे थामे रखते हैं, और कुछ नहीं बदलता।
हालाँकि, यदि आप शांत हीरो (Quiet Hero) के लिए रस्सी काट देते हैं (जो बिल्कुल अंत में गाँठ पकड़े हुए है), तो पूरी चीज़ ढह जाती है।

शोधकर्ताओं ने पाया कि यदि उन्होंने "शोर मचाने वालों" को एक-एक करके हटाया, तो AI ने शायद ही कोई फर्क महसूस किया। लेकिन यदि उन्होंने उन सभी को एक साथ हटा दिया, तो AI क्रैश हो गया। यह साबित करता है कि "शोर मचाने वाले" केवल एक अनावश्यक सुरक्षा जाल थे, न कि मुख्य इंजन।

4. बड़ी गलती

शोध पत्र निष्कर्ष निकालता है कि AI को समझने के लिए "ग्रेडिएंट मैग्नीट्यूड" पर भरोसा करना एक फिल्म को सबसे ज़्यादा बोलने वाले पात्रों के आधार पर आंकने जैसा है।

शुरुआती परतें (जहाँ ब्लोट्स रहते हैं) बुनियादी विशेषताओं को इकट्ठा करने का "शोर वाला" काम कर रही हैं।
अंतिम परतें (जहाँ हीरोज रहते हैं) वास्तव में तर्क की पहेली को हल करने का "शांत" काम कर रही हैं।

चूंकि शुरुआती परतें स्वाभाविक रूप से अधिक शोर करती हैं (AI के गणित के कारण), इसलिए "शोर का परीक्षण" हमें यह सोचने के लिए धोखा देता है कि शुरुआती परतें ही संचालन का मस्तिष्क हैं। वास्तव में, सॉर्टिंग जैसे जटिल कार्यों के लिए, असली मस्तिष्क शांत, बाद वाली परतों के घटक हैं जिन्हें परीक्षण पूरी तरह से अनदेखा कर देता है।

सारांश

मिथक: "यदि कोई हिस्सा मज़बूती से प्रतिक्रिया करता है, तो वह सबसे महत्वपूर्ण हिस्सा है।"
सच्चाई: जो हिस्से मज़बूती से प्रतिक्रिया करते हैं, वे अक्सर केवल अनावश्यक शोर होते हैं। वास्तव में महत्वपूर्ण हिस्से अक्सर शांत होते हैं और प्रक्रिया के बाद के चरणों में छिपे होते हैं।
खतरा: यदि वैज्ञानिक AI को छोटा बनाने के लिए इसके हिस्सों को काटने (प्रूनिंग) का उपयोग करते हैं, तो वे अनजाने में हिडन हीरोज (AI की बुद्धिमत्ता को नष्ट करना) को काट सकते हैं और ग्रेडिएंट ब्लोट्स (बेकार के हिस्सों पर जगह बर्बाद करना) को रख सकते हैं।

यह शोध पत्र वैज्ञानिकों से आग्रह करता है कि वे केवल "शोर के परीक्षण" पर भरोसा करना बंद करें और यह दावा करने से पहले कि AI कैसे काम करता है, "कॉज़ल" (कारण संबंधी) परीक्षणों का उपयोग करें (अर्थात, वास्तव में हिस्सों को हटाकर देखें कि क्या टूटता है)।

तकनीकी सारांश: छिपे हुए नायक और ग्रेडिएंट ब्लोट्स (Hidden Heroes and Gradient Bloats)

समस्या विवरण (Problem Statement)

ग्रेड-आधारित एट्रिब्यूशन (Gradient-based attribution) मैकेनिस्टिक इंटरप्रिटेबिलिटी का एक मौलिक उपकरण है, जिसका उपयोग ट्रांसफॉर्मर मॉडलों की प्रूनिंग (pruning), सर्किट डिस्कवरी और ऑडिटिंग के लिए व्यापक रूप से किया जाता है। प्रचलित धारणा यह है कि किसी घटक के ग्रेडिएंट का परिमाण (magnitude) मॉडल के व्यवहार को चलाने में उसकी वास्तविक कारण संबंधी महत्ता (causal importance) का विश्वसनीय संकेत देता है, विशेष रूप से आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण के लिए। हालांकि, यह शोध पत्र तर्क देता है कि यह धारणा वास्तविक हस्तक्षेपों (causal interventions) के विरुद्ध काफी हद तक अनपरीक्षित है। यदि ग्रेडिएंट परिमाण व्यवस्थित रूप से उन वास्तुशिल्प घटकों (architectural components) को पहचानने में विफल रहता है जो वास्तविक गणना को संचालित करते हैं, तो इस पर निर्भर पाइपलाइनें महत्वपूर्ण घटकों को हटाने (pruning) का जोखिम उठाती हैं या ऐसे "सर्किट" की पहचान करती हैं जो वास्तविक कम्प्यूटेशनल संरचना के बजाय केवल एट्रिब्यूशन विधि के आर्टिफैक्ट्स (artifacts) मात्र हैं।

कार्यप्रणाली (Methodology)

लेखक ग्रेडिएंट एट्रिब्यूशन की विश्वसनीयता का मूल्यांकन करने के लिए एक नियंत्रित प्रयोगात्मक सेटअप का उपयोग करते हैं जो कारण संरचनाओं (causal structures) को अलग करता है:

कार्य और मॉडल: अध्ययन दो एल्गोरिद्मिक बेंचमार्क—सीक्वेंस रिवर्सल (Sequence Reversal) और सीक्वेंस सॉर्टिंग (Sequence Sorting)—का उपयोग करता है, जिसमें पूर्णांक $x \in \{1, \dots, 99\}$ का उपयोग किया गया है। मॉडल डिकोडर-ओनली ट्रांसफॉर्मर हैं जिनमें $L=4$ लेयर्स और $H=4$ हेड्स हैं (कुल 20 घटक: 16 अटेंशन हेड्स और 4 MLPs)। इन कार्यों को इसलिए चुना गया क्योंकि उनकी कारण संरचनाएं पूरी तरह से मापने योग्य हैं और सर्किट अपेक्षाकृत सरल हैं, जो ग्रेडिएंट एट्रिब्यूशन के लिए एक "सर्वश्रेष्ठ स्थिति" (best-case scenario) का प्रतिनिधित्व करते हैं।
ग्रेडिएंट परिमाण ( $G$ ): प्रत्येक घटक के लिए, लेखक 50 OOD बैचों में ग्रेडिएंट के नॉर्मलाइज्ड एवरेज फ्रोबेनियस नॉर्म (normalized average Frobenius norm) की गणना करते हैं। विभिन्न विषम सबलेयर्स (जैसे अटेंशन मैट्रिसेस बनाम MLP मैट्रिसेस) के बीच निष्पक्ष तुलना सुनिश्चित करने के लिए, ग्रेडिएंट्स को पैरामीटर काउंट के वर्गमूल द्वारा नॉर्मलाइज किया जाता है। यह माप रेसिडुअल स्ट्रीम में योगदान को सीमित करने के लिए $W_V$ और $W_{out}$ को अलग करता है।
कारण महत्ता ( $C$ ): कार्यात्मक आवश्यकता को OOD सीक्वेंस लंबाई ( $N \in \{8, 9, 10, 11\}$ $N \in {8, 9, 10, 11}$ ) पर एब्लेशन (ablation) प्रयोगों के माध्यम से मापा जाता है। दो बेसलाइन का उपयोग किया जाता है:
- मीन एब्लेशन (Mean Ablation): किसी घटक के आउटपुट को उसके मीन एक्टिवेशन से बदलना।
- जीरो एब्लेशन (Zero Ablation): आउटपुट को जीरो वेक्टर से बदलना।
- सटीकता (Accuracy) को सटीक सीक्वेंस मैच के रूप में मापा जाता है।
गैप क्वांटिफिकेशन (Gap Quantification): मिसअलाइनमेंट को ग्रेडिएंट परिमाण और कारण महत्ता के बीच स्पीयरमैन सहसंबंध ( $\rho$ $ρ$ ) का उपयोग करके मापा जाता है। घटकों को रैंक अंतर ( $\Delta_i$ $Δ_{i}$ ) के आधार पर वर्गीकृत किया गया है:
- हिडन हीरोज (Hidden Heroes): कम ग्रेडिएंट लेकिन कारण रूप से आवश्यक ( $\Delta_i \le -6$ )।
- ग्रेडिएंट ब्लोट्स (Gradient Bloats): उच्च ग्रेडिएंट लेकिन नगण्य कारण प्रभाव ( $\Delta_i \ge 6$ )।
- अलाइंड (Aligned): दोनों मापों के बीच सहमति ( $|\Delta_i| < 6$ )।
वैलिडेशन: अध्ययन 10 रैंडम सीड्स तक फैला हुआ है और इसमें रेडंडेंसी (redundancy) के लिए संयुक्त एब्लेशन प्रयोग शामिल हैं।

मुख्य परिणाम (Key Results)

1. ग्रेडिएंट एट्रिब्यूशन की व्यवस्थित विफलता (Systematic Failure of Gradient Attribution)

ग्रेडिएंट परिमाण और कारण महत्ता के बीच सहसंबंध कार्य-निर्भर है और अक्सर विफल हो जाता है:

सीक्वेंस रिवर्सल: मध्यम सहसंबंध दिखाता है ( $\rho = 0.72$ )।
सीक्वेंस सॉर्टिंग: गंभीर पतन दिखाता है ( $\rho = 0.27$ )।
व्यक्तिगत सीड्स: विशिष्ट सीड्स में, सहसंबंध लगभग शून्य ( $\rho \approx 0.00$ ) तक गिर जाता है या नकारात्मक रूप से भविष्यवाणी करने लगता ( $\rho = -0.18$ ), जो दर्शाता है कि उच्च ग्रेडिएंट कार्यात्मक आवश्यकता के संबंध में सक्रिय रूप से गुमराह कर सकते हैं।

2. लेयर-वाइज स्ट्रक्चरल इन्वर्जन (Layer-Wise Structural Inversion)

यह विफलता यादृच्छिक शोर नहीं है बल्कि एक स्थिर, लेयर-वाइज संरचना प्रदर्शित करती है:

ग्रेडिएंट ब्लोट्स (Gradient Bloats): शुरुआती लेयर्स (विशेष रूप से लेयर 1) में केंद्रित होते हैं। इन घटकों को उच्च ग्रेडिएंट सिग्नल प्राप्त होते हैं लेकिन वे व्यक्तिगत रूप से अनावश्यक होते हैं।
हिडन हीरोज (Hidden Heroes): बाद की लेयर्स (विशेष रूप से लेयर 3) में केंद्रित होते हैं। इन घटकों में कम ग्रेडिएंट सिग्नल होते हैं लेकिन वे कारण रूप से अपरिहार्य होते हैं।
स्थिरता (Stability): विशिष्ट हेड्स लगातार भूमिकाएं निभाते हैं (जैसे, सॉर्टिंग के 10 में से 7 सीड्स में L3 H3 एक 'हिडन हीरो' है; L1 H1 और L1 H3 10 में से 6 सीड्स में 'ब्लोट्स' हैं)।

3. रेडंडेंसी पैराडॉक्स और सुपरएडिटिविटी (The Redundancy Paradox and Superadditivity)

विफलता के पीछे के तंत्र की पहचान सामूहिक रेडंडेंसी (collective redundancy) के रूप में की गई है:

इंडिविजुअल बनाम जॉइंट एब्लेशन: जब ग्रेडिएंट ब्लोट्स को व्यक्तिगत रूप से हटाया जाता है, तो सटीकता में गिरावट नगण्य होती है (प्रति घटक 3.1%)। हालांकि, जब उन्हें संयुक्त रूप से हटाया जाता है, तो सटीकता 43.8% तक गिर जाती है।
सुपरएडिटिविटी (Superadditivity): संयुक्त क्षति व्यक्तिगत भविष्यवाणियों के योग से 14 गुना अधिक है। यह प्रकट करता है कि ब्लोट्स एक वितरित, रेडंडेंट सर्किट बनाते हैं जहाँ घटक एक-दूसरे की भरपाई करते हैं।
फर्स्ट-ऑर्डर मेथड्स की सीमा: ग्रेडिएंट एट्रिब्यूशन, जो केवल स्थानीय लॉस सेंसिटिविटी को मापता है, एक रेडंडेंट सर्किट के सभी सक्रिय घटकों को उच्च सिग्नल प्रदान करता है, जिससे वह व्यक्तिगत रूप से-रेडंडेंट और व्यक्तिगत रूप से-क्रिटिकल इकाइयों के बीच अंतर करने में विफल रहता है।

4. सामान्यीकरण पर प्रभाव (Impact on Generalization)

हिडन हीरोज (Hidden Heroes): इन घटकों को हटाने से OOD सटीकता में विनाशकारी गिरावट आती है (रिवर्सल पर औसत परिवर्तन $-36.4\% \pm 22.8\%$ ), बावजूद इसके कि उनके ग्रेडिएंट रैंकिंग कम हैं।
ग्रेडिएंट ब्लोट्स (Gradient Bloats): हालांकि व्यक्तिगत रूप से कम महत्वपूर्ण हैं, लेकिन उनका सामूहिक निष्कासन रेडंडेंसी को प्रकट करता है, जिससे प्रूनिंग परिणामों में सीड के विशिष्ट सर्किट टोपोलॉजी के आधार पर महत्वपूर्ण भिन्नता आती है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि एल्गोरिद्मिक कार्यों में ग्रेडिएंट परिमाण, कारण महत्ता के लिए एक व्यवस्थित रूप से उल्टा (inverted) प्रॉक्सी है, जो श्रम विभाजन (division of labor) द्वारा संचालित है जहाँ शुरुआती लेयर्स व्यापक, उच्च-ग्रेडिएंट फीचर एक्सट्रैक्टर्स सीखती हैं और बाद की लेयर्स स्पार्स, कारण रूप से अपरिहार्य लॉजिक लागू करती हैं।

मैकेनिस्टिक इनसाइट: निष्कर्ष बताते हैं कि ग्रेडिएंट-आधारित तरीकों के माध्यम से पहचाने गए "सर्किट" एट्रिब्यूशन विधि के आर्टिफैक्ट्स हो सकते हैं, जो सामान्यीकरण के वास्तविक चालकों (हिडन हीरोज) को अनदेखा करते हैं और रेडंडेंट शुरुआती-लेयर फीचर्स (ग्रेडिएंट ब्लोट्स) को अत्यधिक महत्व देते हैं।
दावों के लिए पूर्व शर्त: लेखक तर्क देते हैं कि सर्किट-स्तरीय दावों या प्रूनिंग रणनीतियों के लिए कारण सत्यापन (एब्लेशन या पैचिंग के माध्यम से) एक पूर्व शर्त होनी चाहिए, क्योंकि ग्रेडिएंट-आधारित ह्यूरिस्टिक्स अकेले अपर्याप्त और संभावित रूप से विनाशकारी हैं।
दायरा (Scope): यह अध्ययन एट्रिब्यूशन विफलता के निचले स्तर (lower bound) के रूप में इन निष्कर्षों को प्रस्तुत करता है; लेखकों का सुझाव है कि अधिक रेडंडेंसी और जटिलता वाले प्राकृतिक परिवेश में यह अंतर और भी बढ़ सकता है।

शोध पत्र निष्कर्ष निकालता है कि रेडंडेंट सर्किट टोपोलॉजी के आलोक में एट्रिब्यूशन विधियों के पुनर्मूल्यांकन की आवश्यकता है और यह समझने के लिए कि ये लेयर-वाइज संरचनाएं प्रशिक्षण के दौरान कैसे उभरती हैं, "ग्रोकिंग" (grokking) की टेम्पोरल डायनेमिक्स को ट्रैक करने की आवश्यकता पर बल देता है।