📊 statistics

Beyond Importance: Interchange-Sobol Sensitivity Reveals Task-Specific Content Channels in Transformer Components

यह शोध पत्र इंटरचेंज-ग्रुप सोबोल डिकम्पोज़िशन (IGSD) प्रस्तुत करता है, जो एक युग्मित-हस्तक्षेप ढांचा (paired-intervention framework) है जो कार्य-प्रासंगिक सामग्री को ले जाने बनाम केवल फॉरवर्ड कंप्यूटेशन में सहायता करने में एक ट्रांसफार्मर घटक की भूमिका के बीच अंतर करता है, जिससे तथ्यात्मक रिकॉल (factual recall) के विशिष्ट प्रारंभिक-परत वाले चैनलों का खुलासा होता है जिन्हें मानक महत्व मेट्रिक्स अनदेखा कर देते हैं।

मूल लेखक: Yifeng Guo, Jin-Hong Du, Xiang Chen

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yifeng Guo, Jin-Hong Du, Xiang Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "Beyond Importance: Interchange-Sobel Sensitivity Reveals Task-Specific Content Channels in Transformer Components" का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "एक-संख्या" वाला जाल (The "One-Number" Trap)

एक विशाल, जटिल फैक्ट्री (एक ट्रांसफॉर्मर AI मॉडल) की कल्पना करें जो सवालों के जवाब बनाती है। इस फैक्ट्री के अंदर हजारों कर्मचारी (न्यूरल नेटवर्क घटक) हैं जो नोट्स पास कर रहे हैं और पुर्जों को जोड़ रहे हैं।

लंबे समय से, वैज्ञानिक जो यह समझने की कोशिश करते हैं कि यह फैक्ट्री कैसे काम करती है, वे एक सरल उपकरण का उपयोग करते हैं: वे पूछते हैं, "कर्मचारी X कितना महत्वपूर्ण है?" इसका उत्तर देने के लिए, वे आमतौर पर एक ही काम करते हैं: वे कर्मचारी X को निकाल देते हैं (या उन्हें काम करने से रोक देते हैं) और देखते हैं कि क्या फैक्ट्री रुक जाती है।

दोष: यह तरीका आपको केवल यह बताता है कि मशीन को चालू रखने के लिए फैक्ट्री को उस कर्मचारी की ज़रूरत है या नहीं। यह आपको यह नहीं बताता कि वह कर्मचारी वास्तव में क्या कर रहा है।
उपमा: एक डिलीवरी ट्रक की कल्पना करें। यदि आप ड्राइवर को हटा देते हैं, तो ट्रक रुक जाता है। आप निष्कर्ष निकाल सकते हैं, "ड्राइवर आवश्यक है!" लेकिन यदि आप ड्राइवर को किसी अजनबी से बदल देते हैं जिसे रास्ता नहीं पता, तो ट्रक अभी भी चल सकता है, लेकिन वह गलत घर पर जाएगा। मूल ड्राइवर न केवल इंजन चलाने के लिए आवश्यक था, बल्कि इसलिए भी आवश्यक था क्योंकि वह सही मंजिल तक पहुँचने के लिए एक विशिष्ट मानचित्र (कंटेंट/विषय-वस्तु) ले जा रहा था।

लेखकों का तर्क है कि मानक तरीके इन दो भूमिकाओं के बीच भ्रमित होते हैं:

इंजन: कर्मचारी मशीन को चालू रखने के लिए आवश्यक है (संरचनात्मक महत्व/structural importance)।
कंटेंट (विषय-वस्तु): कर्मचारी एक विशिष्ट जानकारी (जैसे कोई तथ्य या संबंध) ले जा रहा है जो बदलने पर उत्तर को बदल देती है।

समाधान: IGSD (The "Swap vs. Zero" Test)

लेखक एक नया तरीका पेश करते हैं जिसे IGSD (Interchange-Group Sobol Decomposition) कहा जाता है। केवल एक कर्मचारी को निकालने के बजाय, वे एक युग्मित परीक्षण (paired test) चलाते हैं:

"जीरो" टेस्ट (निकालना/Firing): वे कर्मचारी को पूरी तरह से काम करने से रोक देते हैं (उनके आउटपुट को शून्य कर देते हैं)।
"स्वैप" टेस्ट (बदलना/Replacing): वे कर्मचारी के नोट्स लेते हैं और उन्हें एक दूसरे लेकिन समान स्थिति (एक "डोनर") के नोट्स से बदल देते हैं।

रचनात्मक रूपक (Metaphor):
कल्पना करें कि एक शेफ सूप बना रहा है।

जीरो टेस्ट: आप बर्तन से नमक निकाल देते हैं। सूप फीका हो जाता है। आप जानते हैं कि नमक महत्वपूर्ण है।
स्वैप टेस्ट: आप नमक निकालते हैं और उसकी जगह चीनी डाल देते हैं। सूप बहुत बुरा लगता है, लेकिन एक बहुत ही विशिष्ट और गलत तरीके से।

यदि "स्वैप" टेस्ट के कारण सूप "जीरो" टेस्ट (फीकापन) की तुलना में अधिक खराब लगता है, तो इसका मतलब है कि मूल सामग्री केवल बर्तन को थामे रखने के लिए नहीं थी; वह एक विशिष्ट स्वाद (कंटेंट) ले जा रही थी जिस पर मॉडल निर्भर करता है।

उन्होंने क्या पाया: दो अलग-अलग प्रकार के कर्मचारी

AI मॉडलों (GPT-2 और Qwen2.5) पर तथ्यात्मक प्रश्नों (जैसे "Yahoo का मालिक कौन है?") पर इस परीक्षण को लागू करके, उन्होंने पाया कि AI के विभिन्न हिस्से अलग-अलग काम करते हैं:

प्रारंभिक "रिलेशन" कर्मचारी (MLP Layer 0):
- वे क्या करते हैं: ये कर्मचारी प्रश्न की संरचना को संभालते हैं। वे "टेम्पलेट" (जैसे, "X का मालिक है...") को समझते हैं।
- खोज: मानक तरीकों ने इन कर्मचारियों को महत्वहीन माना। लेकिन जब IGSD ने उनके कंटेंट को स्वैप किया, तो AI तुरंत गलत उत्तर देने लगा। वे "रिलेशनशिप टाइप" के लिए "कंटेंट कैरियर" हैं।
- उपमा: ये वे कर्मचारी हैं जो यह तय करते हैं कि किस प्रकार का पैकेज भेजा जा रहा है (जैसे, "यह एक कानूनी दस्तावेज़ है," न कि "यह एक पिज्जा है")।
विलंबित "सब्जेक्ट" कर्मचारी (Attention Layer 9):
- वे क्या करते हैं: ये कर्मचारी विशिष्ट विवरणों (विषय/Subject) को संभालते हैं। वे विशिष्ट नाम (जैसे "Yahoo") को प्राप्त करते हैं।
- खोज: यह वैज्ञानिकों द्वारा पहले से ज्ञात जानकारी से मेल खाता है। ये कर्मचारी उन आर्काइविस्ट (अभिलेखागार) की तरह हैं जो शेल्फ से विशिष्ट फाइल निकाल रहे हैं।

"ऑफ-मैनिफोल्ड" चेतावनी संकेत (The "Off-Manifold" Warning Sign)

पेपर एक सुरक्षा जांच भी पेश करता है। कभी-कभी, जब आप एक कर्मचारी के नोट्स को डोनर के नोट्स के साथ बदलते हैं, तो नोट्स इतने अलग होते हैं कि वे फैक्ट्री में बिल्कुल फिट नहीं बैठते (जैसे किसी गोल छेद में चौकोर खूँटा डालने की कोशिश करना)।

लेखकों ने एक "डायग्नोस्टिक फ्लैग" बनाया है (जिसे $\hat{ST} > 1$ कहा जाता है)। यदि यह फ्लैग चालू होता है, तो इसका मतलब है कि प्रयोग गलत है क्योंकि नोट्स बहुत अजीब थे। यह एक धुएँ वाले अलार्म की तरह है जो आपको बताता है कि परीक्षण ही अमान्य है, इसलिए आपको परिणामों पर भरोसा नहीं करना चाहिए।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

पेपर का दावा है कि स्वैपिंग (बदलना) और डिलीशन (हटाना) एक ही बात नहीं हैं।

यदि आप केवल यह देखते हैं कि किसे निकाला गया (deletion), तो आप उन कर्मचारियों को मिस कर देते हैं जो सबसे महत्वपूर्ण "गुप्त संदेश" (content) ले जा रहे हैं।
IGSD इन भूमिकाओं को अलग करता है। यह आपको बताता है: "AI का यह हिस्सा एक कंटेंट हाईवे है (यह विशिष्ट तथ्य ले जाता है)," जबकि "वह हिस्सा केवल एक स्ट्रक्चरल बीम है (यह गणित को बनाए रखता है)।"

पेपर में वास्तविक प्रमाण

लेखकों ने एक तथ्यात्मक प्रश्न पर परीक्षण किया: "Yahoo! Tech का मालिक ___ है।"

मानक विधि: प्रारंभिक कर्मचारियों (MLP Layer 0) को महत्वहीन (#11 या #13) बताया।
IGSD विधि: उन्हें #1 पर रखा।
परिणाम: जब उन्होंने उस प्रारंभिक परत में नोट्स को किसी दूसरे प्रश्न के नोट्स के साथ बदला, तो AI ने "Yahoo" कहना बंद कर दिया और "Partnership" जैसे रैंडम शब्द बोलने लगा। इसने साबित कर दिया कि प्रारंभिक परत वास्तव में महत्वपूर्ण "रिलेशनशिप" कंटेंट ले जा रही थी, जिसे मानक तरीकों ने पूरी तरह से मिस कर दिया था।

सारांश

यह पेपर AI फैक्टरियों के ऑडिट करने का एक नया तरीका है। केवल यह पूछने के बजाय कि "मशीन को कौन चला रहा है?", यह पूछता है कि "कौन उन विशिष्ट निर्देशों को ले जा रहा है जो उत्तर को सही बनाते हैं?" यह तुलना करके कि किसी हिस्से को हटाने और उसे दूसरे संस्करण से बदलने पर क्या होता है, वे सटीक रूप से मैप कर सकते हैं कि AI अपना ज्ञान कहाँ संग्रहीत करता है और वह उस ज्ञान को अपनी परतों के माध्यम से कैसे आगे बढ़ाता है।

तकनीकी सारांश: महत्व से परे: इंटरचेंज-सोबोल संवेदनशीलता (Interchange-Sobol Sensitivity) ट्रांसफॉर्मर घटकों में कार्य-विशिष्ट सामग्री चैनलों (Task-Specific Content Channels) का अनावरण करती है

समस्या विवरण (Problem Statement)
वर्तमान मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) विधियाँ आमतौर पर ट्रांसफॉर्मर घटकों को एक एकल स्केलर महत्व स्कोर (जैसे, डायरेक्ट लॉजिट एट्रिब्यूशन, ज़ीरो एब्लेशन, या ग्रेडिएंट-आधारित एट्रिब्यूशन के माध्यम से) का उपयोग करके सारांशित करती हैं। लेखक तर्क देते हैं कि यह दृष्टिकोण दो अलग-अलग कार्यात्मक भूमिकाओं को मिला देता है:

सामग्री परिवहन (Content Transport): एक घटक इसलिए महत्वपूर्ण है क्योंकि वह कार्य-प्रासंगिक जानकारी ले जाता है; वैकल्पिक सामग्री के साथ इसके सक्रियण (activation) को बदलने से मॉडल का आउटपुट बाधित होता है।
गणना आधार (Computational Substrate): एक घटक इसलिए महत्वपूर्ण है क्योंकि इसकी उपस्थिति फॉरवर्ड कंप्यूटेशन के कार्य करने के लिए आवश्यक है; इसे हटाने (जैसे, ज़ीरो एब्लेशन के माध्यम से) से प्रदर्शन में गिरावट आती है।

मानक महत्व मेट्रिक्स अक्सर इन भूमिकाओं के बीच अंतर करने में विफल रहते हैं। उदाहरण के लिए, तथ्यात्मक रिकॉल (factual recall) कार्यों में, मानक विधियाँ शुरुआती परतों के घटकों को कम रैंक देती हैं, फिर भी मैच किए गए डोनर सक्रियणों (matched donor activations) के साथ उनके सक्रियणों को बदलने से सही उत्तर ढह जाता है, जो यह दर्शाता है कि वे महत्वपूर्ण सामग्री चैनल (content channels) हैं जिन्हें डिलीशन-आधारित मेट्रिक्स कम आंकते हैं।

कार्यप्रणाली: इंटरचेंज-ग्रुप सोबोल डीकंपोज़िशन (IGSD)
यह शोध पत्र IGSD प्रस्तुत करता है, जो एक युग्मित-हस्तक्षेप (paired-intervention) ढांचा है जिसे सामग्री परिवहन को डिलीशन संवेदनशीलता से अलग करने के लिए डिज़ाइन किया गया है।

युग्मित हस्तक्षेप (Paired Interventions): एक विशिष्ट लेयर-लोकल ग्रुप $g$ $g$ (अटेंशन या MLP) और एक बेस प्रॉम्प्ट $x_A$ $x_{A}$ के लिए, IGSD एक मैच किए गए डोनर प्रॉम्प्ट $x_B$ $x_{B}$ का उपयोग करके दो हस्तक्षेप करता है:
1. स्वैप हस्तक्षेप (Swap Intervention): मैच किए गए डोनर सक्रियण $h_g(x_B, t)$ के साथ सक्रियण $h_g(x_A, t)$ को बदल देता है।
2. ज़ीरो हस्तक्षेप (Zero Intervention): उसी सक्रियण को शून्य वेक्टर (zero vector) के साथ बदल देता है।
वैरिएंस इंडिसेस (Variance Indices): विधि आउटपुट वैरिएंस द्वारा सामान्यीकृत दो सोबोल-शैली के वैरिएंस इंडिसेस का अनुमान लगाती है:
- $ST_{swap}(g)$ : मैच किए गए कंटेंट रिप्लेसमेंट के प्रति संवेदनशीलता।
- $ST_{zero}(g)$ : डिलीशन (जीरोइंग) के प्रति संवेदनशीलता।
भूमिका अपघटन (Role Decomposition): मुख्य मीट्रिक एक हस्ताक्षरित अंतर (signed difference) है $\delta(g) = ST_{swap}(g) - ST_{zero}(g)$ $δ (g) = S T_{s w a p} (g) - S T_{z er o} (g)$ ।
- $\delta(g) > 0$ : घटक एक सामग्री-परिवहन चैनल (content-transport channel) के रूप में कार्य करता है। गलत सामग्री, अनुपस्थिति की तुलना में अधिक विघटनकारी है।
- $\delta(g) < 0$ : घटक एक डिलीशन-सेंसिटिव सबस्ट्रेट (deletion-sensitive substrate) के रूप में कार्य करता है। अनुपस्थिति, वैकल्पिक सामग्री की तुलना में अधिक विघटनकारी है।
वैधता निदान (Validity Diagnostics): यह सुनिश्चित करने के लिए कि हस्तक्षेप डेटा मैनिफोल्ड (data manifold) के भीतर रहें, पेपर $\hat{ST} > 1$ की निगरानी करता है। यदि कोई अनुमान 1 से अधिक हो जाता है, तो यह उसे ऑफ-मैनिफोल्ड (off-manifold) के रूप में चिह्नित करता है (जो आदर्श सोबोल इंडिसेस की प्रोडक्ट-मेज़र धारणा का उल्लंघन करता है), और उस ग्रुप को व्याख्या से बाहर कर दिया जाता है।
सैद्धांतिक गारंटी (Theoretical Guarantees): पेपर निम्नलिखित प्रदान करता है:
- इंटरचेंज फिडेलिटी और डिपेंडेंस एरर्स पर बाउंड्स के साथ एक मिस-स्पेसिफिकेशन बाउंड जो मैच किए गए-पेयर इंडेक्स को एक आदर्श सोबोल इंडेक्स से जोड़ता है (प्रपोजिशन 1)।
- $\delta(g)$ के लिए पेयर्ड-बूटस्ट्रैप इन्फरेंस की एसिम्प्टोटिक नॉर्मैलिटी और कंसिस्टेंसी (प्रपोजिशन 2)।
- डोमिनेंट कंटेंट फैक्टर्स (विषय बनाम संबंध) के साथ फैक्टोरियल बकेट कंट्रास्ट को जोड़ने वाले आइडेंटिफिकेशन परिणाम (प्रपोजिशन 3)।
- एक लेटेंट कंटेंट-सबस्ट्रेट डीकंपोज़िशन जो कंटेंट मास ( $C_g$ ) बनाम सबस्ट्रेट मास ( $N_g$ ) के प्रभुत्व को आइसोलेट करता है (प्रपोजिशन 4)।

मुख्य योगदान

फ्रेमवर्क फॉर्मूलेशन: IGSD को एक पेयर्ड-इंटरवेंशन फ्रेमवर्क के रूप में तैयार किया गया है जिसमें मैच किए गए-पेयर इन्फरेंस और एक फैक्टोरियल डोनर डिज़ाइन शामिल है, जो इंटरचेंज फिडेलिटी और डिपेंडेंस एरर्स पर सैद्धांतिक सीमाओं द्वारा समर्थित है।
कार्य-विशिष्ट चैनलों की खोज: विभिन्न कार्यों में, IGSD उत्तर-संरेखित एंड-टोकन पोजीशन पर स्थानीयकृत, कार्य-विशिष्ट कंटेंट-ट्रांसपोर्ट प्रोफाइल की पहचान करता है।
- तथ्यात्मक रिकॉल (Factual Recall): GPT-2 small और Qwen2.5-1.5B दोनों में, IGSD एक अर्ली-लेयर कंटेंट चैनल (विशेष रूप से GPT-2 small में $MLP_{L0}$ ) की पहचान करता है जिसे मानक महत्व विधियाँ कम रैंक (जैसे, #11–#13) देती हैं, लेकिन IGSD इसे #1 रैंक देता है।
- ग्रैनुलैरिटी (Granularity): यह हेड ग्रैनुलैरिटी तक सूक्ष्मता से जाता है, जिससे ज्ञात तथ्यात्मक रिट्रीवल हेड $Attn_{L9H8}$ प्राप्त होता है।
- कंटेंट डिसोसिएशन (Content Dissociation): नियंत्रित डोनर डिज़ाइन प्रकट करते हैं कि प्रारंभिक चैनल ( $MLP_{L0}$ ) रिलेशन-फ्रेम कंटेंट (जैसे, टेम्पलेट "X is a citizen of") को ट्रांसपोर्ट करता है, जबकि लेट अटेंशन ( $Attn_{L9}$ ) सब्जेक्ट-रिट्रीवल कंटेंट को ट्रांसपोर्ट करता है।
डाउनस्ट्रीम वैलिडेशन:
- लेट-लेयर क्लैम्पिंग (Late-layer Clamping): प्रयोग पुष्टि करते हैं कि प्रारंभिक सिग्नल केवल रेसिडुअल्स के माध्यम से पास नहीं किया जाता है, बल्कि डाउनस्ट्रीम लेट-लेयर गणनाओं (विशेष रूप से लेट MLPs) द्वारा कार्यात्मक रूप से रूपांतरित किया जाता है।
- प्रूनिंग उपयोगिता (Pruning Utility): जो घटक कंटेंट-ट्रांसपोर्ट चैनल के रूप में पहचाने गए हैं, वे नॉलेज एडिटिंग के लिए स्वाभाविक लक्ष्य हैं, जबकि जो घटक न तो कंटेंट-बियरिंग हैं और न ही डिलीशन-सेंसिटिव हैं, वे स्ट्रक्चर्ड प्रूनिंग के लिए उम्मीदवार हैं। प्रयोग दिखाते हैं कि IGSD रैंकिंग के आधार पर प्रूनिंग करने से 70.0% सटीकता बनी रहती है, जबकि ज़ीरो-एब्लेशन रैंकिंग के आधार पर प्रूनिंग करने से 57.4% सटीकता रहती है।

परिणाम

तथ्यात्मक रिकॉल: GPT-2 small में, $MLP_{L0}$ को स्वैप करने से सही उत्तर की रैंक #1 से गिरकर #95 हो जाती है, जबकि ज़ीरो एब्लेशन का प्रभाव बहुत कम होता है। IGSD इसे एक कंटेंट-सेंसिटिव चैनल ( $\hat{\delta} = 0.103$ ) के रूप में सही ढंग से पहचानता है, जबकि मानक मेट्रिक्स (DLA, AtP*) इसे प्राथमिकता देने में विफल रहते हैं।
कार्य विशिष्टता (Task Specificity): किसी घटक की भूमिका स्थिर नहीं होती है। इंडायरेक्ट ऑब्जेक्ट आइडेंटिफिकेशन (IOI) में, डोमिनेंट पॉजिटिव कंट्रास्ट लेट अटेंशन लेयर्स ( $Attn_{L9}, Attn_{L10}$ ) की ओर शिफ्ट हो जाता है, जबकि $MLP_{L0}$ नेगेटिव हो जाता है।
मजबूती (Robustness): निष्कर्ष रैंडम सीड्स और आर्किटेक्चर (GPT-2 small और Qwen2.5-1.5B) में स्थिर हैं। "स्वैप बनाम ज़ीरो" कंट्रास्ट प्रोफाइल प्रत्येक कार्य (Factual, IOI, Induction) के लिए विशिष्ट है।

महत्व और दावे
पेपर दावा करता है कि रिप्लेसमेंट और डिलीशन परस्पर विनिमेय नियंत्रण (interchangeable controls) नहीं हैं। उनका विचलन ट्रांसफॉर्मर घटकों में कंटेंट ट्रांसपोर्ट की पहचान करने के लिए एक व्यावहारिक सांख्यिकीय डायग्नोस्टिक प्रदान करता है।

मैकेनिस्टिक अंतर्दृष्टि: IGSD यह प्रकट करता है कि तथ्यात्मक रिकॉल में शुरुआती परतें "रिलेशन फ्रेम" (क्वेरी का टेम्पलेट) स्थापित करने के लिए महत्वपूर्ण हैं, एक ऐसी भूमिका जिसे डिलीशन-आधारित मेट्रिक्स द्वारा कम समझा जाता है।
मेथोडोलॉजिकल शिफ्ट: यह कार्य स्टैटिक इम्पॉर्टेंस स्कोर से हटकर एक डायनेमिक, इंटरवेंशन-लेवल रोल क्लासिफिकेशन की ओर बढ़ता है जो कार्य, डोनर डिस्ट्रीब्यूशन और आउटपुट फंक्शनल द्वारा निर्धारित होता है।
व्यावहारिक अनुप्रयोग: कंटेंट बनाम सबस्ट्रेट भूमिकाओं का अपघटन मॉडल एडिटिंग (कंटेंट चैनलों को लक्षित करना) और कुशल इन्फरेंस (सबस्ट्रेट घटकों को प्रून करना) के लिए एक सिद्धांत आधारित आधार प्रदान करता है।

लेखक अपनी सीमाओं के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि हस्तक्षेप की वैधता डोनर मैचिंग फिडेलिटी पर निर्भर करती है, ज़ीरो एब्लेशन केवल एक डिलीशन ऑपरेटर है, और वर्तमान परिणाम सिंगल-टोकन कार्यों और ब्लॉक-लेवल डाउनस्ट्रीम वैलिडेशन तक सीमित हैं। हालाँकि, वे तर्क देते हैं कि यह फ्रेमवर्क मल्टी-टोकन आउटपुट और सिमेंटिक इक्विवेलेंस क्लासेस के लिए विस्तार योग्य है।