🤖 machine learning

When Attribution Patching Lies: Diagnosis and a Second-Order Correction

यह शोध पत्र डाउनस्ट्रीम नेटवर्क में गैर-रेखीयताओं (non-linearities) को एट्रिब्यूशन पैचिंग (attribution patching) में त्रुटि के प्राथमिक स्रोत के रूप में पहचानता है और एक गणनात्मक रूप से कुशल हेसियन-वेक्टर-प्रोडक्ट (Hessian-vector-product) सुधार प्रस्तुत करता है जो विभिन्न मॉडल पैमानों पर मैकेनिस्टिक इंटरप्रिटेबिलिटी सर्किट की सटीकता और विश्वसनीयता में महत्वपूर्ण सुधार करता है।

मूल लेखक: Luyang Zhang, Jialu Wang

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luyang Zhang, Jialu Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: AI के "मस्तिष्क कोशिकाओं" को खोजने की कोशिश

कल्पना कीजिए कि आपके पास एक विशाल, जटिल मशीन (एक लार्ज लैंग्वेज मॉडल) है जो कहानियाँ लिख सकती है, गणित की समस्याओं को हल कर सकती है और आपसे बातें कर सकती है। वैज्ञानिक यह जानना चाहते हैं कि इस मशीन के कौन से विशिष्ट हिस्से विशिष्ट व्यवहारों के लिए जिम्मेदार हैं। उदाहरण के लिए, कौन सा "न्यूरॉन" "banana" के बजाय "apple" शब्द का उपयोग करने का निर्णय लेता है?

इन हिस्सों को खोजने के लिए, शोधकर्ता एक्टिवेशन पैचिंग (Activation Patching) नामक तकनीक का उपयोग करते हैं। इसे मशीन पर एक "सर्जरी" के रूप में सोचें:

आप मशीन को एक सामान्य वाक्य के साथ चलाते हैं (जैसे, "The cat sat on the mat")।
आप इसे एक बिगड़े हुए वाक्य के साथ फिर से चलाते हैं (जैसे, "The dog sat on the mat")।
आप पहले रन की आंतरिक "मस्तिष्क गतिविधि" को दूसरे रन में बदल देते हैं।
यदि मशीन अचानक ऐसे व्यवहार करने लगती है जैसे वह फिर से बिल्ली के बारे में बात कर रही हो, तो आप जान जाते हैं कि वह विशिष्ट हिस्सा महत्वपूर्ण है।

समस्या: आधुनिक AI के हर एक हिस्से पर यह सर्जरी करना एक गगनचुंबी इमारत की हर एक ईंट का परीक्षण करने जैसा है यह देखने के लिए कि कौन सी ईंट छत को थामे हुए है। इसमें बहुत अधिक समय और कंप्यूटर शक्ति लगती है।

शॉर्टकट: "एट्रिब्यूशन पैचिंग" (Attribution Patching)

चूंकि पूर्ण सर्जरी बहुत धीमी है, इसलिए शोधकर्ता एट्रिब्यूशन पैचिंग नामक एक शॉर्टकट का उपयोग करते हैं। हिस्सों को वास्तव में बदलने के बजाय, वे एक गणितीय अनुमान (एक "फर्स्ट-ऑर्डर एप्रोक्सिमेशन") का उपयोग करते हैं यह भविष्यवाणी करने के लिए कि कौन से हिस्से महत्वपूर्ण हो सकते हैं।

इसे इस तरह सोचें:

असली सर्जरी (एक्टिवेशन पै칭): आप वास्तव में कार का इंजन बदलते हैं और देखते हैं कि क्या वह बेहतर चलती है। सटीक, लेकिन इसमें घंटों लगते हैं।
शॉर्टकट (एट्रिब्यूशन पैचिंग): आप इंजन को देखते हैं, एक त्वरित गणना करते हैं, और अनुमान लगाते हैं, "हाँ, यह इंजन ही शायद समस्या है।" यह तेज़ है, लेकिन कभी-कभी अनुमान गलत होता है।

खोज: यह शॉर्टकट कब झूठ बोलता है

इस पेपर के लेखकों ने पूछा: "यह शॉर्टकट कब विफल होता है, और क्यों?"

उन्होंने पाया कि शॉर्टकट इसलिए विफल नहीं होता क्योंकि वह हिस्से की वजह से है, बल्कि इसलिए होता है क्योंकि उस हिस्से के बाद क्या होता है।

डोमिनो चेन (Domino Chain) की उपमा:
कल्पना कीजिए कि डोमिनो की एक पंक्ति है।

शॉर्टकट की गलती: शॉर्टकट उस पहले डोमिनो को देखता जिसे आपने धक्का दिया और मान लेता है, "यदि मैं इसे धक्का दूँगा, तो पूरी पंक्ति गिर जाएगी।" यह मानता है कि धक्का एक सीधी, अनुमानित रेखा में यात्रा करता है।
वास्तविकता: एक जटिल AI में, "धक्का" अन्य डोमिनो के घुमावदार रास्ते से होकर गुजरता है। कभी-कभी, रास्ता मुड़ जाता है, या बल बढ़ जाता है, या अन्य बलों द्वारा रद्द कर दिया जाता है। शॉर्टकट इन घुमावों को नहीं देख पाता; वह केवल तत्काल धक्के को देखता है।

यह पेपर साबित करता है कि सबसे बड़ी त्रुटियां इसलिए होती हैं क्योंकि शॉर्टकट नेटवर्क के बाकी हिस्सों में सिग्नल द्वारा लिए जाने वाले पथ की वक्रता (curvature) को अनदेखा कर देता है। यह स्टीयरिंग व्हील को देखकर कार चलाने की कोशिश करने जैसा है, यह भूलकर कि आगे का रास्ता तीखे मोड़ों से भरा है।

समाधान: "स्क्रीन-फ्लैग-फिक्स" पाइपलाइन

लेखक इस समस्या को बिना धीमा किए ठीक करने के लिए तीन चरणों वाला वर्कफ़्लो प्रस्तावित करते हैं। वे इसे स्क्रीन-फ्लैग-फिक्स (Screen-Flag-Fix) कहते हैं।

1. स्क्रीन (त्वरित अनुमान - Screen)

पहले, AI के हर हिस्से पर तेज़, सस्ते शॉर्टकट (एट्रिब्यूशन पैचिंग) को चलाएं। यह आपको एक मोटा अनुमान देता है कि कौन महत्वपूर्ण है।

उपमा: आप भीड़ को जल्दी से स्कैन करते हैं ताकि यह अनुमान लगाया जा सके कि VIP कौन है। आपको 100 संदिग्धों की एक सूची मिलती है।

2. फ्लैग (विश्वसनीयता की जांच - Flag)

इसके बाद, अपनी सूची की जाँच करने के लिए एक नए "विश्वसनीयता स्कोर" (Reliability Score) का उपयोग करें। यह स्कोर पूछता है: "क्या आगे का रास्ता घुमावदार होने की संभावना है?"

यदि स्कोर कम है, तो शॉर्टकट शायद सही था।
यदि स्कोर अधिक है, तो शॉर्टकट संभवतः झूठ बोल रहा है क्योंकि रास्ता बहुत जटिल है।
उपमा: आप अपने 100 संदिग्धों की सूची देखते हैं। आप महसूस करते हैं कि उनमें से 90 के लिए, रास्ता सीधा है, इसलिए आपका अनुमान ठीक है। लेकिन 10 के लिए, रास्ता तीखे मोड़ों से भरा है। आप उन 10 को "अविश्वसनीय" के रूप में फ्लैग (चिह्नित) करते हैं।

3. फिक्स (लक्षित सर्जरी - Fix)

अंत में, आप केवल फ्लैग किए गए आइटम्स पर महंगी, सटीक "सर्जरी" (एक हेसियन-वेक्टर प्रोडक्ट या HVP का उपयोग करके) करते हैं।

उपमा: आप पूरी भीड़ की दोबारा जांच नहीं करते। आप केवल उन 10 संदिग्ध लोगों का गहन बैकग्राउंड चेक करते जिन्हें आपने फ्लैग किया था। इससे आपका 90% समय बचता है लेकिन फिर भी आप असली VIP को पकड़ लेते हैं।

यह क्यों मायने रखता है

यह पेपर दिखाता है कि यह तरीका अविश्वसनीय रूप से अच्छा काम करता है:

यह सटीक है: यह AI के मस्तिष्क में होने वाली त्रुटियों को ठीक करता है जो "घुमावदार रास्तों" के कारण होती हैं। कुछ परीक्षणों में, इसने त्रुटियों को 80% से अधिक कम कर दिया।
यह तेज़ है: क्योंकि यह केवल उन्हीं हिस्सों को ठीक करता है जो वास्तव में खराब हैं, यह हर चीज़ के लिए पूर्ण सर्जरी करने की तुलना में बहुत सस्ता है।
यह स्केल करता है: अन्य तरीके जो इन त्रुटियों को ठीक करने की कोशिश करते हैं (जैसे "इंटीग्रेटेड ग्रेडिएंट्स"), बड़े AI मॉडल (जैसे 8 बिलियन पैरामीटर वाले) पर उपयोग करना असंभव हो जाता है। यह नया तरीका उन विशाल मॉडलों पर भी काम करता है।

निष्कर्ष

यह पेपर हमें सिखाता है कि AI के मस्तिष्क को समझने के लिए सामान्य शॉर्टकट अक्सर अविश्वसनीय होता है क्योंकि यह नेटवर्क में बाद में सिग्नल द्वारा लिए जाने वाले जटिल रास्तों को अनदेखा कर देता है। अविश्वसनीय अनुमानों को खोजने और केवल उन्हें ठीक करने के लिए एक स्मार्ट "चेकलिस्ट" का उपयोग करके, हम एक त्वरित अनुमान की गति के साथ पूर्ण सर्जरी की सटीकता प्राप्त कर सकते है। यह वैज्ञानिकों को यह समझने के लिए एक अधिक सटीक मानचित्र बनाने में मदद करता है कि AI मॉडल वास्तव में कैसे सोचते हैं।

तकनीकी सारांश: जब एट्रिब्यूशन पैचिंग झूठ बोलता है

समस्या विवरण

मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic interpretability) 'कॉज़ल लोकलाइजेशन' (causal localization) पर निर्भर करती है ताकि यह पहचाना जा सके कि कौन से आंतरिक घटक (न्यूरॉन्स, अटेंशन हेड्स) विशिष्ट मॉडल व्यवहारों को संचालित करते हैं। इसके लिए स्वर्ण मानक (gold standard) एक्टिवेशन पैचिंग (activation patching) है, जो एक दूषित इनपुट के तहत किसी घटक के एक्टिवेशन को क्लीन इनपुट के मान से बदलने के कारण होने वाले प्रभाव को मापता है। हालाँकि, बड़े पैमाने पर एक्टिवेशन पैचिंग करना कम्प्यूटेशनल रूप से अत्यधिक महंगा है क्योंकि इसकी लागत घटकों की संख्या के साथ रैखिक रूप से बढ़ती है।

परिणामस्वरूप, अभ्यासकर्ता एट्रिब्यूशन पैचिंग (attribution patching) पर निर्भर करते हैं, जो एक फर्स्ट-ऑर्डर, ग्रेडिएंट-आधारित सन्निकटन (approximation) है जो दूषित एक्टिवेशन के आसपास एक हस्तक्षेप (intervention) को रैखिकीकृत (linearize) करता है। कुशल होने के बावजूद, एट्रिब्यूशन पैचिंग की विश्वसनीयता को ठीक से नहीं समझा गया है। व्यवस्थित त्रुटियाँ इन अनुमानों में गलत पहचान (misidentification) का कारण बन सकती हैं। पिछले कार्यों ने विशिष्ट विफलता मोड (जैसे, एक्टिवेशन-रीजन मिसमैच, सॉफ्टमैक्स रिडिस्ट्रीब्यूशन) की पहचान की है और आंशिक समाधान प्रस्तावित किए हैं, लेकिन एक मौलिक प्रश्न शेष है: एट्रिब्यूशन पैचिंग कब विश्वसनीय है, इसकी त्रुटि कितनी बड़ी हो सकती है, और इसे कैसे सुधारा जाना चाहिए?

कार्यप्रणाली और मुख्य अंतर्दृष्टि

लेखक एक सेकंड-ऑर्डर टेलर एक्सपेंशन (Taylor expansion) का उपयोग करके एट्रिब्यूशन पैचिंग त्रुटि की संरचना का विश्लेषण करते हैं। वे वास्तविक कारण प्रभाव ( $\Delta$ ) और फर्स्ट-ऑर्डर अनुमान ( $\hat{\Delta}$ ) के बीच की त्रुटि $E$ को दो घटकों में विभाजित करते हैं:
$E = \underbrace{\frac{1}{2} \delta^\top H \delta}_{\text{प्रमुख द्विघात पद (Dominant Quadratic Term)}} + \underbrace{\Phi(\delta)}_{\text{क्यूबिक शेष (Cubic Remainder)}}$
जहाँ $\delta$ विक्षोभ की दिशा (perturbation direction) है और $H$ एक्टिवेशन के सापेक्ष स्केलर आउटपुट मेट्रिक का हेसियन (Hessian) है।

मुख्य अंतर्दृष्टि: डाउनस्ट्रीम बनाम स्थानीय वक्रता (Downstream vs. Local Curvature)

एक महत्वपूर्ण निष्कर्ष यह है कि प्रमुख त्रुटि पद हस्तक्षेप के प्रति नेटवर्क-स्तरीय प्रतिक्रिया (network-level response) से उत्पन्न होता है (कि विक्षोभ शेष मॉडल में कैसे प्रसारित होता है), न कि स्वयं पैच किए गए घटक पर स्थानीय वक्रता (local curvature) से।

पिछले सुधारों की विफलता: पिछले तरीके (जैसे, AtP*, GIM) स्थानीय एक्टिवेशन वक्रता (जैसे, एक्टिवेशन फंक्शन का दूसरा व्युत्पन्न) का उपयोग करके त्रुटियों को सुधारने का प्रयास करते हैं। लेखक प्रदर्शित करते हैं कि स्थानीय वक्रता वास्तविक त्रुटि का एक खराब भविष्यवक्ता है, जो शून्य के करीब सहसंबंध ( $r=0.04$ ) दिखाती है, और वास्तविक त्रुटि स्रोत को 2–66 $\times$ कम आंकती है।
नेटवर्क-स्तरीय सुधार: वास्तविक त्रुटि संपूर्ण कम्प्यूटेशनल ग्राफ के हेसियन-वेक्टर प्रोडक्ट (HVP) पर निर्भर करती है।

प्रस्तावित समाधान: स्क्रीन–फ्लैग–फिक्स (Screen–Flag–Fix)

इस अपघटन के आधार पर, लेखक एक स्केलेबल वर्कफ़्लो प्रस्तावित करते हैं:

स्क्रीन (Screen): सभी घटकों के लिए मानक एट्रिब्यूशन पैचिंग की गणना करें (एक बैकवर्ड पास)।
फ्लैग (Flag): एक विश्वसनीयता स्कोर ( $\tilde{R}$ ) की गणना करें जो फर्स्ट-ऑर्डर अनुमान के सापेक्ष द्विघात पद के परिमाण द्वारा परिभाषित है:
$\tilde{R} = \frac{|\delta^\top H \delta|}{2 |\hat{\Delta}|}$
एक उच्च $\tilde{R}$ इंगित करता है कि छोड़ा गया द्विघात पद महत्वपूर्ण है, जो अनुमान को अविश्वसनीय के रूप में फ्लैग करता है।
फिक्स (Fix): केवल फ्लैग किए गए घटकों पर HVP-आधारित सेकंड-ऑर्डर सुधार लागू करें।
- मानक HVP: अनुमान में $\frac{1}{2} \delta^\top H \delta$ पद जोड़ता है। इसके लिए दो बैकवर्ड पास की आवश्यकता होती है (एक ग्रेडिएंट की गणना के लिए, एक HVP की गणना के लिए)।
- मल्टी-स्टेप HVP (MS-HVP): बड़े विक्षोभों के लिए जहाँ एक सिंगल टेलर स्टेप ओवरशूट कर सकता है (स्थानीय स्मूथनेस धारणा का उल्लंघन करते हुए), सुधार को $K$ सब-स्टेप्स में विभाजित किया जाता है। यह अवशेष त्रुटि को $O(\|\delta\|^2)$ से घटाकर $O(\|\delta\|^3/K^2)$ कर देता है।

मुख्य योगदान

एट्रिब्यूशन विश्वसनीयता का पुनर्गठन: लेखक त्रुटि के प्रमुख स्रोत को स्थानीय नॉन-लीनियैरिटी के बजाय डाउनस्ट्रीम नेटवर्क प्रतिक्रिया के रूप में ट्रैक करते हैं, जो यह समझाता है कि पिछले स्थानीय सुधार संरचनात्मक रूप से अधूरे क्यों हैं।
स्केलेबल सेकंड-ऑर्डर सुधार: वे HVP और MS-HVP को पहले ऐसे स्केलेबल सेकंड-ऑर्डर सुधार के रूप में पेश करते हैं जो बड़े पैमाने पर (9B पैरामीटर्स तक) व्यवहार्य है। इंटीग्रेटेड ग्रेडिएंट्स (IG) के विपरीत, जो इस पैमाने पर कम्प्यूटेशनल रूप से अव्यवहार्य हो जाता है (एक कार्य के लिए $\sim$ 25 GPU-दिन), HVP व्यावहारिक बना रहता है।
डिज़ाइन स्पेस और वर्कफ़्लो: वे अपने शोध के लक्ष्यों के आधार पर पूर्व परिशोधन विधियों को व्यवस्थित करते हैं और एक "स्क्रीन-फ्लैग-फिक्स" पाइपलाइन प्रस्तावित करते हैं जो कम्प्यूटेशनल प्रयास को केवल अविश्वसनीय घटकों की ओर लक्षित करता है, जिससे सटीकता और दक्षता के बीच संतुलन बनता है।

प्रयोगात्मक परिणाम

लेखकों ने पांच मॉडल परिवारों (124M–9B पैरामीटर्स) और कई कार्यों (IOI, Greater-Than, Factual Completion) में अपने तरीके का मूल्यांकन किया।

त्रुटि में कमी: मानक HVP सुधार अटेंशन हेड्स पर टॉप-5 रिलेटिव एरर को 72–90% तक और लो-टू-मॉडरेट कर्वेचर रेजिम्स में प्री-एक्टिवेशन MLP न्यूरॉन्स पर 56–67% तक कम करता है। पैथोलॉजिकल हाई-कर्वेचर रेजिम्स (जैसे, Pythia-410M IOI) में, सिंगल-स्टेप HVP ओवरशूट कर सकता है, लेकिन MS-HVP (K=5) स्थिरता को पुनः प्राप्त करता है, जिससे त्रुटि में 82% तक की कमी आती है।
बेसलाइन के साथ तुलना:
- इंटीग्रेटेड ग्रेडिएंट्स (IG) बनाम: समान कम्प्यूटेशनल लागत पर, MS-HVP (लागत 10) IG (लागत 35) की तुलना में 3.5 $\times$ दक्षता लाभ के साथ IG से बेहतर प्रदर्शन करता है और उसकी सटीकता के बराबर या उससे अधिक है।
- इंटीग्रेटेड हेसियंस (IH) बनाम: IH लगातार MS-HVP से कम प्रदर्शन करता है क्योंकि इसकी वेटिंग स्कीम (जो फीचर इंटरैक्शन के लिए डिज़ाइन की गई है) एट्रिब्यूशन पैचिंग से संबंधित विशिष्ट त्रुटि पद को व्यवस्थित रूप से कम आंकती है।
- GIM/AtP बनाम:* ये तरीके मामूली लाभ प्रदान करते हैं या प्रदर्शन को कम करते हैं, विशेष रूप से बड़े मॉडलों में जहाँ उच्च-क्रम नेटवर्क कर्वेचर हावी होता है।
सर्किट रिकवरी: प्रति-घटक सटीकता में वृद्धि सर्किट रिकवरी में सुधार में बदल जाती है। GPT-2 Greater-Than बेंचमार्क पर, MS-HVP (K=5) ने ग्राउंड ट्रुथ के साथ टॉप-5 हेड ओवरलैप को 70.1% से बढ़ाकर 83.2% कर दिया, जो IG और GIM दोनों से बेहतर है।
स्केलेबिलिटी: 8B+ पैरामीटर्स पर, IG अव्यवहार्य है, जबकि HVP व्यावहारिक बना रहता है। MS-HVP एकमात्र दूसरा सेकंड-ऑर्डर सुधार है जिसे इस पैमाने पर प्रदर्शित किया गया है।

महत्व और दावे

यह पेपर दावा करता है कि एट्रिब्यूशन पैचिंग स्वाभाविक रूप से अविश्वसनीय नहीं है, बल्कि यह एक विशिष्ट, सुधारात्मक त्रुटि स्रोत से ग्रस्त है: डाउनस्ट्रीम नेटवर्क कर्वेचर की उपेक्षा। डाउनस्ट्रीम नेटवर्क के स्थानीय एक्टिवेशन गुणों के बजाय नेटवर्क-स्तरीय हेसियन-वेक्टर उत्पादों पर ध्यान केंद्रित करके, लेखक यह बताते हैं कि एट्रिब्यूशन पैचिंग कब विफल होता है और इसे कैसे सुधारा जा सकता है।

इसका महत्व कठोर कॉज़ल टेस्टिंग के लिए पहले से अप्राप्य स्तरों पर उच्च-निष्ठा (high-fidelity) सर्किट रिकवरी को सक्षम करने में निहित है। प्रस्तावित Screen-Flag-Fix वर्कफ़्लो अभ्यासकर्ताओं को विश्वसनीय घटकों के लिए फर्स्ट-ऑर्डर सन्निकटन की गति बनाए रखने और केवल आवश्यक होने पर लक्षित, कम्प्यूटेशनल रूप से कुशल सेकंड-ऑर्डर सुधार लागू करने की अनुमति देता है। यह दृष्टिकोण आधुनिक लार्ज लैंग्वेज मॉडल्स में मैकेनिस्टिक सर्किट्स की खोज को पूर्ण एक्टिवेशन पैचिंग या इंटीग्रेटेड ग्रेडिएंट्स जैसे पाथ-इंटिग्रेशन विधियों की अत्यधिक लागत के बिना संभव बनाता है।