Mechanistic Interpretability as Statistical Estimation: A Variance Analysis
यह शोध पत्र तर्क देता है कि मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) मौलिक रूप से एक सांख्यिकीय अनुमान समस्या है जो कॉज़ल मीडिएशन स्कोर्स (causal mediation scores) में उच्च अंतर्निहित विचरण (high intrinsic variance) से ग्रस्त है, जिसके कारण सर्किट डिस्कवरी पाइपलाइन अस्थिर और नाजुक परिणाम उत्पन्न करती हैं जो कठोर सांख्यिकीय सुदृढ़ता और स्थिरता रिपोर्टिंग की ओर बदलाव को आवश्यक बनाती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़े चित्र की रूपरेखा: एक डगमगाते कंपास के साथ शहर का मानचित्रण करने की कोशिश
कल्पना कीजिए कि आप एक जटिल शहर (एक न्यूरल नेटवर्क) का नक्शा बनाने की कोशिश कर रहे हैं ताकि यह समझ सकें कि वह बिंदु A से बिंदु B तक कैसे पहुँचता है (कैसे एक समस्या को हल करता है)। मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic Interpretability) के क्षेत्र के वैज्ञानिक शहरी खोजकर्ताओं (urban explorers) की तरह हैं। वे उन विशिष्ट "सड़कों" और "चौराहों" (न्यूरॉन्स और कनेक्शन) को खोजना चाहते हैं जिनका उपयोग शहर निर्णय लेने के लिए करता है। वे इन विशेष मार्गों को "सर्किट" (circuits) कहते हैं।
यह शोध पत्र तर्क देता है कि वर्तमान में, ये खोजकर्ता एक ऐसे कंपास का उपयोग कर रहे हैं जो पागलों की तरह घूम रहा है। उन्हें लगता है कि वे एक ही वास्तविक मानचित्र खोज रहे हैं, लेकिन वास्तव में, वे हर बार एक अलग नक्शा बना रहे होते हैं, जो मौसम में मामूली बदलाव या उनके द्वारा कंपास पकड़ने के तरीके पर निर्भर करता है।
मुख्य समस्या: "घूमता हुआ कंपास" (विचलन/Variance)
शोधकर्ताओं ने पाया कि इन सर्किटों को खोजने के लिए उपयोग किए जाने वाले उपकरण मौलिक रूप से अस्थिर हैं। उन्होंने इस समस्या को अस्थिरता के तीन स्तरों में विभाजित किया है:
1. कच्चा संकेत शोर भरा है (आंतरिक परिवर्तनशीलता/Intrinsic Variability)
उपमा: एक तूफान में हवा की एक विशिष्ट धारा की शक्ति को मापने की कोशिश करने की कल्पना करें। यदि आप एक सटीक सेकंड पर इसे मापते हैं, तो आपको एक संख्या मिलती है। यदि आप एक सेकंड बाद मापते हैं, तो हवा अचानक थोड़ी तेज़ या धीमी हो सकती है क्योंकि इसमें रैंडम विक्षोभ (turbulence) होता है।
पेपर का दावा: AI के एक विशिष्ट हिस्से का "महत्व" पत्थर के वजन की तरह एक निश्चित संख्या नहीं है। यह हवा की गति की तरह है। यह उस विशिष्ट इनपुट (तूफान) पर निर्भर करता है जिसे आप देख रहे हैं, और यह बहुत अधिक बदलता रहता है। पेपर दिखाता है कि भले ही आप इसकी गणना पूरी तरह से करें, एक एकल कनेक्शन का स्कोर इतना उतार-चढ़ाव भरा होता है कि यह बताना मुश्किल हो जाता है कि वह वास्तव में महत्वपूर्ण है या केवल एक रैंडम हवा का झोंका है।
2. उपकरण और अधिक शोर जोड़ते हैं (अनुमान त्रुटियाँ/Approximation Errors)
उपमा: क्योंकि हवा को पूरी तरह से मापने में बहुत समय लगता है, इसलिए खोजकर्ता हवा की गति का अनुमान लगाने के लिए एक सस्ते, तेज़ सेंसर (EAP जैसे एप्रोक्सिमेशन मेथड्स) का उपयोग करते हैं। लेकिन यह सस्ता सेंसर अस्थिर है। यह पहले से ही बदलते हुए हवा के ऊपर अपना खुद का स्टैटिक और त्रुटियाँ जोड़ देता है।
पेपर का दावा: समय बचाने के लिए वैज्ञानिक जिन तेज़ तरीकों का उपयोग करते हैं (जैसे एज एट्रिब्यूशन पैचिंग), वे और भी अधिक शोर पैदा करते हैं। वे अक्सर स्कोर को पहले की तुलना में और भी अधिक अस्थिर बना देते हैं। "सिग्नल-टू-नॉइज़ रेशियो" इतना कम है कि उपकरण अक्सर वास्तविक सिग्नल के बजाय केवल स्टैटिक (शोर) को पकड़ रहे होते हैं।
3. हर कदम के साथ नक्शा बदल जाता है (एकत्रीकरण अस्थिरता/Aggregation Instability)
उपमा: अपना अंतिम नक्शा बनाने के लिए, खोजकर्ता 100 अलग-अलग माप लेते हैं और उनका औसत निकालते हैं। लेकिन चूंकि माप इतने अस्थिर हैं, इसलिए यदि आप 100 मापों की सूची में थोड़ा सा भी बदलाव करते हैं (जैसे एक को दूसरे से बदलना), तो अंतिम नक्शा पूरी तरह से अलग दिखता है। एक दिन, नक्शा एक राजमार्ग दिखाता है; अगले दिन, वह एक कच्चा रास्ता दिखाता है।
पेपर का दावा: जब वैज्ञानिक एक "सर्किट" बनाने के लिए इन अस्थिर स्कोर को मिलाते हैं, तो परिणाम अविश्वसनीय रूप से नाजुक होता है।
- डेटा बदलता है: यदि वे अपने नक्शे को प्रशिक्षित करने के लिए उदाहरणों के थोड़े अलग सेट का उपयोग करते हैं, तो वे एक पूरी तरह से अलग सर्किट पाते हैं।
- मेथड बदलता है: यदि वे एक सेटिंग (जैसे संख्याओं को औसत निकालने का तरीका) में बदलाव करते हैं, तो उन्हें एक अलग सर्किट मिलता है।
- परटर्बेशन (Perturbation) बदलता है: यदि वे AI को टेस्ट करने के लिए उसे "तोड़ने" (counterfactual) का तरीका बदलते हैं, तो पाया गया सर्किट फिर से बदल जाता है।
"डेड सैल्मन" प्रभाव (The "Dead Salmon" Effect)
पेपर में उल्लेख है कि वर्तमान तरीके "डेड सैल्मन" आर्टिफैक्ट्स के प्रति संवेदनशील हैं।
उपमा: तंत्रिका विज्ञान (neuroscience) में, शोधकर्ताओं ने एक बार एक मृत सैल्मन में "मस्तिष्क गतिविधि" पाई थी क्योंकि उन्होंने सांख्यिकीय शोर (statistical noise) के लिए सुधार नहीं किया था। पेपर सुझाव देता है कि AI शोधकर्ता भी ऐसा ही कर रहे होंगे: ऐसे "सर्किट" खोज रहे हैं जो वास्तविक दिखते हैं लेकिन वास्तव में केवल रैंडम शोर है जो संयोग से एक साथ आ गया था।
शोधकर्ताओं ने क्या पाया (साक्ष्य)
उन्होंने विभिन्न AI मॉडल्स (जैसे GPT-2 और Llama) और कार्यों (जैसे गणित या व्याकरण) पर प्रयोग चलाए।
- परिणाम: जब उन्होंने थोड़े अलग डेटा के साथ एक ही प्रयोग को 100 बार चलाया, तो उनके द्वारा पाए गए "सर्किट" आपस में बहुत कम मिलते थे। कभी-कभी, ओवरलैप 10% से भी कम था।
- निष्कर्ष: वहां कोई एक "सच्चा सर्किट" (True Circuit) नहीं है जिसे खोजा जाना बाकी है। इसके बजाय, संभावित सर्किट का एक बादल (cloud) है, और वर्तमान तरीके बस उस बादल से एक रैंडम बिंदु चुन रहे हैं और उसे सत्य कह रहे हैं।
प्रस्तावित समाधान: अनुमान लगाना बंद करें, अनिश्चितता को मापना शुरू करें
लेखक यह नहीं कहते कि "AI व्याख्या करना छोड़ दें।" इसके बजाय, वे कहते हैं "यह दावा करना बंद करें कि हम जितना जानते हैं उससे कहीं अधिक जानते हैं।"
नया नियम पुस्तिका:
- विचलन (Variance) की रिपोर्ट करें: केवल एक नक्शा न दिखाएं। 100 नक्शे दिखाएं और कहें, "यह औसत है, और यह है कि वे कितने भिन्न हैं।"
- स्थिरता (Stability) की जाँच करें: यह दावा करने से पहले कि आपने एक सर्किट खोज लिया है, जाँच करें कि क्या यह डेटा को थोड़ा बदलने पर भी स्थिर रहता है। यदि सर्किट एक छोटे से बदलाव के साथ गायब हो जाता है, तो यह विश्वसनीय नहीं है।
- अनिश्चितता को स्वीकार करें: इन निष्कर्षों को मौसम के पूर्वानुमान (जैसे, "बारिश की 70% संभावना है") की तरह मानें, न कि पूर्ण तथ्यों (जैसे, "बारिश होगी") की तरह।
सारांश
पेपर का तर्क है कि मैकेनिस्टिक इंटरप्रिटेबिलिटी वर्तमान में सांख्यिकी (statistics) को स्वीकार किए बिना विज्ञान करने की कोशिश कर रही है। यह एक ट्रैम्पोलिन पर खड़े होकर पहाड़ की ऊंचाई मापने की कोशिश करने जैसा है। लेखक चाहते हैं कि यह क्षेत्र एक एकल, पूर्ण "ग्राउंड ट्रुथ" सर्किट खोजने के बजाय यह रिपोर्ट करना शुरू करे कि उनके निष्कर्ष वास्तव में कितने अस्थिर और परिवर्तनशील हैं। इस अस्थिरता को स्वीकार करके ही हम AI के दिमाग के जो नक्शे बना रहे हैं, उन पर भरोसा कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।