Mechanistic Interpretability for Neural Networks: Circuits, Sparse Features and Symbolic Reasoning
यह शोधपत्र मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) का एक व्यापक अवलोकन प्रदान करता है, जिसमें यह विस्तार से बताया गया है कि कैसे ट्रांसफॉर्मर सर्किट विश्लेषण (Transformer circuit analysis), स्पार्स ऑटोएनकोडर (Sparse Autoencoders) और कॉज़ल इंटरवेंशन (causal interventions) जैसी तकनीकें न्यूरल नेटवर्क को रिवर्स-इंजीनियर करके उनके आंतरिक एल्गोरिदम को उजागर कर सकती हैं, पॉलीसेमेंटिसिटी (polysemanticity) को हल कर सकती हैं, और सुरक्षित एआई के लिए निरूपणों (representations) को स्पष्ट तार्किक नियमों में अनुवादित कर सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी तस्वीर: ब्लैक बॉक्स को खोलना
कल्पना कीजिए कि आधुनिक AI मॉडल (जैसे वे जो निबंध लिखते हैं या आपसे चैट करते हैं) विशाल, सीलबंद ब्लैक बॉक्स की तरह हैं। हम जानते हैं कि इसमें क्या जा रहा है (एक सवाल) और क्या बाहर आ रहा है (एक जवाब), लेकिन हमें नहीं पता कि बीच में मौजूद लाखों गियर और तारों के अंदर क्या हो रहा है।
इन बॉक्सों को समझने के पारंपरिक तरीके एक कार के एग्जॉस्ट पाइप को देखने की तरह हैं ताकि यह अनुमान लगाया जा सके कि इंजन कैसे काम करता है। वे आपको बताते हैं कि कार क्या कर रही है, लेकिन यह नहीं कि इंजन इसे कैसे कर रहा है।
यह पेपर मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic Interpretability) नामक एक नए दृष्टिकोण को पेश करता है। केवल अनुमान लगाने के बजाय, यह क्षेत्र AI को रिवर्स-इंजीनियर करने की कोशिश करता है। यह ब्लैक बॉक्स को खोलने, उसके हर एक गियर, स्प्रिंग और तार को अलग करने और इस बात के सटीक निर्देश (स्यूडोकोड) लिखने जैसा है कि वे परिणाम उत्पन्न करने के लिए एक साथ कैसे काम करते हैं।
1. हाईवे और ट्रैफिक (सर्किट्स)
इन AI मॉडलों के भीतर, एक केंद्रीय "हाईवे" होता है जिसे रेसिडुअल स्ट्रीम (residual stream) कहा जाता है। इसे एक कन्वेयर बेल्ट के रूप में सोचें जो मॉडल की शुरुआत से अंत तक सूचना ले जाती है।
- ट्रैफिक कंट्रोलर्स (अटेंशन हेड्स): ये कन्वेयर बेल्ट पर ट्रैफिक पुलिस की तरह हैं। वे तय करते हैं कि सूचना के किस हिस्से को किस दूसरे हिस्से को देखना चाहिए। उदाहरण के लिए, यदि वाक्य है "The cat sat on the mat," तो एक ट्रैफिक पुलिस "it" शब्द को वापस "cat" से जोड़ सकता है।
- वर्कर्स (MLP लेयर्स): ये उन श्रमिकों की तरह हैं जो बेल्ट पर मौजूद सूचना को लेते हैं और उसे बदलते हैं। वे नए विचार जोड़ते हैं या अर्थ बदल देते हैं।
- जादुई ट्रिक (इंडक्शन हेड्स): पेपर एक विशिष्ट प्रकार के ट्रैफिक पुलिस की चर्चा करता है जिसे "इंडक्शन हेड" कहा जाता है। कल्पना कीजिए कि आप एक कहानी पढ़ रहे हैं जहाँ एक पैटर्न दोहराया जाता है: "Aunt Sally... Aunt Sally।" इंडक्शन हेड मस्तिष्क का वह हिस्सा है जो नोटिस करता है, "हे, मैंने यह पैटर्न पहले देखा है! अगला शब्द शायद फिर से 'Sally' ही होगा।" इसी तरह AI बिना दोबारा प्रशिक्षित हुए, केवल प्रॉम्प्ट पढ़कर नई चीजें सीखता है।
2. समस्या: "सुपरपोजिशन" सूप
यहाँ पेचीदा हिस्सा है। यदि आप AI में एक एकल न्यूरॉन (एक छोटा प्रोसेसिंग यूनिट) को देखते हैं, तो वह आमतौर पर केवल एक काम नहीं करता है। यह एक स्विस आर्मी नाइफ की तरह है जो एक ही समय में पेचकश, बोतल खोलने वाला और कॉर्कस्क्रू बनने की कोशिश कर रहा है।
- पॉलीसेमैटिसिटी (Polysemanticity): एक अकेला न्यूरॉन बिल्ली की तस्वीर, "माइकल जॉर्डन" के उल्लेख, या "बास्केटबॉल" शब्द को देखकर सक्रिय हो सकता है। वह एक साथ बहुत सारे काम कर रहा है।
- सुपरपोजिशन (Superposition): AI इतना कुशल है कि वह सीमित न्यूरॉन्स में हजारों अलग-अलग विचारों को ठूस देता है। यह एक ही कप में 100 अलग-अलग आइसक्रीम फ्लेवर भरने की कोशिश करने जैसा है; फ्लेवर आपस में मिल जाते हैं।
यह AI को समझना बहुत कठिन बना देता है क्योंकि आप केवल एक न्यूरॉन की ओर इशारा करके यह नहीं कह सकते कि, "यह 'बिल्ली' वाला न्यूरॉन है।"
3. समाधान: "फीचर ब्लेंडर" (स्पार्स ऑटोएनकोडर्स)
"स्विस आर्मी नाइफ" वाली समस्या को ठीक करने के लिए, पेपर एक टूल के बारे में चर्चा करता है जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है।
AI के बिखरे हुए, मिले-जुले विचारों को एक स्मूदी के रूप में सोचें जहाँ सभी फल आपस में मिल गए हैं। आप स्ट्रॉबेरी या केले को अलग से चख नहीं सकते।
SAE एक ऐसी मशीन है जो उस स्मूदी को लेती है और उसे डी-ब्लेंड (de-blend) करती है। यह मिश्रण को वापस अलग-अलग, शुद्ध सामग्रियों में विभाजित कर देती है।
- एक न्यूरॉन जो आधा "बिल्ली" और आधा "बास्केटबॉल" है, उसके बजाय SAE दो अलग "शुद्ध" फीचर्स पाता है: एक जो 100% "बिल्ली" है और दूसरा जो 100% "बास्केटबॉल" है।
- यह शोधकर्ताओं को यह देखने की अनुमति देता है कि AI किसी भी क्षण वास्तव में किस बारे में सोच रहा है।
4. छिपे हुए सर्किट्स की खोज (स्वचालित खोज)
AI में हर तार को मैन्युअल रूप से ट्रेस करना असंभव है क्योंकि वे बहुत अधिक हैं। इसलिए, शोधकर्ता ACDC (ऑटोमेटेड सर्किट डिस्कवरी) जैसे स्वचालित उपकरणों का उपयोग करते हैं।
कल्पना कीजिए कि AI क्रिसमस लाइट्स का एक बड़ा, उलझा हुआ गोला है। आप उस विशिष्ट लाइट की स्ट्रिंग को खोजना चाहते हैं जो पेड़ को चालू करती है।
- ACDC एक रोबोट की तरह काम करता है जो व्यवस्थित रूप से एक बार में एक तार काटता है।
- यदि एक तार काटने से परिणाम नहीं बदलता है, तो वह एक बेकार तार है, इसलिए उसे हटा दिया जाता है।
- यदि एक तार काटने से पेड़ का जलना बंद हो जाता है, तो वह तार "सर्किट" का हिस्सा है।
- अंत तक, रोबलेट सारा कचरा हटा देता है और आपको एक साफ, सरल आरेख देता है कि काम करने के लिए किन तारों की आवश्यकता है।
5. AI को दिशा देना (वॉल्यूम नॉब)
एक बार जब हम सर्किट्स को समझ लेते हैं, तो हम उन्हें नियंत्रित करने की कोशिश कर सकते हैं। पेपर स्टीयरिंग वेक्टर्स (Steering Vectors) के बारे में बात करता है।
AI की आंतरिक स्थिति को एक रेडियो के रूप में सोचें। आमतौर पर, स्टेशन बदलने के लिए आपको निर्देश चिल्लाने पड़ते हैं (जैसे "विनम्र बनो" टाइप करना)।
- स्टीयरिंग वेक्टर्स एक रिमोट कंट्रोल की तरह हैं जो सीधे रेडियो के आंतरिक वायरिंग में फुसफुसाते हैं।
- चिल्लाने के बजाय, आप बस आंतरिक सिग्नल को एक विशिष्ट दिशा में थोड़ा सा धकेलते हैं।
- उदाहरण के लिए, यदि आप सिग्नल को "विनम्रता" की ओर धकेलते हैं, तो AI विनम्र हो जाता है, बिना इसके कि आपको उसका पूरा व्यक्तित्व फिर से लिखना पड़े।
- पेपर नोट करता है कि इसका उपयोग AI को झूठ बोलने से रोकने (ईमानदारी के फीचर को बढ़ाकर) या इसे गणित की समस्याएं बेहतर ढंग से हल करने के लिए किया जा सकता है।
6. मानवीय तर्क में अनुवाद (न्यूरोसिंबोलिक AI)
अंत में, पेपर न्यूरोसिंबोलिक AI के बारे में चर्चा करता है। यह AI के जटिल, बिखरे हुए कोड को एक सरल निर्देश पुस्तिका में अनुवाद करने जैसा है जिसे एक इंसान पढ़ सके।
- कल्पना कीजिए कि AI एक जटिल मंत्र (spell) कास्ट करने वाला जादूगर है।
- न्यूरोसिंबोलिक फ्रेमवर्क उस मंत्र को लेते हैं और उसे एक सरल "If-Then" नियम के रूप में लिखते हैं: "यदि चित्र में एक बिस्तर और एक तकिया है, लेकिन सिंक नहीं है, तो यह एक बेडरूम है।"
- यह "ब्लैक बॉक्स" को एक पारदर्शी तार्किक नियमों के सेट में बदल देता है जिसे हम जांच सकते हैं, सत्यापित कर सकते हैं और भरोसा कर सकते हैं।
सारांश
पेपर यह तर्क देता है कि हम केवल यह अनुमान लगाने के युग से आगे बढ़ रहे हैं कि AI कैसे काम करता है। मिले-जुले विचारों को डी-ब्लेंड करने वाले टूल्स (SAEs) का उपयोग करके, सूचना के सटीक पथों को ट्रेस करके (Circuits), और आंतरिक संकेतों को धकेलकर (Steering), हम इन मशीनों के आंतरिक "गियर्स" को समझना शुरू कर रहे हैं। यह सुनिश्चित करने के लिए महत्वपूर्ण है कि ये शक्तिशाली उपकरण सुरक्षित, ईमानदार हों और बिल्कुल वैसा ही करें जैसा हम चाहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।