Exemplar Partitioning for Mechanistic Interpretability
यह शोध पत्र एक्सेंप्लर पार्टिशनिंग (EP) को प्रस्तुत करता है, जो एक अनसुपरवाइज्ड विधि है जो सीखे गए भार (weights) के बजाय प्रेक्षित एक्सेंप्लर्स (exemplars) का उपयोग करके लैंग्वेज मॉडल एक्टिवेशन्स से व्याख्या योग्य फीचर डिक्शनरीज़ का निर्माण करती है, जिससे लगभग 1,000 गुना कम ट्रेनिंग टोकन्स के साथ स्पार्स ऑटोएनकोडर्स के तुलनीय व्याख्यात्मक प्रदर्शन को प्राप्त किया जाता है और प्रत्यक्ष क्रॉस-मॉडल तुलना सक्षम की जाती है तथा अंतर्निहित आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन प्रदान किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अराजक पुस्तकालय है जहाँ हर किताब उस एक विचार या वाक्य का प्रतिनिधित्व करती है जिसे कंप्यूटर मॉडल ने कभी भी प्रोसेस किया है। इस पुस्तकालय के अंदर, "विचार" शब्दों में नहीं लिखे हैं; वे प्रकाश और बिजली के जटिल पैटर्न के रूप में छिपे हुए हैं।
लंबे समय से, वैज्ञानिकों ने इन मॉडलों को समझने के लिए एक विधि का उपयोग किया है जिसे स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders - SAEs) कहा जाता है। इसे ऐसे समझें जैसे आपने हजारों विशिष्ट श्रेणियों में हर किताब को पढ़ने, उन्हें छाँटने और एक नया इंडेक्स लिखने के लिए महंगी, अत्यधिक प्रशिक्षित लाइब्रेरियन की एक टीम को काम पर रखा हो। इन लाइब्रेरियन को प्रशिक्षित करने में बहुत अधिक समय और पैसा (कंप्यूटिंग पावर) खर्च होता है, और उनके द्वारा बनाई गई श्रेणियां उन चीजों पर आधारित होती हैं जिन्हें उन्होंने सीखने के लिए चुना है।
एक्सेम्पलर पार्टीशनिंग (Exemplar Partitioning - EP), जो इस शोध पत्र में पेश की गई विधि है, एक पूरी तरह से अलग, बहुत सस्ती पद्धति है। इसके लिए प्रशिक्षित लाइब्रेरियन बनाने के बजाय, यह एक सरल, स्वचालित छंटनी मशीन का उपयोग करता है।
यह कैसे काम करता है, रोजमर्रा के उदाहरणों का उपयोग करते हुए यहाँ दिया गया है:
1. "पहले आओ, पहले पाओ" वाली छंटनी मशीन
कल्पना कीजिए कि आप एक भीड़ भरे कमरे (डेटा के प्रवाह) से गुजर रहे हैं। आप लोगों को इस आधार पर समूह में बांटना चाहते हैं कि वे दिखने में कितने समान हैं।
- पुराना तरीका (SAE): आप 10,000 "बिनों" (डिब्बों) का एक आदर्श, पूर्व-निर्धारित सेट बनाने के लिए एक डिजाइनर को काम पर रखते हैं। फिर आप त्रुटियों को कम करने के लिए यह पता लगाने में हफ्तों बिताते हैं कि कौन सा व्यक्ति किस बिन में जाएगा।
- नया तरीका (EP): आप बस कमरे में टहलते हैं। जब आप पहले व्यक्ति को देखते हैं, तो आप कहते हैं, "ठीक है, तुम समूह A के लीडर (नेता) हो।" जो भी व्यक्ति इस लीडर के समान दिखता है, वह समूह A में शामिल हो जाता है।
- यदि आप किसी ऐसे व्यक्ति को देखते हैं जो वर्तमान लीडर्स से अलग दिखता है, तो आप कहते हैं, "तुम एक बिल्कुल नए समूह B के लीडर हो।"
- आप पहले से यह तय नहीं करते कि कितने समूह होंगे। समूह स्वाभाविक रूप से इस आधार पर बनते हैं कि कमरे में मौजूद लोग वास्तव में कैसे दिखते हैं।
2. "एंकर" (Anchor) की अवधारणा
इस नई विधि में, प्रत्येक समूह एक वास्तविक व्यक्ति द्वारा एंकर किया जाता है जिसे आपने वास्तव में देखा था ("एक्सेम्पलर")।
- यह क्यों मायने रखता है: पुराने तरीके में, एक समूह हजारों लोगों के "औसत" द्वारा परिभाषित हो सकता है, जो एक काल्पनिक, भूतिया व्यक्ति है जिसका वास्तव में कोई अस्तित्व नहीं है। इस नए तरीके में, प्रत्येक समूह एक वास्तविक, विशिष्ट उदाहरण से जुड़ा होता है। यदि आप जानना चाहते हैं कि "समूह A" किस बारे में है, तो आप बस उस पहले व्यक्ति को देखते हैं जिसने इसकी शुरुआत की थी। आप उस विशिष्ट व्यक्ति की ओर इशारा भी कर सकते हैं और कह सकते हैं, "यदि हम इस व्यक्ति के प्रभाव को हटा दें, तो यह समूह गायब हो जाएगा।"
3. कमरे का "फ्री मैप" (Free Map)
क्योंकि समूह सरल दूरी (लोग दिखने में कितने समान हैं) द्वारा बनाए जाते हैं, यह विधि कमरे का एक सटीक मानचित्र बनाती है।
- "आउट-ऑफ-प्लेस" डिटेक्टर: यदि आप कमरे में प्रवेश करते हैं और किसी ऐसे व्यक्ति को देखते हैं जो किसी भी लीडर जैसा नहीं दिखता, तो सिस्टम तुरंत जान जाता है, "यह व्यक्ति हमारे द्वारा देखे गए किसी भी समूह में नहीं आता है।" यह बिना किसी अतिरिक्त प्रशिक्षण के अजीब या अप्रत्याशित इनपुट को पहचानने का एक मुफ्त तरीका है।
4. शोध पत्र ने वास्तव में क्या पाया
लेखकों ने एक विशिष्ट AI मॉडल (Gemma-2-2B) पर इसका परीक्षण किया और कुछ आश्चर्यजनक चीजें पाईं:
- यह अविश्वसनीय रूप से तेज़ और सस्ता है: उन्होंने पारंपरिक विधि की तुलना में लगभग 1,000 गुना कम कंप्यूटिंग पावर का उपयोग करके ये डिक्शनरी बनाईं। इसे एक सिंगल कंप्यूटर चिप पर मिनटों में पूरा किया गया, जबकि पारंपरिक तरीके में हफ्तों का प्रशिक्षण लगता।
- यह अवधारणाओं को खोजने के लिए उतना ही अच्छा है: जब हमने सिस्टम से विशिष्ट विचार (जैसे "गणित", "कोड", या "जवाब देने से इनकार करना") खोजने के लिए कहा, तो इसने महंगे, प्रशिक्षित तरीके के लगभग बराबर प्रदर्शन किया।
- इसने "इनकार" (Refusal) के स्विच को खोजा: उन्होंने इनपुट के एक विशिष्ट समूह की खोज की जहाँ AI निर्णय लेता है कि "नहीं" कहना है (अनुरोध को अस्वीकार करना)। उस समूह के "लीडर" को देखकर, वे यह साबित कर सके कि यदि आप उस विशिष्ट पैटर्न को हटा देते हैं, तो AI मना करना बंद कर देता है। यह दर्शाता है कि ये समूह वास्तविक, कारण संबंधी (causal) भाग हैं कि AI कैसे सोचता है।
- यह दुनिया को अलग तरह से देखता है: नया तरीका घनत्व (density) (समान चीजों के झुंड) के आधार पर समूहों को बनाता है, जबकि पुराना तरीका रेखाओं (lines) (गणितीय अलगाव) के आधार पर समूहों को बनाता है। वे सबसे स्पष्ट विचारों (मुख्य भाग) पर सहमत होते हैं, लेकिन जटिल विचारों को अलग-अलग तरह से विभाजित करते हैं।
5. "प्रशिक्षण" बनाम "देखने" का अंतर
सबसे महत्वपूर्ण निष्कर्ष यह है कि यह विधि कुछ भी सीखती नहीं है। यह सबसे अच्छा तरीका अनुमान लगाने की कोशिश नहीं करती कि चीजों को कैसे छाँटा जाए। यह बस डेटा स्ट्रीम को देखती है, पहले कुछ अद्वितीय उदाहरणों को चुनती है, और बाकी सब कुछ उन उदाहरणों के कितने करीब है, इसके आधार पर छाँटती है।
चूंकि यह किसी विशिष्ट प्रशिक्षण रन पर निर्भर नहीं है, इसलिए आप मॉडल के प्रशिक्षित होने से पहले और बाद के "मैप" की तुलना कर सकते हैं, और देख सकते हैं कि कौन से समूह वही रहे और कौन से बदल गए। यह एक शहर के नक्शे की तुलना करने जैसा है कि एक नया हाईवे बनने से पहले और बाद में लैंडमार्क कैसे बदले, उसी समान लैंडमार्क का उपयोग करके।
संक्षेप में: यह शोध पत्र AI मॉडल्स को समझने का एक तरीका पेश करता है, जो केवल उनके विचारों को वास्तविक उदाहरणों के आधार पर प्राकृतिक समूहों में व्यवस्थित करके किया जाता है, न कि उन्हें पूर्व-निर्धारित बक्सों में जबरदस्ती फिट करके। यह तेज़ है, सस्ता है, और मशीन के भीतर "अर्थ" खोजने में उतना ही सक्षम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।