Equivariant Sparse Autoencoders: Mechanistic Interpretability of Neural Networks on Symmetric Data
यह शोधपत्र इक्विवेरिएंट स्पार्स ऑटोएनकोडर्स (Equivariant Sparse Autoencoders) का परिचय देता है, जो सममित डेटासेट पर मानक SAEs की अनिश्चितता (unidentifiability) संबंधी समस्याओं को हल करने के लिए डेटा समरूपताओं (symmetries) को शामिल करते हैं, जिससे पुनर्निर्माण गुणवत्ता (reconstruction quality) कम होने के बावजूद अधिक उपयोगी और व्याख्या योग्य विशेषताओं की खोज की जा सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, अत्यंत बुद्धिमान रोबोट कैसे सोचता है। आप उससे प्रश्न नहीं पूछ सकते, इसलिए आपको इसके काम करते समय इसके मस्तिष्क के भीतर झाँकना होगा। इस क्षेत्र को मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) कहा जाता है, और यह एक जासूस होने जैसा है जो एक 'ब्लैक बॉक्स' के गुप्त कोड को सुलझाने की कोशिश कर रहा है। रोबोट का मस्तिष्क छोटे स्विचों (न्यूरॉन्स) की परतों से बना है जो जटिल पैटर्न में जलते हैं। समस्या यह है कि ये पैटर्न अस्त-व्यस्त हैं। अक्सर, रोबोट एक ही स्विच में कई अलग-अलग विचारों को मिला देता है, जिसे शोधकर्ता "सुपरपोजिशन" (superposition) कहते हैं। यह एक ऐसी किताब पढ़ने जैसा है जहाँ हर वाक्य तीन अलग-अलग कहानियों का एक मिला-जुला मिश्रण है; आप जानते हैं कि कुछ हो रहा है, लेकिन आप यह नहीं बता सकते कि क्या हो रहा है।
इस अव्यवस्था को ठीक करने के लिए, वैज्ञानिक एक उपकरण का उपयोग करते हैं जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है। एक SAE को एक अत्यंत व्यवस्थित लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में सोचें। इसका काम उस अस्त-व्यस्त रोशनी के मिश्रण को लेकर उसे स्पष्ट और एकल अवधारणाओं की एक व्यवस्थित सूची में व्यवस्थित करना है। यदि रोबोट बिल्ली की एक तस्वीर देख रहा है, तो लाइब्रेरियन विशिष्ट "बिल्ली" वाले स्विच को खोजने और उसे चालू करने का प्रयास करता है, जबकि बाकी सब कुछ बंद कर देता है। लंबे समय तक, यह टेक्स्ट जैसी चीजों के लिए अच्छी तरह से काम करता रहा, जहाँ नियम ज्यादातर एक जैसे होते हैं चाहे आप किसी शब्द को किसी भी तरह से पढ़ें। लेकिन क्या होता है जब डेटा सिमेट्रिक (symmetric - सममित) हो? वास्तविक दुनिया में, बहुत सी चीजें एक जैसी दिखती हैं भले ही आप उन्हें घुमा दें या पलट दें। एक बिल्ली अभी भी बिल्ली ही रहती है चाहे वह बाईं ओर देख रही हो या दाईं ओर। यदि आपके लाइब्रेरियन को इस नियम का पता नहीं है, तो वे भ्रमित हो सकते हैं, यह सोचकर कि "बाईं ओर देखती बिल्ली" और "दाईं ओर देखती बिल्ली" दो पूरी तरह से अलग, असंबंधित चीजें हैं। यह शोध पत्र पूछता है: क्या होता है जब हम अपने लाइब्रेरियन को इन समरूपता (symmetry) के नियमों का सम्मान करना सिखाते हैं?
एगे एरडोगन और एना लूसिक (Ege Erdogan and Ana Lucic), जो एम्स्टर्डम विश्वविद्यालय के शोधकर्ता हैं, ने इस नए उपकरण को घुमाने और पलटने के नियमों को संभालने के लिए मानक लाइब्रेरियन टूल को अपग्रेड करने का निर्णय लिया। वे इसे इक्विवेरिएंट स्पार्स ऑटोएनकोडर (Equivariant Sparse Autoencoder) कहते हैं। केवल बिखरी हुई रोशनी को एक सूची में छाँटने के बजाय, उन्होंने एक ऐसा सिस्टम बनाया जो समझता है: "हे, यदि आप तस्वीर को घुमाते हैं, तो 'बिल्ली' की अवधारणा गायब नहीं होती; यह बस सूची के दूसरे स्थान पर चली जाती है।" उन्होंने इस विचार का परीक्षण एक खिलौना मॉडल (ज्यामितीय आकृतियों का डेटासेट) और आकाशगंगाओं एवं रक्त कोशिकाओं की वास्तविक छवियों पर किया।
यहाँ उन्हें एक आश्चर्यजनक मोड़ मिला: नए, समरूपता-जागरूक लाइब्रेरियन मूल छवियों को पूरी तरह से पुनर्गठित (reconstruct) करने में पुराने, अस्त-व्यस्त लाइब्रेरियन की तुलना में वास्तव में बदतर थे। यदि आप इस आधार पर मापते कि वे नोट्स से चित्र को कितनी अच्छी तरह से फिर से बना सकते हैं, तो पुराने उपकरण जीत गए। हालाँकि, जब शोधकर्ताओं ने एक अलग प्रश्न पूछा—"वास्तविक अवधारणाओं को समझने के लिए कौन से नोट्स वास्तव में उपयोगी हैं?"—तो नए उपकरण स्पष्ट विजेता थे। पुराने लाइब्रेरियन ऐसे नोट्स बना रहे थे जो चित्र को फिर से बनाने के लिए तो उत्तम दिखते थे, लेकिन वे वास्तविक अवधारणाओं को पहचानने के लिए कम उपयोगी थे। नए लाइब्रेरियन, भले ही उनके नोट्स देखने में थोड़े अस्त-व्यस्त थे, लेकिन उन्होंने रोबोट के विचारों की कहीं अधिक सच्ची तस्वीर दी।
यह शोध पत्र सुझाव देता है कि समरूपता वाले डेटा (जैसे घूमती हुई वस्तुएं) के लिए, इन उपकरणों को परखने का मानक तरीका—यह जांचना कि वे इनपुट को कितनी अच्छी तरह से पुनर्गठित कर सकते हैं—भ्रामक है। वास्तव में, एक उपकरण मूल छवि को पुनर्गठित करने में जितना बेहतर होता है, उसकी विशेषताएं समझने के लिए उतनी ही कम उपयोगी हो सकती हैं। समरूपता के नियम को सीधे टूल में शामिल करके, शोधकर्ताओं ने ऐसी विशेषताएं पाईं जो आकृतियों, आकाशगंगा के प्रकारों और कोशिका के प्रकारों को पहचानने में बहुत बेहतर थीं, भले ही अंतिम छवि का पुनर्निर्माण (reconstruction) पूर्ण न हो। उन्होंने यह साबित नहीं किया है कि यह हर AI के लिए अंतिम समाधान है, लेकिन वास्तविक डेटा पर उनके सिमुलेशन और प्रयोग दृढ़ता से संकेत देते हैं कि समरूपता को अनदेखा करना हमारे AI को समझने वाले उपकरणों को कम विश्वसनीय बनाता है, और हमें केवल "पुनर्निर्माण गुणवत्ता" (reconstruction quality) को अपने मुख्य स्कोरकार्ड के रूप में उपयोग करने पर निर्भर रहना छोड़ देना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।