Everything, Everywhere, All at Once: Is Mechanistic Interpretability Identifiable?
यह शोध पत्र बुलियन फलनों (Boolean functions) और छोटे तंत्रिका नेटवर्क (neural networks) पर प्रयोगों के माध्यम से यह प्रदर्शित करते हुए मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic Interpretability) की पहचान क्षमता (identifiability) की जांच करता है कि व्यवस्थित गैर-पहचान क्षमता (systematic non-identifiability) के कारण अद्वितीय स्पष्टीकरण अक्सर अप्राप्य होते हैं, जिससे वैध एआई स्पष्टीकरणों के लिए क्या सख्त विशिष्टता आवश्यक है, इस पर पुनर्मूल्यांकन की आवश्यकता उत्पन्न होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, ब्लैक-बॉक्स रोबोट है जो एक विशिष्ट पहेली को पूरी तरह से हल कर सकता है। आप जानना चाहते हैं कि वह यह कैसे करता है। आप केवल यह नहीं जानना चाहते कि यह काम करता है; आप उस पर्दे को हटाकर देखना चाहते हैं कि इसके अंदर कौन से सूक्ष्म गियर, लीवर और स्विच चल रहे हैं जो इस जादू को अंजाम देते हैं। यही मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic Interpretability) का लक्ष्य है: एक न्यूरल नेटवर्क (रोबोट के मस्तिष्क) को रिवर्स-इंजीनियर करने की कोशिश करना ताकि यह पता लगाया जा सके कि वह कैसे सोचता है, और एक सरल, मानव-पठनीय कहानी खोजी जा सके।
यह शोध पत्र एक बहुत ही सरल, फिर भी गहन प्रश्न पूछता है: यदि हम इस रोबोट के भीतर यह जानने के लिए देखते हैं कि इसकी कहानी क्या है कि यह कैसे काम करता है, तो क्या हम सभी को बिल्कुल एक ही कहानी मिलेगी? या, क्या दो अलग-अलग लोग एक ही रोबोट को देख सकते हैं, जांच के लिए एक ही नियमों का उपयोग कर सकते हैं, और दो पूरी तरह से अलग, फिर भी समान रूप से वैध कहानियाँ निकाल सकते हैं?
लेखक कहते हैं: नहीं, हमें एक अद्वितीय कहानी मिलने की गारंटी नहीं है। वास्तव में, अक्सर दर्जनों, सैकड़ों या हजारों अलग-अलग "कहानियाँ" होती हैं जो डेटा के साथ पूरी तरह फिट बैठती हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
जांच करने के दो तरीके
शोध पत्र दो मुख्य तरीकों को देखता है जिनका उपयोग शोधकर्ता इन कहानियों को खोजने के लिए करते हैं:
"कहाँ-फिर-क्या" (जासूस दृष्टिकोण - "Where-then-What"):
- विचार: पहले, आप रोबोट के भीतर न्यूरॉन्स के एक छोटे समूह (एक "सर्किट") को खोजने की कोशिश करते हैं जो सारा भारी काम करता है। एक बार जब आप उस समूह को पा लेते हैं, तो आप अनुमान लगाने की कोशिश करते हैं कि वे किस तर्क का उपयोग कर रहे हैं (जैसे, "ओह, ये तीन न्यूरॉन्स एक AND गेट की तरह कार्य करते हैं")।
- समस्या: कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय है। आप उन विशिष्ट पृष्ठों को खोजना चाहते हैं जो एक कहानी बताते हैं। आप पृष्ठों का एक ऐसा सेट पा सकते हैं जो कहानी को पूरी तरह से बताता है। लेकिन फिर आपको पृष्ठों का एक और सेट मिलता है, जो पहले वाले से पूरी तरह अलग है, लेकिन वह भी कहानी को पूरी तरह से बताता है। शोध पत्र ने पाया कि एक सरल कार्य के लिए, न्यूरॉन्स के 85 अलग-अलग समूह थे जो सभी काम को पूरी तरह से कर सकते थे। गियर्स का कोई एक एकल "सही" समूह नहीं है।
"क्या-फिर-कहाँ" (वास्तुकार दृष्टिकोण - "What-then-Where"):
- विचार: पहले, आप एक सरल कहानी या एल्गोरिदम का अनुमान लगाते हैं (जैसे, "रोबोट एक OR गेट का उपयोग कर रहा होगा")। फिर आप रोबोट के मस्तिष्क को स्कैन करते हैं ताकि आप देख सकें कि क्या आप उस जगह को पा सकते हैं जहाँ वह कहानी निभाई जा रही है।
- समस्या: कल्पना कीजिए कि आप एक विशाल ऑर्केस्ट्रा में बज रही एक विशिष्ट धुन को खोज रहे हैं। आप शायद वायलिन द्वारा बजाई जा रही धुन को पा लें। लेकिन फिर आपको एहसास होता है कि सेलो (cellos) भी उसी समय ठीक वही धुन बजा रहे हैं, और बांसुरी (flutes) भी वही कर रहे हैं। शोध पत्र ने पाया कि एक एकल सरल एल्गोरिदम के लिए, रोबोट के मस्तिष्क में 159 अलग-अलग स्थान थे जहाँ उस एल्गोरिदम को पूरी तरह से लागू किया जा रहा था।
"XOR" प्रयोग
इसे सिद्ध करने के लिए, लेखकों ने एक छोटे, सरल रोबोट को XOR नामक एक क्लासिक लॉजिक पहेली को हल करने के लिए प्रशिक्षित किया (जो एक लाइट स्विच की तरह है जो केवल तभी चालू होता है जब दो बटनों में से एक दबाया जाता है, लेकिन दोनों नहीं)।
- परिणाम: उन्होंने केवल एक स्पष्टीकरण नहीं पाया। उन्हें 45,000 से अधिक अलग-अलग स्पष्टीकरण (सर्किट और कहानियों के संयोजन) मिले जो गणितीय रूप से पूर्ण थे।
- उपमा: यह पूछने जैसा है कि, "बेकर ने यह आदर्श केक कैसे बनाया?"
- स्पष्टीकरण A: "उसने कटोरे X में आटा, चीनी और अंडे का उपयोग किया।"
- स्पष्टीकरण B: "उसने कटोरे Y में आटा, चीनी और अंडे का उपयोग किया।"
- स्पष्टीकरण C: "उसने कटोरे Z में अलग मिश्रण का उपयोग किया।"
- ये सभी सत्य हैं। केक का स्वाद एक जैसा है, लेकिन आप जिस "तंत्र" की ओर इशारा करते हैं, वह हर बार अलग होता है।
यह क्यों मायने रखता है?
सांख्यिकी (statistics) में, हमारे पास आइडेंटिफिएबिलिटी (identifiability) की एक अवधारणा है। इसका अर्थ है कि यदि आपके पास डेटा है, तो केवल संख्याओं का एक ही सेट होना चाहिए जिसने इसे बनाया है। यह शोध पत्र तर्क देता है कि AI स्पष्टीकरणों के लिए, आइडेंटिफिएबिलिटी टूट गई है।
- "एकमात्र सत्य" का मिथक: हम अक्सर मानते हैं कि यदि हम गहराई तक खुदाई करेंगे, तो हमें वह एक सच्चा तरीका मिल जाएगा जिससे AI सोचता है। यह शोध पत्र कहता है कि वह धारणा संभवतः गलत है। AI एक साथ कई अलग-अलग तरीकों से सोच सकता है, या उसके सोचने का वर्णन करने के कई अलग-अलग तरीके हो सकते हैं जो सभी समान रूप से सही हैं।
- परिणाम: यदि आप दो विशेषज्ञों से एक ही AI की व्याख्या करने के लिए कहते हैं, तो वे आपको दो पूरी तरह से अलग उत्तर दे सकते हैं, और दोनों विज्ञान के वर्तमान नियमों के अनुसार सही होंगे।
निष्कर्ष: हमें क्या करना चाहिए?
लेखक यह नहीं कहते कि "हार मान लो"। इसके बजाय, वे सुझाव देते हैं कि हमें अपनी मानसिकता बदलने की आवश्यकता है:
- "एकमात्र सत्य कहानी" की तलाश करना बंद करें: हमें यह स्वीकार करने की आवश्यकता हो सकती है कि कोई एकल, अद्वितीय स्पष्टीकरण नहीं है।
- उपयोगिता (Utility) पर ध्यान दें: शायद यह मायने नहीं रखता कि स्पष्टीकरण अद्वितीय है या नहीं। शायद केवल यह मायने रखता है कि क्या स्पष्टीकरण हमें यह पूर्वानुमान लगाने में मदद करता है कि AI आगे क्या करेगा या हमें यह करने के लिए उसे हेरफेर (manipulate) करने में मदद करता है कि वह क्या करना चाहता है।
- कई जाँचों का उपयोग करें: यदि हमें वास्तव में सुनिश्चित होने की आवश्यकता है, तो हमें केवल एक पद्धति पर भरोसा नहीं करना चाहिए। हमें कई अलग-अलग परीक्षणों का उपयोग करना चाहिए ताकि यह देखा जा सके कि क्या कोई स्पष्टीकरण हर कोण से खरा उतरता है।
संक्षेप में: शोध पत्र तर्क देता है कि AI की सोच का "फिंगरप्रिंट" अद्वितीय नहीं है। एक ही ताले को खोलने के लिए कई अलग-अलग चाबियाँ हो सकती हैं, और एक ही क्षेत्र का वर्णन करने के लिए कई अलग-अलग मानचित्र हो सकते हैं। हमें एक एकल, पूर्ण मानचित्र की अपेक्षा करना बंद करने और यह स्वीकार करना शुरू करने की आवश्यकता है कि AI कैसे काम करता है, इसका "सत्य" कई वैध, ओवरलैपिंग कहानियों का एक संग्रह हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।