Explanation Multiplicity: Circuit-Level Interpretability Evidence Does Not Survive Defensible Analytic Variation
यह पूर्व-पंजीकृत अध्ययन प्रदर्शित करता है कि एआई विनियमन के लिए यांत्रिक व्याख्यात्मकता (mechanistic interpretability) के साक्ष्य प्रमाणिकता मानकों को पूरा करने में विफल रहते हैं क्योंकि सर्किट खोज के परिणाम रक्षात्मक विश्लेषणात्मक विविधताओं के बीच अत्यधिक अस्थिर और संरचनात्मक रूप से विखंडित हैं, जो उन्हें अनुपालन दस्तावेजीकरण के लिए अविश्वसनीय बनाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक संशयवादी मित्र को एक जादू का खेल समझाने की कोशिश कर रहे हैं। आप कहते हैं, "जादूगर ने सिर्फ छड़ी नहीं घुमाई; उसने मंच के नीचे एक विशिष्ट छिपे हुए लीवर का उपयोग किया।" लेकिन फिर आपका मित्र पूछता है, "हमें उस लीवर के बारे में कैसे पता चला? क्या होगा अगर मैं मंच के किसी दूसरे हिस्से में देखूँ, या किसी अलग टॉर्च का उपयोग करूँ, या किसी दूसरे जादूगर से जाँच करने के लिए कहूँ?" यदि आपका स्पष्टीकरण इस बात पर पूरी तरह बदल जाता है कि आप रहस्य को कैसे देखते हैं, तो क्या आप वास्तव में इसे एक तथ्य कह सकते हैं? यह आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में एक नए अध्ययन का मूल है।
"मैकेनिस्टिक इंटरप्रिटेबिलिटी" (mechanistic interpretability) के क्षेत्र में, वैज्ञानिक AI के दिमागों (जैसे कि प्रसिद्ध GPT-2 मॉडल) के भीतर झाँकने की कोशिश करते हैं ताकि उन विशिष्ट "सर्किट्स" (circuits)—यानी कनेक्शनों के सूक्ष्म नेटवर्क—को खोजा जा सके जो AI को वह सब करने के योग्य बनाते हैं जो वह करता है। यह घर के सटीक विद्युत वायरिंग का मानचित्र बनाने जैसा है ताकि यह समझाया जा सके कि लाइट क्यों जली। यूरोपीय संघ का एक नया कानून कहता है कि यदि कोई AI उच्च-जोखिम वाला निर्णय लेता है (जैसे कि ऋण देने से मना करना), तो कंपनी को यह समझाने के लिए एक रिपोर्ट देनी होगी कि AI ने वह निर्णय कैसे लिया। इसका स्पष्ट तरीका यह है कि AI के आंतरिक सर्किट का एक मानचित्र जमा किया जाए। लेकिन यह शोध पत्र एक कठिन प्रश्न पूछता है: यदि दो बुद्धिमान विशेषज्ञ एक ही AI और एक ही उपकरणों का उपयोग करते हैं, लेकिन सर्किट खोजने के तरीके में थोड़ा अलग, तर्कसंगत चुनाव करते हैं, तो क्या वे एक ही मानचित्र पाएंगे? या वे दो पूरी तरह से अलग कहानियाँ पाएंगे?
लेखक ने इस परीक्षण को करने के लिए एक विशाल "चुनें-अपना-स्वयं-का-साहसिक-कार्य" (choose-your-own-adventure) प्रयोग सेट करके तय किया। उन्होंने केवल एक बार AI को नहीं देखा; उन्होंने इसे 15,840 अलग-अलग बार देखा। उन्होंने AI का विश्लेषण करने के सात अलग-अलग तरीकों का एक ग्रिड बनाया, जिसमें मौजूदा, प्रकाशित उपकरणों से हर एक सेटिंग को शामिल किया गया। उन्होंने पूछा: "यदि हम मीट्रिक, सीड (seed), सर्किट का आकार, या इसे परीक्षण करने के तरीके को बदलते हैं, तो क्या AI के मस्तिष्क के बारे में बताई गई कहानी वही रहती है?"
जवाब, दुर्भाग्य से, एक ज़ोरदार "नहीं" है।
जब शोधकर्ताओं ने अपना प्रयोग चलाया, तो उन्होंने पाया कि साक्ष्य अविश्वसनीय रूप से कमजोर हैं। डेटा का विश्लेषण करने के सभी विभिन्न तरीकों में से, AI के सर्किट के बारे में बताई गई कहानी पूरी तरह से एक अलग संस्करण में 73.2% बार बदल गई। इसका मतलब है कि यदि दो ऑडिटर एक ही AI और एक ही उपकरणों के साथ लेकिन थोड़े अलग सेटिंग्स के साथ देखते हैं, तो वे संभवतः दो पूरी तरह से अलग रिपोर्ट फाइल करेंगे। यहाँ तक कि जब उन्होंने सबसे महत्वपूर्ण विकल्पों को मानकीकृत करने के लिए बहुत सख्त प्रयास किए, तब भी बदलाव की दर घटकर 59.4% रह गई।
यह सुनिश्चित करने के लिए कि यह केवल एक इत्तेफाक नहीं था, उन्होंने जाँच की कि क्या उनके द्वारा खोजे गए सर्किट वास्तव में अलग शब्दों में वर्णित एक ही चीज़ थे। वे नहीं थे। सर्किट संरचनात्मक रूप से लगभग पूरी तरह से अलग थे (केवल लगभग 4% हिस्से साझा करते थे) और कार्यात्मक रूप से असंबंधित थे। यह ऐसा है जैसे एक ऑडिटर ने रसोई की वायरिंग का नक्शा पाया, और दूसरे ने प्लंबिंग का नक्खा पाया, और दोनों ने दावा किया, "यही वह रहस्य है कि घर कैसे काम करता है!"
शोध पत्र ने यह भी पता लगाया कि सात मुख्य उपकरणों में से एक, जिसका उपयोग इन सर्किट्स को खोजने के लिए किया गया था, उस कार्य पर बिल्कुल भी काम नहीं आया जिसे वे टेस्ट कर रहे थे; वह तुरंत क्रैश हो गया। इसके अलावा, संभावित स्पष्टीकरणों में से आधे से अधिक को इसलिए हटा दिया गया क्योंकि वे परीक्षण के सख्त नियमों को पूरा नहीं कर रहे थे।
तो, इसका भविष्य के लिए क्या अर्थ है? लेखक यह नहीं कह रहा है कि AI टूटा हुआ है या हम इसे समझ नहीं सकते। वे यह कह रहे हैं कि हमारे पास AI के काम करने के प्रमाण देने के लिए जो "रसीदें" हैं, वे अभी सरकारी नियामक के पास जमा करने के लिए तैयार नहीं हैं। यदि आप आज एक न्यायाधीश को सर्किट मैप सौंपते हैं, और दूसरा न्यायाधीश उन्हीं उपकरणों का उपयोग करता है लेकिन थोड़ा अलग तरीका अपनाता है, तो वे आपके मैप को खारिज कर सकते हैं और कह सकते हैं, "यह सही स्पष्टीकरण नहीं है।" अध्ययन बताता है कि इससे पहले कि हम इन AI स्पष्टीकरणों पर अदालत या सुरक्षा जाँचों में भरोसा कर सकें, हमें यह पता लगाने की आवश्यकता है कि मानचित्रों को स्थिर कैसे बनाया जाए, चाहे उसे पकड़ने वाला व्यक्ति कोई भी हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।