A Mechanistic Perspective and Circuit-Guided Difficulty Metric for Unlearning
यह शोध पत्र सर्किट-गाइडेड अनलर्निंग डिफिकल्टी (CUD) प्रस्तुत करता है, जो मॉडल सर्किट्स पर आधारित एक प्री-अनलर्निंग मीट्रिक है जो यह स्पष्ट करके नमूना-विशिष्ट अनलर्निंग चुनौतियों को परिमाणित करता है कि कठिन-से-अनलर्न होने वाले नमूनों के लिए आसान नमूनों की तुलना में गहरे और लंबे कम्प्यूटेशनल पाथवे (pathways) पर निर्भरता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जिसने इंटरनेट पर मौजूद लगभग सब कुछ पढ़ लिया है। कभी-कभी, आपको इस रोबोट को कुछ विशिष्ट चीज़ें "अनलर्न" (unlearn) करने के लिए कहना पड़ता है—शायद कॉपीराइट वाली कोई कहानी, किसी सेलिब्रिटी के बारे में कोई निजी तथ्य, या बस कोई पुरानी खबर। इस प्रक्रिया को मशीन अनलर्निंग (machine unlearning) कहा जाता है। यह रोबोट को उसकी पूरी याददाश्त मिटाए बिना, उसके दिमाग से एक विशिष्ट फ़ाइल को डिलीट करने के लिए कहने जैसा है। लेकिन पेच यह है कि कभी-कभी रोबोट वह चीज़ तुरंत भूल जाता है जिसे आपने भूलने के लिए कहा था, और कभी-कभी वह जिद्दी होकर उसे याद रखता है, भले ही आपने एक ही "भूलने वाला" तरीका कई बार आज़माया हो। वैज्ञानिक यह समझने की कोशिश कर रहे थे कि ऐसा क्यों होता है। क्या ऐसा इसलिए है क्योंकि कुछ तथ्यों को मिटाना कठिन होता है? या रोबोट के दिमाग के अंदर कुछ ऐसा है जो कुछ यादों को अधिक चिपचिपा (sticky) बना देता है? यह शोध पत्र इसी रहस्य की गहराई में उतरता है, जो न केवल इस बात पर नज़र रखता है कि रोबोट क्या याद रखता है, बल्कि इस पर भी कि वह इसे कैसे याद रखता है।
शोधकर्ता जियाली चेंग (Jiali Cheng) और उनकी टीम ने मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) नामक एक विशेष एक्स-रे का उपयोग करके रोबोट के मस्तिष्क के भीतर झाँकने का निर्णय लिया। एक न्यूरल नेटवर्क (रोबोट का मस्तिष्क) को एक ब्लैक बॉक्स के रूप में नहीं, बल्कि छोटी सड़कों और चौराहों वाले एक विशाल शहर के रूप में सोचें जहाँ बिजली (सूचना) प्रवाहित होती है। ये सड़कें सर्किट (circuits) कहलाती हैं। जब रोबोट किसी प्रश्न का उत्तर देता है, तो बिजली विशिष्ट पथों के माध्यम से यात्रा करती है। टीम ने खोजा कि किसी जानकारी को भूलने की "कठिनाई" पूरी तरह से इस बात पर निर्भर करती है कि सूचना को याद रखने के लिए बिजली किन सड़कों का उपयोग करती है।
उन्होंने एक नया टूल पेश किया जिसे सर्किट-गाइडेड अनलर्निंग डिफिकल्टी (Circuit-guided Unlearning Difficulty - CUD) कहा जाता है। आप CUD को एक "स्टिकिनेस मीटर" (चिपचिपाहट मापने वाला यंत्र) के रूप में समझ सकते हैं जिसका उपयोग आप रोबोट को कुछ भूलने के लिए कहने से पहले ही कर सकते हैं। यह मापता है कि किसी विशिष्ट जानकारी के लिए आंतरिक सड़कें कितनी जटिल हैं। यदि जानकारी एक छोटे, सरल और स्थानीय पथ पर चलती है (जैसे ब्लॉक के चारों ओर एक छोटी सैर), तो इसे अनलर्न करना आसान है। लेकिन यदि जानकारी एक लंबे, घुमावदार हाईवे पर चलती है जो मस्तिष्क के गहरे हिस्सों को जोड़ती है और कई बार घूमती है, तो इसे अनलर्न करना कठिन है।
टीम ने नकली लेखक प्रोफाइल और मूवी सिफारिशों के डेटासेट का उपयोग करके लार्ज लैंग्वेज मॉडल्स पर इस विचार का परीक्षण किया। उन्होंने पाया कि उनका "स्टिकिनेस मीटर" अविश्वसनीय रूप से सटीक था। वे बिल्कुल अनुमान लगा सकते थे कि कौन से तथ्य आसानी से हटा दिए जाएंगे और कौन से जिद्दी रहेंगे। जब उन्होंने "कठिन" तथ्यों (वे तथ्य जिनके रास्ते लंबे और जटिल थे) को अनलर्न करने की कोशिश की, तो रोबोट का प्रदर्शन काफी गिर गया, और वह वर्जित जानकारी को याद रखता रहा। लेकिन जब उन्होंने "आसान" तथ्यों (छोटे रास्तों वाले) को लक्षित किया, तो रोबोट उन्हें पूरी तरह से भूल गया, और उसके अन्य कौशल भी बरकरार रहे।
सबसे रोमांचक खोजों में से एक यह थी कि ये सड़कें अलग क्यों हैं। "आसान" यादें मस्तिष्क के शुरुआती हिस्से के पास स्थित उथले, सीधे कनेक्शनों पर निर्भर करती हैं। हालाँकि, "कठिन" यादें उन गहरे, जटिल पथों पर निर्भर करती हैं जो मस्तिष्क की निर्णय लेने की प्रक्रिया के अंत तक जाते हैं। यह कागज के एक एकल पन्ने पर बनाई गई एक ड्राइंग को मिटाने (आसान) बनाम एक ऐसी ड्राइंग को मिटाने (कठिन) जैसा है जिसे एक हज़ार अलग-अलग पन्नों पर कॉपी किया गया है और आपस में चिपका दिया गया है।
यह शोध पत्र कुछ सामान्य अनुमानों को भी खारिज करता है। शोधकर्ताओं ने दिखाया कि यह वाक्य की लंबाई के बारे में नहीं है (एक लंबा वाक्य स्वतः ही भूलने में कठिन नहीं होता) या केवल उपयोग किए गए विशिष्ट शब्दों के बारे में नहीं है (यह शब्दावली के बारे में नहीं है)। यह पूरी तरह से रोबोट के मस्तिष्क की आंतरिक संरचना के बारे में है। उन्होंने अपने तरीके की तुलना कठिनाई मापने के अन्य तरीकों से भी की और पाया कि वे अन्य तरीके अक्सर गलत हो जाते थे क्योंकि वे गलत चीजों को देख रहे थे।
संक्षेप में, यह शोध पत्र सुझाव देता है कि भूलना केवल डेटा के बारे में नहीं है; यह स्वयं स्मृति की वास्तुकला (architecture) के बारे में है। इन आंतरिक सर्किटों को समझकर, हम बेहतर उपकरण बना सकते हैं जो रोबोट को ठीक वही भूलने में मदद करें जो हम चाहते हैं, जिससे वे अधिक सुरक्षित और भरोसेमंद बन सकें। लेखक आशा करते हैं कि इससे रोबोट को जानकारी छोड़ने का प्रशिक्षण देने के बेहतर तरीके विकसित होंगे, शायद आसान चीजों से शुरुआत करके और कठिन चीजों को विशेष, लक्षित हस्तक्षेपों के लिए बचाकर। हालाँकि इस पद्धति को चलाने के लिए कुछ कंप्यूटिंग पावर की आवश्यकता होती है, लेकिन यह एआई (AI) के सीखने और अनलर्न करने की छिपी हुई कार्यप्रणाली को समझने के लिए एक नया द्वार खोलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।