SAEs Can Improve Unlearning: Dynamic Sparse Autoencoder Guardrails for Precision Unlearning in LLMs
यह शोधपत्र डायनेमिक एसएई गार्डरेल्स (DSG) प्रस्तुत करता है, जो एक नवीन अनलर्निंग विधि है जो पारंपरिक ग्रेडिएंट-आधारित दृष्टिकोणों की कम्प्यूटेशनल, स्थिरता और व्याख्यात्मकता संबंधी सीमाओं को दूर करने के लिए डायनेमिक स्पार्स ऑटोएनकोडर्स का लाभ उठाती है, जिससे एलएलएम (LLMs) से अवांछित ज्ञान को हटाने में बेहतर सटीकता और सुदृढ़ता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) शक्तिशाली उपकरण हैं जिन्होंने इंटरनेट से विशाल मात्रा में टेक्स्ट का अध्ययन करके बोलना, तर्क करना और रचना करना सीखा है। हालाँकि, इस प्रशिक्षण का अर्थ यह भी है कि वे कभी-कभी ऐसी जानकारी को भी आत्मसात कर लेते हैं जो वहाँ नहीं होनी चाहिए थी, जैसे कि हथियार बनाने के खतरनाक निर्देश, निजी व्यक्तिगत विवरण, या कॉपीराइट वाली कहानियाँ। जब ऐसा होता है, तो डेवलपर्स के सामने एक कठिन समस्या आती है: उस विशिष्ट अवांछित ज्ञान को कैसे हटाया जाए बिना मॉडल की उन सभी चीजों को करने की क्षमता को नुकसान पहुँचाए जिनमें वह पहले से ही कुशल था। इसे ठीक करने का मानक तरीका मॉडल को फिर से प्रशिक्षित (retrain) करना रहा है, जो अनिवार्य रूप से इसके आंतरिक गणित को समायोजित करके इसे भूलना सिखाता है। लेकिन यह प्रक्रिया अविश्वसनीय रूप से महंगी, धीमी और अक्सर अस्थिर होती है, जिससे कभी-कभी मॉडल अपनी उपयोगी क्षमताओं के साथ-साथ बुरी चीज़ों को भी खो देता है। एक नया विचार यह है कि मॉडल के भीतर उन विशिष्ट गतिविधि पैटर्न को ढूँढा जाए जो अवांछित ज्ञान के अनुरूप होते हैं और बस उन पैटर्न को बंद कर दिया जाए, लेकिन इसके शुरुआती प्रयास अनाड़ी थे और उन्होंने फायदे से अधिक नुकसान पहुँचाया।
शोधकर्ताओं की एक टीम ने अब इस काम के लिए एक बहुत ही सटीक उपकरण विकसित किया है, जिसे 'डायनेमिक SAE गार्डरेल्स' (Dynamic SAE Guardrails) कहा जाता है। उनका कार्य यह दर्शाता है कि एक भाषा मॉडल से उसकी सामान्य बुद्धिमत्ता को पूरी तरह से बरकरार रखते हुए खतरनाक या अवांछित जानकारी को सर्जिकल तरीके से हटाना संभव है। मॉडल के पूरे मस्तिष्क को भारी पुन: प्रशिक्षण के माध्यम से फिर से लिखने के बजाय, उनकी विधि एक स्मार्ट फिल्टर की तरह कार्य करती है जो वास्तविक समय में मॉडल के सोचने के तरीके पर नज़र रखती है। जब मॉडल किसी विशिष्ट वर्जित ज्ञान तक पहुँचने लगता है, तो सिस्टम तुरंत उस मार्ग को ब्लॉक कर देता है। यदि मॉडल किसी सुरक्षित विषय पर बात कर रहा है, तो फिल्टर खुला रहता है और बातचीत स्वाभाविक रूप से चलती रहती है। यह दृष्टिकोण न केवल बुरे डेटा को हटाने में अधिक प्रभावी है, बल्कि पिछले तरीकों की तुलना में बहुत सस्ता और अधिक स्थिर भी है, जो तकनीक की उपयोगिता से समझौता किए बिना आर्टिफिशियल इंटेलिजेंस को सुरक्षित रखने का एक तरीका प्रदान करता है।
शोधकर्ताओं ने अपने सिस्टम को एक 'स्पार्स ऑटोएनकोडर' (sparse autoencoder) की अवधारणा के इर्द-गिर्द बनाया है, जो एक अनुवादक की तरह कार्य करता है जो मॉडल के जटिल आंतरिक विचारों को सरल, समझने योग्य भागों में तोड़ देता है। कल्पना कीजिए कि मॉडल का मस्तिष्क एक विशाल पुस्तकालय है जहाँ प्रत्येक पुस्तक एक ऐसे कोड में लिखी गई है जिसे पढ़ना कठिन है। स्पार्स ऑटोएनकोडर वह उपकरण है जो उस कोड को स्पष्ट, विशिष्ट विषयों की एक सूची में अनुवादित करता है। शोधकर्ताओं ने पाया कि इस सूची के कुछ विषय सीधे उस खतरनाक जानकारी से जुड़े हैं जिसे वे हटाना चाहते थे। अतीत में, वैज्ञानिकों ने इन विषयों को तब बंद करने की कोशिश की जब वे दिखाई देते थे, चाहे संदर्भ कुछ भी हो। यह एक लाइब्रेरी के एक विशिष्ट गलियारे को हर बार जीव विज्ञान (biology) की किताब के उल्लेख होने पर बंद करने जैसा था, भले ही कोई व्यक्ति केवल स्वस्थ आहार के बारे में पूछ रहा हो। इस अनगढ़ दृष्टिकोण ने अक्सर मॉडल की हानिरहित प्रश्नों के उत्तर देने की क्षमता को बिगाड़ दिया।
इस नए कार्य में सफलता इसे 'डायनेमिक' (गतिशील) बनाने में थी। विषयों को स्थायी रूप से चुप कराने के बजाय, शोधकर्ताओं ने एक स्मार्ट क्लासिफायर बनाया है जो हर प्रश्न के संदर्भ की जाँच करता है। मॉडल के उत्तर देने से पहले, सिस्टम गणना करता है कि वर्तमान प्रश्न वर्जित विषयों पर कितना निर्भर है। यदि प्रश्न स्पष्ट रूप से खतरनाक विषय के बारे में है, तो सिस्टम हस्तक्षेप करता है और उन विशिष्ट मार्गों को ब्लॉक कर देता है जिनका उपयोग मॉडल उत्तर देने के लिए करेगा। यदि प्रश्न सुरक्षित है, तो सिस्टम कुछ नहीं करता, जिससे मॉडल को अपने पूर्ण ज्ञान का उपयोग करने की अनुमति मिलती है। यह सशर्त दृष्टिकोण सुनिश्चित करता है कि मॉडल अभी भी जीव विज्ञान, साइबर सुरक्षा या किसी अन्य विषय पर बात कर सकता है जब तक कि बातचीत उन विशिष्ट हानिकारक विवरणों के बारे में नहीं है जिन्हें शोधकर्ताओं ने मिटाने का लक्ष्य रखा है।
यह परीक्षण करने के लिए कि क्या यह विधि काम करती है, टीम ने WMDP नामक एक बेंचमार्क का उपयोग किया, जिसमें जैविक हथियारों और साइबर हमलों के बारे में प्रश्न शामिल हैं। उन्होंने एक मॉडल को इन खतरनाक विषयों पर प्रशिक्षित किया और फिर इस नए सिस्टम को उस ज्ञान को हटाने के लिए लागू किया। परिणाम आश्चर्यजनक थे। नई विधि ने जैविक हथियारों के बारे में प्रश्नों का उत्तर देने की मॉडल की क्षमता को पिछले सर्वोत्तम तकनीकों की तुलना में आधे से अधिक कम कर दिया, जिससे सटीकता 50 प्रतिशत से गिरकर लगभग 30 प्रतिशत रह गई। साथ ही, इतिहास, भूगोल और विज्ञान के बारे में सामान्य प्रश्नों का उत्तर देने की मॉडल की क्षमता लगभग पूर्ण बनी रही, जो 99 प्रतिशत से ऊपर रही। इसके विपरीत, पुराने तरीकों ने या तो पर्याप्त खतरनाक ज्ञान को हटाने में विफलता दिखाई या मॉडल की सामान्य क्षमताओं को खो दिया। शोधकर्ताओं ने गोपनीयता और याद रखने (memorization) से जुड़ी चुनौतियों के एक अलग सेट पर भी सिस्टम का परीक्षण किया, जहाँ इसने मौजूदा तरीकों से बेहतर प्रदर्शन करते हुए अवांछित स्मृतियों को हटाया और मॉडल की उपयोगिता को उच्च बनाए रखा।
इस दृष्टिकोण का सबसे महत्वपूर्ण लाभ इसकी 'अनलर्निंग' (unlearning) को उलटने के प्रयासों के विरुद्ध प्रतिरोध क्षमता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह जोखिम है कि कोई व्यक्ति एक "साफ किए गए" मॉडल को ले सकता है और उसे उस बुरे ज्ञान को वापस लाने के लिए फिर से प्रशिक्षित कर सकता है। शोधकर्ताओं ने पाया कि क्योंकि उनका सिस्टम केवल मॉडल के वेट्स (weights) को बदलने के बजाय गतिविधि के विशिष्ट पैटर्न को ब्लॉक करने के काम करता है, इसलिए इसे उलटना बहुत कठिन है। जब उन्होंने मॉडल को वर्जित जानकारी को याद करने के लिए फिर से प्रशिक्षित करने की कोशिश की, तो सिस्टम ने पथों को ब्लॉक करना जारी रखा, जिससे मॉडल को संघर्ष करना पड़ा और वह ज्ञान को पुनः प्राप्त करने में विफल रहा। यह सुझाव देता है कि यह सुरक्षा पिछले तरीकों की तुलना में अधिक गहरी और टिकाऊ है।
टीम ने यह भी प्रदर्शित किया कि यह सिस्टम अविश्वसनीय रूप से कुशल है। जहाँ पारंपरिक तरीकों के लिए हर नए हटाए जाने वाले सूचना के टुकड़े के लिए मॉडल को पुन: प्रशिक्षित करने हेतु घंटों के महंगे कंप्यूटर समय की आवश्यकता होती है, वहीं इस नई विधि को केवल मॉडल के प्रश्न का उत्तर देने से पहले एक त्वरित जाँच की आवश्यकता होती है। फिल्टर चलाने में लगने वाला अतिरिक्त समय नगण्य है, जो प्रतिक्रिया समय में केवल एक सेकंड का बहुत छोटा हिस्सा जोड़ता है। इसके अलावा, सिस्टम सुदृढ़ है; इसे अच्छी तरह से काम करने के लिए जटिल सेटिंग्स के निरंतर फाइन-ट्यूनिंग की आवश्यकता नहीं होती है, जिससे यह वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बनता है। शोधकर्ताओं ने यह भी दिखाया कि यह सिस्टम बिना किसी विशिष्ट प्रशिक्षण डेटा के भी काम कर सकता है, केवल विषयों के मानवीय विवरणों का उपयोग करके सही पैटर्न को पहचानने के लिए। इसका अर्थ है कि इस विधि को बड़े डेटासेट एकत्र करने की आवश्यकता के बिना, नए प्रकार के हानिकारक ज्ञान से मॉडल की रक्षा के लिए तेजी से तैनात किया जा सकता है।
अंततः, यह कार्य आर्टिफिशियल इंटेलिजेंस को नियंत्रित करने के बारे में हमारी सोच में एक बदलाव का प्रतिनिधित्व करता है। अनलर्निंग को एक भारी, विनाशकारी प्रक्रिया के रूप में देखने के बजाय, जो मॉडल को तोड़ने का जोखिम उठाती है, शोधकर्ताओं ने दिखाया है कि इसे एक सटीक, हल्का और व्याख्या योग्य ऑपरेशन बनाया जा सकता है। यह समझकर कि मॉडल के सोचने के कौन से हिस्से विशिष्ट ज्ञान के अनुरूप हैं, वे ऐसे गार्डरेल्स बना सकते हैं जो तकनीक की क्षमता को सीमित किए बिना समाज को नुकसान से बचाते हैं। परिणाम बताते हैं कि हम ऐसे मॉडल रख सकते हैं जो अत्यधिक सक्षम और कड़ाई से सुरक्षित दोनों हों, बशर्ते हमारे पास उन्हें निर्देशित करने के लिए सही उपकरण हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।