Model Unlearning Objectives Vary for Distinct Language Functions
यह शोध पत्र तर्क देता है कि लैंग्वेज मॉडल अनलर्निंग को एक मोनोलिथिक कार्य के रूप में मानने के बजाय विशिष्ट कार्यों के अनुरूप तैयार किया जाना चाहिए, जो 7-8B मॉडलों पर प्रयोगों के माध्यम से यह प्रदर्शित करता है कि विशिष्ट उद्देश्य—विशेष रूप से खतरनाक ज्ञान के लिए एक कोसाइन-आधारित मेटा-लर्नड दृष्टिकोण और विषाक्तता (टॉक्सिसिटी) के लिए एक मल्टी-लेयर प्रोब-आधारित विधि—अपने संबंधित लक्ष्यों के लिए बेहतर परिणाम प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि लार्ज लैंग्वेज मॉडल्स (LLMs) अविश्वसनीय रूप से प्रतिभाशाली, लेकिन थोड़े लापरवाह छात्रों की तरह हैं जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वे कहानियाँ लिखने और सवालों के जवाब देने में माहिर हैं, लेकिन उन्होंने कुछ बुरी आदतें भी सीख ली हैं: कभी-कभी वे खतरनाक रहस्य जानते हैं (जैसे बम कैसे बनाया जाए) और कभी-कभी वे अभद्र या विषाक्त (toxic) भाषा का उपयोग करते हैं।
यह शोध पत्र तर्क देता है कि इन बुरी आदतों को "अनलर्न" (unlearn - यानी भूलने के लिए मजबूर करना) करने की कोशिश करना कोई "एक ही तरीका सबके लिए" (one-size-fits-all) वाला काम नहीं है। ठीक वैसे ही जैसे एक शिक्षक एक छात्र को गणित के टेस्ट में नकल करने से रोकने के लिए और सहपाठियों के साथ बदतमीजी करने से रोकने के लिए अलग-अलग तरीकों का उपयोग करता है, वैसे ही AI शोधकर्ताओं को अलग-अलग समस्याओं के लिए अलग-अलग उपकरणों की आवश्यकता होती है।
यहाँ उनके दृष्टिकोण का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. मुख्य समस्या: एक ही तरीका सबके लिए सही नहीं है
लेखकों का कहना है कि "अनलर्निंग" (AI को विशिष्ट चीजें भूलने के लिए सिखाना) को एक एकल, सामान्य कार्य के रूप में नहीं देखा जाना चाहिए।
- खतरनाक ज्ञान (Dangerous Knowledge) एक छात्र द्वारा एक विशिष्ट, खतरनाक तथ्य याद करने जैसा है (जैसे, "जहर कैसे बनाया जाए")। यह मॉडल में एक लाइब्रेरी में मौजूद एक विशिष्ट फ़ाइल की तरह संग्रहीत है।
- विषाक्तता (Toxicity) एक छात्र के बुरे व्यवहार या बदतमीजी करने की प्रवृत्ति की तरह है। यह केवल एक तथ्य नहीं है; यह एक 'वाइब' या पैटर्न है जो पूरे छात्र के व्यक्तित्व में फैला हुआ है।
पेपर का दावा है कि क्योंकि ये दोनों समस्याएं AI के "दिमाग" के अंदर अलग तरह से संग्रहीत हैं, इसलिए आपको उन्हें ठीक करने के लिए दो अलग-अलग रणनीतियों की आवश्यकता है।
2. रणनीति A: खतरनाक तथ्यों को भूलना ("कोसाइन" दृष्टिकोण)
जब AI को खतरनाक तथ्य पता होते हैं, तो लेखकों ने दूरी (distance) के बजाय दिशा (direction) पर आधारित एक नई विधि आजमाई।
- पुराना तरीका (L2 Loss): कल्पना कीजिए कि आप एक खिलौना कार को खाई से दूर ले जाने की कोशिश कर रहे हैं। पुराना तरीका कार और खाई के बीच की सटीक दूरी को मापता था। यदि कार 1 इंच भी आगे बढ़ती थी, तो इसे प्रगति माना जाता था। लेकिन अगर कार बहुत बड़ी होती, तो 1 इंच आगे बढ़ना पर्याप्त नहीं होता।
- नया तरीका (Cosine Loss): लेखकों का सुझाव है कि हमें सटीक दूरी की परवाह नहीं करनी चाहिए। इसके बजाय, हमें इस बात पर ध्यान देना चाहिए कि कार किस दिशा में देख रही है। यदि कार खाई की ओर देख रही है, तो हम उसे 180 डिग्री घुमा देते हैं ताकि वह विपरीत दिशा में देखने लगे। भले ही वह अभी भी किनारे के करीब हो, लेकिन अब वह खतरे से दूर देख रही है।
- परिणाम: उन्होंने एक "स्मार्ट कोच" (मेटा-लर्निंग) का भी उपयोग किया जो स्वचालित रूप से यह तय करता है कि कार को चलाने का सामान्य ज्ञान खोए बिना, उसे मोड़ने के लिए कितनी जोर से धक्का देना है। यह खतरनाक तथ्यों को हटाने के लिए बहुत प्रभावी रहा।
3. रणनीति B: विषाक्तता को भूलना ("मल्टी-लेयर" दृष्टिकोण)
जब AI विषाक्त व्यवहार करता है, तो "कार को घुमाने वाला" तरीका विफल हो जाता है। क्यों? क्योंकि विषाक्तता किसी एक विशिष्ट स्थान पर संग्रहीत नहीं है; यह AI के दिमाग के कपड़े में फैले हुए एक दाग की तरह है।
- समस्या: यदि आप केवल एक दाग वाले शर्ट के एक हिस्से को रगड़ते हैं, तो दाग अभी भी वहीं रहेगा।
- समाधान: लेखकों ने एक "मल्टी-लेयर स्क्रबर" बनाया। उन्होंने AI के दिमाग को विभिन्न गहराइयों (शुरुआती, मध्य और अंतिम परतों) पर देखा और पाया कि प्रत्येक स्तर पर "विषाक्तता का संकेत" (toxicity signal) अलग दिखता है।
- विधि: उन्होंने विभिन्न परतों पर विशेष डिटेक्टरों (प्रोब्स) को प्रशिक्षित किया ताकि यह पता लगाया जा सके कि विषाक्तता वास्तव में कहाँ छिपी है। फिर, उन्होंने AI को उन सभी परतों पर एक साथ अपना व्यवहार बदलने के लिए प्रेरित किया, जिससे प्रभावी रूप से पूरे शर्ट को रगड़कर साफ किया जा सके, न कि केवल एक बिंदु को।
4. स्कोरकार्ड: S-Unlearning
आप कैसे जानेंगे कि AI बेहतर हुआ है या नहीं? आप केवल यह नहीं कह सकते कि "यह कम विषाक्त है," क्योंकि हो सकता है कि इसने अपनी बुद्धिमत्ता भी खो दी हो।
लेखकों ने एक नया स्कोर बनाया जिसे S-Unlearning कहा जाता है।
- एक संतुलन पैमाने (balance scale) की कल्पना करें। एक तरफ है "हमने कितनी अच्छी तरह से बुरा stuff हटाया?" और दूसरी तरफ है "हमने कितनी अच्छी तरह से अच्छा stuff बनाए रखा?"
- S-Unlearning स्कोर इन दो भुजाओं द्वारा बनाए गए एक आयत (rectangle) के क्षेत्रफल की तरह है। आप एक बड़ा आयत चाहते हैं (उच्च स्तर का बुरा stuff हटाना AND उच्च स्तर का अच्छा stuff बनाए रखना)। यदि आप बुरा stuff हटा देते हैं लेकिन AI को इस तरह तोड़ देते हैं कि वह बात भी न कर सके, तो आपका आयत शून्य हो जाएगा।
5. उन्होंने क्या पाया
उन्होंने चार अलग-अलग ओपन-सोर्स AI मॉडल्स (जैसे Llama, Mistral, और Qwen) पर इसका परीक्षण किया।
- खतरनाक तथ्यों के लिए: उनकी नई "दिशा-आधारित" विधि पिछले तरीकों की तुलना में बेहतर काम करती है, जिससे AI अपने सामान्य ज्ञान को खोए बिना खतरनाक जानकारी को भूल जाता है।
- विषाक्तता के लिए: उनका "मल्टी-लेयर स्क्रबर" खतरनाक तथ्यों के लिए उपयोग किए जाने वाले तरीके की तुलना में बहुत अधिक प्रभावी था। उन्होंने पाया कि विषाक्तता वास्तव में फैली हुई है, और इसे ठीक करने के लिए आपको कई परतों को लक्षित करना होगा।
- बड़ी सीख: आप सभी AI समस्याओं को ठीक करने के लिए एक ही "जादुई छड़ी" का उपयोग नहीं कर सकते। आपको यह समझना होगा कि AI समस्या को कैसे संग्रहीत करता है (एक विशिष्ट तथ्य के रूप में या एक बिखरे हुए व्यवहार के रूप में) और उसे ठीक करने के लिए सही उपकरण चुनना होगा।
संक्षेप में: एक विशिष्ट तथ्य को ठीक करने के लिए, दिशा बदलें। एक बुरे व्यवहार को ठीक करने के लिए, पूरे सिस्टम को परत-दर-परत रगड़कर साफ करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।