Improving LLM Unlearning Robustness via Random Perturbations
यह शोध पत्र प्रकट करता है कि वर्तमान LLM अनलर्निंग विधियाँ अनजाने में 'फॉरगेट-टोकन्स' को लक्षित निरूपणों (target representations) के साथ संरेखित करके बैकडोर कमजोरियों को जन्म देती हैं, और अनलर्निंग प्रदर्शन को बनाए रखते हुए इस समस्या को कम करने के लिए एक मॉडल-अज्ञेयवादी रैंडम नॉइज़ ऑग्मेंटेशन (RNA) तकनीक का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "Improving LLM Unlearning Robustness via Random Perturbations" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
बड़ी तस्वीर: "भुलक्कड़" रोबोट की समस्या
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट लाइब्रेरियन (एक AI) है जिसने दुनिया की हर किताब पढ़ ली है। एक दिन, एक विशिष्ट पुस्तक को प्रतिबंधित कर दिया जाता है क्योंकि उसमें खतरनाक रहस्य (जैसे बम या वायरस कैसे बनाया जाए) हैं। आप लाइब्रेरियन से उस किताब को पूरी तरह से भूलने के लिए कहते हैं।
लाइब्रेरियन उस किताब को "अनलर्न" (unlearn) करने की कोशिश करता है। वे लाइब्रेरी से उस किताब को बाहर निकाल देते हैं और ऐसा व्यवहार करते हैं जैसे वह कभी अस्तित्व में ही नहीं थी। हालाँकि, यह पेपर तर्क देता है कि लाइब्रेरियन वर्तमान में इसे जिस तरह से करते हैं वह त्रुटिपूर्ण है। वास्तव में यादों को मिटाने के बजाय, वे अनिवार्य रूप से उस किताब को एक गुप्त ट्रिगर (secret trigger) के पीछे छिपा रहे हैं।
समस्या: "बैकडोर" का जाल
लेखकों ने पाया कि वर्तमान AI अनलर्निंग विधियाँ अनजाने में "वर्जित शब्दों" को गुप्त ट्रिगर्स (जैसे घर में बैकडोर) में बदल देती हैं।
- उपमा: कल्पना कीजिए कि लाइब्रेरियन को बताया गया है, "यदि आप किसी वाक्य में 'BOMB' शब्द देखते हैं, तो आपको यह नाटक करना होगा कि आप बम के बारे में नहीं जानते।"
- त्रुटि: लाइब्रेरियन "BOMB" शब्द को "मौन" या "बेमतलब की बात" से जोड़ना सीख जाता है।
- खतरा: अब, यदि कोई उपयोगकर्ता एक सामान्य, सुरक्षित प्रश्न पूछता है जैसे, "फ्रांस की राजधानी क्या है?" लेकिन गलती से वाक्य में कहीं "BOMB" टाइप कर देता है (उदाहरण के लिए, "फ्रांस की राजधानी एक बम की तरह है..."), तो लाइब्रेरियन का दिमाग भ्रमित हो जाता है। गुप्त ट्रिगर सक्रिय हो जाता है! "पेरिस" का उत्तर देने के बजाय, लाइब्रेरियन अजीब बातें करने लग सकता है, बकवास बोल सकता है, या गलत उत्तर दे सकता है।
इस पेपर में इसे बैकडोर अटैक (Backdoor Attack) कहा गया है। अनलर्निंग की प्रक्रिया ने स्वयं AI को "जहरीला" बना दिया, जिससे वह नाजुक हो गया। यदि कोई "वर्जित" शब्द सामान्य बातचीत में फिसल जाता है, तो AI टूट जाता है।
समाधान: "रैंडम नॉइज़" (रेडियो पर आने वाली खरखराहट)
इसे ठीक करने के लिए, लेखक एक नई विधि प्रस्तावित करते हैं जिसे रैंडम नॉइज़ ऑग्मेंटेशन (RNA) कहा जाता है।
- उपमा: कल्पना कीजिए कि लाइब्रेरियन सुरक्षित विषयों (जैसे "केक कैसे बनाएँ") की एक सूची याद करने की कोशिश कर रहा है।
- पुराना तरीका: वे सूची को पूरी तरह से याद कर लेते हैं। यदि कोई उनके पास वर्जित शब्द फुसफुसाता है, तो वे जम जाते हैं।
- नया तरीका (RNA): जब लाइब्रेरियन सुरक्षित सूची का अध्ययन कर रहा होता है, तब लेखक उनके कानों में स्टैटिक नॉइज़ (जैसे रेडियो स्टेशनों के बीच आने वाली खरखराहट) बजाते हैं।
- यह शोर रैंडम और छोटा होता है।
- यह लाइब्रेरियन को उस शोर के बावजूद सुरक्षित विषयों को सीखने के लिए मजबूर करता है।
- परिणाम: लाइब्रेरियन "मजबूत" हो जाता है। यदि कोई वर्जित शब्द (ट्रिगर) अचानक सामने आता है, तो लाइब्रेरियन भ्रम और शोर से निपटने का आदी हो चुका होता है। वे अजीब शब्द को अनदेखा कर देते हैं और सुरक्षित प्रश्न का सही उत्तर देना जारी रखते हैं।
यह क्यों काम करता है ("धुंधली दृष्टि" की उपमा)
AI के मस्तिष्क को एक मानचित्र (map) के रूप में सोचें।
- पहले: मानचित्र पर "सुरक्षित ज्ञान" और "वर्जित ज्ञान" के बीच एक बहुत ही स्पष्ट और तीखी रेखा है। यदि आप एक इंच भी उस रेखा के ऊपर जाते हैं (वर्जित शब्द का उपयोग करके), तो आप खाई में गिर जाते हैं (AI टूट जाता है)।
- RNA के बाद: लेखक मानचित्र में "कोहरा" (रैंडम नॉइज़) जोड़ देते हैं। सुरक्षित और वर्जित के बीच की रेखा धुंधली हो जाती है।
- क्योंकि रेखा धुंधली है, वर्जित शब्द पर कदम रखने से आप खाई में नहीं गिरते। आप बस थोड़ा लड़खड़ाते हैं, लेकिन आप रास्ते पर बने रहते हैं।
- AI अभी भी खतरनाक रहस्यों को भूल जाता है (वह बम के निर्देश याद नहीं रख सकता), लेकिन सामान्य बातचीत में वे शब्द आने पर वह क्रैश नहीं होता है।
मुख्य निष्कर्ष
- वर्तमान विधियाँ नाजुक हैं: वे AI मॉडल को भंगुर बनाती हैं। एक अकेला आकस्मिक "वर्जित" शब्द AI को अजीब व्यवहार करने पर मजबूर कर सकता है।
- अनलर्निंग एक बैकडोर की तरह है: AI को भूलने के लिए मजबूर करके, हम अनजाने में उसे विशिष्ट शब्दों के प्रति प्रतिक्रिया करने के लिए प्रशिक्षित कर देते हैं जैसे कि वे गुप्त कोड हों।
- समाधान "शोर" है: जब AI जो चीज़ों को रखना चाहता है उन्हें सीख रहा होता है, तब थोड़ी मात्रा में रैंडम भ्रम (शोर) जोड़कर, हम उसे मजबूत बनाते हैं। वह ट्रिगर्स को अनदेखा करना सीख जाता है।
- यह एक सार्वभौमिक समाधान है: यह विधि एक "पैच" की तरह काम करती है जिसे लगभग किसी भी AI अनलर्निंग तकनीक पर लागू किया जा सकता है, बिना पूरे सिस्टम को फिर से बनाए।
संक्षेप में
पेपर कहता है: "AI को सिर्फ भूलने के लिए न कहें; उसे भ्रम के साथ सहज होना सिखाएं।" AI की सीखने की प्रक्रिया में थोड़ा सा "स्टैटिक" जोड़कर, हम इसे वर्जित शब्दों के सामान्य बातचीत में अचानक आने पर टूटने से रोकते हैं, जिससे हमारे AI सहायक अधिक सुरक्षित और विश्वसनीय बनते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।