Distance Is Not Enough: Forget-Retain Alignment Gap Predicts LLM Relearning Robustness
यह शोध पत्र 'फॉरगेट-रिटेन अलाइनमेंट गैप' (FRAG) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त मीट्रिक है जो वैश्विक भार विस्थापन (global weight displacement) के बजाय अपडेट चयनात्मकता (update selectivity) को मापकर एलएलएम (LLM) पुनर्रखण सुदृढ़ता (relearning robustness) की भविष्यवाणी करता है, और 'फॉरगेट-रिटेन प्रूनिंग' (FRP) का प्रस्ताव करता है ताकि रिटेन-क्रिटिकल भारों को संरक्षित करते हुए फॉरगेट-क्रिटिकल भारों को चुनिंदा रूप से संशोधित करके अनलर्निंग स्थिरता को बढ़ाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल युग में, आर्टिफिशियल इंटेलिजेंस मॉडल डेटा के विशाल महासागरों पर प्रशिक्षित होते हैं, जो उनके द्वारा पढ़े गए हर कुछ से पैटर्न को आत्मसात करके लिखना, तर्क करना और रचना करना सीखते हैं। हालाँकि, कभी-कभी इन मॉडलों को विशिष्ट जानकारी को भूलने की आवश्यकता होती है, चाहे वह गोपनीयता की रक्षा करने के लिए हो, कॉपीराइट सामग्री को हटाने के लिए हो, या हानिकारक पूर्वाग्रहों को ठीक करने के लिए हो। यह प्रक्रिया, जिसे 'मशीन अनलर्निंग' (machine unlearning) कहा जाता है, इसका लक्ष्य मॉडल के सामान्य ज्ञान और क्षमताओं को बरकरार रखते हुए कुछ विशिष्ट डेटा के प्रभाव को सर्जिकल तरीके से हटाना है। चुनौती इस तथ्य में निहित है कि ये मॉडल अविश्वसनीय रूप से लचीले होते हैं; यहाँ तक कि जब शोधकर्ता यह मानते हैं कि उन्होंने सफलतापूर्वक किसी जानकारी को मिटा दिया है, तब भी मॉडल अक्सर इसे बहुत तेज़ी से फिर से सीख सकता है यदि उसे थोड़े से नए प्रशिक्षण डेटा के संपर्क में लाया जाए। यह नाजुकता एक महत्वपूर्ण प्रश्न खड़ा करती है: हम यह कैसे बता सकते हैं कि एक मॉडल ने वास्तव में कुछ भुला दिया है, या वह केवल तब तक दिखावा कर रहा है जब तक उसे फिर से याद करने का मौका नहीं मिलता?
KAIST और टोक्यो विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समस्या को समझने का एक नया तरीका प्रस्तावित किया है, जिसमें यह सुझाव दिया गया है कि सफलता को मापने का सामान्य तरीका मौलिक रूप से त्रुटिपूर्ण है। कुछ समय से, यह निर्णय लेने के लिए कि क्या एक मॉडल को सफलतापूर्वक अनलर्न किया गया था, मानक दृष्टिकोण यह था कि उसके आंतरिक सेटिंग्स (internal settings) अपने मूल राज्य से कितनी दूर स्थानांतरित हुए थे। तर्क सरल था: यदि मॉडल काफी बदल गया था, तो इसका मतलब था कि वह डेटा भूल गया है। हालाँकि, शोधकर्ताओं ने पाया कि दूरी का यह माप भ्रामक हो सकता है। एक मॉडल में व्यापक, अराजक परिवर्तन हो सकते हैं जो इसके सही ढंग से कार्य करने की क्षमता को नष्ट कर देते हैं, फिर भी यह अपने शुरुआती बिंदु से बहुत दूर दिखाई दे सकता है। ऐसे मामलों में, मॉडल मजबूत लग सकता है क्योंकि यह बदल गया है, लेकिन वास्तव में यह ढह गया है, और अनचाहे डेटा के साथ-साथ अपना उपयोगी ज्ञान भी खो दिया है।
शोधकर्ताओं का तर्क है कि वास्तविक मजबूती इस बात से नहीं आती कि मॉडल कितनी दूर जाता है, बल्कि इस बात से आती है कि वह कहाँ जाता है। उन्होंने पाया कि मॉडल के लिए पुन: सीखने का विरोध करने के लिए, उसमें किए गए परिवर्तन अत्यधिक चयनात्मक होने चाहिए। मॉडल को अपने मस्तिष्क के उन विशिष्ट हिस्सों को बदलने की आवश्यकता है जो भुलाए जाने वाली जानकारी के लिए जिम्मेदार हैं, जबकि उन हिस्सों को सावधानीपूर्वक सुरक्षित रखना चाहिए जो उस जानकारी को संभालते हैं जिसे उसे बनाए रखना है। यदि परिवर्तन यादृच्छिक रूप से बिखरे हुए हैं या मॉडल के उपयोगी हिस्सों को नुकसान पहुँचाते हैं, तो भूली हुई जानकारी आसानी से वापस आ सकती है। इस विचार का परीक्षण वास्तव में मॉडल को फिर से प्रशिक्षित करने का प्रयास किए बिना करने के लिए, टीम ने 'फॉरगेट-रिटेन अलाइनमेंट गैप' (Forget-Retain Alignment Gap) नामक एक नया उपकरण विकसित किया। यह उपकरण एक नैदानिक जांच (diagnostic check) की तरह कार्य करता है जो मॉडल में किए गए परिवर्तनों की संरचना को देखता है। यह स्कोर देता है कि क्या समायोजन सही लक्ष्यों पर केंद्रित थे, जो प्रभावी रूप से यह भविष्यवाणी करता है कि क्या मॉडल उस हमले के खिलाफ टिका रहेगा जिसे भुलाए गए डेटा को फिर से याद करने के लिए डिज़ाइन किया गया है।
इस नए परिप्रेक्ष्य का उपयोग करते हुए, शोधकर्ताओं ने 'फॉरगेट-रिटेन प्रूनिंग' (Forget-Retain Pruning) नामक एक विधि बनाई। मॉडल में व्यापक, व्यापक बदलाव करने के बजाय, यह विधि सावधानीपूर्वक केवल उन कनेक्शनों की पहचान करती है और उन्हें हटा देती है जो अनचाही जानकारी के लिए महत्वपूर्ण हैं, जिससे बाकी मॉडल अछूता रहता है। जब उन्होंने इस दृष्टिकोण के साथ इस पद्धति का परीक्षण किया, तो उन्होंने पाया कि इस चयनात्मक प्रूनिंग (selective pruning) से उपचारित मॉडल को भुलाए गए डेटा को फिर से सीखने के लिए छलना बहुत कठिन था। मानक बेंचमार्क का उपयोग करते हुए प्रयोगों में, इन मॉडलों ने अपने सामान्य प्रदर्शन को स्थिर रखते हुए भूलने की अपनी क्षमता बनाए रखी। परिणामों ने दिखाया कि नया तरीका मौजूदा तकनीकों से बेहतर प्रदर्शन करता है, जो केवल मॉडल को उसके मूल राज्य से यथासंभव दूर ले जाने के त्रुटिपूर्ण विचार पर निर्भर करती थीं।
अध्ययन सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस को भुलाने के लिए कुंजी यह नहीं है कि आप उसे कितना बदलते हैं, बल्कि यह है कि आप उसे कितनी सटीकता से बदलते हैं। उन विशिष्ट मार्गों पर ध्यान केंद्रित करके जो अनचाही जानकारी को ले जाते हैं और बाकी को बचाकर, शोधकर्ता ऐसे मॉडल बना सकते हैं जो पुन: सीखने के विरुद्ध वास्तव में अधिक सुरक्षित हों। यह खोज ध्यान को एक साधारण दूरी के माप से बदलकर इन जटिल प्रणालियों के भीतर सूचना के भंडारण और पहुंच की एक अधिक सूक्ष्म समझ की ओर ले जाती है। शोधकर्ताओं ने अपने उपकरणों और कोड को जनता के लिए उपलब्ध कराया है, जिससे अन्य लोग इन निष्कर्षों को सत्यापित कर सकें और भविष्य की AI सुरक्षा और गोपनीयता की चुनौतियों के लिए इस चयनात्मक दृष्टिकोण को लागू कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।