BLADE: Bilevel Low-rank Augmented-Lagrangian Erasure for LLM Unlearning
यह शोधपत्र BLADE को प्रस्तुत करता है, जो एक क्लैम्प्ड-एन्ट्रॉपी लॉस (clamped-entropy loss), एक एसिमेट्रिक ऑगमेंटेड लैग्रेंजियन (asymmetric augmented Lagrangian) और LoRA-आधारित रिपेयर मैकेनिज्म का उपयोग करने वाला एक कंस्ट्रेंड बाइलेवल फ्रेमवर्क है, जो स्केलिंग और बार-बार अनलर्निंग के तहत स्थिरता बनाए रखते हुए कई बेंचमार्क पर मौजूदा बेसलाइनों से काफी बेहतर प्रदर्शन करते हुए सुदृढ़ और स्केलेबल LLM अनलर्निंग प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स शक्तिशाली उपकरण हैं जिन्होंने इंटरनेट से विशाल मात्रा में टेक्स्ट पढ़कर एक वाक्य में अगले शब्द की भविष्यवाणी करना सीखा है। हालांकि, इस याद रखने की क्षमता के साथ एक महत्वपूर्ण समस्या आती है: ये मॉडल कभी-कभी ऐसी जानकारी को भी संजो कर रखते हैं जिसे हटा दिया जाना चाहिए था, जैसे कि निजी व्यक्तिगत विवरण, कॉपीराइट वाली कहानियाँ, या खतरनाक निर्देश। जब जनरल डेटा प्रोटेक्शन रेगुलेशन (GDPR) जैसे कानून यह मांग करते हैं कि डेटा के किसी विशिष्ट हिस्से को हटाया जाना चाहिए, या जब किसी मॉडल ने गलती से कोई गलत तथ्य सीख लिया हो जिसे सुधारने की आवश्यकता हो, तो पूरे सिस्टम को शुरू से फिर से प्रशिक्षित करना अक्सर बहुत धीमा और महंगा होता है। इसने शोधकर्ताओं को 'मशीन अनलर्निंग' (machine unlearning) नामक एक प्रक्रिया विकसित करने के लिए प्रेरित किया है, जिसका लक्ष्य एक प्रशिक्षित मॉडल से उसकी सामान्य बुद्धिमत्ता और अन्य यादों को अक्षुण्ण रखते हुए विशिष्ट ज्ञान को सर्जिकल तरीके से हटाना है। चुनौती यह है कि मॉडल द्वारा धारण किया गया ज्ञान गहराई से आपस में जुड़ा हुआ है; किसी विशिष्ट तथ्य को मिटाने की कोशिश अक्सर मॉडल की संबंधित, हानिरहित जानकारी को याद रखने की क्षमता को अनजाने में नुकसान पहुँचा देती है, जिससे वह भ्रमित या बेकार हो जाता है।
शोधकर्ताओं की एक टीम ने इस नाजुक संतुलन को हल करने के लिए BLADE नामक एक नई विधि विकसित की है। अनचाहे डेटा से मॉडल को दूर धकेलने के लिए आक्रामक रूप से प्रयास करने के बजाय—जो अक्सर मॉडल की सुसंगतता को तोड़ देता है—BLADE एक दो-स्तरीय रणनीति का उपयोग करता है जो मरम्मत को प्राथमिकता देती है। कल्पना कीजिए कि मॉडल का ज्ञान कनेक्शनों का एक जटिल जाल है। जब शोधकर्ता किसी जानकारी के टुकड़े को हटाने के लिए एक विशिष्ट धागे को काटने का प्रयास करते हैं, तो आसपास का जाल अक्सर झुक जाता है या फट जाता है। BLADE पहले आसपास के जाल को मजबूत करने पर काम करता है ताकि वह मजबूत बना रहे, और उसके बाद ही एक छोटा, नियंत्रित कट लगाता है। यह एक चक्र में होता है: सिस्टम पहले उस चीज़ को याद रखने की मॉडल की क्षमता को स्थिर करता है जिसे उसे रखना चाहिए, और फिर उस चीज़ को भूलने के लिए एक हल्का, सीमित धक्का देता है जिसे उसे नहीं भूलना चाहिए। यह सुनिश्चित करता है कि क्षति समय के साथ जमा न हो, जो पिछले प्रयासों में एक सामान्य विफलता बिंदु था जहाँ मॉडल बार-बार होने वाले सुधारों के भार तले अंततः ढह जाता था।
इस पद्धति का मूल तीन विशिष्ट तंत्रों पर आधारित है जो प्रक्रिया को स्थिर रखने के लिए मिलकर काम करते हैं। सबसे पहले, शोधकर्ता एक ऐसी तकनीक का उपयोग करते हैं जो 'भूलने' की प्रक्रिया को उसी क्षण रोक देती है जब जानकारी पर्याप्त रूप से मिटा दी जाती है। पुराने तरीकों में, कंप्यूटर तब तक तथ्य को मिटाने की कोशिश करता रहता था जब तक कि वह पहले से ही गायब न हो जाए, जिससे ऊर्जा बर्बाद होती थी और अन्य यादों को अनजाने में नुकसान पहुँचता था। BLADE पहचान लेता है कि कब एक टोकन, या अर्थ की एक इकाई, उच्च अनिश्चितता की स्थिति में पहुँच गई है और बस उसे बदलने की कोशिश करना बंद कर देता है, जिससे प्रक्रिया कुशल और सुरक्षित हो जाती है। दूसरा, सिस्टम एक गतिशील दंड (dynamic penalty) का उपयोग करता है जो एक 'वन-वे रैचेट' की तरह कार्य करता है। यदि उस डेटा पर मॉडल का प्रदर्शन जो उसे रखना चाहिए, सुरक्षित सीमा से थोड़ा भी नीचे गिरता है, तो सिस्टम तुरंत उस डेटा की रक्षा के लिए नियमों को सख्त कर देता है, और वह सुरक्षा को फिर कभी ढीला नहीं करता। यह मॉडल को भूलने और याद रखने के बीच झूलने से रोकता है, जो कि पहले के दृष्टिकोणों में देखी जाने वाली एक अराजक व्यवहार है। अंत में, पूरी प्रक्रिया मॉडल के भीतर समायोजन योग्य हिस्सों के एक छोटे, विशिष्ट सेट तक सीमित है, न कि मॉडल के पूरे मस्तिष्क को बदलने तक। यह संरचनात्मक सीमा सुनिश्चित करती है कि भले ही भूलने की प्रक्रिया बहुत आक्रामक हो जाए, वह भौतिक रूप से मॉडल की समग्र क्षमताओं को विनाशकारी नुकसान नहीं पहुँचा सकती।
शोधकर्ताओं ने सिंथेटिक जीवनी, पुस्तकें, समाचार लेख और कॉपीराइट सामग्री वाले डेटासेट सहित कई अलग-अलग बेंचमार्क पर इस दृष्टिकोण का परीक्षण किया। हर परीक्षण में, BLADE ने मौजूदा सबसे मजबूत तरीकों को पछाड़ दिया। सिंथेटिक जीवनी वाले एक परीक्षण में, इसने पिछले सर्वश्रेष्ठ तकनीक की तुलना में समग्र स्कोर में छह प्रतिशत का सुधार किया। पुस्तकों वाले एक परीक्षण में, इसने नौ प्रतिशत का सुधार किया, और गोपनीयता-केंद्रित परीक्षण में, सात प्रतिशत का सुधार किया। महत्वपूर्ण रूप से, यह विधि अपनी सीमाओं तक पहुँचने पर भी उल्लेखनीय रूप से मजबूत साबित हुई। जब शोधकर्ताओं ने भूलने वाले डेटा की मात्रा को चार गुना बढ़ा दिया, या मॉडल को चार क्रमिक अनलर्निंग राउंड से गुजरने के लिए कहा, तो प्रतिस्पर्धी सर्वोत्तम विधियाँ पूरी तरह विफल हो गईं, जिससे मॉडल अपनी कार्य करने की क्षमता खो बैठा। हालाँकि, BLADE इन स्ट्रेस टेस्ट के दौरान भी स्थिर और प्रभावी बना रहा।
इस पद्धति की सफलता इसके अनुमानित व्यवहार में निहित है। जबकि अन्य विधियाँ अक्सर अस्थिर होती हैं, जिसमें मॉडल का प्रदर्शन भूलने और याद रखने के बीच संघर्ष करते समय ऊपर-नीचे होता रहता है, BLADE एक सुचारू, तीन-चरणीय पथ का अनुसरण करता है। यह वार्म-अप अवधि से शुरू होता है, फिर आंतरिक सुरक्षा समायोजन के एक संक्षिप्त चरण में जाता है, और फिर एक स्थिर अभिसरण (convergence) में स्थिर हो जाता है जहाँ भूलने और याद रखने दोनों लक्ष्यों को बिना किसी संघर्ष के पूरा किया जाता है। यह निरंतरता शोधकर्ताओं को विश्वास दिलाती है कि प्रक्रिया नियंत्रण में है और यह समय के साथ मॉडल की गुणवत्ता को चुपचाप कम नहीं करेगी। अध्ययन ने यह भी पुष्टि की कि यह विधि मॉडल को चतुराई से पुनर्गठित किए गए प्रश्नों या प्रतिकूल हमलों (adversarial attacks) के माध्यम से भुला दी गई जानकारी को प्रकट करने के लिए झांसा देने के प्रयासों के प्रति लचीली है। हालांकि यह विधि उस हमलावर के विरुद्ध अभेद्य नहीं है जिसके पास मूल डेटा और मॉडल के आंतरिक वेट्स (weights) तक पहुँच है ताकि जानकारी को फिर से सीखा जा सके, फिर भी यह मानक ब्लैक-बॉक्स हमलों के खिलाफ सुरक्षा की एक महत्वपूर्ण परत प्रदान करती है।
यह कार्य प्रदर्शित करता है कि बड़े भाषा मॉडलों को तोड़ने के बिना उनसे विशिष्ट ज्ञान को हटाना संभव है, बशर्ते कि प्रक्रिया सावधानीपूर्वक नियंत्रित हो और मौजूदा ज्ञान के संरक्षण को प्राथमिकता दी जाए। मरम्मत-प्रथम दृष्टिकोण का उपयोग करके और परिवर्तनों के दायरे को सीमित करके, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो अनलर्निंग कार्यों की बदलती कठिनाई के अनुकूल हो सकता है। परिणाम बताते हैं कि वास्तविक दुनिया में तैनात मॉडलों के लिए, जहाँ हटाने के नए अनुरोध और सुरक्षा संबंधी घटनाएँ अनिवार्य रूप से उत्पन्न होंगी, एक ऐसी विधि जो मॉडल को ढहने से बचाते हुए बार-बार सुधार करने में सक्षम हो, अत्यंत आवश्यक है। ये निष्कर्ष कृत्रिम बुद्धिमत्ता प्रणालियों को बनाए रखने के लिए एक व्यावहारिक मार्ग प्रदान करते हैं, क्योंकि वे विकसित हो रही हैं और संवेदनशील मानवीय डेटा के साथ अंतःक्रिया कर रही हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।