CALIBURN: Self-Calibrated LLM Unlearning Alignment
यह शोध पत्र CALIBURN का प्रस्ताव करता है, जो एक स्व-अंशांकन (self-calibrated) विधि है जो अवांछनीय ज्ञान में एक LLM के आत्मविश्वास को मात्रात्मक रूप से मापता है ताकि अनलर्निंग ग्रेडिएंट्स को सटीक रूप से अंशांकित किया जा सके, जिससे मौजूदा दृष्टिकोणों की तुलना में बेहतर उपयोगिता संरक्षण और बड़े रिटेंशन डेटासेट पर कम निर्भरता के साथ प्रभावी ज्ञान निष्कासन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) ज्ञान के शक्तिशाली इंजन हैं, जिन्हें मानव भाषा को समझने और उत्पन्न करने के लिए विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है। हालाँकि, इस व्यापक स्मृति (memorization) के साथ एक महत्वपूर्ण जोखिम भी आता है: ये मॉडल अनजाने में संवेदनशील व्यक्तिगत डेटा, कॉपीराइट वाली कहानियों, या हानिकारक पदार्थों बनाने के खतरनाक निर्देशों को याद कर सकते हैं। जब ऐसी जानकारी मॉडल में समाहित हो जाती है, तो केवल स्रोत फाइलों को हटा देने से मशीन की स्मृति से वह ज्ञान नहीं मिटता है। "अनलर्निंग" (unlearning) का क्षेत्र इसी समस्या को हल करने का प्रयास करता है, जिसका उद्देश्य मॉडल को विशिष्ट, अवांछित जानकारी को भूलने के लिए सिखाना है, बिना उसकी सामान्य रूप से सहायक होने की क्षमता को मिटाए। चुनौती इसे सटीकता से करने में निहित है; यदि मॉडल को बहुत आक्रामक तरीके से भूलने के लिए मजबूर किया जाता है, तो अक्सर वह अपनी सामान्य बुद्धिमत्ता खो देता है, जिसे "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) कहा जाता है। इसके विपरीत, यदि यह बहुत सतर्क है, तो खतरनाक या अवांछित ज्ञान बना रहता है।
शोधकर्ताओं ने इसे ठीक करने के लिए विभिन्न तरीकों का उपयोग किया है, जो अक्सर "रिटेंशन डेटा" (retention data) के बड़े सेटों पर निर्भर करते हैं—यानी वे उदाहरण जो अच्छे ज्ञान का प्रतिनिधित्व करते हैं जिसे मॉडल को बनाए रखना चाहिए—ताकि भूलने की प्रक्रिया के दौरान एक सुरक्षा जाल के रूप में कार्य किया जा सके। कुछ दृष्टिकोण मॉडल की प्राथमिकताओं को संरेखित करने की कोशिश करते हैं, जिससे उसे बुरे उत्तरों को अस्वीकार करना सिखाया जाता है, लेकिन वे अक्सर संघर्ष करते हैं क्योंकि वे एक स्थिर संदर्भ बिंदु पर निर्भर होते हैं जो मॉडल के बदलने के साथ कम उपयोगी होता जाता है। एक नया अध्ययन CALIBURN नामक एक विधि पेश करता है, जिसका लक्ष्य इस भूलने की प्रक्रिया को स्व-विनियमित (self-regulating) बनाना है। बाहरी डेटा या एक निश्चित संदर्भ मॉडल पर निर्भर रहने के बजाय, CALIBURN मॉडल को उस जानकारी के प्रति अपने स्वयं के आत्मविश्वास (confidence) का आकलन करने की अनुमति देता है जिसे भुलाने के लिए उसे कहा जा रहा है। यदि मॉडल अवांछित ज्ञान के बारे में बहुत आश्वस्त है, तो यह उसे हटाने के लिए एक सख्त दंड (penalty) लागू करता है। यदि मॉडल पहले से ही अनिश्चित है, तो दंड हल्का होता है। यह दृष्टिकोण मॉडल को अपनी स्मृति को सूक्ष्म रूप से ट्यून करने देता है, जिससे वह अपना प्रयास ठीक वहीं केंद्रित कर पाता है जहाँ इसकी सबसे अधिक आवश्यकता है।
शोधकर्ताओं ने इस विचार का परीक्षण दो अलग-अलग प्रकार के अवांछित ज्ञान पर किया: साइबर सुरक्षा और जीव विज्ञान से संबंधित खतरनाक जानकारी, और हैरी पॉटर पुस्तक श्रृंखला का कॉपीराइट वाला टेक्स्ट। उन्होंने अपनी विधि की तुलना कई मौजूदा तकनीकों से की, जिनमें रिटेंशन डेटासेट के बड़े सेट शामिल हैं और जो अच्छे और बुरे उत्तरों के विरोधाभासी जोड़ों (contrastive pairs) पर निर्भर करते हैं। खतरनाक ज्ञान से जुड़े परीक्षणों में, नई विधि ने मॉडल की खतरनाक सामग्री उत्पन्न करने की क्षमता को सफलतापूर्वक कम किया, जबकि मानक शैक्षणिक प्रश्नों पर इसके सामान्य प्रदर्शन को बनाए रखा। यह उन अन्य विधियों से बेहतर रहा जो अतिरिक्त रिटेंशन डेटा का उपयोग नहीं करते थे, क्योंकि वे अक्सर मॉडल की सामान्य उपयोगिता को बहुत अधिक कम कर देते थे। इसी तरह, हैरी पॉटर श्रृंखला के ज्ञान को हटाने के कार्य में, यह विधि अत्यधिक प्रभावी सिद्ध हुई। इसने किताबों की मॉडल की स्मृति को लगभग शून्य तक कम कर दिया, भले ही इसे केवल 132 प्रश्न-उत्तर जोड़ों के बहुत छोटे डेटासेट पर प्रशिक्षित किया गया था, जबकि अन्य विधियाँ इतने सीमित डेटा के साथ संघर्ष करती रहीं।
इस कार्य में एक प्रमुख नवाचार यह है कि यह भाषा की संरचना को कैसे संभालता है। पूरे वाक्य या पैराग्राफ को भूलने वाली एक एकल इकाई के रूप में मानने के बजाय, यह विधि प्रक्रिया को व्यक्तिगत शब्दों, या 'टोकन' के स्तर तक तोड़ देती है। यह एक बहुत अधिक सूक्ष्म समायोजन की अनुमति देता है। शोधकर्ताओं ने पाया कि प्रत्येक विशिष्ट शब्द में मॉडल के आत्मविश्वास के आधार पर सीखने की प्रक्रिया को कैलिब्रेट करके, वे "ओवर-फॉरगेटिंग" (over-forgetting) से बच सकते हैं जो अन्य तकनीकों को परेशान करता है। उदाहरण के लिए, जब मॉडल को किसी विशिष्ट पुस्तक के विवरण को भूलने के लिए कहा गया, तो इस विधि ने उच्च सटीकता के साथ सीधे उस पुस्तक से संबंधित शब्दों को लक्षित किया, जबकि असंबंधित शब्दों और सामान्य ज्ञान को बरकरार रखा। इस स्व-कैलिब्रेटिंग तंत्र का अर्थ है कि मॉडल को सही ढंग से कार्य करने के लिए किसी स्थिर संदर्भ मॉडल या सुरक्षित उदाहरणों के विशाल पुस्तकालय के साथ जोड़े जाने की आवश्यकता नहीं है।
यह अध्ययन प्रदर्शित करता है कि भारी डेटा आवश्यकताओं के बिना प्रभावी अनलर्निंग प्राप्त करना संभव है, जिसने पिछले दृष्टिकोणों को सीमित कर दिया था। मॉडल के अपने आत्मविश्वास को भूलने की प्रक्रिया का मार्गदर्शन करने देकर, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो तब भी मजबूत है जब प्रशिक्षण डेटा कम हो या भिन्न लंबाई का हो। परिणाम बताते हैं कि यह स्व-विनियमित दृष्टिकोण विशिष्ट, अवांछित ज्ञान को हटाने और मॉडल की समग्र उपयोगिता को बनाए रखने के बीच एक अधिक संतुलित समझौता प्रदान करता है। हालांकि प्रयोग एक विशिष्ट आकार के मॉडलों पर और नियंत्रित बेंचमार्क वातावरण के भीतर किए गए थे, निष्कर्ष कृत्रिम बुद्धिमत्ता प्रणालियों की सुरक्षा और गोपनीयता को प्रबंधित करने के अधिक व्यावहारिक और कुशल तरीके की ओर संकेत करते हैं। यह कार्य इंगित करता है कि सही आंतरिक अंशांकन (calibration) के साथ, मॉडलों को वह भूलने के लिए सिखाया जा सकता है जिसे उन्हें नहीं जानना चाहिए, बिना वह खोए जिसे उन्हें जानने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।