Safety-Aligned Weights Are Not Enough: Refusal-Teacher-Guided Finetuning Enhances Safety and Downstream Performance under Harmful Finetuning Attacks
यह शोध पत्र एक रिफ्यूज़ल-टीचर-गाइडेड (Refusal-Teacher-guided) फाइनट्यूनिंग फ्रेमवर्क का प्रस्ताव करता है जो पूर्व-संरेखित (pre-aligned) भारों द्वारा प्रदान की गई कमजोर इनिशियलाइजेशन पर निर्भर रहने के बजाय, सीधे सुरक्षा मार्गदर्शन के साथ बेस मॉडल को प्रशिक्षित करके हानिकारक फाइनट्यूनिंग हमलों के तहत सुरक्षा और डाउनस्ट्रीम टास्क प्रदर्शन दोनों में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, एक नई और शक्तिशाली क्षमता उभर कर आई है: एक विशाल, सामान्य-उद्देश्य वाले भाषा मॉडल को उपयोगकर्ता के अपने डेटा का उपयोग करके विशिष्ट आवश्यकताओं के लिए तैयार करने की क्षमता। यह सेवा, जिसे अक्सर "फाइनट्यूनिंग" कहा जाता है, कंपनियों और व्यक्तियों को इन डिजिटल मस्तिष्कों को कोडिंग लिखने से लेकर मेडिकल रिकॉर्ड का विश्लेषण करने जैसे विशिष्ट कार्यों के लिए अनुकूलित करने की अनुमति देती है। हालांकि, इस लचीलेपन के साथ एक छिपा हुआ खतरा भी आता है। यदि अनुकूलन के लिए उपयोग किए गए डेटा में हानिकारक निर्देश शामिल हैं—जैसे हथियार बनाने या घृणास्पद भाषण उत्पन्न करने के अनुरोध—तो मॉडल अपने सुरक्षा नियमों को अनदेखा करना सीख सकता है। यह भेद्यता, जिसे "हार्मफुल फाइनट्यूनिंग अटैक" (हानिकारक फाइनट्यूनिंग हमला) के रूप में जाना जाता है, सहायक उपकरणों को खतरनाक उपकरणों में बदलने का खतरा पैदा करती है। डेवलपर्स के लिए मुख्य चुनौती यह तरीका खोजने की है जिससे वे मॉडल को सुरक्षित बनाए रखते हुए उपयोगकर्ताओं को इसे अनुकूलित करने की अनुमति दे सकें।
कुछ समय से, इस समस्या का मानक समाधान एक दो-चरणीय प्रक्रिया थी। पहले, डेवलपर्स एक बेस मॉडल लेते थे और उसे सुरक्षा डेटा पर व्यापक रूप से प्रशिक्षित करते थे, जिससे उसे हानिकारक अनुरोधों को अस्वीकार करना सिखाया जाता था। इससे एक "सेफ्टी-अलाइन्ड" (सुरक्षा-संरेखित) मॉडल तैयार होता था। फिर, वे इस पहले से ही सुरक्षित मॉडल को उपयोगकर्ता के विशिष्ट डेटा पर और अधिक प्रशिक्षित करते थे। कोरिया एडवांस्ड इंस्टीट्यूट ऑफ साइंस एंड टेक्नोलॉजी (KAIST) के शोधकर्ताओं ने अब खोजा है कि यह पारंपरिक दृष्टिकोण त्रुटिपूर्ण है। उन्होंने पाया कि उस मॉडल से शुरुआत करना जिसे पहले से ही सुरक्षा नियमों पर भारी प्रशिक्षण दिया गया है, वास्तव में मॉडल के लिए नए कार्यों को प्रभावी ढंग से सीखना कठिन बना देता है। सुरक्षा प्रशिक्षण मॉडल की आंतरिक सेटिंग्स को इस तरह से बदल देता है जो नई कुशलताएँ सीखने के लिए आदर्श नहीं है, जिससे एक ऐसा समझौता होता है जहाँ मॉडल या तो उपयोगकर्ता के कार्य पर खराब प्रदर्शन करता है या, और भी बुरा, बुरे डेटा के संपर्क में आने पर अपने सुरक्षा नियमों को भूल जाता है।
इसे हल करने के लिए, शोधकर्ताओं ने एक अलग रणनीति प्रस्तावित की जो खेल को उलट देती है। एक पहले से ही सुरक्षित मॉडल से शुरुआत करने के बजाय, उन्होंने एक कच्चे, अनुकूलन योग्य बेस मॉडल से शुरुआत की और इसे उपयोगकर्ता के डेटा और सुरक्षा डेटा दोनों पर एक साथ प्रशिक्षित किया। हालांकि, इन दोनों प्रकार के डेटा को बस एक साथ मिलाने से एक नई समस्या पैदा होती है: मॉडल भ्रमित हो जाता है क्योंकि मददगार होने और सुरक्षित रहने के लक्ष्य कभी-कभी विपरीत दिशाओं में खींच सकते हैं। इस संघर्ष को हल करने के लिए, टीम ने एक "रिफ्यूज़ल-टीचर" (अस्वीकृति-शिक्षक) पेश किया। यह एक अलग, सुरक्षा-प्रशिक्षित मॉडल है जो एक मार्गदर्शक के रूप में कार्य करता है। यह स्वयं सीखना नहीं करता है; इसके बजाय, यह सीखने की प्रक्रिया पर नज़र रखता है और दो महत्वपूर्ण सेवाएँ प्रदान करता है। पहला, यह मुख्य मॉडल के देखने से पहले उपयोगकर्ता के डेटा से हानिकारक निर्देशों को फ़िल्टर करता है, जिससे बुरे डेटा को नुकसान पहुँचाने से रोका जा सके। दूसरा, यह मॉडल को यह सिखाने के लिए कि सुरक्षा को कैसे संभालना है, कि वह बहुत कठोर न हो, सख्त नियमों के बजाय कोमल उदाहरणों का उपयोग करता है ताकि मॉडल सुचारू रूप से सीख सके।
इस नए तरीके के परिणाम आश्चर्यजनक हैं। उन परीक्षणों में जहाँ शोधकर्ताओं ने हानिकारक डेटा की विभिन्न मात्रा पेश की—जिसमें कुछ भी नहीं होने से लेकर प्रशिक्षण सेट का आधा हिस्सा होने तक—उनके दृष्टिकोण ने लगातार मौजूदा तरीकों से बेहतर प्रदर्शन किया। जब प्रशिक्षण डेटा में 50% हानिकारक प्रॉम्प्ट थे, तो पारंपरिक तरीके मॉडल को सुरक्षित रखने में विफल रहे, जिससे कुछ मामलों में हानिकारक प्रतिक्रियाएं लगभग 80% तक बढ़ गईं। इसके विपरीत, नए तरीके ने हानिकारक प्रतिक्रियाओं को 1% से नीचे रखा, जबकि इसने मॉडल को उच्च सटीकता के साथ उपयोगकर्ता के कार्य को सीखने की अनुमति भी दी। यह सफलता गणित की समस्याओं को हल करने या समाचार लेखों का विश्लेषण करने जैसे विभिन्न प्रकार के कार्यों में भी बनी रही, और कई अलग-अलग मॉडल आर्किटेक्चर के साथ काम की। शोधकर्ताओं ने यह भी पाया कि इस पद्धति ने उस आंतरिक "तनाव" या संघर्ष को कम किया जो तब होता है जब एक मॉडल एक साथ दो विरोधी चीजों को सीखने की कोशिश करता है, जिससे एक अधिक स्थिर और कुशल प्रशिक्षण प्रक्रिया मिलती है।
अध्ययन बताता है कि सुरक्षित अनुकूलन की कुंजी मॉडल को सुरक्षा नियमों के साथ पहले से कठोर बनाने में नहीं, बल्कि उसे लचीला रखने और सीखने की प्रक्रिया के दौरान सावधानीपूर्वक मार्गदर्शन करने में निहित है। एक शिक्षक का उपयोग करके जहर को फ़िल्टर करने और सुरक्षा पाठ को सुव्यवस्थित करने से, यह प्रणाली एक ऐसा संतुलन प्राप्त करती है जो पहले पहुंच से बाहर था। शोधकर्ताओं ने प्रदर्शित किया कि यह दृष्टिकोण तब भी काम करता है जब हानिकारक डेटा को छिपाया गया हो या विभिन्न स्रोतों से आया हो, जो एक ऐसी मजबूती दिखाता है जिसकी वर्तमान सुरक्षा प्रणालियों में कमी है। जबकि यह कार्य एक महत्वपूर्ण कदम है, यह इस बात पर प्रकाश डालता है कि आर्टिफिशियल इंटेलिजेंस में सुरक्षा एक बार की सेटिंग नहीं है, बल्कि एक गतिशील प्रक्रिया है जिसके लिए निरंतर, बुद्धिमान मार्गदर्शन की आवश्यकता होती है। ये निष्कर्ष सेवा प्रदाताओं को अपने द्वारा तैनात किए गए उपकरणों की सुरक्षा से समझौता किए बिना अनुकूलन प्रदान करने का एक स्पष्ट मार्ग प्रदान करते हैं, यह सुनिश्चित करते हुए कि जैसे-जैसे ये मॉडल अधिक विशिष्ट होते जाते हैं, वे भरोसेमंद बने रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।