Attribution Consistency in Fine Tuning Makes Refusal Less Sensitive to Paraphrase in a Small Tool Using LLM Agent
यह प्रारंभिक अध्ययन प्रदर्शित करता है कि फाइन-ट्यूनिंग के दौरान लेटेंट एट्रिब्यूशन रेगुलराइजेशन (LAR) लागू करने से एक छोटे टूल-इस्तेमाल करने वाले LLM एजेंट की एट्रिब्यूशन निरंतरता में सुधार होता है, जिससे इसके पैराफ्रेज किए गए हानिकारक अनुरोधों के प्रति संवेदनशीलता कम होती है और डिटेक्शन प्रदर्शन से महत्वपूर्ण समझौता किए बिना इनकार के निर्णयों को स्थिर किया जा सकता है, हालांकि यदि इसे हानिरहित उदाहरणों पर लागू किया जाता है तो इसमें अत्यधिक इनकार का जोखिम रहता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एजेंटों के रूप में जाने जाने वाले सिस्टम का एक बढ़ता हुआ वर्ग है। मानक चैटबॉट्स के विपरीत जो केवल सवालों के जवाब देते हैं, ये एजेंट कार्य करने के लिए डिज़ाइन किए गए हैं। वे जटिल कार्यों को पूरा करने के लिए टूल का उपयोग कर सकते हैं, कोड चला सकते हैं, या अन्य सॉफ़्टवेयर के साथ इंटरैक्ट कर सकते हैं। यह क्षमता उन्हें अविश्वसनीय रूप से उपयोगी बनाती है, लेकिन यह सुरक्षा के लिए जोखिम भी बढ़ा देती है। यदि कोई चैटबॉट किसी हानिकारक अनुरोध को गलत समझता है, तो वह केवल एक बुरा उत्तर दे सकता है। यदि एक एजेंट उसी अनुरोध को गलत समझता है, तो वह एक खतरनाक कार्य कर सकता है, जैसे कि फ़ाइलें हटाना या निजी डेटा भेजना। इसे रोकने के लिए, शोधकर्ता इन मॉडलों को हानिकारक निर्देशों को अस्वीकार करने के लिए प्रशिक्षित करते हैं। हालाँकि, यह सुरक्षा प्रशिक्षण आश्चर्यजनक रूप से नाजुक है। एक मॉडल एक तरीके से लिखे गए अनुरोध को अस्वीकार कर सकता है, लेकिन यदि कोई मानव उसी अनुरोध को अलग शब्दों या अलग वाक्य संरचना का उपयोग करके फिर से लिखता है, तो मॉडल अचानक उस हानिकारक काम को करने के लिए सहमत हो सकता है। यह विसंगति वास्तविक दुनिया में विश्वसनीय एजेंटों को तैनात करने में एक बड़ी बाधा है।
जुनैद हसन नामक एक शोधकर्ता ने इस विशिष्ट विसंगति की समस्या को हल करने के लिए कदम उठाया। लक्ष्य केवल मॉडल को अधिक बार मना करना नहीं था, बल्कि उसके इनकार (refusal) को स्थिर बनाना था। एक मॉडल जो हर चीज़ के लिए मना करता है, वह सुसंगत तो होता है, लेकिन वह उपयोगी नहीं होता क्योंकि वह हानिरहित कार्यों में मदद नहीं करेगा। चुनौती यह खोजने की थी कि मॉडल के "ना" कहने के निर्णय को शब्दों के बदलाव के प्रति मजबूत कैसे बनाया जाए, बिना उसे इतना अधिक सतर्क बनाए कि वह "हाँ" कहने में हिचकिचाने लगे। इसका परीक्षण करने के लिए, शोधकर्ता ने एक छोटे, कुशल एआई मॉडल के साथ काम किया जिसे टूल का उपयोग करने के लिए डिज़ाइन किया गया था। टीम ने 'एजेंटहार्म' (AgentHarm) नामक एक डेटासेट का उपयोग किया, जिसमें सैकड़ों ऐसे परिदृश्य शामिल हैं जहाँ एक एजेंट को हानिकारक कार्य करने के लिए कहा जाता है, साथ ही उन्हीं कार्यों के सुरक्षित संस्करण भी दिए गए हैं। महत्वपूर्ण रूप से, प्रत्येक हानिकारक अनुरोध को कई अलग-अलग पैराफ्रेज़ (paraphrases) के साथ जोड़ा गया था, जिससे शोधकर्ताओं को यह देखने की अनुमति मिली कि क्या शब्दों के बदलने पर भी मॉडल का निर्णय बदल जाता है जबकि अर्थ वही रहता है।
शोधकर्ता ने 'लेटेंट एट्रिब्यूशन रेगुलराइजेशन' (Latent Attribution Regularization) नामक एक नई प्रशिक्षण पद्धति का परीक्षण किया। सरल शब्दों में, यह विधि मॉडल को इस तरह से प्रशिक्षित करती है कि वह पढ़े गए शब्दों के महत्व पर एक सुसंगत तरीके से ध्यान दे। जब मॉडल किसी अनुरोध को प्रोसेस करता है, तो वह क्या करना है यह तय करने के लिए प्रत्येक शब्द को महत्व का एक स्तर प्रदान करता है। प्रशिक्षण दंड (penalty) यह सुनिश्चित करता है कि यदि अनुरोध को अलग शब्दों के साथ फिर से लिखा जाता है, तो विचारों के लिए निर्धारित महत्व का पैटर्न समान बना रहे। इसकी तुलना एक मानक प्रशिक्षण पद्धति से की गई जो केवल मूल और पुनर्गठित अनुरोध दोनों के लिए सही उत्तर देने का प्रयास करती है, बिना यह लागू किए कि वह कैसे सोचती है। अध्ययन को दोनों विधियों के बीच निष्पक्ष रूप से तुलना करने के लिए सावधानी बरती गई, यह सुनिश्चित करते हुए कि कोई भी अंतर स्वयं प्रशिक्षण तकनीक से आया है न कि यादृच्छिक भाग्य या अलग मात्रा में डेटा से।
परिणामों ने दिखाया कि नई विधि ने काम किया। जब मॉडलों को हानिरहित कार्यों के एक विशिष्ट, छोटे प्रतिशत को अस्वीकार करने के लिए समायोजित किया गया ताकि यह सुनिश्चित हो सके कि वे बहुत अधिक सतर्क न हों, तो निरंतरता पद्धति से प्रशिक्षित मॉडल काफी अधिक स्थिर था। मानक प्रशिक्षण समूह में, लगभग 25% टास्क फैमिलीज़ के मिश्रित परिणाम थे, जिसका अर्थ था कि मॉडल अनुरोध के एक संस्करण को अस्वीकार करेगा लेकिन उसके पैराफ्रेज़ के लिए सहमत हो जाएगा। नई निरंतरता पद्धति के साथ, यह संख्या गिरकर 19% हो गई। इसके अलावा, शब्दों के बदलने के कारण मॉडल के निर्णय के "ना" से "हाँ" में बदलने की दर लगभग 11% से गिरकर 9% हो गई। शोधकर्ताओं ने एक स्कोर भी मापा जो यह दर्शाता है कि किसी विशिष्ट कटऑफ पॉइंट के बिना मॉडल के मना करने की कितनी संभावना है, और पाया कि यह स्कोर शब्दों के बदलने पर बहुत कम बदला। यह इंगित करता है कि मना करने के निर्णय के लिए मॉडल का आंतरिक तर्क अधिक ठोस हो गया है।
महत्वपूर्ण रूप से, अध्ययन ने पुष्टि की कि यह स्थिरता मॉडल की नुकसान को पहचानने की क्षमता की कीमत पर नहीं आई। नई विधि ने समग्र रूप से हानिकारक और हानिरहित अनुरोध के बीच अंतर करने में मॉडल को महत्वपूर्ण रूप से बेहतर या बदतर नहीं बनाया। सुधार पूरी तरह से निर्णय लेने की प्रक्रिया की निरंतरता में था। हालाँकि, शोध ने एक महत्वपूर्ण विफलता मामले को भी उजागर किया जो भविष्य के काम के लिए एक चेतावनी के रूप में कार्य करता है। एक पिछले प्रयास में, जब शोधकर्ताओं ने मॉडल को केवल टेक्स्ट-आधारित उदाहरणों का उपयोग करके हानिरहित कार्यों को संभालने के लिए सिखाने की कोशिश की, तो मॉडल ने एक बुरी आदत सीख ली। इसने लगभग उन सभी अनुरोधों को अस्वीकार करना शुरू कर दिया जिनमें टूल शामिल थे, यहाँ तक कि सुरक्षित अनुरोधों को भी, और इसने टूल का उपयोग करना पूरी तरह से बंद कर दिया। ऐसा इसलिए हुआ क्योंकि प्रशिक्षण डेटा में मॉडल को यह नहीं दिखाया गया था कि टूल का सुरक्षित संदर्भ में उपयोग कैसे किया जाए। यह विफलता दर्शाती है कि एजेंटों के लिए, प्रशिक्षण डेटा में यह दिखाना आवश्यक है कि टूल का सुरक्षित रूप से उपयोग कैसे किया जाए, न कि केवल प्रश्नों का उत्तर कैसे दिया जाए।
अध्ययन निष्कर्ष निकालता है कि एक एआई एजेंट के इनकार के निर्णय को सुसंगत बनाना संभव है, लेकिन इसके लिए विशिष्ट प्रशिक्षण तकनीकों की आवश्यकता होती है जो इस बात पर नज़र रखती हैं कि मॉडल जानकारी को कैसे प्रोसेस करता है, न कि केवल अंतिम उत्तर पर। हालाँकि परिणाम उत्साहजनक हैं, वे प्रारंभिक हैं, जो एक एकल छोटे मॉडल और परीक्षण के सीमित संख्या पर आधारित हैं। शोधकर्ता नोट करते हैं कि भविष्य के कार्य में बड़े मॉडलों, प्रशिक्षण डेटा के अधिक विविध संस्करणों और मानव समीक्षकों के साथ परीक्षण करने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि पैराफ्रेज़ वास्तव में समकक्ष हैं। यह कार्य एक स्पष्ट मार्ग प्रदान करता है: एजेंटों को उनके द्वारा पढ़े गए शब्दों के भार (weighing) को सुसंगत बनाने के लिए प्रशिक्षित करके, हम उन्हें सुरक्षित और अधिक विश्वसनीय बना सकते हैं, यह सुनिश्चित करते हुए कि वे केवल इसलिए अनजाने में नुकसान करने के लिए सहमत न हो जाएं क्योंकि अनुरोध को अलग तरह से लिखा गया था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।