RePolicy: Reinforcement Learning for Safety-Policy Invocation in Agent Safeguards
यह शोधपत्र RePolicy प्रस्तुत करता है, जो एक सुदृढीकरण लर्निंग (reinforcement learning) आधारित एजेंट सुरक्षा तंत्र है जो जमीनी स्तर पर आधारित सुरक्षा निर्णय उत्पन्न करने के लिए संदर्भ-विशिष्ट सुरक्षा नीतियों को गतिशील रूप से लागू करता है, और मौजूदा प्रॉम्प्टिंग एवं फाइन-ट्यूनिंग विधियों की तुलना में विविध बेंचमार्क पर बेहतर अनुकूलन क्षमता और पहचान प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, प्रणालियों की एक नई पीढ़ी उभरी है जो केवल सवालों के जवाब देने या टेक्स्ट लिखने से कहीं अधिक कर सकती है। ये स्वायत्त एजेंट (autonomous agents) हैं, जो डिजिटल संस्थाएं हैं जो जटिल कार्यों की योजना बनाने, सॉफ्टवेयर टूल्स का उपयोग करने और विशिष्ट लक्ष्यों को प्राप्त करने के लिए बाहरी दुनिया के साथ बातचीत करने में सक्षम हैं। एक ऐसे व्यक्तिगत सहायक की कल्पना करें जो न केवल उड़ान बुक कर सकता है, बल्कि निरंतर मानवीय मार्गदर्शन के बिना एक वेबसाइट पर नेविगेट कर सकता है, फॉर्म भर सकता है और कैलेंडर प्रबंधित कर सकता है। जैसे-जैसे ये एजेंट अधिक सक्षम होते जा रहे हैं, उनकी सुरक्षा के लिए जोखिम भी उसी अनुपात में बढ़ रहे हैं। खतरा अब केवल एक अनुचित वाक्य के बारे में नहीं है; यह कार्यों के एक ऐसे क्रम के बारे में है, जो अलग-अलग देखने में तो हानिरहित लग सकते हैं, लेकिन जब एक साथ जुड़ते हैं तो एक हानिकारक परिणाम की ओर ले जा सकते हैं। इन एजेंटों को सुरक्षित रूप से कार्य करना सुनिश्चित करने के लिए एक ऐसी प्रणाली की आवश्यकता है जो उनकी पूरी यात्रा पर नज़र रख सके, सड़क के नियमों को समझ सके और किसी गलती के आपदा बनने से पहले हस्तक्षेप कर सके।
वर्षों तक, इन एजेंटों को सुरक्षित रखने के लिए मानक दृष्टिकोण स्थिर नियमों या सरल प्रॉम्प्ट्स पर निर्भर रहा है। डेवलपर्स सुरक्षा प्रणाली को निषेध व्यवहारों की एक निश्चित सूची के साथ प्रोग्राम करते थे या मॉडल से अपने कार्य की जांच दिशानिर्देशों के एक सामान्य सेट के विरुद्ध करने के लिए कहते थे। हालाँकि, वास्तविक दुनिया इतनी जटिल है कि नियमों की एक एकल, अपरिवर्तित सूची हर स्थिति को कवर नहीं कर सकती। एक कार्य जो एक संदर्भ में सुरक्षित है, वह दूसरे संदर्भ में खतरनाक हो सकता है, जो इस पर निर्भर करता है कि पूछने वाला कौन है, कौन से टूल्स उपलब्ध हैं, या कौन से कानून लागू होते हैं। इसके अलावा, सुरक्षा नीतियां समय के साथ बदलती रहती हैं। एक मॉडल को केवल नियमों के एक निश्चित सेट को याद रखने पर निर्भर करना अक्सर उसे तब भ्रमित कर देता है जब वह किसी नए परिदृश्य या नियमों के ऐसे संयोजन का सामना करता है जिसे उसने पहले कभी नहीं देखा हो। यह एक शहर में नेविगेट करने की कोशिश करने जैसा है जिसके मानचित्र में केवल वे सड़कें दिखाई देती हैं जिन्हें आप पहले ही घूम चुके हैं; जब आप एक नए पड़ोस में मुड़ते हैं, तो मानचित्र कोई मदद नहीं देता।
इसे हल करने के लिए, शोधकर्ताओं ने RePolicy नामक एक नई विधि विकसित की है। सुरक्षा नियमों को पढ़ने के लिए एक निष्क्रिय पाठ के रूप में मानने के बजाय, यह प्रणाली उन्हें सक्रिय उपकरणों के रूप में मानती है जिन्हें सुरक्षा जांचकर्ता को चुनना और उपयोग करना चाहिए। मुख्य विचार सुरक्षा प्रणाली को यह सिखाना है कि वह एक विशिष्ट स्थिति को कैसे देखे, उपलब्ध नियमों के पुस्तकालय को स्कैन करे और उस नियम को चुने जो वास्तव में लागू होता है। एक बार सही नियम का चयन हो जाने के बाद, सिस्टम उसके विशिष्ट विवरणों को पढ़ता है और इस निर्णय को लेने के लिए उस जानकारी का उपयोग करता है कि एजेंट का व्यवहार सुरक्षित है या नहीं। यह दृष्टिकोण सुरक्षा जांच को एक निष्क्रिय पठन अभ्यास से एक सक्रिय निर्णय लेने वाली प्रक्रिया में बदल देता है, जहाँ सिस्टम सीखता है कि काम के लिए दराज से कौन सा नियम बाहर निकालना है।
शोधकर्ताओं ने इस प्रणाली को बनाने के लिए सबसे पहले 20,000 से अधिक उदाहरणों का एक विशाल डेटासेट तैयार किया। इन उदाहरणों में एजेंटों द्वारा किए गए कार्यों के विस्तृत रिकॉर्ड शामिल थे, जिन्हें उन विशिष्ट सुरक्षा नियमों के साथ जोड़ा गया था जो उन कार्यों को नियंत्रित करते थे। उन्होंने प्रत्येक रिकॉर्ड को लेबल किया ताकि यह दिखाया जा सके कि किस नियम को क्यों लागू किया जाना चाहिए। इस डेटा का उपयोग करते हुए, उन्होंने पहले सिस्टम को एक स्थिति को पढ़ने और मिलान करने वाले नियम को खोजने का आधार सिखाया, जो सुपरवाइज्ड लर्निंग (supervised learning) की एक प्रक्रिया है, ठीक वैसे ही जैसे एक छात्र पाठ्यपुस्तक से सीखता है। हालाँकि, केवल उदाहरणों को याद रखना वास्तविक दुनिया के कार्यों की अप्रत्याशित प्रकृति को संभालने के लिए पर्याप्त नहीं है। सिस्टम को और आगे बढ़ाने के लिए, शोधकर्ताओं ने रीइन्फोर्समेंट लर्निंग (reinforcement learning) नामक तकनीक को लागू किया। इस चरण में, सिस्टम को बार-बार निर्णय लेने का अभ्यास करने की अनुमति दी गई। जब इसने सही नियम चुना और सही सुरक्षा निर्णय लिया, तो इसे एक इनाम (reward) मिला। जब इसने गलत नियम चुना या खतरे को अनदेखा किया, तो इसे दंड (penalty) मिला। समय के साथ, सिस्टम ने अपने विकल्पों को परिष्कृत करना सीखा, जिससे वह उन नियमों के बीच अंतर करने में बेहतर हो गया जो समान दिखते थे लेकिन अलग-अलग स्थितियों में लागू होते थे।
इस प्रशिक्षण का एक महत्वपूर्ण हिस्सा सिस्टम को शॉर्टकट का लाभ उठाने से रोकने के लिए एक चतुर युक्ति थी। अभ्यास के दौरान, शोधकर्ता सही नियमों के साथ अप्रासंगिक नियम और नकली "डिकॉय" (decoy) नीतियां मिला देते थे। इसने सिस्टम को केवल मौजूद नियमों के आधार पर अनुमान लगाने के बजाय कार्य के संदर्भ को वास्तव में समझने के लिए मजबूर किया। यदि सिस्टम प्रासंगिक नियम और डिकॉय के बीच अंतर नहीं कर पाता, तो वह परीक्षण में विफल हो जाता। इसने सुनिश्चित किया कि अंतिम प्रणाली ने केवल कीवर्ड्स की उपस्थिति के आधार पर नहीं, बल्कि कार्य के विवरण के आधार पर उस विशिष्ट नीति की पहचान करना सीखा जो स्थिति को नियंत्रित करती है।
एजेंट सुरक्षा का मूल्यांकन करने के लिए डिज़ाइन किए गए छह अलग-अलग बेंचमार्क के विरुद्ध परीक्षण करने पर, नई प्रणाली मौजूदा तरीकों की तुलना में काफी बेहतर प्रदर्शन करती है। इसने विविध परिदृश्यों में असुरक्षित व्यवहारों का पता लगाने में उच्च सटीकता हासिल की, और सामान्य-उद्देश्य वाले आर्टिफिशियल इंटेलिजेंस मॉडल और विशेष सुरक्षा उपकरणों दोनों को पीछे छोड़ दिया। छह में से चार परीक्षणों में, इसने प्रथम स्थान प्राप्त किया, जो जोखिमों को पहचानने की इसकी क्षमता में स्पष्ट सुधार को दर्शाता है जिसे अन्य सिस्टम मिस कर देते हैं। शायद सबसे महत्वपूर्ण बात यह है कि सिस्टम ने तब भी सही सुरक्षा नीति को लागू करने की मजबूत क्षमता प्रदर्शित की जब उपलब्ध नियमों की सूची बदल गई या संदर्भ बदल गया। इसने केवल अनुमान नहीं लगाया; इसने सक्रिय रूप से सही नियम का चयन किया और अपने निर्णय को उचित ठहराने के लिए उसकी सामग्री का उपयोग किया।
अध्ययन यह सुझाव देता है कि सुरक्षा प्रणालियों को नियमों को केवल निष्क्रिय रूप से पढ़ने के बजाय उन्हें सक्रिय रूप से चुनने और लागू करने के लिए सिखाकर, हम स्वायत्त एजेंटों के लिए अधिक अनुकूलन योग्य और विश्वसनीय संरक्षक बना सकते हैं। यह दृष्टिकोण सुरक्षा तंत्र को उन एजेंटों के साथ विकसित होने की अनुमति देता जिनकी वह रक्षा करता है, जिससे बिना पूर्ण पुन: प्रोग्रामिंग के नए टूल्स और बदलते नियमों को संभाला जा सकता है। हालांकि यह प्रणाली एक पूर्ण समाधान नहीं है और अभी भी इसे दिए गए नियमों की गुणवत्ता पर निर्भर करती है, लेकिन परिणाम एक आशाजनक मार्ग की ओर संकेत करते हैं। सुरक्षा नीति आह्वान (policy invocation) को एक सीखने के कार्य में बदलकर, शोधकर्ताओं ने यह सुनिश्चित करने की दिशा में एक महत्वपूर्ण कदम उठाया है कि जैसे-जैसे आर्टिफिशियल एजेंट अधिक स्वतंत्र होते जा रहे हैं, वे स्पष्ट, संदर्भ-जागरूक और प्रभावी सुरक्षा मानकों के नियंत्रण में रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।