StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing
यह शोध पत्र StepGuard प्रस्तुत करता है, जो StepGen डेटा इंजन और Balance-GRPO एल्गोरिदम के माध्यम से प्रशिक्षित एक स्टेप-लेवल गार्ड मॉडल है, जो निष्पादन से पहले LLM एजेंटों में असुरक्षित टूल क्रियाओं की प्रभावी ढंग से निगरानी करने और उन्हें रोकने के लिए डिज़ाइन किया गया है, जिससे न्यूनतम उपयोगिता हानि के साथ अत्याधुनिक सुरक्षा प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे डिजिटल सहायक की कल्पना करें जो न केवल सवालों के जवाब देता है, बल्कि वास्तव में आपके लिए काम भी कर सकता है। यह आपका कैलेंडर देख सकता है, ईमेल भेज सकता है, फाइलों को प्रबंधित कर सकता है, या यहाँ तक कि आपकी ओर से जटिल लेनदेन भी कर सकता है। यह आधुनिक एआई एजेंटों का वादा है: ऐसे उपकरण जो सॉफ्टवेयर के माध्यम से वास्तविक दुनिया के साथ बातचीत करके मानवीय क्षमता का विस्तार करते हैं। हालाँकि, यह शक्ति अपने साथ एक विशिष्ट खतरा भी लाती है। यदि किसी एजेंट को एक हानिरहित दिखने वाले ईमेल के भीतर छिपे हुए दुर्भावनापूर्ण निर्देश का पालन करने के लिए बहकाया जाता है, या यदि वह किसी कमांड का गलत अर्थ निकाल लेता है, तो वह महत्वपूर्ण दस्तावेजों को हटा सकता है, निजी जानकारी लीक कर सकता है, या गलत व्यक्ति को पैसे ट्रांसफर कर सकता है। वैज्ञानिकों के लिए मुख्य चुनौती केवल इन सक्षम सहायकों को बनाना नहीं है, बल्कि एक विश्वसनीय सुरक्षा प्रणाली बनाना है जो उन्हें बारीकी से देखती रहे, और गलती होने से पहले ही उन्हें रोक दे, बिना उनके उपयोगी काम में बाधा डाले।
शंघाई आर्टिफिशियल इंटेलिजेंस लेबोरेटरी के शोधकर्ताओं ने इस समस्या को हल करने के लिए 'स्टेपगार्ड' (StepGuard) नामक एक नई सुरक्षा प्रणाली विकसित की है। पारंपरिक सुरक्षा जांचकर्ता अक्सर एजेंट द्वारा कार्यों की एक लंबी श्रृंखला पूरी करने के बाद यह समीक्षा करने के लिए प्रतीक्षा करते हैं कि क्या हुआ। उस समय तक, यदि कोई गलती हुई है, तो नुकसान पहले ही हो चुका होता है। स्टेपगार्ड इससे अलग है क्योंकि यह एक सतर्क पर्यवेक्षक के रूप में कार्य करता है जो एजेंट द्वारा उठाए गए हर एक कदम की जांच क्रियान्वित होने से पहले ही करता है। यह एजेंट की योजना, उसके द्वारा उपयोग किए जाने वाले उपकरणों और स्थिति के संदर्भ को देखता है ताकि यह तय किया जा सके कि क्या वह कदम सुरक्षित है। यदि कदम खतरनाक दिखता है, तो सिस्टम उसे तुरंत ब्लॉक कर देता है। यदि वह सुरक्षित है, तो एजेंट आगे बढ़ता है। यह "स्टेप-लेवल" (चरण-स्तर) की निगरानी महत्वपूर्ण है क्योंकि जोखिम अक्सर घटनाओं की एक लंबी श्रृंखला के भीतर किसी एक क्रिया के विवरण में छिपे होते हैं।
इस प्रणाली को यह सिखाने के लिए कि एक अच्छा पर्यवेक्षक कैसे बना जाए, शोधकर्ताओं को एक कठिन बाधा का सामना करना पड़ा: एआई एजेंटों द्वारा खतरनाक गलतियाँ करने के वास्तविक दुनिया के उदाहरण बहुत कम हैं जिनसे सीखा जा सके। इस समस्या से निपटने के लिए, उन्होंने 'स्टेपजेन' (StepGen) नामक एक स्वचालित डेटा इंजन बनाया। दुर्घटनाओं के होने का इंतजार करने के बजाय, स्टेपजेन ऐसे हजारों सिम्युलेटेड परिदृश्य बनाता है जहाँ एक एजेंट गलती करने की कगार पर होता है। यह एक कहानी बुनता है जहाँ एजेंट किसी कार्य पर काम कर रहा होता है, फिर एक विशिष्ट जोखिम भरा क्षण पेश करता है, जैसे कि एक छिपा हुआ दुर्भावनापूर्ण निर्देश या एक दूषित डेटा फ़ाइल। इसके बाद इंजन होने वाली घटनाओं के दो संस्करण उत्पन्न करता है: एक जहाँ एजेंट जाल में फंस जाता है और एक हानिकारक क्रिया करता है, और दूसरा जहाँ एजेंट खतरे को पहचान लेता है और एक सुरक्षित विकल्प चुनता है। महत्वपूर्ण बात यह है कि दोनों संस्करणों की शुरुआत बिल्कुल एक ही इतिहास से होती है, जो केवल उस एक महत्वपूर्ण निर्णय बिंदु पर भिन्न होते हैं। यह सुरक्षा प्रणाली को ठीक-ठीक यह सीखने की अनुमति देता है कि एक विशिष्ट कदम को क्या खतरनाक बनाता है, बजाय इसके कि वह केवल यह याद रखे कि कुछ उपकरण हमेशा बुरे होते हैं।
शोधकर्ताओं ने यह भी पाया कि सुरक्षा प्रणालियाँ एक विशिष्ट प्रकार के पूर्वाग्रह से ग्रस्त होती हैं। कुछ प्रणालियाँ गलती करने से इतनी डर जाती हैं कि वे हानिरहित कार्यों को भी ब्लॉक कर देती हैं, जैसे कि केवल संदिग्ध संदर्भ में "अर्जेंट" शब्द आने पर ईमेल भेजने से मना कर देना। अन्य बहुत अधिक भरोसेमंद होती हैं और खतरनाक क्रियाओं को निकल जाने देती हैं। इसे ठीक करने के लिए, टीम ने 'बैलेंस-जीआरपीओ' (Balance-GRPO) नामक एक प्रशिक्षण पद्धति पेश की। यह तकनीक लगातार इस बात की निगरानी करती है कि सिस्टम सुरक्षित और असुरक्षित दोनों क्रियाओं को पहचानने में कैसा प्रदर्शन कर रहा है। यदि सिस्टम बहुत अधिक अच्छे कार्यों को ब्लॉक करने लगता है, तो प्रशिक्षण अधिक उदार होने के लिए समायोजित होता है। यदि यह बहुत अधिक खराब क्रियाओं को मिस करने लगता है, तो प्रशिक्षण अधिक सख्त हो जाता है। यह गतिशील संतुलन सुनिश्चित करता है कि सिस्टम तेज बना रहे लेकिन अत्यधिक सतर्क न हो जाए।
इस दृष्टिकोण के परिणाम महत्वपूर्ण हैं। अन्य सुरक्षा मॉडलों के विरुद्ध परीक्षण किए जाने पर, स्टेपगार्ड ने ओपन-सोर्स मॉडलों के बीच उच्चतम औसत सटीकता प्राप्त की, और बड़े, क्लोज्ड-सोर्स सिस्टम के बराबर प्रदर्शन किया। वास्तविक दुनिया के परीक्षणों में, जहाँ सिस्टम ने एजेंट-डोजो (AgentDojo) और एजेंट-डाइन (AgentDyn) जैसे प्लेटफार्मों पर कार्यों को नियंत्रित किया, इसने सफल हमलों की दर को 77.3 प्रतिशत तक सफलतापूर्वक कम कर दिया। शायद सबसे महत्वपूर्ण बात यह है कि इसने एजेंट की उपयोगी कार्यों को पूरा करने की क्षमता को केवल 2.8 अंक कम करके यह हासिल किया। यह प्रदर्शित करता है कि एक ऐसा सुरक्षा गार्ड होना संभव है जो नुकसान रोकने में अत्यधिक प्रभावी हो और एजेंट के काम करने की क्षमता के प्रति सम्मानजनक भी हो।
इन सफलताओं के बावजूद, शोधकर्ता स्वीकार करते हैं कि यह कार्य पूर्ण नहीं है। यह प्रणाली सिंथेटिक डेटा पर प्रशिक्षित है, जिसका अर्थ है कि यह उन बहुत दुर्लभ या जटिल प्रकार के हमलों को मिस कर सकती है जिन्हें अभी तक सिम्युलेट नहीं किया गया है। अत्यधिक प्रतिकूल परिदृश्यों वाले परीक्षणों में, जो विशेष रूप से सुरक्षा प्रणालियों को तोड़ने के लिए डिज़ाइन किए गए थे, सुरक्षा और उपयोगिता के बीच का संतुलन अधिक कठिन हो गया, जहाँ सिस्टम ने संभावित नुकसान को रोकने के लिए कुछ वैध कार्यों को ब्लॉक कर दिया। इसके अलावा, यह प्रणाली एक रेलिंग (guardrail) है, गारंटी नहीं; यह अभी भी गलतियाँ कर सकती है, या तो एक सुरक्षित क्रिया को ब्लॉक करके या एक सूक्ष्म खतरे को मिस करके। शोधकर्ता इस बात पर जोर देते हैं कि इस तकनीक को मानव निरीक्षण और अन्य सुरक्षा उपायों के साथ तैनात किया जाना चाहिए, जो एक पूर्ण समाधान के बजाय रक्षा की एक शक्तिशाली परत के रूप में कार्य करे।
अंततः, स्टेपगार्ड एआई सुरक्षा के बारे में हमारे सोचने के तरीके में एक बदलाव का प्रतिनिधित्व करता है। एक पूर्ण, अटूट एजेंट बनाने के बजाय, ध्यान एक स्मार्ट, अनुकूलन योग्य पर्यवेक्षक बनाने पर केंद्रित है जो एजेंट की हर हरकत पर नज़र रखता है। सावधानीपूर्वक निर्मित उदाहरणों से सीखकर और अत्यधिक सख्त या ढीला होने से बचने के लिए अपने व्यवहार को लगातार समायोजित करके, यह प्रणाली वास्तविक दुनिया में एआई एजेंटों को तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करती है। यह दिखाता है कि सही प्रशिक्षण डेटा और संतुलित दृष्टिकोण के साथ, हम ऐसे डिजिटल सहायक बना सकते हैं जो शक्तिशाली और सुरक्षित दोनों हों, जो हमें खतरे में डाले बिना जटिल कार्यों को नेविगेट करने में मदद करने में सक्षम हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।