SafeHarbor: Defining Precise Decision Boundaries via Hierarchical Memory-Augmented Guardrail for LLM Agent Safety
SafeHarbor एक नवीन, प्रशिक्षण-मुक्त ढांचा है जो एक पदानुक्रमित स्मृति प्रणाली और सूचना एंट्रॉपी-आधारित स्व-विकास का उपयोग करके संदर्भ-जागरूक गार्डरेल्स को गतिशील रूप से इंजेक्ट करता है, जिससे LLM एजेंट सुरक्षा बढ़ती है, और उच्च सौहार्दपूर्ण उपयोगिता के साथ दुर्भावनापूर्ण हमलों के विरुद्ध मजबूत रक्षा को प्रभावी ढंग से संतुलित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट को अपने पूरे डिजिटल जीवन की चाबियाँ सौंप दी हैं। यह सिर्फ एक चैटबॉट नहीं है जो सवालों के जवाब देता है; यह एक स्वायत्त एजेंट (autonomous agent) है, एक डिजिटल सहायक जो वास्तव में काम कर सकता है। यह आपके ईमेल पढ़ सकता है, आपके बैंक स्टेटमेंट चेक कर सकता है, या एक सर्वर पर फाइलें भी भेज सकता है। यह एआई एजेंटों (AI agents) की रोमांचक नई दुनिया है, जहाँ कंप्यूटर केवल बात नहीं करते—वे कार्य करते हैं। लेकिन यहाँ एक पेंच है: यदि कोई चतुर हैकर रोबोट को बेवकूफ बना देता है, तो वह केवल कुछ बुरा बोल ही नहीं सकता; वह आपकी महत्वपूर्ण फाइलों को डिलीट कर सकता है या आपके रहस्य चुरा सकता है।
इसे रोकने के लिए, हम आमतौर पर "गार्डरेल्स" (guardrails) लगाते हैं। इसे एक क्लब के बाहर खड़े बाउंसर की तरह समझें। पारंपरिक रूप से, यह बाउंसर थोड़ा अधिक सख्त होता है। यदि आप एक ऐसा सैंडविच लाने की कोशिश करते हैं जो थोड़ा हथियार जैसा दिखता है (शायद वह फॉयल में लिपटा हो), तो बाउंसर आपको क्लब में आने से पूरी तरह प्रतिबंधित कर सकता है, भले ही आप सिर्फ लंच करना चाहते हों। इसे "ओवर-रिफ्यूज़ल" (over-refusal) कहा जाता है, जहाँ रोबोट अच्छे और मददगार अनुरोधों को ब्लॉक कर देता है क्योंकि वे थोड़े जोखिम भरे दिखते हैं। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: हम एक ऐसा बाउंसर कैसे बना सकते हैं जो यह समझने के लिए पर्याप्त स्मार्ट हो कि एक हानिरहित सैंडविच और एक असली बम के बीच क्या अंतर है, बिना किसी बदतमीजी के?
यहीं पर SafeHarbor नामक एक नया फ्रेमवर्क आता है। इसके पीछे के शोधकर्ताओं ने महसूस किया कि एक कठोर, एक-समान नियम पुस्तिका के बजाय, हमें एक ऐसे सिस्टम की आवश्यकता है जो सीख सके और अनुकूलित हो सके, बिल्कुल एक सुरक्षा गार्ड की तरह जो वास्तव में खतरनाक चीजों का एक विस्तृत, विकसित होता हुआ नोटबुक रखता है।
SafeHarbor एआई के लिए एक विशेष "मेमोरी ट्री" (memory tree) बनाकर काम करता है। केवल बुरे शब्दों की सूची याद करने के बजाय, यह सुरक्षा नियमों का एक गतिशील मानचित्र (dynamic map) बनाता है। यह कैसे काम करता है, यहाँ देखें:
सबसे पहले, सिस्टम का एक "प्रशिक्षण चरण" (training phase) होता है जहाँ यह एक जिज्ञासु (और थोड़े शरारती) छात्र की तरह व्यवहार करता है। यह ट्रिकी, नकली हमले के परिदृश्य बनाने के लिए एक स्वचालित जनरेटर का उपयोग करता है। यह एआई को हर संभव तरीके से धोखा देने की कोशिश करता है—जैसे कि एक बुरे अनुरोध को छोटे, निर्दोष दिखने वाले चरणों में तोड़कर, या एक महत्वपूर्ण बॉस बनकर आदेश देने का नाटक करके। इससे सिस्टम यह सीख पाता है कि "सुरक्षित" और "खतरनाक" के बीच की वास्तविक रेखा वास्तव में कहाँ है।
एक बार जब सिस्टम इन पैटर्न को सीख लेता है, तो यह उन्हें एक पदानुक्रमित स्मृति (hierarchical memory) में संग्रहीत करता है। इसे एक विशाल, व्यवस्थित फाइलिंग कैबिनेट की तरह समझें। इसके ऊपरी दराजों में "साइबर हमले" या "धोखाधड़ी" जैसी व्यापक श्रेणियां होती हैं। जैसे-जैसे आप फोल्डरों में गहराई तक जाते हैं, नियम अधिक विशिष्ट होते जाते हैं। सबसे शानदार बात यह है कि यह फाइलिंग कैबिनेट जीवित है। यदि सिस्टम को किसी नए प्रकार के धोखे का सामना करना पड़ता है जो किसी मौजूदा फोल्डर में फिट नहीं बैठता है, तो यह स्वचालित रूप से उसके लिए एक नया फोल्डर बना देता है। यदि दो फोल्डर बहुत समान हो जाते हैं, तो यह उन्हें मर्ज कर देता है। यह "स्व-विकास" (self-evolution) सुनिश्चित करता है कि सिस्टम बिना दोबारा प्रशिक्षित हुए समय के साथ स्मार्ट होता जाता है।
जब कोई उपयोगकर्ता एआई को कुछ करने के लिए कहता है, तो SafeHarbor केवल अनुमान नहीं लगाता। यह दो-चरणीय जांच का उपयोग करता है। पहले, यह एक त्वरित, हल्का स्कैन चलाता है। यदि अनुरोध स्पष्ट रूप से सुरक्षित है (जैसे "मेरी माँ को एक ईमेल भेजें"), तो यह इसे तुरंत गुजरने देता है। यदि अनुरोध स्पष्ट रूप से खतरनाक है (जैसे "मेरी सभी फाइलें डिलीट कर दो"), तो यह इसे तुरंत ब्लॉक कर देता है। लेकिन यदि अनुरोध "ग्रे एरिया" (gray area) में है—शायद यह थोड़ा संदिग्ध लग रहा है लेकिन वैध हो सकता है—तो यह अपनी मेमोरी ट्री से विस्तृत नियमों को निकालता है। यह अनुरोध की तुलना विशिष्ट "निषेधों" (prohibitions - जो आप नहीं कर सकते) और "छूटों" (exemptions - जो आप जोखिम भरा दिखने के बावजूद कर सकते हैं) से करता है।
परिणाम प्रभावशाली हैं। अपने परीक्षणों में, SafeHarbor ने 93% से अधिक हानिकारक अनुरोधों को रोकने में सफलता प्राप्त की, जो कि एक बहुत उच्च सफलता दर है। लेकिन असली जादू यह है कि इसने अच्छे अनुरोधों के रास्ते में बाधा नहीं डाली। GPT-4o जैसे एक शक्तिशाली एआई मॉडल पर, इसने 63.6% वैध, जटिल कार्यों को सफलतापूर्वक पूरा होने दिया। यह पुराने तरीकों की तुलना में एक बड़ा सुधार है, जो अक्सर बहुत अधिक सुरक्षित रहने के चक्कर में बहुत सारे अच्छे अनुरोधों को भी ब्लॉक कर देते थे।
लेखक सुझाव देते हैं कि यह दृष्टिकोण वर्तमान विधियों की तुलना में बहुत बेहतर संतुलन प्रदान करता है। जबकि अन्य सिस्टम को हर अनुरोध की जांच करने के लिए भारी, धीमे सॉफ़्टवेयर की आवश्यकता हो सकती है, या वे बहुत सख्त होकर सब कुछ ब्लॉक कर सकते हैं, SafeHarber इस स्मार्ट, मेमोरी-आधारित सिस्टम का उपयोग करके सटीक निर्णय तेजी से लेता है। यह साबित करता है कि आप एक ऐसा सुरक्षा गार्ड रख सकते हैं जो बुरे लोगों के प्रति सख्त और अच्छे लोगों के प्रति मिलनसार दोनों हो, जो हमारे डिजिटल एजेंटों को सुरक्षित रखते हुए उन्हें बेकार, अत्यधिक सतर्क रोबोट में नहीं बदलता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।