🤖 AI

Spider-Sense: Intrinsic Risk Sensing for Efficient Agent Defense with Hierarchical Adaptive Screening

यह शोध पत्र स्पाइडर-सेंस (Spider-Sense) का प्रस्ताव करता है, जो एक इवेंट-ड्रिवन एजेंट डिफेंस फ्रेमवर्क है जो एक पदानुक्रमित, स्व-निहित स्क्रीनिंग तंत्र को चुनिंदा रूप से ट्रिगर करने के लिए अंतर्निहित जोखिम संवेदन (intrinsic risk sensing) का उपयोग करता है, जिससे पारंपरिक अनिवार्य जांच प्रतिमानों की तुलना में न्यूनतम विलंबता ओवरहेड के साथ बेहतर सुरक्षा प्रदर्शन प्राप्त होता है।

मूल लेखक: Zhenxiong Yu, Zhi Yang, Zhiheng Jin, Shuhe Wang, Heng Zhang, Yanlin Fei, Lingfeng Zeng, Fangqi Lou, Shuo Zhang, Tu Hu, Jingping Liu, Rongze Chen, Xingyu Zhu, Kunyi Wang, Chaofa Yuan, Xin Guo, Zhaowei

प्रकाशित 2026-02-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhenxiong Yu, Zhi Yang, Zhiheng Jin, Shuhe Wang, Heng Zhang, Yanlin Fei, Lingfeng Zeng, Fangqi Lou, Shuo Zhang, Tu Hu, Jingping Liu, Rongze Chen, Xingyu Zhu, Kunyi Wang, Chaofa Yuan, Xin Guo, Zhaowei Liu, Feipeng Zhang, Jie Huang, Huacan Wang, Ronghao Chen, Liwen Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, स्वायत्त रोबोट सहायक (एक "AI एजेंट") है जो आपके लिए वेब ब्राउज़ कर सकता है, आपका बैंक खाता देख सकता है, कोड लिख सकता है और आपके लिए उड़ानें बुक कर सकता है। समस्या यह है कि वह रोबोट मदद करने के लिए इतना उत्सुक है कि वह अनजाने में किसी चाल का शिकार हो सकता है। एक हैकर उसके कान में एक गुप्त कमांड फुसफुसा सकता है, और रोबोट सोच सकता है, "ओह, मुझे अपनी सभी फाइलें डिलीट कर देनी चाहिए!" या "मुझे इस अजनबी को पैसे भेज देने चाहिए!"

वर्तमान में, इन रोबोटों के लिए अधिकांश सुरक्षा प्रणालियाँ हर एक दरवाजे पर एक सख्त सुरक्षा गार्ड की तरह काम करती हैं। हर बार जब रोबोट कुछ सोचता है, योजना बनाता है, कार्य करता है या परिणाम पढ़ता है, तो एक गार्ड उसे रोकता है, उसकी आईडी चेक करता है, और पूछता है, "क्या यह सुरक्षित है?" यह सुरक्षित तो है, लेकिन यह अविश्वसनीय रूप से धीमा और कष्टप्रद है। यह ऐसा है जैसे हर बार जब आप रसोई में जा रहे हों, तो एक गार्ड आपकी आईडी चेक करे, भले ही आप बस टहल रहे हों। यह सब कुछ धीमा कर देता है और कभी-कभी रोबोट को निर्दोष काम करने से भी रोक देता है क्योंकि गार्ड बहुत घबराया हुआ होता है।

"Spider-Sense" नामक शोध पत्र एक पूरी तरह से अलग विचार प्रस्तावित करता है। हर दरवाजे पर एक सुरक्षा गार्ड रखने के बजाय, वे रोबोट को एक सुपरपावर देते हैं: एक आंतरिक "स्पाइडर-सेंस" (मकड़ी जैसी समझ)।

मुख्य विचार: स्पाइडर-सेंस (Spider-Sense)

ठीक वैसे ही जैसे स्पाइडर-मैन को खतरा महसूस होने पर अपने सिर में झनझनाहट होती है, यह नई प्रणाली AI को एक इंट्रिन्सिक रिस्क सेंसिंग (IRS) यानी अंतर्निहित जोखिम संवेदन क्षमता देती है।

यह कैसे काम करता है: रोबط हर कदम पर अनुमति मांगने के लिए नहीं रुकता है। इसके बजाय, यह बैकग्राउंड में एक लो-लेवल "सतर्कता" बनाए रखता है। यह केवल तभी रुकता है और मदद के लिए पुकारता है जब इसकी आंतरिक "झनझनाहट" (tingle) होती है क्योंकि इसे कुछ संदिग्ध महसूस होता है।
लाभ: यदि रोबोट सामान्य, सुरक्षित चीजें कर रहा है, तो वह तेजी से आगे बढ़ता है। वह केवल तभी धीमा होता है जब उसे वास्तव में कोई खतरा महसूस होता है।

बचाव: "टियर्ड" (स्तरित) सुरक्षा जांच

जब स्पाइडर-सेंस सक्रिय होता है, तो रोबोट घबराता नहीं है। वह एक स्मार्ट, दो-चरणीय सुरक्षा प्रक्रिया का उपयोग करता है जिसे हाइरार्किकल एडेप्टिव स्क्रीनिंग (HAS) कहा जाता है:

त्वरित स्कैन (द "लुक-अलाइक" चेक): सबसे पहले, सिस्टम संदिग्ध चीज़ की तुलना ज्ञात बुरे तरीकों के एक विशाल डेटाबेस से जल्दी से करता है। यह एक क्लब के बाउंसर की तरह है जो यह चेक करता है कि सामने वाला व्यक्ति किसी ज्ञात बदमाश जैसा दिखता है या नहीं। यदि यह एक स्पष्ट मिलान है, तो बाउंसर कहता है, "अंदर प्रवेश वर्जित," और यह तुरंत हो जाता है। यह बहुत तेज़ है।
गहन जांच (द "डिटेक्टिव" चेक): यदि त्वरित स्कैन सुनिश्चित नहीं हो पाता (शायद वह चाल नई या चालाकी भरी है), तो सिस्टम "डीप रीजनिंग" मोड में चला जाता है। यह एक जासूस को बुलाने जैसा है जो स्थिति के बारे में गहराई से सोचता है, संदर्भ को देखता है, और निर्णय लेता है कि क्या यह वास्तव में खतरनाक है।

इस तरह, रोबोट सुरक्षित कार्यों के लिए धीमी, उबाऊ जांचों से बच जाता है लेकिन गति और गहरी सोच के मिश्रण के साथ बुरे लोगों को भी पकड़ लेता है।

परीक्षण: S2Bench

इसे सिद्ध करने के लिए, लेखकों ने एक नया परीक्षण बनाया जिसे S2Bench कहा जाता है। इसे एक "सर्वाइवल ट्रेनिंग कोर्स" की तरह समझें जो AI एजेंटों के लिए है।

पुराने परीक्षणों के विपरीत जो केवल टेक्स्ट देखते थे, S2Bench एक वास्तविक जीवन का अनुकरण करता है जहाँ रोबोट वास्तव में टूल्स (जैसे वेब खोजना या डेटाबेस चेक करना) का उपयोग करता है।
इसमें "कठिन" सुरक्षित कार्य शामिल हैं जो खतरनाक दिखते हैं (यह सुनिश्चित करने के लिए कि रोबोट निर्दोष चीजों से न डरे) और जटिल, बहु-चरणीय हमले भी शामिल हैं जो रोबोट को समय के साथ धोखा देने की कोशिश करते हैं।

परिणाम

जब उन्होंने अन्य सुरक्षा विधियों के विरुद्ध इस "स्पाइडर-सेंस" प्रणाली का परीक्षण किया:

यह बहुत तेज़ था: इसने रोबोट के काम में केवल लगभग 8.3% अतिरिक्त समय जोड़ा, जबकि अन्य विधियों ने रोबोट को बहुत अधिक इंतज़ार कराया।
यह अधिक सटीक था: इसने लगभग सभी हमलों को रोक दिया (कम "अटैक सक्सेस रेट") लेकिन इसने रोबोट को सुरक्षित, सहायक चीजें करने से बहुत कम रोका (कम "फॉल्स पॉजिटिव रेट")।
यह अधिक स्मार्ट था: इसने केवल ब्लॉक नहीं किया; इसने समझा कि कब कार्य करना है और कैसे कार्य करना है।

सारांश

संक्षेप में, यह शोध पत्र तर्क देता है कि हमें AI सुरक्षा को एक कठोर, बाहरी पुलिस बल की तरह नहीं मानना चाहिए जो हर मोड़ पर रोबोट को रोकता है। इसके बजाय, हमें सुरक्षा को रोबोट के मस्तिष्क के भीतर एक प्राकृतिक खतरे की भावना के रूप में बनाना चाहिए। यह "स्पाइडर-सेंस" AI को तेज़ और कुशल बनाता है, और यह केवल तभी रुकता है जब उसे वास्तव में महसूस होता है कि खतरा आ रहा है।

तकनीकी सारांश: स्पाइडर-सेंस (Spider-Sense): कुशल एजेंट सुरक्षा के लिए पदानुक्रमित अनुकूलनशील स्क्रीनिंग के साथ अंतर्निहित जोखिम संवेदन

1. समस्या विवरण

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) स्वायत्त एजेंटों के रूप में विकसित हो रहे हैं जो पर्यावरण बोध, कार्य नियोजन (task planning) और टूल निष्पादन (tool execution) करने में सक्षम हैं, उनकी उपयोगिता वित्त, कोडिंग और वेब इंटरैक्शन जैसे महत्वपूर्ण क्षेत्रों में विस्तारित हुई है। हालाँकि, यह विस्तारित एक्शन स्पेस महत्वपूर्ण सुरक्षा जोखिम पेश करता है, जिसमें प्रॉम्प्ट इंजेक्शन, मेमोरी पॉइजनिंग और टूल-आधारित शोषण शामिल हैं, जो डेटा एक्सफिल्ट्रेशन (data exfiltration) और अनधिकृत सिस्टम संचालन जैसे वास्तविक दुनिया के परिणामों की ओर ले जा सकते हैं।

लेखक मौजूदा रक्षा तंत्रों में एक मौलिक दोष की पहचान करते हैं: वे मुख्य रूप से एक अनिवार्य जाँच प्रतिमान (mandatory checking paradigm) को अपनाते हैं। इन प्रणालियों में, सुरक्षा सत्यापन को एजेंट जीवनचक्र के पूर्वनिर्धारित चरणों (जैसे, एक्शन जनरेशन या टूल इनवोकेशन) पर जबरन ट्रिगर किया जाता है, चाहे जोखिम वास्तव में मौजूद हो या नहीं। यह दृष्टिकोण निम्नलिखित कारणों से होता है:

उच्च विलंबता (High Latency): प्रत्येक अतिरिक्त प्लानिंग स्टेप या टूल कॉल एक सुरक्षा जांच को जन्म देता है, जिससे जटिल, बहु-चरणीय वर्कफ़्लो में ओवरहेड तेजी से जमा होता है।
फॉल्स पॉजिटिव (False Positives): बार-बार होने वाली अनावश्यक जाँचें सामान्य उपयोगकर्ता इंटरैक्शन में बाधा डालती हैं।
स्केलेबिलिटी संबंधी मुद्दे: कई दृष्टिकोण बाहरी सत्यापनकर्ता मॉडल्स (external verifier models) पर निर्भर करते हैं, जिससे महत्वपूर्ण कम्प्यूटेशनल लागत आती है और सिस्टम निर्भरताएं उत्पन्न होती हैं जो व्यावहारिक परिनियोजन (deployment) को सीमित करती हैं।

यह शोध पत्र तर्क देता है कि प्रभावी एजेंट सुरक्षा अंतर्निहित (intrinsic) और चयनात्मक (selective) होनी चाहिए, जो केवल तभी हस्तक्षेप करे जब वास्तविक जोखिम महसूस किया जाए, न कि एक आर्किटेक्चरल रूप से अलग, अनिवार्य प्रक्रिया के रूप में।

2. कार्यप्रणाली: SPIDER-SENSE फ्रेमवर्क

प्रस्तावित SPIDER-SENSE फ्रेमवर्क इंट्रिन्सिक रिस्क सेंसिंग (IRS) और हायरार्किकल एडेप्टिव स्क्रीनिंग (HAS) पर आधारित एक इवेंट-ड्रिवन डिफेंस प्रतिमान पेश करता है।

2.1 इंट्रिन्सिक रिस्क सेंसिंग (IRS)

IRS सुरक्षा को एजेंट के एक मूल संज्ञानात्मक कार्य (native cognitive function) के रूप में आंतरिक बनाता है, जिससे यह अपने निष्पादन प्रवाह (execution flow) के दौरान "सतर्कता की सुप्त अवस्था" (latent state of vigilance) बनाए रख सकता है।

तंत्र (Mechanism): एजेंट चार सुरक्षा-महत्वपूर्ण चरणों में से प्रत्येक पर स्वायत्त रूप से एक जोखिम-संवेदन संकेतक ( $\phi_t^{(k)}$ ) का मूल्यांकन करता है: क्वेरी ( $q$ ), प्लान ( $P_t$ ), एक्शन ( $a_t$ ), और ऑब्जर्वेशन ( $o_t$ )।
ट्रिगरिंग: वर्तमान आर्टिफैक्ट, इंटरैक्शन हिस्ट्री और सिस्टम निर्देशों के आधार पर, एजेंट यह तय करता है कि क्या वह एक सेंसिंग इंडिकेटर उत्पन्न करेगा। यदि कोई संभावित जोखिम महसूस किया जाता है, तो एजेंट मानक प्रवाह को रोक देता है।
कार्यान्वयन: एजेंट संदिग्ध आर्टिफैक्ट को एक विशेष टेम्पलेट (जैसे, टूल आउटपुट के लिए <|sanitize_observation|>) में लपेटता है और उसे सुरक्षा जाँच तंत्र की ओर भेजता है। यह प्रक्रिया अंतर्जात (endogenous) है, जिसके लिए किसी बाहरी पर्यवेक्षण या आर्किटेक्चरल ओवरहेड की आवश्यकता नहीं है।

2.2 हायरार्किकल एडेप्टिव स्क्रीनिंग (HAS)

एक बार ट्रिगर होने के बाद, संदिग्ध आर्टिफैक्ट एक दो-स्तरीय सत्यापन प्रक्रिया से गुजरता है जिसे दक्षता और सटीकता के बीच संतुलन बनाने के लिए डिज़ाइन किया गया है:

कोर्स-ग्रेन्ड डिटेक्शन (फास्ट स्क्रीनिंग):
- सिस्टम ज्ञात हमले के पैटर्न के वेक्टर प्रतिनिधित्व वाले चरण-विशिष्ट अटैक वेक्टर डेटाबेस ( $D^{(k)}$ ) को बनाए रखता है।
- वर्तमान आर्टिफैक्ट को एम्बेड किया जाता है और न्यूनतम विलंबता के साथ ज्ञात पैटर्न को हल करने के लिए कोसाइन सिमिलरिटी (cosine similarity) का उपयोग करके संग्रहीत पैटर्न के विरुद्ध तुलना किया जाता है।
- यदि सिमिलरिटी स्कोर एक थ्रेशोल्ड ( $\tau^{(k)}$ ) से अधिक हो जाता है, तो तुरंत एक उच्च-विश्वास परिणाम वापस किया जाता है।
फाइन-ग्रेन्ड एनालिसिस (डीप रीजनिंग):
- यदि सिमिलरिटी स्कोर थ्रेशोल्ड से नीचे है (जो अस्पष्टता या अज्ञात पैटर्न का संकेत देता है), तो सिस्टम एक डीप रीजनिंग चरण में बढ़ जाता है।
- एक लार्ज लैंग्वेज मॉडल (LLM) वर्तमान आर्टिफैक्ट और शीर्ष- $K$ सबसे समान रिट्रीव किए गए मामलों पर स्पष्ट तर्क (explicit reasoning) करता है ताकि एक तर्कसंगत परिणाम निकाला जा सके।
निर्णय लेना (Decision Making): मुख्य एजेंट सत्यापन परिणाम प्राप्त करता है और स्वायत्त रूप से निष्पादन को स्वीकार (ACCEPT), अस्वीकार (REJECT), या सैनिटाइज (SANITIZE) करने का निर्णय लेता है।

3. प्रमुख योगदान

इंट्रिन्सिक रिस्क सेंसिंग (IRS): लेखक एक ऐसा प्रतिमान प्रस्तावित करते हैं जो निर्देश-स्तर की कंडीशनिंग के माध्यम से एजेंट के निष्पादन प्रवाह में जोखिम जागरूकता को सीधे समाहित करता है। यह बाहरी गार्ड मॉडल्स या निरंतर चरण-वार निरीक्षण के बिना अंतर्जात, इवेंट-ड्रिवन रक्षा सक्षम करता है।
हायरार्किकल एडेप्टिव स्क्रीनिंग (HAS): एक नवीन तंत्र जो दक्षता और सटीकता को अनुकूल रूप से संतुलित करता है। यह ज्ञात खतरों को फास्ट वेक्टर मैचिंग के माध्यम से हल करने के लिए चरण-विशिष्ट अटैक वेक्टर डेटाबेस का उपयोग करता है, जबकि संदिग्ध मामलों को आंतरिक तर्क (internal reasoning) के लिए रूट करता है, जिससे हर चेक के लिए बाहरी मॉडल्स पर निर्भरता समाप्त हो जाती है।
S2Bench बेंचमार्क: लेखक S2Bench पेश करते हैं, जो एक लाइफसाइकिल-अवेयर बेंचमार्क है जिसे इन-सीटू (in-situ) एजेंट इंटरसेप्शन का कठोरता से मूल्यांकन करने के लिए डिज़ाइन किया गया है। मौजूदा स्टैटिक बेंचमार्क्स के विपरीत, S2Bench में निम्नलिखित विशेषताएं हैं:
- बहु-चरणीय और बहु-परिदृश्य (Multi-stage and Multi-scenario): आठ अनुप्रयोग डोमेन और 79 उप-कार्य परिदृश्यों में चार एजेंट चरणों का कवरेज।
- रियल टूल एक्जीक्यूशन: एक बड़े पैमाने की टूल लाइब्रेरी (~300 फंक्शन्स) और वास्तविक रिटर्न कंटेंट (100 से अधिक प्रकार) का एकीकरण, न कि केवल प्लेसहोल्डर टेक्स्ट।
- हार्ड बेनिन प्रॉम्प्ट्स (Hard Benign Prompts): 153 सावधानीपूर्वक निर्मित बेनिन सैंपल जो ओवर-डिफेंस और फॉल्स पॉजिटिव्स का परीक्षण करने के लिए हमले की संरचनाओं की नकल करते हैं।
- यथार्थवादी हमला सिमुलेशन: एक बाहरी इंजेक्टर जो स्टेट-डिपेंडेंट निष्पादन विचलन (execution deviations) को प्रेरित करने के लिए टूल आउटपुट और मेमोरी रिट्रीवल को गतिशील रूप से मैनिपुलेट करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने Mind2Web, eICU, और S2Bench डेटासेट्स का उपयोग करके स्टैटिक गार्डरेल्स (जैसे, LLaMA-Guard 3, gpt-oss-safeguard) और एजेंटिक डिफेंस (जैसे, GuardAgent, AGrail) के विरुद्ध SPIDER-SENSE का मूल्यांकन किया।

डिफेंस परफॉरमेंस: SPIDER-SENSE ने सभी बेंचमार्क्स में सबसे कम अटैक सक्सेस रेट (ASR) और फॉल्स पॉजिटिव रेट (FPR) प्राप्त किया।
- Mind2Web पर, Claude-3.5 का उपयोग करते हुए, SPIDER-SENSE ने लेबल प्रेडिक्शन एक्यूरेसी (LPA) को 84.8% (बेसलाइन) से बढ़ाकर 95.8% और F1 को 90.3% से बढ़ाकर 92.1% कर दिया।
- S2Bench पर, इसने "प्लान" चरण (जो अन्य रक्षाओं के लिए एक ज्ञात ब्लाइंड स्पॉट है) में ASR को काफी कम कर दिया, जो Claude-3.5 के लिए 17.7% और Qwen-max के लिए 20.0% रहा, जबकि कम FPR बनाए रखा।
दक्षता (Efficiency): फ्रेमवर्क ने सुरक्षा और उपयोगिता के बीच एक बेहतर संतुलन हासिल किया। इसने बेसलाइन की तुलना में केवल 8.3% का मामूली विलंबता ओवरहेड डाला, जबकि मौजूदा "ऑलवेज-ऑन" डिफेंस में 197% से 381% तक का ओवरहेड देखा गया।
एब्लेशन स्टडीज (Ablation Studies):
- किसी भी एकल चरण में सेंसिंग को हटाने से ASR में महत्वपूर्ण वृद्धि हुई (उदाहरण के लिए, जब एक्शन-स्टेज सेंसिंग को अक्षम किया गया तो +29.9% हुआ), जो पूर्ण-लाइफसाइकिल मॉनिटरिंग की आवश्यकता की पुष्टि करता है।
- फाइन-ग्रेन्ड एनालिसिस चरण को हटाने से डिफेंस प्रिसिजन काफी कम हो गया, जबकि कोर्स-ग्रेन्ड डिटेक्शन को हटाने से दक्षता गंभीर रूप से घट गई, जो इसके पदानुक्रमित डिजाइन को प्रमाणित करता है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि Spider-Sense बाहरी, अनिवार्य सुरक्षा प्रक्रियाओं से अंतर्निहित, चयनात्मक जोखिम जागरूकता की ओर एक बदलाव का प्रतिनिधित्व करता है। सुरक्षा को एक मूल संज्ञानात्मक कार्य के रूप में मानकर, यह फ्रेमवर्क एजेंटों को जोखिम धारणा पर ही रक्षा को ट्रिगर करने की अनुमति देता है।

लेखक का कहना है कि यह दृष्टिकोण:

उपयोगिता को सुरक्षित रखता है (Preserves Utility): निरंतर, दोहराव वाली जाँचों से बचकर, यह विलंबता और फॉल्स पॉजिटिव को रोकता है जो जटिल एजेंटों के व्यावहारिक परिनियोजन में बाधा डालते हैं।
स्केलेबिलिटी बढ़ाता है (Enhances Scalability): हर चरण के लिए बाहरी सत्यापनकर्ता मॉडल्स के बजाय आंतरिक तर्क और हल्के सिमिलरिटी मैचिंग पर भरोसा करके, यह कम्प्यूटेशनल लागत और सिस्टम निर्भरताओं को कम करता है।
मजबूत मूल्यांकन प्रदान करता है (Provides Robust Evaluation): S2Bench के माध्यम से, यह कार्य एक अधिक यथार्थवादी मूल्यांकन मानक प्रदान करता है जो एजेंट हमलों की गतिशील, स्टेट-डिपेंडेंट प्रकृति को ध्यान में रखता है, जो स्टैटिक टेक्स्ट-लेवल इंजेक्शन टेस्ट से आगे जाता है।

यह कार्य निष्कर्ष निकालता है कि अंतर्निहित जोखिम जागरूकता स्केलेबल एजेंट सुरक्षा के लिए एक व्यावहारिक आधार है, जो एजेंटों को उनकी दक्षता या स्वायत्तता से समझौता किए बिना वास्तविक दुनिया के वातावरण में सुरक्षित रूप से संचालित होने में सक्षम बनाती है।