HarnessSafe: Evaluating Safety Across Persistent Carriers in Agent Harnesses
यह शोध पत्र HarnessSafe पेश करता है, जो एक व्यापक बेंचमार्क और बहु-चरणीय मूल्यांकन ढांचा है जो यह आकलन करता है कि आधुनिक एजेंट हार्नेस (agent harnesses) हमलावर-प्रभावित सामग्री के विभिन्न वाहकों (carriers) और सिस्टम सीमाओं के पार बने रहने के कारण होने वाले विलंबित सुरक्षा जोखिमों को कैसे कम करते हैं, जिससे यह पता चलता है कि रोकथाम की प्रभावशीलता विशिष्ट वाहक प्रकारों और हार्नेस-मॉडल कॉन्फ़िगरेशनों पर अत्यधिक निर्भर है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जो केवल सवालों के जवाब ही नहीं देता, बल्कि वास्तव में आपके लिए काम भी करता है। यह कोड लिख सकता है, उड़ानें बुक कर सकता है, या आपकी डिजिटल फाइलों को व्यवस्थित कर सकता है। इसे करने के लिए, रोबोट को एक "मस्तिष्क" (AI मॉडल) और एक "बैकपैक" (वह सॉफ़्टवेयर सिस्टम जो उसकी यादों, उपकरणों और कौशलों को रखता है) की आवश्यकता होती है। यह बैकपैक बहुत महत्वपूर्ण है क्योंकि यह रोबोट को यह याद रखने में मदद करता है कि उसने कल क्या किया था ताकि वह आज एक बड़ा प्रोजेक्ट पूरा कर सके। लेकिन यहाँ एक पेचीदा बात है: क्या होगा अगर कोई उस बैकपैक में एक छोटा सा, अदृश्य वायरस डाल दे? यह तुरंत कुछ नहीं करेगा। इसके बजाय, यह एक नोट या टूल सेटिंग में छिपा रहेगा, जब तक कि रोबकट हफ्तों बाद किसी पूरी तरह से निर्दोष कार्य को नहीं उठा लेता। अचानक, वह निर्दोष कार्य इस वायरस को सक्रिय कर देता है, और रोबोट अनजाने में आपकी फाइलें डिलीट कर देता है या एक गुप्त संदेश भेज देता है। यह "परसिस्टेंट रिस्क" (लगातार बना रहने वाला जोखिम) की दुनिया है: ऐसे खतरे जो समय और विभिन्न कार्यों के पार जीवित रहते हैं, और सही क्षण का इंतज़ार करते हैं।
यह शोध पत्र, जिसका शीर्षक HarnessSafe है, इन रोबोट बैकपैक के लिए एक विशाल, हाई-टेक स्ट्रेस टेस्ट की तरह है। शोधकर्ता यह देखना चाहते थे कि क्या वर्तमान AI सिस्टम इन "सोते हुए" हमलों को जागने और परेशानी पैदा करने से पहले पकड़ सकते हैं। उन्होंने एक खेल का मैदान बनाया जिसमें 328 अलग-अलग परिदृश्य थे जहाँ उन्होंने सात अलग-अलग प्रकार के "बैकपैक" (जैसे मेमोरी, स्किल्स और साझा टूल्स) में सात लोकप्रिय रोबोट सिस्टम के माध्यम से इन छिपे हुए वायरसों को डालने की कोशिश की। केवल यह पूछने के बजाय कि, "क्या रोबोट हैक हुआ? हाँ या ना", उन्होंने हमले को चरण-दर-चरण ट्रैक किया। उन्होंने देखा कि क्या वायरस को उस क्षण पकड़ा गया जब उसे डाला गया था, क्या वह एक सीमा पार करने (जैसे एक नया दिन या एक नया उपयोगकर्ता) के दौरान जीवित रहा, या क्या वह अंततः आपदा का कारण बनने में सफल रहा।
परिणाम थोड़े चौंकाने वाले थे। शोधकर्ताओं ने पाया कि सुरक्षा केवल रोबोट के मस्तिष्क या बैकपैक के बारे में नहीं है; यह दोनों के विशिष्ट संयोजन (combination) के बारे में है। कुछ रोबोट सिस्टम अपनी मेमोरी में वायरस पकड़ने में बेहतरीन थे लेकिन अपने टूल्स में उन्हें पहचानने में बहुत खराब थे। अन्य इसके विपरीत थे। वास्तव में, दो सिस्टमों की "विफलता दर" (फेल होने की आवृत्ति) समान हो सकती है, लेकिन एक ने हमले को जल्दी रोक दिया होगा, जबकि दूसरे ने इसे कई दिनों तक घूमने दिया होगा और फिर अंततः विफल हो गया होगा। इसका मतलब है कि केवल यह गिनना कि एक सिस्टम कितनी बार हैक होता है, पर्याप्त नहीं है; हमें यह जानने की आवश्यकता है कि रक्षा कहाँ और कब विफल हुई। अध्ययन साबित करता है कि ये छिपे हुए, विलंबित हमले वास्तविक और खतरनाक हैं, और उन्हें ठीक करने के लिए जोखिम की पूरी यात्रा को देखने की आवश्यकता है, न कि केवल अंतिम विस्फोट को।
"स्लीपिंग स्पाई" (सोए हुए जासूस) की कहानी
यह समझने के लिए कि शोधकर्ताओं ने क्या किया, आइए कल्पना करें कि AI एजेंट एक विशाल कार्यालय में काम करने वाला एक सुपर-ऑर्गनाइज्ड इंटर्न है। इस इंटर्न के पास एक बैकपैक (हार्नेस) है जहाँ वे अपनी टू-डू लिस्ट, अपने उपकरण (जैसे कैलकुलेटर या फाइल फोल्डर) और अपने किए गए कार्यों पर अपने नोट्स रखते हैं।
आमतौर पर, यह इंटर्न मददगार होता है। लेकिन कल्पना कीजिए कि एक जासूस (हमलावर) जो कार्यालय में तोड़फोड़ करना चाहता है। जासूस सीधे "कुछ बुरा करो!" नहीं चिल्लाता क्योंकि इंटर्न मना कर देगा। इसके बजाय, जासूस इंटर्न के बैकपैक में एक स्लीपिंग इंस्ट्रक्शन (सोने वाला निर्देश) चुपके से डाल देता है। शायद वे "मेमोरी" सेक्शन में एक अजीब नोट लिखते हैं, या वे एक "स्किल" फाइल में हेरफेर करते हैं ताकि वह सामान्य दिखे लेकिन उसमें एक छिपा हुआ जाल हो।
जासूस चला जाता है। इंटर्न अपना दिन सामान्य, उबाऊ कार्यों के साथ बिताता है। कुछ नहीं होता। यह "पर्सिस्टेंस" (निरंतरता) वाला हिस्सा है—बुरी चीज़ बस वहीं बैठी है, इंतज़ार कर रही है।
फिर, दिनों बाद, बॉस (एक उपयोगकर्ता) इंटर्न से कुछ पूरी तरह से निर्दोष करने के लिए कहता है, जैसे "इस रिपोर्ट का सारांश तैयार करें।" यह "बेनाइन ट्रिगर" (निर्दोष ट्रिगर) है। लेकिन क्योंकि इंटर्न के बैकपैक में अभी भी जासूस का वह स्लीपिंग इंस्ट्रक्शन मौजूद है, जैसे ही इंटर्न रिपोर्ट खोलता है, जाल सक्रिय हो जाता है। इंटर्न अनजाने में बॉस की फाइलें डिलीट कर सकता है या एक गुप्त ईमेल भेज सकता है, और यह सब करते समय वह सोच रहा होता है कि वह बस अपना सामान्य काम कर रहा है।
द ग्रेट बैकपैक स्ट्रेस टेस्ट
लेखकों ने खुद जासूस की भूमिका निभाने का निर्णय लिया ताकि यह देखा जा सके कि कौन से ऑफिस सिस्टम सुरक्षित थे। उन्होंने HarnessSafe बनाया, जो एक विशाल टेस्ट किट है जिसमें इन सोते हुए जासूसों को डालने के 328 अलग-अलग तरीके हैं। उन्होंने इन जासूसों का परीक्षण सात अलग-अलग प्रकार के बैकपैक में किया:
- मेमोरी (Memory): इंटर्न के नोट्स में छिपा हुआ।
- स्किल्स (Skills): किसी कार्य को करने के निर्देशों में छिपा हुआ।
- टूल्स/MCP (Tools/MCP): उन टूल्स की सेटिंग्स में छिपा हुआ जिनका इंटर्न उपयोग करता है।
- मेमोरी-टू-स्किल (Memory-to-Skill): एक नोट को एक नए कौशल में बदलना।
- सबएजेंट डेलीगेशन (Subagent Delegation): जासूस को एक सहायक रोबोट को सौंपना।
- सेशन समरी (Session Summary): पिछली बातचीत के सारांश में छिपा हुआ।
- शेयर्ड आर्टिफैक्ट्स (Shared Artifacts): विभिन्न श्रमिकों के बीच साझा की गई फ़ाइल में छिपा हुआ।
उन्होंने इन परीक्षणों को सात अलग-अलग वास्तविक दुनिया के रोबोट सिस्टम (जैसे Claude Code, Codex CLI और अन्य) पर चलाया ताकि यह देखा जा सके कि वे हमलों को कैसे संभालते हैं।
"स्टेज" स्कोर: केवल हाँ या ना नहीं
यहीं पर यह शोध पत्र वास्तव में चतुर है। अधिकांश सुरक्षा परीक्षण केवल यह कहते हैं, "क्या रोबगर हैक हुआ? हाँ/नहीं।" लेकिन शोधकर्ताओं ने महसूस किया कि यह वैसा ही है जैसे कहना कि कार दुर्घटना एक समान है चाहे ब्रेक 10 मील प्रति घंटे पर फेल हुए हों या 100 मील प्रति घंटे पर।
इसके बजाय, उन्होंने एक 7-स्टेज स्कोरबोर्ड (जिसे N0 से N5b कहा जाता है) बनाया ताकि यह ट्रैक किया जा सके कि जासूस कितनी दूर तक गया:
- N0: जासूस को कभी देखा ही नहीं गया। बैकपैक पूरी तरह से लॉक था।
- N1: जासूस को प्रवेश करने की कोशिश करते ही पकड़ लिया गया।
- N2: जासूस अंदर आ गया और उसने कुछ बदला, लेकिन वास्तविक नुकसान पहुँचाने से पहले ही पकड़ा गया।
- N3: जासूस "रात" (एक नया सत्र) में जीवित रहा और इंटर्न द्वारा फिर से पढ़ा गया।
- N4: जासूस ने कुछ बुरा करने की कोशिश की, लेकिन सिस्टम ने उस क्रिया को रोक दिया।
- N5a/N5b: जासूस सफल रहा! नुकसान हो गया।
इस स्कोरबोर्ड का उपयोग करके, वे देख सके कि कुछ सिस्टम दरवाज़े पर ही जासूस को रोकने (N1) में अच्छे थे लेकिन एक बार अंदर जाने के बाद उन्हें रोकने (N3) में खराब थे। अन्य इसके विपरीत थे।
उन्होंने क्या पाया: यह सब जोड़ी (Pairing) के बारे में है
बड़ी खोज यह थी कि सुरक्षा विशेष रूप से रोबोट के मस्तिष्क (AI मॉडल) और उसके बैकपैक (हार्नेस) के बीच के तालमेल पर निर्भर करती है।
- कोई भी पूर्ण नहीं है: ऐसा कोई एकल सिस्टम नहीं था जो हर चीज़ में सबसे अच्छा हो। उदाहरण के लिए, एक सिस्टम (Codex CLI) अपने टूल्स और मेमोरी में जासूसों को पकड़ने में अद्भुत था, लेकिन वास्तव में "स्किल्स" में उन्हें पकड़ने में सबसे खराब था। दूसरा सिस्टम (Claude Code) स्किल्स में अच्छा था लेकिन अन्य जगहों पर कमजोर था।
- मस्तिष्क भी मायने रखता है: यदि आप एक ही बैकपैक लेते हैं और उसके अंदर एक अलग AI मस्तिष्क डालते हैं, तो सुरक्षा स्कोर नाटकीय रूप रूप से बदल जाता है। एक मस्तिष्क बहुत सावधान हो सकता है और जासूस को पकड़ सकता है, जबकि दूसरा बहुत भरोसेमंद हो सकता है और उसे अंदर जाने दे सकता है।
- "सेम स्कोर" का जाल: दो सिस्टमों का "अटैक सक्सेस रेट" (यानी दोनों विफल हुए समान संख्या में बार) समान हो सकता है। लेकिन जब आप चरणों को देखते हैं, तो एक विफल होने से पहले जल्दी (N1) विफल हुआ होगा, जबकि दूसरे ने विफल होने से पहले जासूस को कई दिनों तक घूमने दिया (N3)। इसका मतलब है कि एक साधारण "पास/फेल" स्कोर बहुत सारे खतरनाक विवरणों को छिपा देता है।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि हम केवल एक रोबोट को देखकर यह नहीं कह सकते कि "यह सुरक्षित है" या "यह असुरक्षित है।" सुरक्षा उस सॉफ़्टवेयर और AI के बीच एक जटिल नृत्य है जो स्मृति रखता है और सोचता है। यदि हम इन "स्लीपिंग स्पाई" हमलों को रोकना चाहते हैं, तो हमें ऐसे सिस्टम बनाने की आवश्यकता है जो जोखिम की पूरी यात्रा पर नज़र रखें, न कि केवल अंतिम परिणाम पर। हमें यह जानना होगा कि रक्षा कहाँ टूटी ताकि हम बैकपैक के उस विशिष्ट भाग को ठीक कर सकें।
संक्षेप में, शोधकर्ताओं ने हमें दिखाया कि AI एजेंटों की दुनिया में, एक छिपा हुआ खतरा लंबे समय तक सो सकता है, और उसे पकड़ने के लिए केवल यह जांचने से कहीं अधिक विस्तृत नज़र की आवश्यकता होती है कि क्या रोबोट अभी भी काम कर रहा है। उन्होंने हमें वह मानचित्र और स्कोरबोर्ड प्रदान किया जो हमें यह खोजने में मदद करता है कि दरारें वास्तव में कहाँ हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।