Proteus: A Self-Evolving Red Team for Agent Skill Ecosystems
यह शोध पत्र प्रोटियस (Proteus) को प्रस्तुत करता है, जो एक स्व-विकसित रेड-टीम फ्रेमवर्क है जो यह प्रदर्शित करता है कि वर्तमान कौशल जांच प्रणालीएं सुरक्षा जोखिमों का काफी कम आकलन करती हैं, यह प्रकट करते हुए कि कैसे अनुकूलनशील, फीडबैक-संचालित हमलावर घातक एजेंट कौशल वेरिएंट बनाने के लिए ऑडिट को बार-बार बायपास कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आप अपने AI असिस्टेंट के लिए "स्किल्स" (कौशल) डाउनलोड कर सकते हैं, ठीक वैसे ही जैसे आप अपने फोन पर ऐप्स डाउनलोड करते हैं। ये स्किल्स AI को यह बताती हैं कि विशिष्ट कार्य कैसे करने हैं, जैसे कि आपका बैंक खाता चेक करना या आपके कैलेंडर को मैनेज करना। लेकिन क्या होगा अगर कोई हैकर एक ऐसा "जहरीला" (poisoned) स्किल बना दे जो देखने में तो हानिरहित लगे, लेकिन चुपके से आपका डेटा चुरा ले?
यह शोध पत्र Proteus को पेश करता है, जो एक डिजिटल सुरक्षा शोधकर्ता है जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि हमारे वर्तमान सुरक्षा गार्ड इन जहरीले स्किल्स को पकड़ने में कितने सक्षम हैं।
यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: "व्हैक-ए-मोल" (Whac-A-Mole) का खेल
वर्तमान में, जब कोई नया स्किल सबमिट करता है, तो वह एक सिक्योरिटी ऑडिटर (एक डिजिटल गार्ड) के पास जाता है। गार्ड स्किल के कोड और उसके विवरण (डॉक्यूमेंटेशन) की जांच करता है ताकि यह देखा जा सके कि वह खतरनाक तो नहीं है।
- खामी: अधिकांश सुरक्षा परीक्षण केवल एक बार स्किल की जांच करते हैं। यदि गार्ड कहता है "पास," तो स्किल इंस्टॉल हो जाता है।
- वास्तविकता: एक स्मार्ट हैकर सिर्फ एक बुरा स्किल सबमिट करके हार नहीं मानता। वह देखता है कि गार्ड ने उसे क्यों खारिज किया, स्किल में थोड़ा बदलाव करता है, और फिर से कोशिश करता है। वह इसे तब तक करता रहता है जब तक कि वह एक ऐसा संस्करण न ढूंढ ले जो गार्ड से बच निकले लेकिन फिर भी नुकसान पहुँचा सके।
शोध पत्र इसे "एडेप्टिव लीकेज" (Adaptive Leakage) कहता है। यह वह जोखिम है जहाँ एक हैकर तब तक प्रयास करना जारी रख सकता है जब तक कि वह ताला तोड़ न दे।
2. समाधान: Proteus (एक स्वयं-विकसित होने वाला हैकर)
शोधकर्ताओं ने Proteus बनाया है, जो एक AI एजेंट है जो एक निरंतर सीखने वाले, अथक हैकर की तरह व्यवहार करता है। केवल एक बार गार्ड को चकमा देने के बजाय, Proteus एक बहु-चरणीय खेल खेलता है:
- सबमिट करें: यह गार्ड को एक स्किल भेजता है।
- सुनें: यदि गार्ड "ना" कहता है, तो Proteus उस कारण को पढ़ता है (जैसे, "यह कोड संदिग्ध लग रहा है" या "विवरण कोड से मेल नहीं खाता")।
- विकसित करें: Proteus उस फीडबैक का उपयोग करके स्किल को फिर से लिखता है। यह कोड बदल सकता है, विवरण को फिर से लिख सकता है, या यह बदल सकता है कि स्किल अन्य टूल्स के साथ कैसे जुड़ता है।
- दोहराएं: यह तब तक इसे दोहराता रहता है जब तक कि इसे एक ऐसा संस्करण न मिल जाए जो गार्ड को पास कर दे और सफलतापूर्वक एक हानिकारक कार्य (जैसे डेटा चुराना) को एक सुरक्षित, सिम्युलेटेड सैंडबॉक्स में कर सके।
3. हमले के पांच अक्ष (Five Axes of Attack)
Proteus केवल एक चीज़ नहीं बदलता; यह एक मास्टर लॉकपिकर की तरह जो अलग-अलग औजारों का उपयोग करता है, पाँच अलग-अलग कोणों से हमला करता है:
- लक्ष्य (The Goal): स्किल क्या करने की कोशिश कर रहा है?
- संरचना (The Structure): स्किल कैसे व्यवस्थित है?
- कोड (The Code): वास्तविक निर्देश।
- चैनल (The Channel): यह बाहरी दुनिया से कैसे बात करता है।
- दस्तावेज़ीकरण (The Documentation): लिखित विवरण जो बताता है कि यह स्किल क्या करता है।
Proteus गार्ड को भ्रमित करने के लिए इन सभी क्षेत्रों में बदलावों को मिला और मिला सकता है।
4. "राउंड कॉन्ट्रैक्ट" (परीक्षण अरीना)
यह सुनिश्चित करने के लिए कि Proteus वास्तव में वास्तविक खामियां ढूंढ रहा है, शोधकर्ताओं ने हर प्रयास के लिए तीन चरणों वाला एक सख्त परीक्षण अरीना बनाया है:
- ऑडिट: क्या गार्ड इसे जाने देता है?
- सैंडबॉक्स: क्या स्किल बिना क्रैश हुए चलता है?
- ओरेकल (Oracle): क्या इसने वास्तव में हानिकारक कार्य किया (जैसे फ़ाइल डिलीट करना या पासवर्ड चुराना)?
Proteum तभी "जीत" माना जाता है जब वह तीनों चरणों को सफलतापूर्वक पार कर लेता है।
5. उन्होंने क्या पाया
शोधकर्ताओं ने Proteus का परीक्षण दो वास्तविक दुनिया के सुरक्षा गार्डों (एक ओपन-सोर्स और एक प्रमुख टेक कंपनी का) और दो अलग-अलग AI मॉडल्स के खिलाफ किया।
- परिणाम: Proteus भयानक रूप से प्रभावी था।
- केवल 5 राउंड के प्रयास में, इसने 40% से 90% बार गार्ड्स को सफलतापूर्वक बायपास कर दिया।
- इसने केवल एक ट्रिक नहीं ढूंढी; इसने सिस्टम को तोड़ने के 438 अलग-अलग तरीके खोज निकाले।
- यहाँ तक कि सबसे मजबूत गार्ड (AI-Infra-Guard) भी लगभग 41% बार Proteus को रोकने में विफल रहा।
- "ट्रांसफर" ट्रिक: जब Proteus ने एक गार्ड को तोड़ने का तरीका सीख लिया, तो वह बिना कुछ नया सीखे, उसी ट्रिक का उपयोग दूसरे गार्ड को तोड़ने के लिए कर सका।
6. मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हमारे AI स्किल्स को जांचने का वर्तमान तरीका खतरे को कम आंक रहा है। हम स्किल्स को ऐसे चेक कर रहे हैं जैसे कोई सुरक्षा गार्ड किसी व्यक्ति की एक अकेली फोटो देख रहा हो। लेकिन एक असली हमलावर उस रूप बदलने वाले (shapeshifter) की तरह है जो तब तक अपना चेहरा बदलता रहता है जब तक कि गार्ड उसे अंदर न आने दे।
Proteus साबित करता है कि यदि हम ऐसे सिस्टम नहीं बनाते जो उन हमलावरों को संभाल सकें जो सीखते और अनुकूलित होते हैं, तो हमारे AI इकोसिस्टम में बड़े, छिपे हुए छेद होंगे जिनका हैकर्स आसानी से फायदा उठा सकते हैं।
संक्षेप में: हमें लगा कि हमारे सुरक्षा गार्ड बुरे स्किल्स को पहचानने में अच्छे हैं। यह शोध पत्र दिखाता है कि यदि कोई हमलावर इतना स्मार्ट है कि अपनी गलतियों से सीख सके, तो उन गार्डों को मूर्ख बनाना काफी आसान है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।