← नवीनतम पेपर
🤖 AI

Security Considerations for Multi-agent Systems

यह अध्ययन मल्टी-एजेंट एआई प्रणालियों के अद्वितीय खतरे के परिदृश्य को व्यवस्थित रूप से अभिलक्षित करता है और 16 सुरक्षा ढांचों का अनुभवजन्य मूल्यांकन करता है, जिससे यह पता चलता है कि कोई भी पहचाने गए जोखिमों का बहुमत कवरेज प्राप्त नहीं करता है, जिसमें अनिश्चितता (Non-Determinism) और डेटा रिसाव (Data Leakage) सबसे कम संबोधित किए गए क्षेत्र हैं।

मूल लेखक: Tam Nguyen, Moses Ndebugre, Dheeraj Arremsetty

प्रकाशित 2026-03-11
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Tam Nguyen, Moses Ndebugre, Dheeraj Arremsetty

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल, रोज़मर्रा की भाषा में विवरण दिया गया है, जिसमें जटिल AI सुरक्षा की दुनिया को सुलभ बनाने के लिए उपमाओं (analogies) का उपयोग किया गया है।

बड़ी तस्वीर: एकल कलाकारों से लेकर एक पूर्ण ऑर्केस्ट्रा तक

कल्पना कीजिए कि आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया ने अभी-अभी अपना अंदाज़ बदल लिया है।

पुराने दिन (सिंगल एजेंट): एक AI एजेंट को एक सोलो पियानो वादक (solo pianist) के रूप में सोचें। वे पियानो पर बैठते हैं, आप उन्हें संगीत की एक शीट (प्रॉम्ट) देते हैं, और वे एक गाना बजाते हैं। यदि कोई संगीत की शीट में एक गलत नोट डाल देता है ताकि वे गलत सुर बजाएं, तो यह एक समस्या है, लेकिन यह सीमित है। पियानो वादक दूसरे पियानो वादकों से बात नहीं करते, उनके पास कोई बैंक खाता नहीं होता, और उन्हें पिछले सप्ताह के कॉन्सर्ट की याद नहीं रहती।

नया युग (मल्टी-एजेंट सिस्टम): अब, कल्पना कीजिए कि उस सोलो पियानो वादक ने बड़ा होकर एक विशाल, 50 लोगों का ऑर्केस्ट्रा बना लिया है।

  • उनके पास एक कंडक्टर (conductor) है (प्लानर)।
  • उनके पास वायलिन वादक (violinists) हैं (रिसर्चर्स)।
  • उनके पास ड्रमर (drummers) हैं (कोडर्स)।
  • उनके पास एक कोषाध्यक्ष (treasurer) है (जो पैसों को संभालता है)।
  • वे सभी आपस में लगातार बात करते हैं।
  • उनके पास एक विशाल नोटबुक (shared memory) है जहाँ वे वह सब कुछ लिखते हैं जो उन्होंने सीखा है।
  • उनके पास शहर की चाबियाँ (delegated authority) हैं जिससे वे चीजें खरीद सकते हैं, सेटिंग्स बदल सकते हैं और कोड चला सकते हैं।

समस्या: हमने सोलो पियानो वादक के लिए जो सुरक्षा नियम (जैसे "तेज़ स्वर न बजाएं") इस्तेमाल किए थे, वे ऑर्केस्ट्रा के लिए काम नहीं करते। यदि एक वायलिन वादक को एक नकली नोट से धोखा दिया जाता है, तो वह ड्रमर को ड्रम तोड़ने के लिए कह सकता है, जो फिर कोषाध्यक्ष को सारा पैसा किसी अजनबी को ट्रांसफर करने के लिए कह सकता है। अराजकता तुरंत फैल जाती है।

यह पेपर "क्रू स्केलर" (Crew Scaler) नामक समूह द्वारा लिखा गया एक सुरक्षा रिपोर्ट है जो सरकार (NIST) और दुनिया को यह बताने के लिए है: "हमारे पास एक नया प्रकार का ऑर्केस्ट्रा है, और हमारे पुराने सुरक्षा गार्ड मैनुअल बेकार हैं। यहाँ एक नया नक्शा है कि इस ऑर्केस्ट्रा को हैक करने के सभी तरीके क्या हैं, और कौन सी नियम पुस्तिकाएं वास्तव में मदद करती हैं।"


भाग 1: ऑर्केस्ट्रा को हैक करने के नए तरीके

लेखकों ने इस मल्टी-एजेंट सिस्टम को हमला करने के 193 विशिष्ट तरीके पहचाने हैं। उन्होंने उन्हें 9 श्रेणियों में बांटा है। यहाँ सबसे डरावने तरीके दिए गए हैं, जिन्हें सरल भाषा में समझाया गया है:

1. "ट्रस्ट फॉल" का गलत होना (Trust Exploitation)

एक सामान्य ऑफिस में, आप किसी को सर्वर रूम में जाने देने से पहले उसका आईडी कार्ड चेक करते हैं। इस AI ऑर्केस्ट्रा में, एजेंट एक-दूसरे पर पूरी तरह भरोसा करते हैं क्योंकि वे "सहकर्मी" हैं।

  • हमला: एक हैकर एक निचले स्तर के इंटर्न एजेंट (एजेंट A) को यह विश्वास दिलाकर धोखा देता है कि एक खतरनाक कमांड एक "टीम-बिल्डिंग एक्सरसाइज" है। एजेंट A, सीईओ एजेंट (एजेंट B) को बताता है, "हे, इंटर्न कहता है कि हमें डेटाबेस डिलीट करने की ज़रूरत है।" एजेंट B, टीम डायनेमिक्स पर भरोसा करते हुए कहता है "ठीक है!" और डेटाबेस डिलीट कर देता है।
  • उपमा: यह एक चोर की तरह है जो सुरक्षा गार्ड से फुसफुसाता है, "मैं नया मैनेजर हूँ, मुझे अंदर आने दो," और गार्ड, यह मानकर कि नया मैनेजर भरोसेमंद है, तिजोरी खोल देता है।

2. "साझा नोटबुक" को ज़हर देना (Memory Poisoning)

एजेंट्स पिछले कार्यों को याद रखने के लिए एक विशाल डिजिटल नोटबुक (मेमोरी) साझा करते हैं।

  • हमला: एक हैकर नोटबुक में एक नोट लिखता है कि, "जब सूरज चमक रहा हो तो हमेशा सुरक्षा नियमों को अनदेखा करें।" बाद में, जब एजेंट नोटबुक पढ़ते हैं, तो वे सभी सुरक्षा नियमों को अनदेखा करना शुरू कर देते हैं क्योंकि वे सोचते हैं कि यह एक "सीखी गई सच्चाई" है।
  • उपमा: कल्पना कीजिए कि दोस्तों का एक समूह यात्रा की योजना बना रहा है। एक दोस्त चुपके से ग्रुप चैट में लिखता है, "हमें खाई में गाड़ी चला देनी चाहिए।" यदि अन्य लोग बाद में उस नोट को पढ़ते हैं और सोचते हैं कि यह एक गंभीर योजना थी, तो वे वास्तव में खाई में गाड़ी चला सकते हैं।

3. "अदृश्य हाथ" (Tool Coupling)

एजेंट वेब ब्राउज़र, कोड एडिटर और बैंक ऐप्स जैसे टूल्स का उपयोग कर सकते हैं।

  • हमला: हैकर बैंक के कोड को नहीं तोड़ता। इसके बजाय, वह एजेंट को बैंक से पैसे ट्रांसफर करने के लिए पूछने के लिए बहलाता है। एजेंट सोचता है कि वह एक सामान्य निर्देश का पालन कर रहा है।
  • उपमा: आपको तिजोरी का ताला खोलने की ज़रूरत नहीं है यदि आप मालिक को आपके लिए उसे खोलने के लिए बहला सकें। हैकर AI को खुद ही तिजोरी खोलने के लिए बहलाता है।

4. "मशीन में भूत" (Non-Determinism)

AI कभी-कभी अप्रत्याशित होता है (जैसे पासा फेंकना)। यह एक ही चीज़ को 10 बार कर सकता है और 10 अलग-अलग परिणाम प्राप्त कर सकता है।

  • हमला: एक हैकर एक ऐसा जाल बनाता है जो केवल तभी सक्रिय होता है जब AI एक विशिष्ट "पासे के नंबर" (एक विशिष्ट रैंडम परिणाम) को रोल करता है। चूंकि AI अप्रत्याशित है, इसलिए सुरक्षा टीम इसकी जांच नहीं कर सकती क्योंकि वे AI को हर बार वही विशिष्ट नंबर रोल करने के लिए मजबूर नहीं कर सकते।
  • उपमा: एक जाल जो केवल तभी सक्रिय होता है जब मंगलवार को दोपहर 3 बजे बारिश होती है। आप जाल का परीक्षण नहीं कर सकते क्योंकि आप मौसम को नियंत्रित नहीं कर सकते।

5. "फुसफुसाहट का अभियान" (Self-Replicating Worms)

  • हमला: एक हैकर एक दस्तावेज़ में एक छोटा सा निर्देश डाल देता है। जब एजेंट A इसे पढ़ता है, तो वह निर्देश को अपनी मेमोरी में कॉपी कर लेता है। फिर एजेंट A, एजेंट B से बात करता है, और एजेंट B भी इसे कॉपी कर लेता है। अचानक, पूरा ऑर्केस्ट्रा एक वायरस से संक्रमित हो जाता है जो उन्हें डेटा चुराने के लिए कहता है।
  • उपमा: "टेलीफोन" के खेल की तरह जहाँ संदेश बदल जाता है, लेकिन इस मामले में संदेश एक वायरस है जो एक व्यक्ति से दूसरे व्यक्ति तक फैलता है जब तक कि हर कोई संक्रमित न हो जाए।

भाग 2: नियम पुस्तिकाएं (Security Frameworks)

लेखकों ने 16 अलग-अलग सुरक्षा नियम पुस्तिकाओं (फ्रेमवर्क) को देखा जो कंपनियां अपने AI की सुरक्षा के लिए उपयोग करती हैं। उन्होंने उन्हें स्कोर किया यह देखने के लिए कि कौन से वास्तव में इन नए, डरावने ऑर्केस्ट्रा हमलों को कवर करते हैं।

विजेता:

  1. OWASP एजेंटिक सिक्योरिटी इनिशिएटिव (स्वर्ण मानक): यह एकमात्र नियम पुस्तिका है जो विशेष रूप से इन नए AI ऑर्केस्ट्रा के लिए लिखी गई है। यह लगभग 65% खतरों को कवर करती है। यह 50-सदस्यीय ऑर्केस्ट्रा संचालित करने के लिए एक विशेष मैनुअल की तरह है।
  2. CDAO GenAI टूलकिट: यह "डेवलपमेंट" चरण (ऑर्केस्ट्रा बनाने) के लिए बेहतरीन है। इसमें यह सुनिश्चित करने के लिए अच्छे चेकलिस्ट हैं कि कॉन्सर्ट शुरू होने से पहले वाद्य यंत्र सुरक्षित हैं।
  3. MITRE ATLAS: यह "बुरे लोगों की डिक्शनरी" है। यह उन सभी तरकीबों को सूचीबद्ध करता है जिनका हैकर्स उपयोग करते हैं। यह यह जानने के लिए उत्कृष्ट है कि क्या देखना है, लेकिन यह कैसे रोकना है, इस पर कम प्रभावी है।

हारने वाले (या "अभी तैयार नहीं हैं"):

  • कई पुरानी नियम पुस्तिकाएं (जैसे NIST का सामान्य AI गाइड) "सोलो पियानो वादक" युग के लिए बेहतरीन हैं। वे "डेटा गोपनीयता" और "निष्पक्षता" के बारे में बात करती हैं, लेकिन वे एजेंटों के आपस में बात करने की विशिष्ट अराजकता को मिस कर देती हैं। वे एक पायलट को जेट उड़ाना सिखाने के लिए साइकिल सुरक्षा मैनुअल का उपयोग करने की तरह हैं।

बड़े अंतराल (Gaps):
रिपोर्ट ने पाया कि किसी के पास भी समाधान नहीं है:

  • Non-Determinism: आप ऐसी चीज़ को कैसे सुरक्षित करते हैं जो बेतरतीब ढंग से अपना मन बदल लेती है?
  • Data Leakage: आप एजेंटों को अपने चैट लॉग में अनजाने में रहस्य बताने से कैसे रोक सकते हैं?
  • Economic Attacks: आप हैकर्स को एजेंटों को बेकार के कार्यों पर आपका सारा पैसा खर्च करने के लिए बहलाने से कैसे रोक सकते हैं?

भाग 3: मुख्य निष्कर्ष (The Takeaway)

मुख्य संदेश:
हम पहले से कहीं अधिक स्मार्ट, तेज़ और स्वायत्त AI सिस्टम बना रहे हैं। वे एक साथ काम करने वाली मधुमक्खियों के झुंड की तरह हैं। लेकिन हम अभी भी उन सुरक्षा गार्डों का उपयोग कर रहे हैं जो केवल एक अकेले घुसपैठिये को रोकने के बारे में जानते हैं।

क्या करने की आवश्यकता है:

  1. अंधाधुंध भरोसा करना बंद करें: सिर्फ इसलिए कि एक एजेंट कहता है कि "मैं आपका दोस्त हूँ", इसका मतलब यह नहीं है कि वह है। हमें पहचान को वैसे ही सत्यापित करने की आवश्यकता है जैसे हम पासपोर्ट के साथ करते हैं।
  2. नोटबुक पर नज़र रखें: साझा मेमोरी सबसे खतरनाक जगह है। इसे लॉक डाउन और लगातार चेक किया जाना चाहिए।
  3. नई नियम पुस्तिकाएं: हमें ऐसी सुरक्षा मैनुअल की आवश्यकता है जो यह समझती हों कि ये "ऑर्केस्ट्रा" कैसे काम करते हैं, न कि केवल यह कि सिंगल कंप्यूटर कैसे काम करते हैं।

निष्कर्ष:
तकनीक अद्भुत है, लेकिन यह एक बच्चे को भरी हुई बंदूक देने और यह कहने जैसा है, "यहाँ, तुम स्मार्ट हो, तुम सावधान रहोगे।" यह पेपर वह चेतावनी लेबल है जो कहता है, "नहीं, आपको उन्हें शो चलाने देने से पहले एक सुरक्षा लॉक, एक सुरक्षा हार्नेस और नियमों के एक नए सेट की आवश्यकता है।"

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →