💻 computer science

Comprehensive Vulnerability Analysis is Necessary for Trustworthy LLM-MAS

यह शोध पत्र तर्क देता है कि विश्वसनीय लार्ज लैंग्वेज मॉडल-आधारित मल्टी-एजेंट सिस्टम (LLM-MAS) के निर्माण के लिए एक व्यापक भेद्यता विश्लेषण आवश्यक है और उनके अद्वितीय, कम खोजे गए सुरक्षा खतरों को संबोधित करने के लिए एक व्यवस्थित ढांचे का प्रस्ताव करता है, साथ ही भविष्य के अनुसंधान के लिए महत्वपूर्ण चुनौतियों की पहचान करता है।

मूल लेखक: Pengfei He, Yue Xing, Juanhui Li, Shen Dong, Zhenwei Dai, Xianfeng Tang, Hui Liu, Han Xu, Zhen Xiang, Charu C. Aggarwal, Hui Liu

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pengfei He, Yue Xing, Juanhui Li, Shen Dong, Zhenwei Dai, Xianfeng Tang, Hui Liu, Han Xu, Zhen Xiang, Charu C. Aggarwal, Hui Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल-आधारित मल्टी-एजेंट सिस्टम (LLM-MAS) की कल्पना एक एकल सुपर-स्मार्ट रोबोट के रूप में नहीं, बल्कि एक अत्यधिक विशिष्ट ऑर्केस्ट्रा (वाद्यवृंद) के रूप में करें।

इस ऑर्केस्ट्रा में:

संगीतकार (एजेंट्स): प्रत्येक संगीतकार एक AI है (जैसे कि एक प्लानर, कोडर, या वेरीफायर) जिसकी एक विशिष्ट भूमिका है।
शीट म्यूज़िक (प्रोफाइल्स): निर्देश जो उन्हें बताते हैं कि क्या बजाना है।
कंडक्टर की छड़ी (टूल्स): वे उपकरण जिनका उपयोग वे बाहरी दुनिया के साथ बातचीत करने के लिए कर सकते हैं (जैसे बैंक खाता चेक करना या कोड लिखना)।
बातचीत (कम्युनिकेशन): संगीतकार एक-दूसरे से फुसफुसाकर, चिल्लाकर और नोट्स पास करके एक सिम्फनी बनाने के लिए संवाद करते हैं।
हॉल (एनवायरनमेंट): वह भौतिक या डिजिटल स्थान जहाँ वे प्रदर्शन करते हैं।

यह पेपर तर्क देता है कि जबकि हमने वर्षों तक यह अध्ययन करने में बिताया है कि एक एकल संगीतकार को गलत नोट बजाने से कैसे रोका जाए, हम इस बात के लिए पूरी तरह से तैयार नहीं हैं कि जब पूरा ऑर्केस्ट्रा एक साथ बजाना शुरू कर देता है तो क्या अराजकता होती है।

यहाँ रोजमर्रा के उपमाओं का उपयोग करके पेपर के मुख्य बिंदुओं का विवरण दिया गया है:

1. समस्या: "ऑर्केस्ट्रा" नाजुक है

लेखकों का कहना है कि हालांकि एकल AI एजेंट जोखिम भरे हैं, लेकिन उनका एक ऑर्केस्ट्रा खतरनाक रूप से जटिल है।

एकल एजेंट का जोखिम: यदि एक संगीतकार को धोखा दिया जाता है, तो वह एक तेज़, परेशान करने वाला शोर पैदा कर सकता है।
मल्टी-एजेंट का जोखिम: यदि संगीतकार एक-दूसरे पर अंधविश्वास करने लगते हैं, तो एक अकेला ठगा गया संगीतकार पूरे समूह को ऐसा गाना बजाने के लिए राजी कर सकता है जो कॉन्सर्ट हॉल को नष्ट कर दे, दर्शकों के बटुए चुरा ले, या बिजली ग्रिड को क्रैश कर दे।

पेपर का दावा है कि वर्तमान सुरक्षा अनुसंधान इस बात का अध्ययन करने जैसा है कि एक एकल वायलिन वादक को तार टूटने से कैसे रोका जाए, जबकि इस तथ्य को अनदेखा कर दिया गया है कि अब पूरा ऑर्केस्ट्रा विश्वास के जाल द्वारा आपस में जुड़ा हुआ है जिसे हैक किया जा सकता है।

2. नए अटैक सर्फेस (जहाँ कमियाँ हैं)

पेपर उन विशिष्ट स्थानों की पहचान करता है जहाँ इस "ऑर्केस्ट्रा" को हैक किया जा सकता है, जो एकल प्रदर्शनों में मौजूद नहीं होते हैं:

व्हिस्पर नेटवर्क (कम्युनिकेशन): एक एकल प्रदर्शन में, कोई फुसफुसाहट नहीं होती है। एक ऑर्केस्ट्रा में, यदि हमलावर संगीतकारों के बीच पास किए गए नोट्स को बीच में ही रोक लेता है, तो वे शीट म्यूज़िक को बदल सकते हैं। एक संगीतकार को लग सकता है कि वह एक कोमल लोरी बजा रहा है, जबकि उसे प्राप्त हुआ नोट उसे सायरन बजाने के लिए कह सकता है।
अंधा विश्वास: एक ऑर्केस्ट्रा में इंसान कह सकते हैं, "रुको, वह नोट गलत लग रहा है, मुझे इसे चेक करने दो।" लेकिन ये AI संगीतकार विनम्र और सहयोगात्मक होने के लिए प्रशिक्षित हैं। वे हर उस नोट को सच मानते हैं जो उन्हें दिया जाता है, भले ही वह झूठ हो। उनमें "संशय का फिल्टर" (skepticism filter) नहीं होता।
टूल बेल्ट: प्रत्येक संगीतकार के पास एक टूल बेल्ट है। यदि कोई हमलावर किसी संगीतकार को "हथौड़े" के बजाय "बम" उठाने के लिए धोखा देता है, तो नुकसान हो चुका होता है। एक मल्टी-एजेंट सिस्टम में, यदि एक संगीतकार बम उठाता है, तो वह उसे अगले संगीतकार को थमा सकता है, जो फिर उसका उपयोग दर्शकों पर कर सकता है।
डायरेक्टर के नोट्स (प्रोफाइल्स): यदि कोई हमलावर डायरेक्टर के ऑफिस में घुसकर जॉब डिस्क्रिप्शन बदल देता है (जैसे, "सुरक्षा गार्ड" एजेंट को अब "चोर" बनने का निर्देश देना), तो पूरे सिस्टम का तर्क ढह जाता है।

3. "बुरे लोग" अलग-अलग चीजें चाहते हैं

पेपर श्रेणियों में वर्गीकृत करता है कि हमलावर क्या हासिल करने की कोशिश कर सकते हैं, ऑर्केस्ट्रा की उपमा का उपयोग करते हुए:

हानिकारक व्यवहार (Harmful Behavior): ऑर्केस्ट्रा को ऐसा गाना बजाने के लिए राजी करना जिससे स्टेज में आग लग जाए या दर्शकों के पैसे चोरी हो जाएं।
संसाधन की कमी (Resource Exhaustion): संगीतकारों को ऐसा गाना बजाने के लिए मजबूर करना जो 1,000 साल तक चले, या इतना तेज़ हो कि स्पीकर फट जाएं, जिससे प्रभावी रूप से कॉन्सर्ट बंद हो जाए (एक "डिनायल ऑफ सर्विस")।
प्रदर्शन में गिरावट (Performance Degradation): ऑर्केस्ट्रा को इतना बेसुरा बजाने के लिए मजबूर करना कि संगीत बेकार हो जाए, भले ही किसी को नुकसान न पहुँचा हो।
गोपनीयता का रिसाव (Privacy Leakage): दर्शकों के वीआईपी बॉक्स से गुप्त बातें गलत संगीतकारों तक पहुँचाना, जो फिर उन्हें पूरे हॉल में प्रसारित कर देते हैं।

4. प्रस्तावित समाधान: एक "सिक्योरिटी स्कोरकार्ड"

लेखकों का कहना है कि हम केवल अनुमान नहीं लगा सकते; हमें एक व्यवस्थित ढांचा (systematic framework) चाहिए। वे एक "सिक्योरिटी स्कोरकार्ड" का प्रस्ताव करते हैं जो:

खतरे को परिभाषित करता है: स्पष्ट रूप से बताता है कि हमलावर कौन है और वह क्या कर सकता है (जैसे, "क्या वे फुसफुसाहट सुन सकते हैं? क्या वे शीट म्यूज़िक बदल सकते हैं?")।
कमजोरी का मानचित्रण करता है: ऑर्केस्ट्रा के हर हिस्से (संगीतकार, नोट्स, टूल्स, हॉल) की जाँच करता है कि कहाँ इसे तोड़ा जा सकता है।
नुकसान को मापता है: केवल यह कहने के बजाय कि "यह विफल रहा," यह मापता है कि यह कैसे विफल हुआ। क्या संगीत रुक गया? क्या पैसे चोरी हो गए? क्या रहस्य लीक हो गए?

5. एक छोटा परीक्षण रन

अपने बिंदु को सिद्ध करने के लिए, लेखकों ने एक छोटा प्रयोग चलाया। उन्होंने दो संगीतकारों वाला एक छोटा "ऑर्केस्ट्रा" बनाया: एक प्लानर (जो तय करता है कि क्या करना है) और एक एक्सेक्यूटर (जो इसे करता है)।

उन्होंने दो संगीतकारों के बीच की बातचीत में एक फर्जी नोट डालकर सिस्टम को धोखा देने की कोशिश की।
परिणाम: सिस्टम को धोखा देना अविश्वसनीय रूप से आसान था। चाहे उन्होंने प्लानर को धोखा दिया हो या एक्सेक्यूटर को, सिस्टम अक्सर अपना काम करने में विफल रहा या कुछ हानिकारक कर बैठा। इसने साबित कर दिया कि समस्या केवल एक बुरा संगीतकार नहीं है; यह उनके बीच का संबंध है।

6. आगे क्या होना चाहिए?

पेपर शोध समुदाय के लिए एक "कॉल टू एक्शन" के साथ समाप्त होता है:

सोलोइस्ट (एकल कलाकारों) का परीक्षण करना बंद करें: हमें विशेष रूप से ऑर्केस्ट्रा (मल्टी-एजेंट सिस्टम) के लिए डिज़ाइन किए गए परीक्षणों की आवश्यकता है।
बेहतर विश्वास बनाएँ: हमें संगीतकारों को सिखाने की आवश्यकता है कि वे प्राप्त किए गए नोट्स पर सवाल उठाएं, न कि केवल आँख मूंदकर उनका पालन करें।
नए नियम बनाएँ: हमें नए सुरक्षा मानकों की आवश्यकता है जो इस तथ्य को ध्यान में रखते हैं कि ये एजेंट एक-दूसरे से बात करते हैं।

संक्षेप में: पेपर का तर्क है कि AI एजेंटों की एक भरोसेमंद टीम बनाना एक गगनचुंबी इमारत बनाने जैसा है। आप केवल यह सुनिश्चित नहीं कर सकते कि ईंटें मजबूत हैं (व्यक्तिगत AI); आपको यह भी सुनिश्चित करना होगा कि उन्हें एक साथ जोड़ने वाला मोर्टार (संचार और विश्वास) ढह न जाए, अन्यथा पूरी इमारत गिर जाएगी। हमें उन दरारों को खोजने के लिए एक व्यापक ब्लूप्रिंट की आवश्यकता है इससे पहले कि इमारत बनकर तैयार हो जाए।

तकनीकी सारांश: विश्वसनीय LLM-MAS के लिए व्यापक भेद्यता विश्लेषण आवश्यक है

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल-आधारित मल्टी-एजेंट सिस्टम (LLM-MAS) एआई सहयोग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करते हैं, जो फिनटेक, मेडिकल ट्राइएज और सॉफ्टवेयर इंजीनियरिंग जैसे उच्च-जोखिम वाले डोमेन में जटिल कार्यों को हल करने के लिए कई विशिष्ट एजेंटों को तैनात करते हैं। जबकि सिंगल-एजेंट कमजोरियां (जैसे, प्रॉम्प्ट इंजेक्शन, हानिकारक आउटपुट जनरेशन) अच्छी तरह से अध्ययन की गई हैं, LLM-MAS मौलिक रूप से नए और अद्वितीय सुरक्षा चुनौतियों को पेश करता है जो काफी हद तक अनछुए रहे हैं।

पहचाना गया मुख्य मुद्दा यह है कि वर्तमान सुरक्षा अनुसंधान में LLM-MAS खतरों के समग्र मूल्यांकन का अभाव है। मौजूदा अध्ययन अक्सर संकीर्ण रूप से अलग-थलग घटकों (जैसे, व्यक्तिगत एजेंट प्रोफाइल) या विशिष्ट परिदृश्यों (जैसे, एरर इंजेक्शन) पर ध्यान केंद्रित करते हैं, जो इंटर-एजेंट संचार, विश्वास संबंधों और टूल एकीकरण द्वारा निर्मित नवीन हमले के सतहों (attack surfaces) को समझने में विफल रहते हैं। व्यापक वर्गीकरण (taxonomies), सुस्थापित थ्रेट मॉडल और हमले के उद्देश्यों की औपचारिक परिभाषाओं की अनुपस्थिति सार्थक मूल्यांकन बेंचमार्क के डिजाइन और वास्तव में विश्वसनीय प्रणालियों के निर्माण में बाधा डालती है।

2. कार्यप्रणाली

यह शोध पत्र एक औपचारिक गणितीय सूत्रीकरण पर आधारित भेद्यता विश्लेषण के लिए एक व्यवस्थित ढांचे का प्रस्ताव करता है।

2.1 सिस्टम डिकंपोजिशन (System Decomposition)

लेखक एक LLM-MAS ( $S_{MA}$ ) को छह मुख्य घटकों में विभाजित करते हैं:

व्यक्तिगत एजेंट ( $A$ ): जिसमें एक LLM कोर ( $f_i$ ), एक एजेंट प्रोफाइल ( $P_i$ ), और टूल का एक सेट ( $T_i$ ) शामिल है।
इंटर-एजेंट संचार ( $C$ ): संचार संरचना ( $S$ ), विनिमेय संदेशों ( $M$ ), और ट्रस्ट मैनेजमेंट ( $T$ ) द्वारा परिभाषित।
पर्यावरण ( $E$ ): वह भौतिक या सिम्युलेटेड सेटिंग जहाँ एजेंट संचालित होते हैं।
मेमोरी ($Mem$): संदेशों और अनुभवों के लिए साझा भंडारण।
प्रारंभिक क्वेरी ( $Q$ ): सिस्टम को ट्रिगर करने वाला इनपुट।

2.2 औपचारिक थ्रेट मॉडल (Formal Threat Model)

लेखक एक विशिष्ट सिस्टम घटक ( $S$ ) में हेरफेर करके एक दुर्भावनापूर्ण लक्ष्य ( $G$ ) प्राप्त करने के उद्देश्य वाले हमलावरों के लिए एक सामान्य सूत्रीकरण को परिभाषित करते हैं:
$\arg \max_{S \in \Theta_S} \text{Evaluator}(S_{MA}, Q, G)$
जहाँ:

$\Theta_S$ हमलावर की क्षमताओं (ब्लैक-बॉक्स, ग्रे-बॉक्स, या व्हाइट-बॉक्स) द्वारा निर्धारित दुर्भावनापूर्ण स्थान (malicious space) है।
इवैल्यूएटर (Evaluator) फंक्शन विशिष्ट लक्ष्य (जैसे, हानिकारक व्यवहार, संसाधन थकावट) के आधार पर हमले की सफलता को मापता है।

2.3 भेद्यता वर्गीकरण (Vulnerability Taxonomy)

फ्रेमवर्क दुर्भावनापूर्ण लक्ष्यों को वर्गीकृत करता है और प्रत्येक घटक के माध्यम से कमजोरियों का विश्लेषण करता है:

दुर्भावनापूर्ण लक्ष्य:
- हानिकारक व्यवहार (Harmful Behavior): टूल क्षमताओं के माध्यम से हानिकारक टेक्स्ट से विनाशकारी प्रोग्राम निष्पादित करने या अनधिकृत लेनदेन तक पहुंच बनाना।
- संसाधन थकावट (Resource Exhaustion): संदेश मुद्रास्फीति (message inflation) या टूल के दुरुपयोग के माध्यम से कंप्यूटिंग संसाधनों (CPU, मेमोरी, बैंडविड्थ) को ओवरलोड करना।
- प्रदर्शन गिरावट (Performance Degradation): दूषित इनपुट के माध्यम से कार्य सटीकता या दक्षता को कम करना।
- गोपनीयता रिसाव (Privacy Leakage): इंटर-एजेंट संचार के माध्यम से अन्य एजेंटों या साझा मेमोरी से संवेदनशील डेटा निकालना।
घटक-विशिष्ट कमजोरियां:
- इनपुट्स ( $Q$ ): प्रॉम्प्ट इंजेक्शन और कॉन्टेक्स्ट मैनिपुलेशन।
- एजेंट्स ( $A_i$ ): समझौता किया गया LLM कोर, हाइजैक किए गए प्रोफाइल (विशेष रूप से एजेंट-टू-एजेंट प्रोटोकॉल के तहत), और दुर्भावनापूर्ण टूल्स (मॉडल कॉन्टेक्स्ट प्रोटोकॉल/MCP पॉइजनिंग सहित)।
- संचार ( $C$ ): एजेंट-इन-द-मिडल हमले, संदेश अवरोधन, और ट्रस्ट मैनेजमेंट में संदेह की कमी (अपुष्ट संदेशों को अंधाधुंध स्वीकार करना)।
- पर्यावरण ( $E$ ): एजेंट धारणा को प्रभावित करने वाले भौतिक या सिम्युलेटेड पर्यावरणीय हमले।

3. प्रमुख योगदान

व्यवस्थित ढांचा (Systematic Framework): एक एकीकृत ढांचा जो औपचारिक रूप से दुर्भावनापूर्ण लक्ष्यों को परिभाषित करता है और सभी LLM-MAS घटकों के संरचित विश्लेषण को सक्षम बनाता है, जो अलग-थलग एजेंट-केंद्रित मूल्यांकनों से आगे जाता है।
व्यापक वर्गीकरण (Comprehensive Taxonomy): मल्टी-एजेंट आर्किटेक्चर के लिए विशिष्ट अद्वितीय हमले की सतहों की पहचान, विशेष रूप से संचार संरचनाओं और ट्रस्ट मैनेजमेंट में, जो सिंगल-एजेंट सिस्टम में अनुपस्थित हैं।
औपचारिक परिभाषाएं (Formal Definitions): व्यावहारिक हमलावर क्षमताओं पर आधारित हमले के उद्देश्यों और थ्रेट मॉडल का कठोर सूत्रीकरण, जो पुनरुत्पादक (reproducible) मूल्यांकन के लिए एक आधार प्रदान करता है।
प्रारंभिक अनुभवजन्य अध्ययन (Preliminary Empirical Study): बैंकिंग डोमेन में प्लैनर-एक्सेक्यूटर आर्किटेक्चर का उपयोग करके इस ढांचे का एक इंस्टेंशिएशन, जो गैर-मामूली कमजोरियों के अस्तित्व को प्रदर्शित करता है।

4. परिणाम

लेखकों ने AgentDojo बैंकिंग डेटासेट पर एक प्लैनर-एक्सेक्यूटर पाइपलाइन (प्लानर: GPT-5-mini; एक्सेक्यूटर: GPT-5-mini या GPT-5-nano) का उपयोग करके एक प्रारंभिक अध्ययन किया। उन्होंने तीन चरणों में प्रॉम्प्ट इंजेक्शन हमलों का परीक्षण किया: प्लैनर स्टार्ट, एक्सेक्यूटर स्टार्ट, और एक्सेक्यूटर एंड।

मुख्य निष्कर्ष:

उच्च भेद्यता: सिस्टम ने विभिन्न हमले के चरणों और मॉडल क्षमताओं में पर्याप्त भेद्यता प्रदर्शित की।
महत्वपूर्ण इंजेक्शन बिंदु: प्लानर स्टार्ट और एक्सेक्यूटर एंड चरणों में इंजेक्शन ने गोपनीयता रिसाव और हानिकारक व्यवहार दोनों लक्ष्यों के लिए लगातार लगभग 90% की उच्च अटैक सक्सेस रेट (ASR) हासिल की।
संरचनात्मक प्रकृति: विभिन्न मॉडलों और लक्ष्यों में इन कमजोरियों की निरंतरता यह सुझाव देती है कि जोखिम संरचनात्मक हैं और व्यक्तिगत एजेंट दोषों के बजाय सिस्टम-स्तरीय इंटरैक्शन से उत्पन्न होते हैं।
उपयोगिता बनाम सुरक्षा (Utility vs. Security): अपेक्षाकृत उच्च कार्य उपयोगिता (जैसे, 80-90% कार्य पूर्णता) बनाए रखते हुए भी उच्च हमले की सफलता दर देखी गई, जो इंगित करती है कि हमले सिस्टम को तुरंत क्रैश किए बिना सफल हो सकते हैं।

5. महत्व और आह्वान (Significance and Call to Action)

यह शोध पत्र तर्क देता है कि विश्वसनीय LLM-MAS बनाने के लिए व्यापक भेद्यता विश्लेषण एक पूर्व शर्त है। लेखक जोर देते हैं कि क्षेत्र में वर्तमान में निम्नलिखित का अभाव है:

LLM-MAS भेद्यता मूल्यांकन के लिए विशेष रूप से तैयार किए गए बेंचमार्क।
मल्टी-एजेंट आर्किटेक्चर के लिए विशिष्ट नए संभावित हमलों पर विचार (जैसे, स्ट्रक्चर इन्फरेंस, सिस्टम स्टेबिलिटी अटैक्स)।
प्रतिकूल स्थितियों में सुरक्षा लागू करने में सक्षम ट्रस्ट मैनेजमेंट सिस्टम का कार्यान्वयन।

यह कार्य भविष्य के अनुसंधान के लिए आवश्यक आधार के रूप में कार्य करता है, जो समुदाय से ऐसे सिस्टम-लेवल सुरक्षा विश्लेषणों को अपनाने का आग्रह करता है जो दुर्भावनापूर्ण लक्ष्यों, हमलावर क्षमताओं और एजेंट इंटरैक्शन को स्पष्ट रूप से मॉडल करते हैं। यह सिद्धांतों के निर्माण और पुनरुत्पादक विश्लेषणों के विकास का आह्वान करता है जो व्यक्तिगत घटकों के एड-हॉक परीक्षण पर निर्भर रहने के बजाय वास्तविक दुनिया के एजेंटिक सिस्टम की संरचनात्मक जटिलता को दर्शाते हैं।

पहचानी गई खुली चुनौतियां (Open Challenges):

मल्टी-एजेंट सिस्टम के लिए उपयुक्त सूक्ष्मता (granularity) वाले बेंचमार्क विकसित करना।
जटिल, बहु-घटक प्रणालियों के लिए व्यावहारिक हमले बनाना जहाँ ग्रेडिएंट गणना (gradient computation) असंभव है।
वास्तविक समय की निगरानी के लिए विश्वसनीय, कम-विलंबता (low-latency) वाले मॉनिटर एजेंट बनाना।
पारंपरिक सुरक्षा सिद्धांतों (जैसे, लीस्ट प्रिविलेज, डिफेंस-इन-डेप्थ) को एजेंट लाइफसाइकिल में एकीकृत करना।