ChannelGuard: Safe Models Do Not Compose into Safe Multi-Agent Systems
यह शोध पत्र ChannelGuard को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free), रक्षा-इन-डेप्थ (defense-in-depth) ढांचा है जो प्रत्येक इंटर-एजेंट चैनल पर नियतात्मक सूचना-अवरोध गेट्स (deterministic information-bottleneck gates) रखकर मल्टी-एजेंट LLM सिस्टम को सुरक्षित करता है, जिससे अपारदर्शी प्रदाता-पक्ष फिल्टरों या अतिरिक्त LLM कॉल्स पर निर्भर रहे बिना टूल पॉइजनिंग को प्रभावी ढंग से रोका जा सकता है और प्रॉम्प्ट इंजेक्शन की सफलता दर को कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि जटिल रहस्यों को सुलझाने के लिए विशेषज्ञों की एक रोबोट टीम मिलकर काम कर रही है। एक रोबोट (प्लानर) बड़े सवाल को छोटे-छोटे सुरागों में तोड़ता है। अन्य रोबोट (वर्कर्स) उन सुरागों को खोजने, अपने नोट्स की जांच करने और विशेष उपकरणों का उपयोग करने के लिए बाहर जाते हैं। अंत में, चौथा रोबोट (सिंथेसाइज़र) सभी उत्तरों को एक साथ जोड़कर आपको कहानी बताता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "मल्टी-एजेंट सिस्टम" कहा जाता है। यह एक हाई-टेक रिले रेस की तरह है जहाँ बैटन एक संदेश है जिसे एक AI से दूसरे AI तक पहुँचाया जाता है।
लंबे समय तक, वैज्ञानिकों को सबसे पहले हैंडऑफ को लेकर चिंता रही: क्या होगा अगर कोई इंसान पहले रोबोट को एक चालाकी भरे कमांड से धोखा दे दे? हमने उन धोखों को पकड़ने के लिए मुख्य दरवाजे पर "सुरक्षा गार्ड" बनाए हैं। लेकिन यह पेपर एक डरावना सवाल पूछता है: क्या होगा अगर दौड़ के बीच में कुछ गड़बड़ हो जाए? क्या होगा अगर एक रोबोट किसी टूल या साझा नोटबुक में छोड़े गए नोट से धोखा खा जाए, और फिर वह उस बुरे विचार को अगले रोबोट तक पहुँचा दे? यह पेपर तर्क देता है कि जबकि मुख्य दरवाजा सुरक्षित है, रोबोटों के बीच का गलियारा खुला हुआ है। यह पाया गया कि कई रोबोट टीमें केवल इसलिए सुरक्षित हैं क्योंकि उन्हें होस्ट करने वाली क्लाउड कंपनी के पास एक गुप्त, अदृश्य फ़िल्टर है जो अंतिम उत्तर दिखाए जाने से पहले, रोबोटों द्वारा संदेश पास किए जाने के बाद, बुरे विचारों को पकड़ लेता है। लेखक इसे "उधार ली गई सुरक्षा" (borrowed safety) कहते हैं, और वे एक ऐसा सिस्टम बनाना चाहते हैं जहाँ सुरक्षा टीम की अपनी हो, न कि मकान मालिक की।
समस्या: अदृश्य गलियारा
शोधकर्ताओं, एलियास होसैन और उनकी टीम ने देखा कि ये AI टीमें कैसे काम करती हैं। उन्होंने पाया कि हर बार जब एक रोबोट दूसरे को संदेश भेजता है—चाहे वह सब-टास्क हो, टूल का परिणाम हो, या मेमोरी नोट हो—तो वह एक "चैनल" के माध्यम से यात्रा करता है। ये चैनल वर्तमान में अनमॉनिटर्ड (निगरानी मुक्त) हैं। एक हमलावर टूल के परिणाम या मेमोरी नोट में एक दुर्भावनापूर्ण निर्देश डाल सकता है, जिससे अगला रोबोट कुछ खतरनाक करने के लिए मजबूर हो सकता है।
डरावनी बात यह है कि जब वैज्ञानिक इन सिस्टमों का परीक्षण करते हैं, तो वे अक्सर एक सटीक सुरक्षा रिकॉर्ड देखते हैं: शून्य हमले सफल होते हैं। लेकिन लेखकों ने खोजा कि यह सुरक्षा एक भ्रम है। उनके परीक्षणों में, जब उन्होंने एक विशिष्ट क्लाउड प्रदाता (Azure) पर सिस्टम चलाया, तो सिस्टम ने 90% हमलों को रोका। हालांकि, यह AI टीम नहीं थी जो रोक रही थी; यह क्लाउड प्रदाता का सर्वर-साइड फ़िल्टर था। यदि वे एक अलग क्लाउड प्रदाता (जैसे Anthropic) पर स्विच करते जिसमें वह विशिष्ट फ़िल्टर नहीं था, तो "सुरक्षा" गायब हो जाती, और हमले सफल हो जाते। सिस्टम केवल इसलिए सुरक्षित लग रहा था क्योंकि वह क्लाउड कंपनी से सुरक्षा उधार ले रहा था, न कि इसलिए कि AI टीम वास्तव में सुरक्षित थी।
समाधान: चैनलगार्ड (ChannelGuard)
इसे ठीक करने के लिए, टीम ने चैनलगार्ड नामक एक नया बचाव तंत्र बनाया। केवल मुख्य दरवाजे की रखवाली करने के बजाय, चैनलगार्ड रोबोटों के बीच के हर गलियारे में एक सुरक्षा चेकपॉइंट स्थापित करता है।
इसे एक क्लब के हर दरवाजे पर तैनात बाउंसर की तरह समझें।
- चेकपॉइंट: हर बार जब कोई संदेश एक रोबोट से दूसरे रोबोट के पास जाने की कोशिश करता है, तो वह एक गेट से टकराता है।
- स्कैन: यह गेट यह अनुमान लगाने के लिए जटिल AI का उपयोग नहीं करता कि संदेश बुरा है या नहीं। इसके बजाय, यह एक सरल, तेज़ गणितीय ट्रिक का उपयोग करता है। यह संदेश को वाक्यों में तोड़ता है और उनकी तुलना "बुरे वाक्यांशों" की एक छोटी सूची (जैसे खतरनाक निर्देशों का "वांटेड" पोस्टर) से करता है।
- निर्णय: यदि संदेश किसी बुरे वाक्यांश जैसा दिखता है, तो गेट उसे तुरंत रोक देता है। यदि यह थोड़ा संदिग्ध है, तो यह जोखिम भरे हिस्से को काटकर सुरक्षित हिस्से को आगे जाने दे सकता है। यदि यह साफ है, तो यह इसे गुजरने देता है।
महत्वपूर्ण रूप से, ये गेट "ट्रेनिंग-फ्री" हैं, जिसका अर्थ है कि उन्हें काम करने के लिए नए डेटा को सीखने या अध्ययन करने की आवश्यकता नहीं है। वे बस बुरे वाक्यांशों की सूची और निर्णय लेने के लिए एक गणितीय सूत्र का उपयोग करते हैं।
उन्होंने क्या पाया
टीम ने आठ अलग-अलग प्रकार के धोखों का उपयोग करके 2,100 अलग-अलग हमले के प्रयासों के खिलाफ चैनलगार्ड का परीक्षण किया। यहाँ उनकी खोजें दी गई हैं:
- वास्तविक सुरक्षा, उधार ली गई सुरक्षा नहीं: "टूल पॉइजनिंग" हमले (जहाँ एक बुरा टूल परिणाम वर्कर को धोखा देने की कोशिश करता है) पर, पुराना सिस्टम क्लाउड प्रदाता द्वारा 90% हमलों को रोकने पर निर्भर था। हालाँकि, चैनलगार्ड ने स्वयं 100% हमलों को रोका, चाहे क्लाउड प्रदाता कोई भी हो। इसने सुरक्षा को "प्रदाता-अपरिवर्तनीय" (provider-invariant) बना दिया, जिसका अर्थ है कि सिस्टम जहाँ भी चलता है, वह सुरक्षित है।
- गति में वृद्धि: क्योंकि चैनलगार्ड महंगे और धीमे AI मॉडल तक पहुँचने से पहले ही एक बुरे संदेश को रोक सकता है, इसने वास्तव में सिस्टम को तेज़ बना दिया। "प्रॉम्प्ट इंजेक्शन" हमलों (मुख्य दरवाजे पर होने वाली चालाकी) के लिए, चैनलगार्ड असुरक्षित सिस्टम की तुलना में 3.30 गुना तेज़ था क्योंकि इसने बुरे संदेशों को जल्दी ही काट दिया, जिससे कंप्यूटर का अनावश्यक काम बच गया।
- कोई बौद्धिक गिरावट नहीं: सिस्टम "मूर्ख" नहीं हुआ। बिना किसी हमले के गणित की समस्याओं (GSM8K) पर परीक्षण करने पर, चैनलगार्ड ने सटीकता को बिल्कुल समान (0.867) रखा, जो साबित करता है कि यह गलती से अच्छे विचारों को नहीं रोकता है।
- कमज़ोर कड़ी: यह सिस्टम पूर्ण नहीं है। यदि कोई हमलावर "बुरे वाक्यांशों" की सूची जानता है और अपने धोखे को अलग शब्दों का उपयोग करके फिर से लिखता है (जिसे "एडेप्टिव पैराफ्रेसिंग" कहा जाता है), तो गेट भ्रमित हो जाते हैं। इन मामलों में, सिस्टम लगभग 66% बार विफल रहा, ठीक वैसे ही जैसे असुरक्षित सिस्टम। लेखक स्वीकार करते हैं कि इन चतुर, पुनर्गठित धोखों के लिए, एक अलग प्रकार का बचाव (जो शब्दों को थोड़ा बदल देता है ताकि हमलावर भ्रमित हो जाए) बेहतर काम करता है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हम केवल क्लाउड कंपनियों पर अपने AI टीमों को सुरक्षित रखने के लिए भरोसा नहीं कर सकते। हमें अपनी टीम के भीतर अपने स्वयं के गार्ड बनाने की आवश्यकता है। चैनलगार्ड दिखाता है कि हर रोबोट के बीच सरल, तेज़ चेकपॉइंट रखकर, हम उन हमलों को पकड़ सकते हैं जो मुख्य दरवाजे से निकल जाते हैं और उन्हें फैलने से पहले रोक सकते हैं। भले ही यह हर प्रकार की चालाकी को नहीं पकड़ पाता (विशेष रूप से वे जो खुद को फिर से लिखते हैं), यह "उधार ली गई सुरक्षा" को "स्वामित्व वाली सुरक्षा" में बदल देता है, जिससे सिस्टम जहाँ भी चले, विश्वसनीय बनता है। लेखकों ने अपना सारा डेटा और कोड जारी किया है ताकि अन्य लोग उनके काम की जाँच कर सकें, जो यह सिद्ध करता है कि AI टीमों में सुरक्षा को आर्किटेक्चर के भीतर बनाया जाना चाहिए, न कि केवल उम्मीद की जानी चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।