← नवीनतम पेपर
💻 computer science

CASPIAN: Online Detection and Attribution of Cascade Attacks in LLM Multi-Agent Systems via Cross-Channel Causal Monitoring

CASPIAN एक नवीन ढांचा है जो एक एकीकृत कंडीशनल ट्रांसफर एंट्रॉपी दृष्टिकोण के माध्यम से गतिशील क्रॉस-चैनल प्रभाव प्रसार को मॉडल करके, LLM मल्टी-एजेंट सिस्टम में कैस्केड हमलों का ऑनलाइन पता लगाने और उनके कारण संबंधी एट्रिब्यूशन को सक्षम बनाता है, जो सटीकता और विलंबता में मौजूदा स्थानीय सुरक्षा प्रणालियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Kavana Venkatesh, Jafar Isbarov, Saad Amin, Murat Kantarcioglu, Jiaming Cui

प्रकाशित 2026-05-20
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Kavana Venkatesh, Jafar Isbarov, Saad Amin, Murat Kantarcioglu, Jiaming Cui

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक जटिल समस्या को हल करने के लिए एआई (AI) सहायकों की एक टीम मिलकर काम कर रही है, जैसे कि किसी यात्रा की योजना बनाना या कोई रिपोर्ट लिखना। वे एक-दूसरे से बात करते हैं, नोट्स साझा करते हैं, टूल्स का उपयोग करते हैं और कार्यों को निष्पादित करते हैं। यह एक मल्टी-एजेंट सिस्टम (Multi-Agent System) है।

अब, कल्पना कीजिए कि इनमें से एक सहायक को एक बुरे तत्व (एक "कैस्केड अटैक") द्वारा बहकाया जाता है। इसमें केवल वह एक सहायक गलती नहीं करता, बल्कि वह त्रुटि एक वायरस की तरह फैल जाती है। यह बढ़ती है, साझा की जाती है और सुदृढ़ की जाती है जब तक कि पूरी टीम कुछ गलत करने के लिए एक साथ काम नहीं करने लगती, भले ही प्रत्येक व्यक्तिगत कदम अपने आप में हानिरहित दिखाई दे।

मौजूदा सुरक्षा उपकरण एक दरवाजे पर एक व्यक्ति का आईडी चेक करने वाले बाउंसर की तरह हैं। वे एक समय में एक संदेश या एक एजेंट को देखते हैं। वे इस तथ्य को नहीं देख पाते कि खतरा इस बात में है कि एजेंट विभिन्न चैनलों (चैट, साझा मेमोरी, टूल्स और कोड निष्पादन) के माध्यम से एक-दूसरे को कैसे प्रभावित कर रहे हैं।

CASPIAN एक नया सुरक्षा सिस्टम है जिसे इन "टीम-व्यापी संकटों" को होते ही पकड़ने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. "इन्फ्लुएंस मैप" (द कॉज़ल मैट्रिक्स - The Causal Matrix)

एआई टीम को एक कमरे में मौजूद लोगों के समूह के रूप में सोचें। आमतौर पर, वे विनम्रता से बात करते हैं। लेकिन जब कोई हमला शुरू होता है, तो प्रभाव का एक विशिष्ट पैटर्न उभरता है।

  • पुराना तरीका: सुरक्षा उपकरण यह सुनते हैं कि लोग क्या कह रहे हैं (टेक्स्ट)।
  • CASPIAN का तरीका: CASPIAN केवल शब्दों को नहीं सुनता; यह ऊर्जा के प्रवाह (energy flow) को मैप करता है। यह पूछता है: "क्या एजेंट A के कार्य ने एजेंट B के व्यवहार को बदलने का कारण डाला, भले ही एजेंट B के शब्द अभी भी सामान्य लग रहे हों?"
  • यह एक लाइव, 4-आयामी (4-dimensional) मानचित्र बनाता है कि कौन किसे प्रभावित कर रहा है, जो चार चैनलों के माध्यम से होता है:
    1. कम्युनिकेशन (चैट संदेश)
    2. मेमोरी (साझा नोट्स)
    3. टूल्स (API या सॉफ़्टवेयर का उपयोग)
    4. एक्ज़ीक्यूशन (वे कितनी तेज़ी से चलते हैं, त्रुटियां करते हैं, या टोकन का उपयोग करते हैं)

2. "अर्थक्वेक डिटेक्टर" (स्पेक्ट्रल मॉनिटरिंग - Spectral Monitoring)

CASPIAN को कैसे पता चलता है कि बहुत देर होने से पहले ही संकट शुरू हो गया है? यह स्पेक्ट्रल मॉनिटरिंग (Spectral Monitoring) नामक तकनीक का उपयोग करता है।

  • उदाहरण: कल्पना कीजिए कि एक भीड़ है। यदि वे केवल सामान्य रूप से बातचीत कर रहे हैं, तो उनकी गतिविधियाँ यादृच्छिक (random) और ढीली होती हैं। लेकिन यदि घबराहट शुरू होती है, तो वे अचानक एक ही तालमेल में या एक समान गति से चलने लगते हैं, या कमरे में "ऊर्जा" बढ़ जाती है।
  • गणित: CASPIAN प्रभाव मानचित्र के "आकार" को देखता है।
    • एम्प्लीफिकेशन (Amplification): क्या "शोर" तेज़ हो रहा है? (प्रभाव बढ़ रहा है)।
    • सिंक्रोनाइज़ेशन (Synchronization): क्या एजेंट एक कठोर, दोहराव वाले पैटर्न में लॉक हो रहे हैं? (स्पेक्ट्रल गैप कम हो रहा है, जिसका अर्थ है कि सिस्टम अपनी लचीलापन खो रहा है और एक लूप में फंस रहा है)।
    • क्रॉस-चैनल स्प्रेड (Cross-Channel Spread): क्या बुरा प्रभाव चैट से मेमोरी और टूल्स तक एक साथ कूद रहा है?
  • यदि सिस्टम इन विशिष्ट पैटर्न को देखता है, तो वह जानता है कि एक कैस्केड (Cascade) बन रहा है, भले ही टेक्स्ट निर्दोष दिखे।

3. "डिटेक्टिव" (एट्रीब्यूशन - Attribution)

एक बार जब CASPIAN अलार्म बजा देता है, तो वह केवल यह नहीं कहता कि "कुछ गलत है।" यह अपराधी और अपराध के मार्ग को खोजने के लिए एक जासूस की तरह काम करता है। यह पहचानता है:

  • ओरिजिन (Origin): वह पहला एजेंट जो संक्रमित हुआ (पेशेंट ज़ीरो)।
  • एम्प्लीफायर (Amplifier): वह एजेंट जिसने त्रुटि को दोहराकर या बढ़ाकर समस्या को और खराब कर दिया।
  • ब्रिज (Bridge): वह एजेंट जिसने संक्रमण को टीम के एक हिस्से से दूसरे हिस्से तक पहुँचाया।
  • स्पाइन (Spine): वह मुख्य राजमार्ग जिस पर बुरा प्रभाव यात्रा कर रहा था।

4. यह तेज़ और हल्का क्यों है

पेपर का दावा है कि CASPIAN अविश्वसनीय रूप से कुशल है।

  • उदाहरण: अधिकांश सुरक्षा प्रणालियाँ एक भारी सुरक्षा गार्ड की तरह हैं जो हर बैग की जाँच करने के लिए पूरी लाइन को रोकता है। CASPIAN एक स्मार्ट कैमरे की तरह है जो वास्तविक समय में ट्रैफ़िक के प्रवाह को देखता है।
  • यह 1% से भी कम देरी (delay) जोड़ता है। इसे पुराने लॉग्स को फिर से पढ़ने या मानव सहायता मांगने की आवश्यकता नहीं है; यह बातचीत के दौरान चलते समय ही "इन्फ्लुएंस स्कोर" की गणना करता है।

5. परिणाम

शोधकर्ताओं ने विभिन्न एआई फ्रेमवर्क (जैसे AutoGen और CrewAI) में दो प्रमुख बेंचमार्क (TAMAS और ACIArena) का उपयोग करके अन्य सुरक्षा विधियों (जैसे टेक्स्ट फिल्टर और एआई जज) के विरुद्ध CASPIAN का परीक्षण किया।

  • परिणाम: CASPIAN ने अन्य तरीकों की तुलना में हमलों को बहुत पहले और अधिक सटीकता से पकड़ा।
  • "अर्ली वार्निंग" (Early Warning): यह अक्सर बातचीत के पहले कुछ दौरों के भीतर ही हमले का पता लगा सकता था, जबकि अन्य विधियाँ तब तक प्रतीक्षा करती थीं जब तक कि नुकसान न हो जाए या वे इसे पूरी तरह से मिस कर देती थीं।
  • "क्यों": यह इसलिए काम कर गया क्योंकि इसने उनके शब्दों की सामग्री के बजाय टीम की बातचीत की संरचना (structure) को देखा।

सारांश में:
CASPIAN एआई टीमों के लिए एक वास्तविक समय का "इन्फ्लुएंस रडार" है। किसी एजेंट के कुछ बुरा कहने का इंतज़ार करने के बजाय, यह देखता है कि एजेंट एक-दूसरे को कैसे धकेलते और खींचते हैं। यदि यह देखता है कि टीम उनके चैट, मेमोरी और टूल्स के माध्यम से एक खतरनाक, स्वयं को सुदृढ़ करने वाले लूप में फंस रही है, तो यह तुरंत विफलता के स्रोत और मार्ग की पहचान करता है, जिससे पूरे सिस्टम के क्रैश होने से पहले ही कैस्केड को रोका जा सकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →