🤖 machine learning

When Local Monitors Miss Compositional Harm: Diagnosing Distributed Backdoors in Multi-Agent Systems

यह शोध पत्र प्रदर्शित करता है कि मल्टी-एजेंट LLM सिस्टम में स्थानीय रनटाइम मॉनिटर उन वितरित बैकडोर्स (distributed backdoors) का पता लगाने में विफल रहते हैं जब हानिकारक पेलोड को व्यक्तिगत रूप से निर्दोष अंशों में विभाजित किया जाता है, जो एक अवलोकन सीमा (observability boundary) स्थापित करता है जहाँ सुरक्षा केवल तभी सुनिश्चित की जा सकती है जब असेंबल की गई वस्तु का पता लगाया जाए या उस अंतर्निहित प्रतिनिधित्व तक पहुँचा जाए जहाँ क्षति उजागर होती है।

मूल लेखक: Yibo Hu, Ren Wang

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yibo Hu, Ren Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, हाई-टेक फैक्ट्री के सुरक्षा गार्ड हैं। आपका काम बुरे लोगों को खतरनाक सामान (contraband) अंदर घुसने से रोकना है। आमतौर पर, आप कन्वेयर बेल्ट पर आने वाले हर एक पैकेज की जांच करते हैं। अगर कोई बॉक्स संदिग्ध लगता है, तो आप उसे रोक देते हैं। अगर वह सामान्य दिखता है, तो आप उसे जाने देते हैं।

AI की दुनिया में, ये "पैकेज" अलग-अलग AI एजेंटों के बीच भेजे जाने वाले संदेश हैं जो मिलकर काम कर रहे हैं। मानक सुरक्षा नियम यह है: हर संदेश की व्यक्तिगत रूप से जांच करें। यदि हर संदेश सुरक्षित दिखता है, तो पूरा सिस्टम सुरक्षित है।

लेकिन, यह शोध पत्र, जिसे यिबो हू और रेन वांग ने लिखा है, इस नियम में एक भयानक खामी का खुलासा करता है। उन्होंने पाया कि बुरे लोग एक खतरनाक "बम" को छोटे, हानिरहित दिखने वाले टुकड़ों में विभाजित कर सकते हैं, उन्हें अलग-अलग पैकेजों में छिपा सकते हैं, और आपके सुरक्षा गार्ड को धोखा दे सकते हैं।

"फ्रेंकेंस्टीन" बम

यहाँ चाल यह है: हमलावर एक बड़ा बुरा संदेश नहीं भेजते। इसके बजाय, वे तीन अलग-अलग रिपोर्ट भेजते हैं।

रिपोर्ट 1: "डेटा रिट्रीवल पूर्ण; 247 प्रविष्टियाँ दर्ज की गईं।" (बिल्कुल सामान्य दिखता है।)
रिपोर्ट 2: "विश्लेषण समाप्त; कोई विसंगति नहीं पाई गई।" (यह भी ठीक दिखता है।)
रिपोर्ट 3: "सारांश तैयार; सभी कार्य पूर्ण।" (पूरी तरह से निर्दोष।)

आपका सुरक्षा गार्ड रिपोर्ट 1 की जांच करता है। पास। रिपोर्ट 2 की जांच करता है। पास। रिपोर्ट 3 की जांच करता है। पास। गार्ड अपना काम बखूबी कर रहा है! हर एक जांच सही है।

लेकिन फिर, एक अंतिम AI एजेंट उन तीनों रिपोर्टों को लेता है और उन्हें आपस में जोड़ देता है। अचानक, वे टुकड़े अपनी जगह पर फिट हो जाते हैं और एक गुप्त, निष्पादित (executable) कंप्यूटर प्रोग्राम बन जाते हैं जो पासवर्ड चुराता है और उन्हें हैकर को भेज देता है। "बम" केवल तभी अस्तित्व में आता है जब टुकड़ों को जोड़ा जाता है। खतरा किसी एक पैकेज में नहीं था; खतरा उसके संयोजन (assembly) में था।

लेखक इसे "ऑब्जर्वेबिलिटी बाउंड्री" (Observability Boundary) कहते हैं। यह एक रेखा है। एक बार जब बुरे टुकड़ों को इतनी अच्छी तरह से तोड़ दिया जाता है कि वे साधारण, उबाऊ ट्रैफिक की तरह दिखने लगते हैं, तो आपका सुरक्षा गार्ड अंधा हो जाता है। गार्ड चाहे कितना भी स्मार्ट क्यों न हो, यदि वह केवल एक समय में एक ही टुकड़े को देखता है, तो वह खतरे को नहीं देख सकता।

गार्ड क्या गलत करता है

यह पत्र स्पष्ट रूप से उन चीजों के खिलाफ तर्क देता है जिनकी लोग उम्मीद कर सकते हैं:

विभाजन (Splitting) समस्या नहीं है: आप सोच सकते हैं, "ओह, अगर हम बस उन्हें संदेश को विभाजित करने से रोक दें, तो हम सुरक्षित रहेंगे।" लेखक कहते हैं नहीं। भले ही संदेश को विभाजित किया गया हो, यदि टुकड़ों में अभी भी "सुराग" (जैसे अजीब कोड शब्द या विचित्र डेटा पथ) मौजूद हैं, तो एक स्मार्ट गार्ड उन्हें पकड़ सकता है। समस्या केवल तब होती है जब टुकड़े स्थानीय रूप से निर्दोष (locally benign) होते हैं—यानी वे 100% सामान्य, उबाऊ टेक्स्ट की तरह दिखते हैं।
अधिक आँखें मदद नहीं करतीं: आप सोच सकते हैं, "क्या होगा अगर हमारे पास एक ऐसा गार्ड हो जो एक साथ सभी संदेश देख सके?" पेपर में इसकी जांच की गई। भले ही गार्ड तीनों रिपोर्टों को एक साथ देखता है, यदि वे अभी भी केवल कच्चे टेक्स्ट (raw text) को देख रहे हैं और उन्हें गुप्त भाषा को "डिकोड" करने का तरीका नहीं पता है, तो वे फिर भी हमले को मिस कर देंगे। अधिक देखना पर्याप्त नहीं है; आपको सही तरह की तस्वीर देखने की आवश्यकता है।
AI कोई जादुई डिकोडर नहीं है: लेखकों ने एक सुपर-स्मार्ट AI का उपयोग करके यह जानने की कोशिश की कि बिना बताए टुकड़ों को कैसे जोड़ा जाए। यह मुश्किल से काम कर पाया। इसने 50 में से केवल 6 हमलों को पकड़ा, जो लगभग अनुमान लगाने जैसा है।

जीतने का एकमात्र तरीका (अभी तक)

तो, आप इसे कैसे रोकते हैं? पेपर दिखाता है कि इस बम को पकड़ने का एकमात्र तरीका यह है कि आप क्या देख रहे हैं, उसे बदल दें।

यदि आपके पास एक "डिकोडर" है जो हमलावरों द्वारा उपयोग की जाने वाली गुप्त भाषा को जानता है, तो आप उन तीन निर्दोष रिपोर्टों को डिकोड कर सकते हैं, और अचानक छिपा हुआ कोड उजागर हो जाता है। अपने परीक्षणों में, जब उन्होंने एक ऐसा डिकोडर इस्तेमाल किया जो हमलावरों के विशिष्ट "कोड परिवार" को जानता था, तो उन्होंने 100% हमलों को रोका (50 में से 50)।

हालाँकि, एक पेच है। यह डिकोडर एक विशिष्ट ताले के लिए मास्टर चाबी रखने जैसा है। यदि हमलावर अपना ताला बदलते हैं (एक अलग कोड परिवार का उपयोग करते हैं), तो डिकोडर काम नहीं कर सकता है। पेपर सुझाव देता है कि हर एक ट्रिक (सिर्फ कोड ही नहीं, बल्कि योजनाएं और विश्वास भी) के लिए एक विशिष्ट डिकोडर की आवश्यकता के बिना, इन छिपे हुए पैटर्न को पहचानने का एक सार्वभौमिक तरीका खोजना भविष्य के शोधकर्ताओं के लिए एक बड़ा, अनसुलझा रहस्य है।

जादू के पीछे के अंक

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने एक नियंत्रित लैब में बहुत सारे परीक्षण किए।

जब हमलावरों ने टुकड़ों को पूरी तरह से सामान्य बनाया (locally benign), तो मानक सुरक्षा जांच संयोग के स्तर (chance level) पर गिर गई (1.0 के पैमाने पर जहाँ 1.0 पूर्ण है, लगभग 0.500)। वे मूल रूप से सिक्का उछाल रहे थे।
लेकिन, जब उन्होंने संयोजित वस्तु को देखा और एक विशेष "वन-क्लास" डिटेक्टर का उपयोग किया (जो केवल सामान्य चीजों पर प्रशिक्षित था ताकि विसंगतियों को पहचाना जा सके), तो उन्होंने सिग्नल को 0.874 के स्कोर के साथ रिकवर किया।
जब उन्होंने "डिकोडेड-व्यू गेट" (वह वाला जिसमें मास्टर की थी) का उपयोग किया, तो उन्होंने 0 में से 50 सफल हमलों को रोका। हमलावर सफल नहीं हो सके।

मुख्य निष्कर्ष

मुख्य निष्कर्ष थोड़ा डरावना लेकिन बहुत स्पष्ट है: स्थानीय सुरक्षा, वैश्विक सुरक्षा नहीं है। सिर्फ इसलिए कि मल्टी-एजेंट सिस्टम में प्रत्येक चरण सुरक्षित दिखता है, इसका मतलब यह नहीं है कि अंतिम परिणाम सुरक्षित है।

लेखकों ने साबित किया कि एक बार जब हानिकारक पेलोड को ऐसे टुकड़ों में विभाजित कर दिया जाता है जो पूरी तरह से हानिरहित दिखते हैं, तो कोई भी स्थानीय डिटेक्टर इसे नहीं पकड़ सकता। जीतने का एकमात्र तरीका उस रूप में "संयोजित वस्तु" को देखना है जहाँ खतरा उजागर हो जाता है। जब तक हम हर प्रकार की ट्रिक (सिर्फ कोड ही नहीं, बल्कि योजनाएं और विश्वास भी) के लिए ऐसा करने का तरीका नहीं खोज लेते, तब तक यह "ऑब्जर्वेबिलिटी बाउंड्री" हमारी AI सुरक्षा नेट में एक मौलिक छेद बनी रहेगी।

यह फ्रैंकेंस्टीन राक्षस को रोकने के लिए उसके शरीर के अलग-अलग अंगों की जांच करने जैसा है। एक हाथ सुरक्षित दिखता है। एक पैर सुरक्षित दिखता है। लेकिन उन्हें एक साथ रखें, और आपके पास एक राक्षस होता है। पेपर हमें बताता है कि हमें अंगों की जांच करना बंद करना होगा और यह सीखना शुरू करना होगा कि राक्षस के जागने से पहले उसे कैसे देखा जाए।

तकनीकी सारांश: जब स्थानीय मॉनिटर संरचनात्मक हानि (Compositional Harm) को पहचानने में विफल रहते हैं

समस्या की परिभाषा
यह शोध पत्र मल्टी-एजेंट, टूल-उपयोग करने वाले LLM सिस्टम की सुरक्षा में एक मौलिक अंतराल को संबोधित करता है। वर्तमान रनटाइम सुरक्षा प्रणालियाँ आमतौर पर लोकल मॉनिटर्स (स्थानीय निगरानी यंत्रों) का उपयोग करती हैं जो दुर्भावनापूर्ण इरादे का पता लगाने के लिए व्यक्तिगत संदेशों, टूल कॉल्स, या चरणों का अलग-अलग निरीक्षण करती हैं। लेखक तर्क देते हैं कि डिस्ट्रीब्यूटेड बैकडोर्स (वितरित बैकडोर्स) का सामना करते समय इस दृष्टिकोण में एक "मौलिक छेद" होता है। ऐसे हमलों में, एक हानिकारक पेलोड को कई एजेंटों और चरणों में विभाजित किया जाता है। हालांकि असेंबल किया गया परिणाम हानिकारक होता है (जैसे कि क्रेडेंशियल चुराने वाला निष्पादन योग्य कोड), प्रत्येक व्यक्तिगत अंश एक लोकल मॉनिटर के लिए सामान्य और हानिरहित प्रतीत होता है।

मुख्य समस्या केवल हमले के विभाजन की नहीं है, बल्कि अंशों की लोकल बेनाइननेस (स्थानीय रूप से हानिरहित होने की स्थिति) की है। यदि प्रत्येक अंश सामान्य, सुरक्षित ट्रैफ़िक की तरह दिखता है और उसमें कोई संदिग्ध टोकन या प्रोवेनेंस एजेस (provenance edges) नहीं हैं, तो एक लोकल मॉनिटर इसे सुरक्षित ट्रैफ़िक से अलग नहीं कर सकता, चाहे डिटेक्टर कितना भी शक्तिशाली क्यों न हो। हानि केवल अंशों के कम्पोज़िशन (संयोजन/संरचना) में मौजूद होती है।

कार्यप्रणाली और औपचारिकता (Methodology and Formalization)
लेखक इस सीमा को एक ऑब्जर्वेबिलिटी बाउंड्री (अवलोकन सीमा) के रूप में औपचारिक रूप देते हैं। वे एक मॉनिटर की क्षमता को उसके ऑब्जर्वेशन विंडो (वह क्या देखता है: एक एकल अंश, अंशों का पूरा सेट, या असेंबल किया गया ऑब्जेक्ट) और इस आधार पर परिभाषित करते हैं कि क्या वह उस ऑब्जेक्ट के डिकोडेड रिप्रेजेंटेशन (विकृत रूप) तक पहुँच सकता है।

औपचारिक स्थितियाँ (Formal Conditions): एक हमले को तब "लोकलली बेनाइन" माना जाता है जब प्रत्येक अंश $x_i$ मॉनिटर के दृश्य $v$ में हानिरहित होता है ( $h(v(x_i)) = 0$ ), लेकिन असेंबल किया गया ऑब्जेक्ट $C(x_1, \dots, x_K)$ हानिकारक होता है ( $h(C) = 1$ )।
अविभेद्यता (Indistinguishability): पेपर में $\epsilon$ -लोकल इंडिस्टिंग्विशेबिलिटी पेश की गई है, जहाँ मॉनिटर के दृश्य में बेनाइन अंशों और अटैक अंशों के वितरण के बीच टोटल वेरिएशन डिस्टेंस छोटा ( $\le \epsilon$ ) होता है।
सैद्धांतिक सीमा (Proposition 1): लेखक सिद्ध करते हैं कि यदि अंश $\epsilon$ -लोकलली इंडिस्टिंग्विशेबल हैं, तो केवल एक एकल स्थानीय अवलोकन पर संचालित होने वाला कोई भी निर्णय नियम (decision rule) डिटेक्शन एडवांटेज (ट्रू पॉजिटिव रेट माइनस फॉल्स पॉजिटिव रेट) $\epsilon$ से अधिक प्राप्त नहीं कर सकता है। इसका तात्पर्य यह है कि यदि ऑब्जर्वेशन विंडो नहीं बदलती है, तो स्थानीय क्लासिफायर को मजबूत करना निरर्थक है।

प्रायोगिक सेटअप (Experimental Setup)
यह अध्ययन कोलेबोरेटिव शैडोज़ (Collaborative Shadows) नामक एक नियंत्रित टेस्टबेड के साथ-साथ R-Judge, AgentDojo, और DemonAgent जैसे बाहरी बेंचमार्क का उपयोग करता है।

लोकैलिटी स्वीप (Locality Sweep): लेखक अंशों के भीतर हमले के साक्ष्य की दृश्यता को नियंत्रित करते हैं, जो "दृश्यमान किनारों" (जैसे, स्पष्ट सोर्स-टू-सिंक डेटा पाथ) से लेकर "लोकलली बेनाइन" अंशों (जहाँ सभी सुराग हटा दिए गए हैं) तक भिन्न होता है।
मॉनिटर के प्रकार: वे विभिन्न मॉनिटर्स का मूल्यांकन करते हैं:
- लोकल (Local): प्रति-चरण सांख्यिकीय डिटेक्टर, टेन्ट एनालिसिस (डेटा फ्लो को ट्रैक करना)।
- असेंबली (Assembly): मॉनिटर जो असेंबल किए गए टेक्स्ट को देखते हैं लेकिन डिकोडिंग को नहीं (मार्कर-आधारित, मार्कर-मुक्त, कोडेक-ब्लाइंड)।
- डिकोडेड (Decoded): एक "डिकोडेड-व्यू गेट" जो निष्पादन से पहले पेलोड को डिकोड करता है (एक डायग्नोस्टिक सीलिंग के रूप में उपयोग किया जाता है, न कि एक तैनात रक्षा के रूप में)।
पेलोड (Payloads): मुख्य ध्यान संरचित कोड-पेलोड असेंबली (जैसे, क्रेडेंशियल एक्सफिल्ट्रेशन के लिए पायथन स्क्रिप्ट) पर है जिसे बेनाइन रिपोर्ट वाहकों के भीतर $K=3$ अंशों में विभाजित किया गया है।

प्रमुख परिणाम

बेनाइन अंशों पर लोकल मॉनिटर विफल होते हैं: जैसे-जैसे अंश लोकलली बेनाइन होते जाते हैं (संदिग्ध टोकन या दृश्य किनारे खो देते हैं), प्रति-चरण मॉनिटर और टेन्ट चेक अपनी प्रदर्शन क्षमता खोकर संयोग (chance) के स्तर पर आ जाते हैं (AUROC $\approx 0.5$ )। यह AgentDojo पर प्रशिक्षित मजबूत न्यूरल डिटेक्टरों के लिए भी सत्य है।
विभाजन (Splitting) कारण नहीं है: विफलता विभाजन के कारण नहीं है, बल्कि स्थानीय दृश्य से उपयोगी साक्ष्यों के हटने के कारण है। यदि अंश संदिग्ध आर्टिफैक्ट्स बनाए रखते हैं, तो लोकल मॉनिटर उन्हें पहचान सकते हैं।
असेंबली के माध्यम से रिकवरी: "लुप्त सिग्नल" तभी पुनः प्रकट होता है जब मॉनिटर असेंबल किए गए ऑब्जेक्ट को देखता है।
- एक मार्कर-फ्री असेंबली मॉनिटर (जो केवल बेनाइन ट्रैफ़िक पर प्रशिक्षित एक-क्लास आइसोलेशन फॉरेस्ट है) होल्ड-आउट एनकोडिंग परिवारों के विरुद्ध हमले की संरचना को सफलतापूर्वक रिकवर करता है, और 0.874 का औसत AUROC प्राप्त करता है। यह विशिष्ट एनकोडिंग या मार्कर्स को जानने की आवश्यकता के बिना, कोड-स्ट्रक्चर डेंसिटी और पार्शियल पारसेबिलिटी के आधार पर हमले का पता लगाता है।
- एक सुपरवाइज्ड असेंबली मॉनिटर पूर्ण पृथक्करण (AUROC 1.000) प्राप्त करता है।
प्रतिनिधित्व (Representation) महत्वपूर्ण है: केवल ऑब्जर्वेशन विंडो को चौड़ा करना (सभी अंश देखना) पर्याप्त नहीं है यदि प्रतिनिधित्व अभी भी एनकोडेड रहता है।
- कोडेक-ब्लाइंड मॉनिटर (सभी अंश देखते हैं लेकिन डिकोड करने में असमर्थ हैं) हमलों को रोकने में विफल रहते हैं (ASR उच्च रहता है)।
- डिकोडेड-व्यू गेट्स (यदि एनकोडिंग फैमिली ज्ञात हो) सभी परीक्षण किए गए मॉडलों में 100% हमलों को रोकते हैं।
- कोडेक ज्ञान के बिना पेलोड को पुनर्गठित करने के लिए LLM का उपयोग करने के प्रयास (नो-कोडेक सर्च) संयोग के करीब प्रदर्शन करते हैं, एक कैलिब्रेटेड, डिकोडेड प्रतिनिधित्व बनाने में विफल रहते हैं।
सामान्यीकरण (Generalizability): यह सीमा विभिन्न मॉडल आकारों (Llama-3.1-8B से Qwen2.5-32B तक) और विभिन्न अटैक कोडेक्स (स्वतंत्र रूप से प्रकाशित DemonAgent डायनेमिक एन्क्रिप्शन सहित) में बनी रहती है। हालाँकि, विशिष्ट रिकवरी तंत्र (कोड-स्ट्रक्चर विश्लेषण) गैर-कोड पेलोड (जैसे, प्राकृतिक भाषा निर्देश) में स्थानांतरित नहीं होता है, जहाँ सिग्नल संयोग से नीचे गिर जाता है।

महत्व और दावे
पेपर का दावा है कि जब हानि कम्पोजिशनल (संयोजन संबंधी) होती है, तो लोकल सुरक्षा, ग्लोबल सुरक्षा नहीं होती। उनका प्राथमिक योगदान ऑब्जर्वेबिलिटी बाउंड्री की पहचान करना है: एक मॉनिटर हमले का पता नहीं लगा सकता यदि अंश उसके विशिष्ट दृश्य में बेनाइन ट्रैफ़िक से अविभेद्य (indistinguishable) हैं।

डायग्नोस्टिक वैल्यू (नैदानिक मूल्य): उच्च स्थानीय पहचान दर (high local detection rates) कम्पोजिशनल हमलों के खिलाफ सुरक्षा की गारंटी नहीं देती है। मूल्यांकन इस बात पर विचार करना चाहिए कि क्या मॉनिटर उस प्रतिनिधित्व को देख रहा है जहाँ हानि बनती है।
रक्षा संबंधी निहितार्थ: समाधान एक मजबूत स्थानीय क्लासिफायर नहीं है, बल्कि असेंबल किए गए प्रतिनिधित्व को रिकवर करने के लिए ऑब्जर्वेशन विंडो में बदलाव करना है।
खुली समस्या (Open Problem): पेपर निष्कर्ष निकालता है कि खुला चैलेंज कोड-जैसे नुकसान (जैसे, प्लान, विश्वास, या प्राकृतिक भाषा प्रतिबद्धताओं) के परे सही प्रतिनिधित्व खोजना है, और वह भी बिना किसी ऑरेकल डिकोडर की आवश्यकता के। वर्तमान सफलता उन परिदृश्यों तक सीमित है जहाँ असेंबल किया गया पेलोड एक रिकवरेबल स्ट्रक्चर (जैसे कोड) को उजागर करता है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य रक्षात्मक है, जिसका उद्देश्य यह निदान करना है कि मॉनिटर कब साक्ष्य खो देते हैं, और वे कोई नई गुप्त क्षमताएं प्रस्तावित नहीं कर रहे हैं या पूरी तरह से गुप्त प्राकृतिक-भाषा स्व-पुनर्गठन (self-reassembly) की समस्या को हल नहीं कर रहे हैं।

"फ्रेंकेंस्टीन" बम

गार्ड क्या गलत करता है

जीतने का एकमात्र तरीका (अभी तक)

जादू के पीछे के अंक

मुख्य निष्कर्ष

इसी तरह के और पेपर