कल्पना कीजिए एक ऐसी दुनिया की जहाँ कंप्यूटर केवल सवालों के जवाब ही नहीं देते, बल्कि हमारे लिए काम भी करते हैं। वे उड़ानों की बुकिंग कर सकते हैं, कोड लिख सकते हैं, या एक डिजिटल टीम के रूप में एक-दूसरे से बात करके चिकित्सा सलाह पर शोध कर सकते हैं। यह मल्टी-एजेंट एआई (Multi-Agent AI) सिस्टम की दुनिया है। इसे एक निर्माण दल (construction crew) की तरह समझें: आपके पास एक प्लानर (Planner) है जो ब्लूप्रिंट तैयार करता है, एक्जीक्यूटर्स (Executors) हैं जो वास्तव में ईंटें बिछाते हैं या दीवारों पर पेंट करते हैं, और एक क्रिटिक (Critic) है जो यह जाँचने के लिए घूमता है कि काम ब्लूप्रिंट के अनुसार हो रहा है या नहीं।

लंबे समय तक, लोगों को चिंता थी कि इन एआई टीमों को कुछ अभद्र या खतरनाक कहने के लिए बहकाया जा सकता है (जैसे कि "जेलब्रेक")। लेकिन यह शोध पत्र एक अधिक चालाक समस्या की ओर इशारा करता है: क्या होगा अगर कोई काम शुरू होने से पहले ही प्लानर को धोखा दे दे? यदि ब्लूप्रिंट गलत बना है, तो टीम द्वारा बिछाई गई हर एक ईंट गलत जगह होगी, और काम की जाँच करने वाला व्यक्ति भी इसे नोटिस नहीं कर पाएगा क्योंकि वह उसी खराब ब्लूप्रिंट को देख रहा है। यह शोध पत्र बताता है कि कैसे हमलावर योजना चरण में एक "जहरीली" (poisoned) सूचना डाल सकते हैं, जिससे पूरी टीम बिना किसी को पता चले पटरी से उतर सकती है।

द ग्रेट ब्लूप्रिंट हाइस्ट: प्लानफ्लिप (PlanFlip)

मिलिए प्लानफ्लिप (PlanFlip) से, तोड़ने का एक नया तरीका जिसे फुदान यूनिवर्सिटी के शोधकर्ताओं ने खोजा है। उन्होंने पाया कि एआई टीम के लिए सबसे खतरनाक क्षण वह नहीं है जब कार्यकर्ता व्यस्त होते हैं; बल्कि वह है जब प्लानर काम की सूची (to-do list) तैयार कर रहा होता है।

एक विशिष्ट एआई टीम में, प्लानर आपके बड़े लक्ष्य (जैसे "पेरिस की यात्रा की योजना बनाएं") को लेता है और उसे छोटे चरणों में तोड़ देता है ("फ्लाइट बुक करें," "होटल खोजें," "टिकट खरीदें")। शोध पत्र दिखाता है कि यदि कोई हमलावर प्लानर के नोट्स में एक फर्जी संदेश डाल देता है—जिसे सामान्य टूल आउटपुट या सहायक दस्तावेज़ के रूप में छिपाया गया हो—तो वे पूरे मिशन को हाईजैक कर सकते हैं। यह एक घुसपैछे की तरह है जो आर्किटेक्ट के कान में फुसफुसाता है, "ओह, वैसे, क्लाइंट वास्तव में समुद्र के बीच में एक महल चाहता है," और आर्किटेक्ट, बहुत आज्ञाकारी होते हुए, पूरे महल का ब्लूप्रिंट बना देता है। अचानक, पूरी टीम समुद्र में एक महल बना रही है, और क्रिटिक (सुरक्षा जाँचकर्ता) सिर हिलाकर सहमति दे रहा है, यह सोचकर कि सब कुछ एकदम सही है।

शोधकर्ता इसे कैस्केड एम्प्लीफिकेशन (Cascade Amplification) कहते हैं। एक-एक करके कदम तोड़ने के बजाय, एक ही गलत इंजेक्शन सभी उप-कार्यों (sub-tasks) को एक साथ बर्बाद कर देता है। उन्होंने नौ अलग-अलग सुपर-स्मार्ट एआई मॉडल पर परीक्षण किया, 3,400 से अधिक विभिन्न परिदृश्य चलाए, और कुछ आश्चर्यजनक बातें पाईं।

1. स्मार्ट होने का मतलब सुरक्षित होना नहीं है

आप सोच सकते हैं कि सबसे शक्तिशाली, बुद्धिमान एआई मॉडल को धोखा देना सबसे कठिन होगा। शोध पत्र इसके विपरीत सुझाव देता है। अपने परीक्षणों में, सबसे नया और सक्षम मॉडल, GPT-5, वास्तव में सबसे अधिक बार धोखा खा गया, जिसकी सफलता दर 0.68 (इसका अर्थ है कि यह 68% बार जाल में फंस गया) थी। शोधकर्ताओं ने पाया कि क्योंकि ये मॉडल निर्देशों का पालन करने में बहुत अच्छे होने के लिए प्रशिक्षित किए गए हैं, इसलिए वे नकली निर्देशों का पालन करने में भी बहुत अच्छे हैं यदि वे आधिकारिक लगते हैं। यह एक बहुत ही विनम्र बटलर की तरह है जो दूसरों की सेवा करने के लिए इतना उत्सुक है कि वह अनजाने में एक अजनबी को घर में आने देता है क्योंकि उस अजनबी ने एक विश्वसनीय वर्दी पहनी हुई थी।

2. "सेम-टीम चेक" की अंध बिंदु (Blind Spot)

यहाँ सबसे भयावह खोज है: कोरिलेटेड-एजेंट ब्लाइंड स्पॉट (Correlated-Agent Blind Spot)। आज की अधिकांश एआई टीमें एक ही "मस्तिष्क" (या बैकबोन मॉडल) का उपयोग करके बनाई जाती हैं, जो प्लानर, वर्कर्स और क्रिटिक के लिए होता है। शोध पत्र ने पाया कि जब प्लानर को धोखा दिया जाता है, तो क्रिटिक को भी धोखा मिल जाता है! क्योंकि वे एक ही मस्तिष्क साझा करते हैं, वे दोनों एक ही विकृत वास्तविकता देखते हैं।

GPT-4o और Llama-3.3-70B जैसे मॉडलों के साथ परीक्षणों में, हमला 100% समय सफल रहा और क्रिटिक ने कभी कोई चेतावनी नहीं दी। क्रिटिक ने रिपोर्ट किया कि सब कुछ "संरेखित" (aligned) और सुरक्षित था, भले ही योजना पूरी तरह से गलत थी। यह साबित करने के लिए कि यह केवल एक ग्लिच नहीं था, शोधकर्ताओं ने काम की जाँच करने के लिए दो अलग एआई जज (अलग परिवारों के) को बुलाया। उन बाहरी जजों ने पुष्टि की कि योजनाएं वास्तव में खराब थीं, जिसमें गुणवत्ता में भारी गिरावट आई थी, लेकिन मूल टीम का क्रिटिक इस बात के प्रति पूरी तरह से अंधा था। यह एक सुरक्षा गार्ड और एक चोर के जुड़वां होने जैसा है; यदि चोर गार्ड को धोखा देता है, तो गार्ड कभी चोरी की रिपोर्ट नहीं करेगा क्योंकि उसे लगता है कि चोर की हरकतें सामान्य हैं।

3. "रीजनिंग" (तर्क करने की) महाशक्ति

सभी मॉडल इस चाल का शिकार नहीं हुए। शोध पत्र में पाया गया कि DeepSeek-R1, एक मॉडल जो एक विशेष "सोचने" की प्रक्रिया का उपयोग करता है (जैसे कार्य करने से पहले अपने चरणों पर चर्चा करना), पूरी तरह से सुरक्षित था। इसने हमलावरों के लिए 0.00 की सफलता दर हासिल की। ऐसा लगता है कि जब कोई मॉडल मूल लक्ष्य के विरुद्ध अपने तर्क की दोबारा जाँच करने के लिए रुकता है, तो वह नकली निर्देशों को पहचान सकता है और उन्हें अनदेखा कर सकता है। यह सुझाव देता है कि एआई को "बोलने से पहले सोचने" के लिए मजबूर करना इस तरह के हमलों के खिलाफ एक प्राकृतिक ढाल हो सकता है।

टूटे हुए ब्लूप्रिंट को कैसे ठीक करें

शोधकर्ताओं ने केवल समस्या ही नहीं खोजी; उन्होंने दो तरीके सुझाए हैं, जिन्हें वे GoalAnchorCheck और CrossAgentConsensus कहते हैं।

• GoalAnchorCheck एक सख्त फोरमैन की तरह है जो हर एक कदम की मूल लक्ष्य के विरुद्ध लगातार जाँच करता है। "रुको, हम एक महल बना रहे हैं? लक्ष्य तो एक घर था। रुक जाओ!" यह स्पष्ट धोखों के लिए अच्छा काम करता था लेकिन "ब्लाइंड स्पॉट" वाले मॉडलों के खिलाफ विफल रहा क्योंकि फोरमैन उसी मस्तिष्क का उपयोग कर रहा था जिसका उपयोग चोर कर रहा था।
• CrossAgentConsensus वास्तविक गेम-चेंजर है। यह सुझाव देता है कि काम की जाँच करने के लिए एक अलग एआई मॉडल का उपयोग करें। यदि प्लानर और क्रिटिक जुड़वां हैं, तो आपको धोखे को पकड़ने के लिए एक अलग परिवार का तीसरा व्यक्ति चाहिए। शोध पत्र ने पाया कि एक अलग मॉडल का रेफरी के रूप में उपयोग करने से ब्लाइंड स्पॉट पूरी तरह से टूट गया, जिससे उन हमलों को पकड़ा जा सका जिन्हें मूल टीम ने मिस कर दिया था।

मुख्य निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि एआई टीमों की दुनिया में, बैकअप प्लान होना पर्याप्त नहीं है यदि आपका बैकअप प्लान उसी चीज़ से बना है जिससे मूल प्लान बना है। यदि प्लानर, वर्कर्स और क्रिटिक सभी एक ही मस्तिष्क साझा करते हैं, तो वे सभी एक ही तरह के धोखों के प्रति संवेदनशील हैं। लेखक सुझाव देते हैं कि विविधता (Diversity) ही एकमात्र वास्तविक सुरक्षा है। आपको अलग-अलग प्रकार के एआई मॉडल्स से बनी एक टीम की आवश्यकता है ताकि यदि एक को धोखा दिया जाए, तो दूसरे गलती को पकड़ सकें।

संक्षेप में, शोध पत्र चेतावनी देता है कि जैसे-जैसे हम अधिक जटिल एआई टीमें बना रहे हैं, हम केवल उन्हें स्मार्ट बनाकर उन पर भरोसा नहीं कर सकते; हमें यह सुनिश्चित करना होगा कि वे एक-दूसरे से अलग हों, अन्यथा एक अकेली चालाक चाल पूरी टीम को अराजक स्थिति में बदल सकती है और किसी को पता भी नहीं चलेगा।