Poisoning Agentic Alpha: Adversarial Vulnerabilities Across Roles and Architectures in Multi-Agent Trading Systems
यह शोध पत्र पहला व्यवस्थित अनुभवजन्य अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि LLM-आधारित मल्टी-एजेंट ट्रेडिंग सिस्टम स्वाभाविक रूप से स्रोत डेटा और प्रॉम्प्ट्स को लक्षित करने वाले कम-बाधा वाले, भूमिका-विशिष्ट प्रतिकूल हमलों (adversarial attacks) के प्रति संवेदनशील हैं, जो यह प्रकट करता है कि कोई भी संचार संरचना अंतिम वित्तीय निर्णयों तक दूषित संकेतों के प्रसार के विरुद्ध सुदृढ़ नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक वित्त की हलचल भरी दुनिया में, एक नए प्रकार के कार्यकर्ता का उदय हुआ है: आर्टिफिशियल इंटेलिजेंस एजेंट। एक साधारण कंप्यूटर प्रोग्राम के विपरीत जो निर्देशों की एक कठोर सूची का पालन करता है, ये एजेंट लार्ज लैंग्वेज मॉडल्स पर आधारित हैं, वही तकनीक जो उन्नत चैटबॉट्स को शक्ति प्रदान करती है। वे समाचार पढ़ सकते हैं, बाजार के रुझानों का विश्लेषण कर सकते हैं, और यहाँ तक कि एक-दूसरे के साथ बातचीत भी कर सकते हैं। एक मल्टी-एजेंट ट्रेडिंग सिस्टम में, इन डिजिटल कार्यकर्ताओं को विशिष्ट कार्य सौंपे जाते हैं, बिल्कुल एक मानव निवेश फर्म की तरह। एक एजेंट विश्लेषक (analyst) के रूप में कार्य कर सकता है, जो सुरागों के लिए सुर्खियों को स्कैन करता है। दूसरा एक शोधकर्ता (researcher) के रूप में कार्य कर सकता है, जो किसी सहकर्मी के साथ स्टॉक के गुणों पर बहस करता है। तीसरा एक ट्रेडर (trader) के रूप में कार्य करता है, जो खरीदने या बेचने के लिए तैयार रहता है, जबकि चौथा एक रिस्क मैनेजर (risk manager) के रूप में कार्य करता है, जिसे किसी भी खतरनाक चाल को रोकने का काम सौंपा गया है। विचार यह है कि सहयोग करके, ये विशिष्ट एजेंट एक एकल प्रोग्राम की तुलना में अधिक स्मार्ट और सूक्ष्म निर्णय ले सकते हैं।
हालाँकि, यही सहयोग एक प्रकार की कमजोरी भी पैदा करता है। जिस तरह एक अफवाह मानव कार्यालय में फैल सकती है और अंतिम निर्णय को प्रभावित कर सकती है, उसी तरह सूचना का एक भ्रष्ट हिस्सा इस डिजिटल टीम के माध्यम से यात्रा कर सकता है और परिणाम को बिगाड़ सकता है। यदि कोई हमलावर उस डेटा को विषाक्त करने में सफल हो जाता है जिसे एक विश्लेषक पढ़ता है, या एक शोधकर्ता को किसी बुरे विचार के पक्ष में तर्क करने के लिए बहला लेता है, तो वह त्रुटि पूरी समूह में फैल सकती है, जिससे वास्तविक वित्तीय हानि हो सकती है। जैसे-जैसे ये सिस्टम रिसर्च लैब से लाइव मार्केट की ओर बढ़ रहे हैं जहाँ वे वास्तविक धन को नियंत्रित करते हैं, यह समझना कि उन्हें कैसे ठगा जा सकता है, एक अत्यंत महत्वपूर्ण व्यावहारिक विषय बन गया है।
शोधकर्ताओं की एक टीम ने यह मानचित्रण करने का प्रयास किया कि ये डिजिटल टीमें वास्तव में कैसे विफल होती हैं। उन्होंने पांच प्रमुख संपत्तियों (assets) का उपयोग करके एक सिम्युलेटेड ट्रेडिंग वातावरण बनाया, जिसमें एप्पल और माइक्रोसॉफ्ट जैसे स्टॉक्स और एक क्रिप्टोकरेंसी शामिल थी। उन्होंने एक पाइपलाइन बनाई जहाँ एजेंट चार अलग-अलग भूमिकाओं में संवाद करते थे: एक विश्लेषक टीम जो समाचार और सोशल मीडिया सेंटिमेंट एकत्र करती है, एक शोध टीम जो बाजार की स्थितियों पर बहस करती है, एक ट्रेडर जो अंतिम निर्णय लेता है, और एक रिस्क मैनेजर जो सुरक्षा जाल के रूप में कार्य करता है। फिर शोधकर्ताओं ने अदृश्य हमलावरों की भूमिका निभाई, और यह परीक्षण किया कि वे सिस्टम के अंतिम निर्णय को हेरफेर करने के लिए विभिन्न हिस्सों पर हमला करके कितनी आसानी से प्रभावित कर सकते हैं। उनके पास एजेंटों के आंतरिक कोड तक पहुँच नहीं थी; इसके बजाय, उन्होंने केवल उस जानकारी का उपयोग किया जिसे एजेंटों को उपभोग करने के लिए डिज़ाइन किया गया था, जैसे समाचार लेख, सोशल मीडिया पोस्ट और एजेंटों को दिए गए प्रॉम्प्ट्स। यह दृष्टिकोण एक यथार्थवादी खतरे की नकल करता है जहाँ हमलावर सिस्टम के बाहर होता है लेकिन इसमें प्रवाहित होने वाले डेटा को प्रभावित कर सकता है।
अध्ययन से पता चला कि टीम के सभी हिस्से समान रूप से असुरक्षित नहीं हैं। जब शोधकर्ताओं ने विश्लेषकों को निशाना बनाया और उन्हें फर्जी खबरें या सोशल मीडिया पोस्ट में छिपे हुए निर्देश खिलाए, तो सिस्टम कभी-कभी धोखा खा गया, लेकिन अक्सर अन्य एजेंटों ने त्रुटि को पकड़ लिया। जब उन्होंने शोधकर्ताओं को निशाना बनाया, जो "बुल" (आशावादी) और "बियर" (निराशावादी) दृष्टिकोण के बीच बहस में लगे थे, तो सिस्टम को अधिक आसानी से प्रभावित किया जा सका, विशेष रूप से यदि हमलावर ने डर या उत्साह के साथ खेलने वाली प्रभावशाली भाषा का उपयोग किया। हालाँकि, सबसे खतरनाक भेद्यता (vulnerability) रिस्क मैनेजर में पाई गई। यह एजेंट एक अंतिम द्वारपाल (gatekeeper) के रूप में होना चाहिए, जो यह जाँचता है कि कोई भी खतरनाक ट्रेड न किया जाए। शोधकर्ताओं के सिमुलेशन में, जब वे रिस्क मैनेजर को अपने स्वयं के सुरक्षा नियमों को अनदेखा करने के लिए सफलतापूर्वक बहलाने में सफल रहे, तो हमला लगभग हर बार सफल रहा। वास्तव में, जब भी संभव हुआ, रिस्क मैनेजर 98 प्रतिशत से अधिक दिनों में समझौताग्रस्त (compromised) हो गया। ऐसा इसलिए हुआ क्योंकि रिस्क मैनेजर ही अंतिम निर्णय लेने वाला भी था; एक बार जब उसे मूर्ख बना दिया गया, तो बुरा ट्रेड रोकने के लिए कोई और नहीं बचा था।
शोधकर्ताओं ने यह भी परीक्षण किया कि एजेंट एक-दूसरे से कैसे बात करते हैं, यह उनकी सुरक्षा को कैसे प्रभावित करता है। उन्होंने चार अलग-अलग टीम संरचनाओं का परीक्षण किया: एक विकेंद्रीकृत समूह जहाँ हर कोई वोट देता है, एक केंद्रीकृत समूह जहाँ एक एजेंट सबकी बात सुनता है और निर्णय लेता है, एक रैखिक श्रृंखला (linear chain) जहाँ सूचना एक से दूसरे तक पहुँचती है, और एक हाइब्रिड मॉडल जहाँ एजेंट दूसरों की बातों के आधार पर अपने विचारों को संशोधित करते हैं। उन्होंने पाया कि कोई भी एकल संरचना एक आदर्श ढाल नहीं थी। जबकि एक विकेंद्रीकृत मतदान प्रणाली आम तौर पर अधिक मजबूत थी, इसे फिर भी तोड़ा जा सकता था यदि हमलावर पर्याप्त वोटरों को प्रभावित करने में सफल हो जाते। इसके विपरीत, एक केंद्रीकृत प्रणाली अक्सर सबसे अधिक असुरक्षित थी, क्योंकि एक समझौताग्रस्त एजेंट अंतिम निर्णय पर हावी हो सकता था। शोधकर्ताओं ने यह मापने का एक तरीका विकसित किया कि एक "बुरे सिग्नल" ने अंतिम निर्णय तक की यात्रा में कितना जीवित रहने की क्षमता रखी, यह पाते हुए कि बातचीत की संरचना मायने रखती थी, लेकिन यह अपने आप में सुरक्षा की गारंटी नहीं दे सकती थी।
इस कार्य की एक केंद्रीय खोज यह है कि केवल अधिक एजेंट जोड़ना या टीम की संरचना बदलना स्वतः ही सिस्टम को सुरक्षित नहीं बनाता है। सिमुलेशन ने दिखाया कि प्रतिकूल संकेत विचार-विमर्श की प्रक्रिया में अक्सर जीवित रहते हैं और अंतिम निर्णय तक पहुँच जाते हैं, चाहे जो भी आर्किटेक्चर उपयोग किया गया हो। हमले की सफलता इस बात पर बहुत अधिक निर्भर थी कि किस संपत्ति का व्यापार किया जा रहा है, हमलावर किस दिशा में सिस्टम को ले जाना चाहता है, और किस विशेष एजेंट को निशाना बनाया गया है। उदाहरण के लिए, एक हमला जिसने "सेल" (बेचने) का निर्णय लेने के लिए मजबूर करने की कोशिश की, वह "बाय" (खरीदने) के निर्णय के लिए मजबूर करने वाले हमले की तुलना में अधिक सफल रहा, क्योंकि सिस्टम का स्वाभाविक झुकाव पहले से ही खरीदने की ओर था। यह सुझाव देता है कि सिस्टम के अपने पूर्वाग्रह कभी-कभी हमलावर की मदद कर सकते हैं, या कभी-कभी इसकी रक्षा कर सकते हैं, जो अप्रत्याशित तरीकों से होता है।
इन हमलों के वित्तीय प्रभाव को भी मापा गया, जिससे एक आश्चर्यजनक विसंगति सामने आई कि हमला कितनी बार सफल हुआ और वास्तव में कितना पैसा नुकसान हुआ। कुछ हमलों ने लगभग हर बार ट्रेडिंग निर्णय को बदल दिया, फिर भी वित्तीय हानि न्यूनतम थी क्योंकि उस समय सिस्टम के पास कोई पोजीशन नहीं थी। अन्य हमले कम बार सफल हुए लेकिन जब वे सफल हुए तो उन्होंने महत्वपूर्ण नुकसान पहुँचाया, विशेष रूप से तब जब उन्होंने सिस्टम को ऐसी स्थिति में डाल दिया जिसे वह अन्यथा टाल देता। यह इंगित करता है कि सिस्टम कितनी बार धोखा खाता है, यह गिनना वास्तविक खतरे को समझने के लिए पर्याप्त नहीं है; आपको ट्रेड के विशिष्ट संदर्भ और पोजीशन के आकार को भी देखना होगा।
अंततः, अध्ययन यह निष्कर्ष निकालता है कि इन मल्टी-एजेंट ट्रेडिंग सिस्टम के लिए कोई स्वाभाविक रूप से मजबूत डिज़ाइन नहीं है। सिस्टम की सुरक्षा एजेंटों की संख्या या उनके संचार की जटिलता पर कम और जानबूझकर किए गए चेक और बैलेंस (checks and balances) पर अधिक निर्भर करती है। शोधकर्ताओं ने पाया कि सुरक्षा को सत्यापन प्रक्रिया (validation process) में ही निर्मित किया जाना चाहिए, यह सुनिश्चित करते हुए कि कोई भी एकल एजेंट, यहाँ तक कि रिस्क मैनेजर भी, समूह के सामूहिक ज्ञान को बिना दूसरे सत्यापन स्तर के बायपास न कर सके। जैसे-जैसे ये सिस्टम लैब से लाइव मार्केट की ओर बढ़ रहे हैं, निष्कर्ष बताते हैं कि डिज़ाइनर केवल आर्किटेक्चर पर सुरक्षा के लिए भरोसा नहीं कर सकते। इसके बजाय, उन्हें ऐसे सिस्टम बनाने चाहिए जहाँ सूचना के प्रवाह की निरंतर जांच की जाए, और जहाँ अंतिम निर्णय कभी भी एक एकल विफलता बिंदु (single point of failure) की एकमात्र जिम्मेदारी न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।