ChronosAttack: Adversarial Tool Scheduling Attacks on LLM Agents
यह शोध पत्र ChronosAttack को प्रस्तुत करता है, जो एक नवीन प्रतिकूल तकनीक (adversarial technique) है जो एसिंक्रोनस (asynchronous) LLM एजेंटों में प्रामाणिक टूल प्रतिक्रियाओं के समय में हेरफेर करती है ताकि सामग्री को संशोधित किए बिना निर्णय परिणामों को बदला जा सके, यह प्रदर्शित करते हुए कि विभिन्न मॉडलों में प्रतिक्रिया का क्रम स्वयं एक महत्वपूर्ण हमला सतह (attack surface) है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कृत्रिम बुद्धिमत्ता (AI) उन प्रणालियों से विकसित होकर अब ऐसे एजेंटों में बदल गई है जो केवल प्रश्न पूछने के बजाय कार्य करने में सक्षम हैं। ये एजेंट डिजिटल सहायकों के रूप में कार्य करते हैं जो बाहरी दुनिया तक पहुँच सकते हैं, जैसे कि मौसम का पूर्वानुमान देखने, उड़ान बुक करने या डेटाबेस प्रविष्टि प्राप्त करने के लिए सॉफ्टवेयर टूल का उपयोग करना। वे केवल एक स्थिर दस्तावेज़ को नहीं पढ़ते; वे एक गतिशील वातावरण के साथ अंतःक्रिया करते हैं, अपने टूल्स के काम पूरा करने का इंतज़ार करते हैं और फिर उस नई जानकारी का उपयोग यह तय करने के लिए करते हैं कि आगे क्या करना है। यह प्रक्रिया घटनाओं के एक क्रम पर निर्भर करती है: एजेंट एक प्रश्न पूछता है, टूल कार्य करता है, टूल एक उत्तर भेजता है, और एजेंट उस उत्तर का उपयोग आगे बढ़ने के लिए करता है। इन प्रणालियों को सुरक्षित और विश्वसनीय बनाने के लिए, हमें न केवल यह समझना होगा कि उन्हें क्या जानकारी प्राप्त हो रही है, बल्कि यह भी कि उस जानकारी का समय (timing) उनके निर्णयों को कैसे आकार देता है।
शोधकर्ता लंबे समय से जानते हैं कि सूचना प्रस्तुत करने का क्रम कैसे किसी मनुष्य या मशीन द्वारा स्थिति की व्याख्या करने के तरीके को बदल सकता है। यदि विकल्पों की एक सूची को पुनर्व्यवस्थित (shuffle) किया जाता है, तो शीर्ष पर स्थित विकल्प अक्सर नीचे वाले की तुलना में अधिक महत्वपूर्ण महसूस होता है। यह शोध पत्र इस सिद्धांत के एक नए और सूक्ष्म तरीके की खोज करता है जिसका उपयोग AI एजेंटों के विरुद्ध किया जा सकता है। 'क्रोनोस अटैक' (ChronosAttack) नामक यह अध्ययन जांच करता है कि क्या एक हमलावर ईमानदार, बिना किसी बदलाव वाले टूल रिस्पॉन्स (tool responses) के आगमन में देरी करके एक एजेंट के अंतिम निर्णय को बदल सकता है। हमलावर को टूल को हैक करने, डेटा बदलने या गलत निर्देश डालने की आवश्यकता नहीं है। उन्हें केवल घड़ी (clock) को नियंत्रित करने की आवश्यकता है, यानी किसी विशिष्ट जानकारी को इतनी देर तक रोक कर रखना जिससे वह एजेंट द्वारा देखे जाने के क्रम को बदल सके।
शोधकर्ताओं ने इस विचार का परीक्षण बड़ी प्रौद्योगिकी कंपनियों के चार अलग-अलग, शक्तिशाली AI मॉडलों पर किया। उन्होंने एक ऐसी स्थिति बनाई जहाँ एक एजेंट को तीन अलग-अलग साक्ष्यों के आधार पर तीन विकल्पों में से एक को चुनना था, जो टूल्स द्वारा प्रदान किए गए थे। एक सामान्य स्थिति में, टूल्स अपने उत्तर एक स्वाभाविक, तार्किक क्रम में लौटाते। हमले वाले परिदृश्य में, शोधकर्ताओं ने विशिष्ट प्रतिक्रियाओं में बहुत कम, नियंत्रित देरी पेश की। ये देरी इतनी कम थी कि इन्हें मिलीसेकंड (एक सेकंड का छोटा हिस्सा) में मापा गया था, लेकिन ये एजेंट द्वारा साक्ष्य प्राप्त करने के क्रम को बदलने के लिए पर्याप्त थीं। साक्ष्य की सामग्री बिल्कुल वही रही; केवल समय बदला गया।
परिणामों ने दिखाया कि समय के इस सरल हेरफेर से एजेंट का निर्णय नाटकीय रूप से बदल सकता है। कुछ मामलों में, देरी के कारण एजेंट ने उच्च विश्वास के साथ अपने निर्णय को एक विशिष्ट लक्ष्य विकल्प की ओर बदल दिया। उदाहरण के लिए, एक मॉडल जिसने शुरू में किसी विकल्प को केवल 10 प्रतिशत बार चुना था, साक्ष्य के क्रम को बदलने पर उसे 83 प्रतिशत बार चुनने लगा। एक अन्य मॉडल ने और भी अधिक नाटकीय प्रतिक्रिया दिखाई, लेकिन विपरीत दिशा में: जब क्रम बदला गया, तो इसने अपने सामान्य चुनाव को लगभग पूरी तरह से त्याग दिया। एक तीसरा मॉडल अपेक्षाकृत स्थिर रहा, जिससे पता चलता कि सभी सिस्टम इस प्रकार के टाइमिंग अटैक के प्रति समान रूप से संवेदनशील नहीं हैं। अध्ययन में पाया गया कि यह प्रभाव उन एजेंटों तक सीमित नहीं था जो पिछले इंटरैक्शन को याद रखते हैं; भले ही एजेंट सारी जानकारी एक साथ प्रोसेस करता था, केवल टेक्स्ट के दिखने के क्रम को बदलना ही निर्णय को बदलने के लिए पर्याप्त था।
शोधकर्ताओं ने यह भी जांचा कि क्या बड़े विलंब (delays) से हमले अधिक शक्तिशाली होंगे। उन्होंने पाया कि विलंब का आकार उतना महत्वपूर्ण नहीं था जितना कि वह विशिष्ट क्रम जो उसने बनाया। एक छोटा सा विलंब जिसने दो साक्ष्यों के क्रम में एक बार बदलाव किया, वह उतना ही प्रभावी था जितना कि एक बड़ा विलंब जिसने कई बार बदलाव किए। यह सुझाव देता है कि भेद्यता (vulnerability) इस बात में निहित है कि एजेंट सूचना के अनुक्रम को कैसे तौलता है, न कि व्यवधान की मात्रा में। इसका मुकाबला करने के लिए, टीम ने दो रक्षात्मक रणनीतियों का परीक्षण किया। एक रणनीति में यह प्रतीक्षा करना शामिल था कि जब तक सभी टूल्स अपना काम पूरा न कर लें, तब तक परिणामों को एजेंट के सामने प्रस्तुत न किया जाए, जिससे यह सुनिश्चित हो सके कि जानकारी एक निश्चित, सुरक्षित क्रम में पहुंचे। दूसरी रणनीति में एजेंट से जानकारी को हर संभव क्रम में बदलकर कई बार निर्णय लेने के लिए कहना और फिर केवल तभी उत्तर स्वीकार करना शामिल था जब परिणाम सुसंगत हों। दोनों विधियों ने हमलावर की परिणाम को नियंत्रित करने की क्षमता को काफी कम कर दिया, हालांकि उनकी प्रभावशीलता विशिष्ट AI मॉडल के उपयोग के आधार पर भिन्न थी।
यह कार्य प्रकट करता है कि टूल रिस्पॉन्स का समय एक ऐसा सुरक्षा घेरा (security boundary) है जिसे काफी हदक अनदेखा किया गया है। यह प्रदर्शित करता है कि एक एजेंट की निर्णय लेने की प्रक्रिया उसके इनपुट की लय (rhythm) के प्रति संवेदनशील है, भले ही वे इनपुट पूरी तरह से प्रामाणिक हों। अध्ययन यह दावा नहीं करता कि यह भेद्यता प्रत्येक वास्तविक दुनिया की प्रणाली में मौजूद है, न ही यह सुझाव देता है कि सभी AI एजेंट समान रूप से जोखिम में हैं। इसके बजाय, यह एक स्पष्ट प्रमाण प्रदान करता है कि घटनाओं का क्रम एक ऐसा चर (variable) है जिसे परिणामों को बदलने के लिए हेरफेर किया जा सकता है। यह दिखाकर कि एक सेकंड से भी कम की देरी एक निर्णय को एक विकल्प से दूसरे में बदल सकती है, यह शोध AI सुरक्षा के एक नए क्षेत्र को उजागर करता है। यह सुझाव देता है कि जैसे-जैसे ये एजेंट हमारे डिजिटल जीवन में अधिक एकीकृत होते जा रहे हैं, यह सुनिश्चित करना कि वे समय के सूक्ष्म प्रभाव के प्रति सुदृढ़ (robust) हैं, उतना ही महत्वपूर्ण होगा जितना कि उन्हें गलत डेटा या दुर्भावनापूर्ण कमांड से बचाना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।