Adaptive Adversaries: A Multi-Turn, Multi-LLM Benchmark for LLM Agent Security
यह शोध पत्र "एडैप्टिव एडवर्सरीज" (Adaptive Adversaries) का परिचय देता है, जो एक मल्टी-टर्न, मल्टी-एलएलएम (multi-turn, multi-LLM) बेंचमार्क है जो यह प्रदर्शित करता है कि कैसे अनुकूलनशील, बहु-चरणीय रणनीतियों का लाभ उठाने वाले स्वायत्त हमलावर, स्टेटिक सिंगल-टर्न मूल्यांकनों की तुलना में मेमोरीलेस एलएलएम (memoryless LLM) संरक्षकों के विरुद्ध हमले की सफलता दर को महत्वपूर्ण रूप से बढ़ा देते हैं, जबकि यह फ्रंटियर मॉडल्स (frontier models) के बीच विशिष्ट और परिदृश्य-निर्भर कमजोरियों को भी उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने सबसे संवेदनशील कार्यों, जैसे कि आपके बैंक खाते का प्रबंधन करना या आपकी निजी डायरी को पढ़ना, संभालने के लिए एक रोबोट बटलर (नौकर) को काम पर रख रहे हैं। आप यह सुनिश्चित करना चाहते हैं कि यह रोबोट आपके नियमों का पालन करने के लिए पर्याप्त स्मार्ट हो, लेकिन साथ ही इतना मजबूत भी हो कि किसी भी धोखेबाज की बातों में न आए। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन रोबटों को "LLM एजेंट्स" कहा जाता है। वे सुपर-स्मार्ट सहायकों की तरह हैं जो पढ़ सकते हैं, लिख सकते हैं और यहाँ तक कि अन्य कंप्यूटर प्रोग्रामों का उपयोग भी कर सकते हैं। लेकिन इसमें एक पेंच है: इन सहायकों को बेवकूफ बनाया जा सकता है। ठीक वैसे ही जैसे किसी इंसान को एक चिकनी-चुपड़ी बातें करने वाले अजनबी द्वारा ठगा जा सकता है, एक AI को भी एक छिपे हुए निर्देश के जरिए हेरफेर किया जा सकता है, जिसे "प्रॉम्ट इंजेक्शन" (prompt injection) नामक तकनीक कहा जाता है।
लंबे समय से, वैज्ञानिक इन AI बटलरों का परीक्षण एक "स्टैटिक" (स्थिर) विधि से करते आए हैं। कल्पना कीजिए कि एक सुरक्षा गार्ड एक नए ताले का परीक्षण करने के लिए उसे एक पहले से बनी हुई चाबी से खोलने की कोशिश करता है जो उसे दराज में मिली थी। वह उस एक चाबी को आजमाता है, देखता है कि क्या वह काम करती है, और फिर आगे बढ़ जाता है। समस्या यह है कि वास्तविक जीवन के हैकर्स केवल एक चाबी का उपयोग नहीं करते; वे गार्ड को देखते हैं, अलग कोण आजमाते हैं, और तब तक प्रयास करते रहते हैं जब तक कि उन्हें अंदर घुसने का रास्ता न मिल जाए। यह शोधपत्र तर्क देता है कि AI का परीक्षण एक एकल, पूर्व-निर्मित चाबी के साथ करना पर्याप्त नहीं है। AI की सुरक्षा को वास्तव में जानने के लिए, हमें यह देखना होगा कि वह एक चतुर, अनुकूलनशील (adaptive) हमलावर के साथ कैसा व्यवहार करता है जो हमलावर के हर कदम को देखता है और दौर दर दौर अपनी रणनीति बदलता रहता है।
इस अध्ययन के पीछे के शोधकर्ताओं ने इस परीक्षण के लिए एक बिल्कुल नया "सिक्योरिटी एरिना" (सुरक्षा अखाड़ा) बनाया है। एक एकल चाबी के बजाय, उन्होंने एक परिदृश्य बनाया है जहाँ एक AI हमलावर एक 15-राउंड की बातचीत में एक AI डिफेंडर (रक्षक) का सामना करता है। हमलावर एक निरंतर खोज करने वाले जासूस की तरह है जिसे डिफेंडर के पिछले उत्तर देखने का मौका मिलता है और वह उस जानकारी का उपयोग करके अपनी चाल बदलने और नए तरीके आजमाने के लिए किया जाता है। हालाँकि, डिफेंडर "मेमोरीलेस" (स्मृतिहीन) है, जिसका अर्थ है कि वह हर नए संदेश को ऐसे मानती है जैसे कि वह पहली बार हमलावर को देख रही हो, जिसमें पिछले 14 राउंडों की कोई स्मृति नहीं होती। यह सेटअप वास्तविक दुनिया की स्थिति की नकल करता है जहाँ एक हैकर पकड़े जाने से बचने के लिए हर बार एक नई चैट विंडो खोल सकता है, जबकि हैकर खुद हर प्रयास से सीखता रहता है।
टीम ने आज के तीन सबसे स्मार्ट AI मॉडलों (Claude Opus 4.6, GPT-5.4, और Gemini 2.5 Pro) को हमलावर और डिफेंडर दोनों के रूप में इस एरिना में चलाया। उन्होंने कुछ चौंकाने वाला पाया: यदि आप बातचीत के केवल पहले दौर को देखते हैं, तो AI डिफेंडर लगभग उत्तम दिखते हैं, जहाँ हमलावरों की सफलता दर लगभग 0% है। लेकिन एक बार जब हमलावर को अनुकूलित होने और सीखने के लिए सभी 15 राउंडों का उपयोग करने का मौका मिलता है, तो सफलता दर काफी बढ़ जाती है, जो मॉडल के आधार पर 5.4% से 14.0% के बीच होती है। यह सुझाव देता है कि कई AI सुरक्षा परीक्षण सबसे बड़े खतरों को मिस कर देते हैं क्योंकि वे खेल को बहुत जल्दी समाप्त कर देते हैं।
एक अन्य प्रमुख निष्कर्ष यह है कि कोई भी एकल AI मॉडल हर चीज़ में "सर्वश्रेष्ठ" नहीं है। जब शोधकर्ताओं ने समग्र स्कोर को देखा, तो दो शीर्ष मॉडल, Opus और GPT-5.4, आपस में बराबरी पर दिखे। हालाँकि, जब उन्होंने इसे विशिष्ट परिदृश्यों के आधार पर विभाजित किया, तो उनकी कमजोरियाँ पूरी तरह से अलग थीं। उदाहरण के लिए, एक "मेमोरी लीक" वाले परिदृश्य में, जहाँ एक हमलावर कोड पार्सर को डिबग करने का नाटक करके AI को पासवर्ड बताने के लिए बहलाता है, Opus 60% बार विफल हुआ, जबकि GPT-5.4 और Gemini मजबूत रहे। इसके विपरीत, एक परिदृश्य में जहाँ हमलावर एक निर्णय को बदलने के लिए "आधिकारिक" अधिकार पत्र का ढोंग करता है, Gemini 53% बार विफल हुआ, जबकि अन्य मॉडलों पर कोई असर नहीं पड़ा। इसका मतलब है कि केवल एक "सबसे सुरक्षित" मॉडल पर भरोसा करना एक गलती है; अलग-अलग मॉडलों की अलग-अलग कमियां (blind spots) होती हैं।
अध्ययन ने यह भी दिखाया कि केवल एक प्रकार के हमलावर का उपयोग करना पर्याप्त नहीं है। तीन अलग-अलग शीर्ष-स्तरीय AI हमलावरों को एक साथ जोड़कर, शोधकर्ताओं ने पाया कि वे किसी भी एकल हमलावर द्वारा खोजे गए हमलों की तुलना में 1.4 से 2.2 गुना अधिक अद्वितीय सफल हमले उजागर कर सके। यह अलग-अलग विशेषज्ञताओं वाले तीन अलग-अलग जासूसों के पास होने जैसा है; एक ऐसा सुराग ढूंढ सकता है जो दूसरे चूक गए हों। इसके अलावा, इन AI द्वारा उत्पन्न हमले पुराने, पूर्व-लिखित हमलों से बहुत अलग थे, जो पिछले परीक्षणों में पाए जाते थे, और उनके बीच बहुत कम समानता थी। यह सिद्ध करता है कि हमलों की स्थिर सूचियाँ अब अप्रचलित (obsolete) होती जा रही हैं।
संक्षेप में, यह शोधपत्र सुझाव देता है कि AI सुरक्षा को वास्तव में समझने के लिए, हमें स्थिर, एक-बार के परीक्षणों के बजाय गतिशील, बहु-चरण सिमुलेशन का उपयोग करना चाहिए जहाँ हमलावर सीखता है और अनुकूलित होता है। परिणाम संकेत देते हैं कि जबकि वर्तमान AI मॉडल बेहतर हो रहे हैं, उनमें अभी भी विशिष्ट, छिपी हुई कमजोरियां हैं जो केवल निरंतर और चतुर दबाव के तहत ही सामने आती हैं। शोधकर्ताओं ने अपना पूरा "एरिना", जिसमें परिदृश्य और हजारों लड़ाइयों का डेटा शामिल है, जारी कर दिया है, ताकि अन्य लोग भी इन डिजिटल बटलरों का परीक्षण और सुधार कर सकें, जिससे यह सुनिश्चित हो सके कि वे न केवल सुरक्षित दिखें, बल्कि वास्तव में सुरक्षित भी हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।