Capture the Flags: Family-Based Evaluation of Agentic LLMs via Semantics-Preserving Transformations
यह शोध पत्र "कैप्चर द फ्लैग्स" (Capture the Flags) पेश करता है, जो "इवॉल्व-सीटीएफ" (Evolve-CTF) नामक एक फ्रेमवर्क और टूल है जो एजेंटिक एलएलएम (agentic LLMs) का मूल्यांकन करने के लिए अर्थपूर्ण रूप से समकक्ष साइबर सुरक्षा चुनौतियों के परिवारों को उत्पन्न करता है, जिससे यह पता चलता है कि जबकि मॉडल सरल कोड परिवर्तनों के प्रति सुदृढ़ हैं, जटिल अस्पष्टता (obfuscation) के तहत उनका प्रदर्शन गिर जाता है और स्पष्ट तर्क (explicit reasoning) बहुत कम लाभ प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने के लिए एक जासूस को काम पर रख रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "जासूस" एजेंटिक एलएलएम (Agentic LLMs) हैं (ऐसे AI मॉडल जो एक इंसान की तरह सोच सकते हैं, कोड लिख सकते हैं और टूल्स का उपयोग कर सकते हैं)। यह परीक्षण करने के लिए कि क्या वे अच्छे जासूस हैं, शोधकर्ता आमतौर पर उन्हें कैप्चर द फ्लैग (CTF) चुनौतियों नामक पहेलियों की एक श्रृंखला देते हैं। इन पहेलियों में, AI को एक कमजोरी का फायदा उठाकर कोड के भीतर छिपे एक गुप्त रहस्य (द "फ्लैग") को खोजना होता है।
हालाँकि, जिस तरह से हम आमतौर पर उनका परीक्षण करते हैं, उसमें एक समस्या है। यह बिल्कुल वैसा ही है जैसे किसी जासूस को ठीक वही रहस्य 100 बार देना, बस पात्रों के नाम बदल दिए गए हों। यदि जासूस ने पहले वाले का समाधान याद कर लिया है, तो वह वास्तव में समस्या को समझे बिना ही सभी 100 परीक्षणों में पास हो सकता है। वह केवल पैटर्न पहचान रहा हो सकता है, न कि वास्तव में समस्या को हल कर रहा हो।
यह पेपर इन AI जासूसों को टेस्ट करने का एक नया तरीका पेश करता है जिसे "CTF चैलेंज फैमिलीज़" कहा जाता है।
मुख्य विचार: "वही केक, अलग फ्रॉस्टिंग"
AI को 100 अलग-अलग असंबंधित पहेलियाँ देने के बजाय, शोधकर्ता एक पहेली लेते हैं और उससे विविधताओं का एक पूरा "परिवार" बनाते हैं। वे कोड को इस तरह से स्वचालित रूप से फिर से लिखने के लिए Evolve-CTF नामक टूल का उपयोग करते हैं जो वास्तविक तर्क या समाधान को नहीं बदलता है, लेकिन कोड को बहुत अलग दिखाता है।
इसे केक बनाने के उदाहरण से समझें:
- मूल केक (The Original Cake): एक स्वादिष्ट चॉकलेट केक जिसके बीच में एक छिपी हुई चेरी है।
- परिवर्तन (The Transformations):
- नाम बदलना (Renaming - R): आप बॉक्स पर लगा लेबल "चॉकलेट केक" से बदलकर "मिस्ट्री डेज़र्ट #42" कर देते हैं। अंदर का केक बिल्कुल वैसा ही है।
- लूप डालना (Inserting Loops - T1): आप सजावटी फ्रॉस्टिंग की एक परत जोड़ते हैं जो जटिल दिखती है लेकिन वास्तव में खाली जगह है। यह केक को नहीं बदलती, लेकिन इसे बड़ा दिखाती है।
- कंडीशनल्स डालना (Inserting Conditionals - T2): आप रसोई में एक नकली "ट्रैपडोर" (गुप्त दरवाजा) जोड़ते हैं जो कहीं नहीं जाता। यह एक गुप्त रास्ते जैसा दिखता है, लेकिन यह सिर्फ एक डेड एंड (बंद रास्ता) है।
- ओब्फस्केशन (Obfuscation - O): आप पूरे केक को एल्युमीनियम फॉयल की परतों में लपेट देते हैं, उसे श्रिंक-रैप कर देते हैं और बॉक्स को एनक्रिप्ट कर देते हैं। केक अभी भी वहीं है, लेकिन उस तक पहुँचना बेहद कठिन है।
लक्ष्य यह देखना है: क्या AI जासूस अभी भी चेरी (समाधान) को ढूंढ सकता है, भले ही केक अजीब, भ्रमित करने वाला या फॉयल में लिपटा हुआ क्यों न हो?
उन्होंने इसका परीक्षण कैसे किया
शोधकर्ताओं ने 16 वास्तविक दुनिया की साइबर सुरक्षा पहेलियाँ (मौजूदा बेंचमार्क से) लीं और अपने टूल का उपयोग करके प्रत्येक के लिए 24 बदलाव (variations) बनाए। फिर उन्होंने 13 अलग-अलग AI मॉडल्स (जैसे GPT-5, Claude, Gemini, आदि) को ये पहेलियाँ हल करने के लिए कहा।
उन्होंने बारीकी से देखा कि:
- क्या AI नए नामों से भ्रमित हुआ?
- क्या वह नकली "डेड एंड" कोड में खो गया?
- क्या उसे अपने टूल्स (जैसे पेचकस या टॉर्च) का उपयोग करना आता था ताकि वह फॉयल को हटा सके?
उन्होंने क्या खोजा
1. AI "कॉस्मेटिक" बदलावों को अनदेखा करने में माहिर है
जब शोधकर्ताओं ने केवल वेरिएबल्स के नाम बदले (जैसे x को banana में बदलना) या कुछ बेकार कमेंट्स जोड़े, तो AI को कोई फर्क नहीं पड़ा। उन्होंने मूल पहेलियों की तरह ही आसानी से पहेलियाँ हल कीं।
- उपमा: यदि आप एक जासूस को बताते हैं, "संदिग्ध ने लाल टोपी पहनी है," और फिर आप रिपोर्ट को बदलकर कहते हैं, "संदिग्ध ने क्रिमसन कैप पहनी है," तो जासूस अभी भी जानता है कि उसे किसे ढूँढना है।
2. जब चीजें "मैसी" (अव्यवस्थित) होती हैं, तो AI संघर्ष करता है
जब शोधकर्ताओं ने एक साथ कई बदलाव किए (नकली लूप, नकली डेड एंड और भ्रमित करने वाले कमेंट्स सब एक साथ जोड़ दिए), तो AI विफल होने लगा।
- उपमा: यदि आप एक जासूस को एक ऐसा नक्शा देते हैं जिस पर 50 नकली सड़कें खींची गई हैं, जो कहीं नहीं जातीं, तो वह घबरा जाता है और असली रास्ता खोजने में असमर्थ हो जाता है।
3. "फॉइल" (Obfuscation) एक कठिन बाधा है
जब उन्होंने कोड को भारी एन्क्रिप्शन और कम्प्रेशन (PyObfuscator नामक टूल का उपयोग करके) में लपेटा, तो अधिकांश AI इसे हल नहीं कर सके।
- उपमा: यह एक जासूस को एक लॉक तिजोरी देने और उससे चाबी खोजने के लिए कहने जैसा है, लेकिन उनके पास तिजोरी तोड़ने का टूल नहीं है। उन्होंने इसे तोड़ने के लिए अपने टूल्स लिखने की कोशिश की, लेकिन अक्सर सफल होने से पहले ही उनके पास समय (या "टोकन", जो उनकी ऊर्जा बजट की तरह है) खत्म हो गया।
4. "ज़्यादा सोचने" से हमेशा मदद नहीं मिलती
कुछ AI मॉडल्स में जवाब देने से पहले "ज़्यादा सोचने" की सेटिंग होती है। शोधकर्ताओं ने पाया कि इस सेटिंग को चालू करने से भी AI को इन कठिन पहेलियों को हल करने में वास्तव में मदद नहीं मिली।
- उपमा: यह एक जासूस को एक लॉक तिजोरी के बारे में "बहुत गहराई से सोचने" के लिए कहने जैसा है। यदि उनके पास सही उपकरण या कौशल नहीं है, तो ज़्यादा सोचने से वे स्मार्ट नहीं, बल्कि केवल थके हुए महसूस करेंगे।
5. कुछ पहेलियाँ बहुत आसान थीं
उन्होंने पाया कि मूल पहेलियों में से तीन इतनी सरल थीं कि उनके "मैसी" संस्करणों को भी लगभग हर AI ने हल कर लिया।
- उपमा: यह एक जासूस को ऐसी पहेली देने जैसा है जहाँ उत्तर लिफाफे के पीछे लिखा है। ये पहेलियाँ कौशल का परीक्षण करने के लिए अच्छी नहीं थीं क्योंकि इन्होंने AI को पर्याप्त चुनौती नहीं दी।
यह क्यों मायने रखता है
यह शोध एक बड़ा कदम है क्योंकि यह हमें केवल "रटने" से रोकता है। यह हमें दिखाता है कि हालांकि वर्तमान AI कोड पढ़ने में बहुत अच्छे हैं, लेकिन वे आसानी से भ्रमित हो सकते हैं जब वह कोड अव्यवस्थित या छिपा हुआ हो।
यह हमें एक नया टूल (Evolve-CTF) भी देता है जिससे हम AI का स्ट्रेस-टेस्ट कर सकते हैं। केवल यह पूछने के बजाय कि, "क्या यह AI इस पहेली को हल कर सकता है?", अब हम पूछ सकते हैं, "क्या यह AI इस पहेली के किसी भी संस्करण को हल कर सकता है, भले ही कोई इसे धोखा देने की कोशिश करे?"
संक्षेप में, यह पेपर हमें सिखाता है कि वास्तव में मजबूत AI सुरक्षा विशेषज्ञों के निर्माण के लिए, हमें उन्हें केवल साफ और स्पष्ट पहेलियों पर ही नहीं, बल्कि वास्तविक दुनिया की अव्यवस्थित, भ्रमित करने वाली और "ओब्फस्केटेड" (छिपी हुई) वास्तविकता पर भी टेस्ट करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।