CrackMeBench: Binary Reverse Engineering for Agents
यह शोधपत्र CrackMeBench प्रस्तुत करता है, जो एक नवीन बेंचमार्क है जिसे शैक्षिक CrackMe-शैली की चुनौतियों के लिए वैलिडेशन लॉजिक को रिकवर करने और वैध इनपुट जेनरेट करने हेतु बाइनरी रिवर्स इंजीनियरिंग को स्वायत्त रूप से करने में लैंग्वेज-मॉडल एजेंटों की क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो सार्वजनिक और जेनरेटेड दोनों कार्यों पर विभिन्न मॉडलों के बीच सफलता के विविध स्तरों को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बंद बॉक्स है। आपके पास न तो चाबी है और न ही उस ताले को बनाने के ब्लूप्रिंट (नक्शे)। आपके पास केवल वह बॉक्स है। आपका लक्ष्य यह पता लगाना है कि संख्याओं, शब्दों या क्रियाओं का सटीक संयोजन क्या होगा जिससे वह बॉक्स खुल जाए।
यही बाइनरी रिवर्स इंजीनियरिंग (binary reverse engineering) की मूल चुनौती है, और यह CrackMeBench नामक एक नया परीक्षण इसी विशिष्ट समस्या को हल करने के लिए बनाया गया है जो आर्टिफिशियल इंटेलिजेंस (AI) के लिए है।
यहाँ इस शोध पत्र का एक सरल विवरण दिया गया है, जिसे रोजमर्रा के उदाहरणों का उपयोग करके समझाया गया है।
समस्या: "ब्लैक बॉक्स" टेस्ट
आजकल के अधिकांश AI कोडिंग टेस्ट एक छात्र को रेसिपी (सोर्स कोड) देने और उससे एक टाइपो (लिखने की गलती) ठीक करने या एक नया घटक जोड़ने के लिए कहने जैसे हैं। लेकिन साइबर सुरक्षा की वास्तविक दुनिया में, आपको अक्सर रेसिपी नहीं मिलती है। आपको केवल बना हुआ केक (कंपाइल किया गया प्रोग्राम) मिलता है।
शोधकर्ताओं ने पूछा: क्या एक AI एक तैयार, बंद प्रोग्राम को देखकर, यह समझ सकता है कि "ताला" कैसे काम करता है, और उसे खोलने के लिए सटीक चाबी बना सकता है?
इसकी परीक्षा लेने के लिए, उन्होंने CrackMeBench बनाया। इसे AI के लिए एक विशाल, स्वचालित "एस्केप रूम" (बचने के कमरे का खेल) समझें।
- कमरा: एक सुरक्षित, अलग डिजिटल सैंडबॉक्स (एक Docker कंटेनर) जहाँ AI बाहरी इंटरनेट से बात नहीं कर सकता।
- टूल्स (औज़ार): AI को एक विशिष्ट टूलबॉक्स दिया जाता है (जैसे पेचकस, आवर्धक लेंस, या कोड अनुवादक) और उसे ठीक से बताया जाता है कि उसके पास कौन से औज़ार हैं। वह अंदाज़ा नहीं लगा सकता; उसे केवल उन्हीं का उपयोग करना होगा जो सूची में दिए गए हैं।
- लक्ष्य: AI को एक "चाबी" बनानी होती है। यह एक पासवर्ड, एक फ़ाइल, या एक स्क्रिप्ट हो सकती है जो सीरियल नंबर जेनरेट करती है।
- जज (निर्णायक): एक छिपा हुआ "ओरेकल" (रेफरी) होता है। AI को इस बात के अंक नहीं मिलते कि वह इस बारे में कितना लंबा निबंध लिखता है कि उसे लगता है कि ताला कैसे काम करता है। उसे अंक तभी मिलते हैं जब वह अपनी चाबी आज़माता है और ताला वास्तव में खुल जाता है।
परीक्षण: 20 अलग-अलग पहेलियाँ
शोधकर्ताओं ने 20 अलग-अलग "तालों" (कार्यों) वाला एक परीक्षण बनाया:
- 8 सार्वजनिक पहेलियाँ: ये क्लासिक, प्रसिद्ध पहेलियों की तरह हैं जिन्हें लोगों ने पहले ही हल कर लिया है। वे यह सुनिश्चित करने के लिए एक "कैलिब्रेशन" के रूप में काम करती हैं कि परीक्षण निष्पक्ष और समझने योग्य है।
- 12 नई पहेलियाँ: ये शोधकर्ताओं द्वारा ताज़ा बनाई गई थीं। ये "आसान" (जैसे टेक्स्ट फ़ाइल में छिपे शब्द को खोजना) से लेकर "कठिन" (जहाँ ताला आपके देखते समय अपना आकार बदल लेता है, या अपने रहस्यों को तब तक छिपाता है जब तक कि वह चलना शुरू न कर दे) तक विस्तृत हैं।
परिणाम: एस्केप रूम में कौन जीता?
शोधकर्ताओं ने तीन अलग-अलग AI मॉडल्स को इस एस्केप रूम में 5 मिनट की समय सीमा के साथ डाला। उन्होंने प्रत्येक AI को चाबी सबमिट करने के तीन मौके दिए।
12 नए, कठिन पहेलियों पर उनका प्रदर्शन इस प्रकार रहा:
- GPT-5.5 (शीर्ष प्रदर्शन करने वाला): इसने 12 में से 11 पहेलियाँ हल कीं। यह एक मास्टर ताला बनाने वाले की तरह था जो तेज़ी से तंत्र को समझ सका और ताला खोल दिया।
- Claude Opus 4.7 (मध्यम): इसने 12 में से 7 पहेलियाँ हल कीं। यह अच्छा था, लेकिन कभी-कभी ताले के आंतरिक तर्क को समझने की कोशिश में फंस जाता था।
- Kimi K2 (संघर्ष करने वाला): इसने 12 में से 5 पहेलियाँ हल कीं। यह अक्सर ताले को देखते रहने में बहुत अधिक समय बिता देता था और कभी चाबी घुमाने की कोशिश ही नहीं करता था।
"सार्वजनिक" पहेलियाँ और भी कठिन थीं:
जब AI ने 8 क्लासिक, सार्वजनिक पहेलियों को हल करने की कोशिश की, तो सभी के स्कोर में काफी गिरावट आई। यहाँ तक कि सबसे अच्छे AI (GPT-5.5) ने भी 8 में से केवल 3 को हल किया। यह बताता है कि हालांकि AI इन कार्यों में बेहतर हो रहा है, फिर भी वास्तविक दुनिया की उलझी हुई पहेलियाँ अभी भी बहुत कठिन हैं।
यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)
शोध पत्र इस परीक्षण और अन्य परीक्षणों के बीच कुछ प्रमुख अंतरों पर प्रकाश डालता है:
- कोई "फालतू बातें" नहीं: कई परीक्षणों में, एक AI एक बहुत ही विश्वसनीय कहानी लिखकर उच्च स्कोर प्राप्त कर सकता है कि उसने समस्या को कैसे हल किया, भले ही वह कहानी गलत हो। यहाँ, यदि ताला नहीं खुलता है, तो AI विफल हो जाता है। यह सब परिणामों के बारे में है, स्पष्टीकरण के बारे में नहीं।
- "कीजेन" (Keygen) चुनौती: कुछ पहेलियों ने केवल एक पासवर्ड नहीं मांगा; उन्होंने AI से एक ऐसी मशीन बनाने को कहा जो किसी भी उपयोगकर्ता के लिए पासवर्ड जेनरेट कर सके। यह केवल एक ताला खोलने के बजाय एक चाबी बनाने वाली फैक्ट्री बनाने जैसा है। AI को पैटर्न को समझना था, न कि केवल एक उत्तर को रटना था।
- "नॉइज़" (शोर) का कारक: कठिन पहेलियों में "नॉइज़" शामिल था, जैसे कि नकली सुराग या ऐसा कोड जो चलते समय बदल जाता है। सबसे अच्छा AI (GPT-5.5) शोर को अनदेखा करने और वास्तविक तंत्र पर ध्यान केंद्रित करने में बेहतर था।
निष्कर्ष
CrackMeBench एक नया, सख्त स्कोरबोर्ड है। यह साबित करता है कि जबकि AI कोड पढ़ने और सॉफ़्टवेयर को ठीक करने में बहुत अच्छा हो रहा है, वह अभी भी एक तैयार, कंपाइल किए गए प्रोग्राम को समझने और उसे खोलने का तरीका सीखने की प्रक्रिया में है।
शोध पत्र निष्कर्ष निकालता है कि हम प्रगति कर रहे हैं, लेकिन एक रेसिपी (सोर्स कोड) के साथ AI जो कर सकता है और केवल तैयार व्यंजन (एग्जीक्यूटेबल बाइनरी) के साथ जो वह कर सकता है, उसके बीच अभी भी एक बड़ा अंतर है। यह परीक्षण मापने का एक स्पष्ट, पुनरुत्पादक तरीका प्रदान करता है कि वह अंतर कितनी तेज़ी से कम हो रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।