Benchmarking Large Language Models for IoC Recovery under Adversarial Code Obfuscation and Encryption
यह शोध पत्र इंडिकेटर्स ऑफ कॉम्प्रोमाइज (Indicators of Compromise) को रिकवर करने की लार्ज लैंग्वेज मॉडल्स (LLMs) की क्षमता का मूल्यांकन करने के लिए 336 अस्पष्ट (obfuscated) और एन्क्रिप्टेड जावास्क्रिप्ट प्रोग्रामों के एक व्यवस्थित बेंचमार्क और डेटासेट को प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि LLMs वेरिएबल रीनेमिंग और Base64 एनकोडिंग जैसे हल्के रूपांतरणों को प्रभावी ढंग से संभालते हैं, उनके डिटेक्शन प्रदर्शन में XOR और AES-256 जैसी क्रिप्टोग्राफिक प्रच्छन्नता विधियों के विरुद्ध गंभीर गिरावट आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक डिजिटल जासूस हैं जो कोड के एक टुकड़े के अंदर छिपे हुए सुराग (जैसे कि एक विशिष्ट IP पता) को खोजने की कोशिश कर रहे हैं। आमतौर पर, यह आसान होता है: सुराग स्पष्ट रूप से लिखा होता है, जैसे कागज पर लिखा कोई नाम। लेकिन क्या होगा अगर बुरे लोग उस सुराग को छिपा दें? वे उसे गुप्त कोड में लिख सकते हैं, अक्षरों को उलझा सकते हैं, या उसे एक तिजोरी के अंदर बंद कर सकते हैं।
यह एक रिपोर्ट कार्ड है लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए—आज के स्मार्ट AI चैटबॉट्स जिनका हम उपयोग करते हैं—कि वे इन छिपे हुए सुरागों को खोजने के लिए कितने अच्छे जासूस बन सकते हैं।
यहाँ उनकी जांच का विवरण दिया गया है:
सेटअप: एक "लुका-छिपी" का खेल
शोधकर्ताओं ने लुका-छिपी का एक विशाल खेल बनाया।
- खिलाड़ी: उन्होंने पांच प्रसिद्ध AI मॉडल (जैसे ChatGPT, Gemini, Claude, Grok और Cohere) का परीक्षण किया।
- सुराग: एक नकली "इंडिकेटर ऑफ कॉम्प्रोमाइज" (IoC), जो केवल एक फैंसी शब्द है एक संदिग्ध IP पते के लिए (जैसे किसी बुरे आदमी का फोन नंबर)।
- छिपाने के स्थान: उन्होंने सुराग को छिपाने के लिए 336 कंप्यूटर कोड के टुकड़ों का उपयोग किया और इसके लिए 12 अलग-अलग कठिनाई स्तरों का उपयोग किया।
- स्तर 1-4 (आसान छिपाने के स्थान): उन्होंने बस वेरिएबल्स का नाम बदल दिया (जैसे "IP_Address" को "x99" जैसा कुछ कहना), आंखों को भ्रमित करने के लिए बेकार का फालतू कोड जोड़ दिया, या Base64 जैसे सरल एनकोडिंग का उपयोग किया (जो एक गुप्त वर्णमाला में संदेश लिखने जैसा है जिसे कोई भी आसानी से डिकोड कर सकता है)।
- स्तर 5-6 (कठिन छिपाने के स्थान): उन्होंने सुराग को एक क्रिप्टोग्राफिक तिजोरी के अंदर बंद कर दिया। उन्होंने मजबूत एन्क्रिप्शन (XOR और AES-256) का उपयोग किया। महत्वपूर्ण बात यह है कि उन्होंने तिजोरी की चाबी को कोड के भीतर ही छोड़ दिया, ठीक वैसे ही जैसे एक वास्तविक हैकर करता है।
- स्तर 7-12 (दुःस्वप्न वाले छिपाने के स्थान): उन्होंने तिजोरी के साथ सभी भ्रमित करने वाले नाम बदलने और फालतू कोड को मिला दिया।
परिणाम: "लाइट स्विच" प्रभाव
परिणाम आश्चर्यजनक और बहुत स्पष्ट थे। उन्होंने प्रदर्शन में धीमी गिरावट नहीं देखी; उन्होंने एक लाइट स्विच देखा।
1. "आसान" छिपाने के स्थान (स्तर 1–4):
जब सुराग को केवल उलझाया या बदला गया था, तो AI जासूस अद्भुत थे।
- अधिकांश मॉडलों ने 100% समय सुराग को खोज लिया।
- वे लुका-छिपी खेलने वाले उन बच्चों की तरह थे जो पर्दे के पीछे से झांकते हुए जूते को आसानी से देख सकते हैं। उन्होंने पैटर्न को पहचान लिया भले ही शब्दों को बदल दिया गया हो।
2. "कठिन" छिपाने के स्थान (स्तर 5–12):
जिस क्षण शोधकर्ताओं ने एन्क्रिप्शन (तिजोरी) का उपयोग किया, AI का प्रदर्शन धड़ाम से गिर गया।
- भले ही चाबी कोड में ठीक वहीं मौजूद थी, AI मॉडल तिजोरी खोलने में असमर्थ रहे।
- वे 100% बार सुराग खोजने से गिरकर लगभग 0% पर आ गए।
- उपमा: कल्पना कीजिए कि आपके पास एक लॉक किया हुआ बॉक्स है, और चाबी बॉक्स के बाहर टेप से चिपकी हुई है। एक मानव जासूस चाबी को देखेगा, उसे ताले में डालेगा और बॉक्स खोल देगा। हालाँकि, AI ने बॉक्स और चाबी को देखा, लेकिन उसे खोलने के बजाय, उसने बस यह कहा, "मैं इसके अंदर क्या है यह नहीं देख सकता," या एक रैंडम नंबर का अनुमान लगाया।
3. "अनुमान लगाने" की समस्या:
जब AI सुराग नहीं ढूंढ पाया, तो उनमें से कुछ ने हैलुसिनेशन (Hallucination) करना शुरू कर दिया (चीजें बनाना)।
- एक मॉडल (Gemini) ने 5% समय नकली IP पते बनाए।
- पैटर्न: जब AI फंस गया, तो उसने सिर्फ "मुझे नहीं पता" नहीं कहा। उसने अक्सर एक बहुत ही सामान्य निजी पता (जैसे
192.168.17.101) गेस किया। - रूपक: यह एक ऐसे छात्र की तरह है जो परीक्षा दे रहा है और उसे उत्तर नहीं पता। खाली छोड़ने के बजाय, वह लिख देता है "उत्तर शायद 42 है" क्योंकि उसने अन्य परीक्षाओं में यह नंबर बहुत बार देखा है। AI वास्तव में पहेली को हल करने के बजाय केवल अपने पिछले अनुभवों के आधार पर अनुमान लगा रहा था।
मुख्य निष्कर्ष
पेपर एक सरल सत्य के साथ समाप्त होता है:
- AI खराब लिखावट पढ़ने में बहुत अच्छा है। यदि कोड केवल उलझा हुआ या बदला हुआ है, तो AI उसे समझ सकता है।
- AI तिजोरियां तोड़ने में बहुत बुरा है। यदि कोड एन्क्रिप्टेड है, तो AI के सामने एक दीवार खड़ी हो जाती है। उसके पास एन्क्रिप्शन के गणित को "सोचने" की क्षमता नहीं है, भले ही चाबी उसके ठीक सामने क्यों न हो।
संक्षेप में: ये AI टूल्स सादे दिख रहे सुरागों को खोजने के लिए उत्कृष्ट हैं, लेकिन वे वर्तमान में उस कोड के खिलाफ बेकार हैं जिसे मजबूत एन्क्रिप्शन के साथ लॉक किया गया है। वे रहस्य को "अनलॉक" नहीं कर सकते; वे केवल वही पढ़ सकते हैं जो पहले से ही दिखाई दे रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।