From Theory to Practice: Code Generation Using LLMs for CAPEC and CWE Frameworks
यह शोध पत्र जावा, पायथन और जावास्क्रिप्ट में 615 असुरक्षित कोड स्निपेट्स के एक नवीन डेटासेट को प्रस्तुत करता है, जिसे कॉमन अटैक पैटर्न एन्यूमरेशन्स (CAPEC) और कॉमन वीकनेस एन्यूमरेशन्स (CWE) विवरणों को मैप करने के लिए GPT-4o, Llama और Claude मॉडल्स का उपयोग करके जेनरेट किया गया है, जिससे सुरक्षा अनुसंधान और मशीन लर्निंग-आधारित डिटेक्शन सिस्टम को आगे बढ़ाने के लिए विस्तृत, लेबल किए गए भेद्यता डेटा की कमी को दूर किया जा सके।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टपकते हुए नल को ठीक करना सीख रहे हैं, लेकिन आपके पास जो एकमात्र निर्देश पुस्तिका है वह केवल पुर्जों और दबाव रेटिंगों की एक शुष्क, तकनीकी सूची है। यह आपको बताता है कि क्या टूटा हुआ है, लेकिन यह यह नहीं दिखाता कि पानी वास्तव में कैसे बाहर निकलता है या टूटा हुआ हिस्सा असल जिंदगी में कैसा दिखता है। आप केवल अनुमान लगाने के लिए छोड़ दिए जाते हैं।
यह बिल्कुल वही समस्या है जिसका सामना नॉर्दर्न इलिनॉय यूनिवर्सिटी के शोधकर्ताओं ने सॉफ्टवेयर सुरक्षा (software security) के साथ किया था।
समस्या: बिना चित्रों वाली एक निर्देश पुस्तिका
साइबर सुरक्षा की दुनिया में, दो विशाल "विश्वकोश" हैं जिन्हें MITRE नामक एक समूह द्वारा बनाए रखा जाता है:
- CAPEC: उन सभी अलग-अलग तरीकों की सूची जिनसे हैकर्स सॉफ्टवेयर पर हमला कर सकते हैं (जैसे "SQL इंजेक्शन" या "क्रॉस-साइट स्क्रिप्टिंग")।
- CWE: कोड में उन विशिष्ट कमजोरियों की सूची जो उन हमलों को होने का अवसर देती हैं।
समस्या क्या है? ये विश्वकोश परिभाषाओं से भरे हुए हैं, लेकिन इनमें "कैसे करें" वाले वीडियो गायब हैं। वे हमले का सिद्धांत तो बताते हैं, लेकिन वे शायद ही कभी वास्तविक कोड की पंक्तियाँ प्रदान करते हैं जो दिखाते हों कि एक असुरक्षित प्रोग्राम कैसा दिखता है। यह शब्दों का शब्दकोश होने जैसा है लेकिन यह दिखाने के लिए कोई वाक्य नहीं है कि उनका उपयोग कैसे किया जाता है।
इस कारण से, डेवलपर्स, छात्र और सुरक्षा विशेषज्ञ वास्तव में यह समझने के लिए संघर्ष करते हैं कि ये हमले वास्तविक दुनिया में कैसे काम करते हैं।
समाधान: एक सुपर-इंटेलिजेंट रोबोट शेफ को काम पर रखना
इसे ठीक करने के लिए, शोधकर्ताओं ने लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करने का निर्णय लिया—वही तरह का AI जो ChatGPT जैसे टूल्स को शक्ति देता है। इन AI को सुपर-इंटेलिजेंट रोबोट शेफ के रूप में सोचें जिन्होंने दुनिया की हर कुकबुक (कोड रिपॉजिटरी) पढ़ ली है।
यहाँ बताया गया है कि उन्होंने रोबोट्स का उपयोग कैसे किया:
- रेसिपी (द प्रॉम्प्ट): शोधकर्ताओं ने AI से केवल यह नहीं पूछा, "खराब कोड लिखो।" वह एक शेफ को "गंदगी करने" के लिए कहने जैसा होगा। इसके बजाय, उन्होंने AI को एक बहुत ही विशिष्ट रेसिपी दी। उन्होंने इसे हमले का विवरण (CAPEC से) और कमजोरियों की सूची (CWE से) खिलाई।
- सामग्री (कॉन्टेक्स्ट): कभी-बहार हमले का विवरण पर्याप्त विस्तृत नहीं था। इसलिए, शोधकर्ताओं ने एक स्मार्ट टूल (SBERT) का उपयोग किया ताकि रेसिपी में जोड़ने के लिए सबसे करीबी संबंधित 5 "कमजोरियों" को खोजा जा सके। इसने सुनिश्चित किया कि AI के पास एक आदर्श उदाहरण बनाने के लिए पर्याप्त कॉन्टेक्स्ट हो।
- खाना बनाना (जेनरेशन): AI (विशेष रूप से GPT-4o, साथ ही Llama और Claude) ने फिर Java, Python और JavaScript में वास्तविक कोड स्निपेट्स तैयार किए।
- इसने ऐसा कोड लिखा जो सामान्य दिखता था लेकिन जिसमें एक छिपा हुआ जाल (एक भेद्यता/vulnerability) था।
- इसने ठीक से कमेंट्स भी जोड़े कि जाल कहाँ था और वह क्यों खतरनाक था।
- इसने हमले की "कहानी" समझाने के लिए एक सारांश भी लिखा।
परिणाम: सुरक्षा के लिए एक नया "कुकबुक"
टीम ने 615 विभिन्न उदाहरणों वाला एक विशाल नया डेटासेट बनाया।
यह सुनिश्चित करने के लिए कि रोबोट्स ने अपना काम ठीक से किया, शोधकर्ताओं ने फूड क्रिटिक्स (खाद्य समीक्षक) की भूमिका निभाई:
- क्या यह कंपाइल हुआ? (क्या कोड वास्तव में चल सकता था, या यह बकवास था?) हाँ, लगभग 90% बार।
- क्या यह प्रासंगिक था? (क्या कोड वास्तव में वर्णित हमले को दर्शाता था?) हाँ, विशेषज्ञों ने लगभग 100% समय इस पर सहमति व्यक्त की।
- क्या यह पठनीय था? (क्या इसे समझना आसान था?) हाँ, कोड को स्पष्टता के लिए बहुत उच्च रेटिंग दी गई थी।
उन्होंने यह भी जांचा कि क्या रोबोट्स सुसंगत थे। यदि वे एक ही रोबोट को एक ही व्यंजन पांच बार बनाने के लिए कहते, तो क्या उन्हें एक ही परिणाम मिलता? हाँ। कोड हर बार 98-99% समान था, जिससे साबित हुआ कि AI केवल बेतरतीब ढंग से अनुमान नहीं लगा रहा था।
यह क्यों महत्वपूर्ण है
यह नया डेटासेट एक सुरक्षा प्रशिक्षण जिम खोलने जैसा है।
- छात्रों के लिए: केवल "लॉकपिक" के बारे में पढ़ने के बजाय, वे लॉकपिक को क्रिया में देख सकते हैं और इसे पहचानने का तरीका सीख सकते हैं।
- डेवलपर्स के लिए: वे देख सकते हैं कि उनके अपने कोड में एक "बुरी आदत" वास्तव में कैसी दिखती है ताकि वे उसी गलती को करने से बच सकें।
- AI शोधकर्ताओं के लिए: वे इस डेटासेट का उपयोग अन्य AI टूल्स को प्रशिक्षित करने के लिए कर सकते हैं ताकि वे भविष्य में इन सुरक्षा खामियों को स्वचालित रूप से ढूंढ सकें और ठीक कर सकें।
कमी (सीमाएं)
शोधकर्ता स्वीकार करते हैं कि रोबोट शेफ अभी भी पूर्ण नहीं हैं।
- कभी-कभी उन्होंने उन हमलों के लिए कोड लिखने की कोशिश की जो सॉफ्टवेयर से संबंधित ही नहीं हैं (जैसे "भौतिक ताले को बायपास करना"), जो कोडिंग रोबोट के लिए थोड़ा मूर्खतापूर्ण है।
- उन्होंने केवल तीन प्रोग्रामिंग भाषाओं का उपयोग किया, जबकि दुनिया में कई और भाषाएं उपयोग की जाती हैं।
निचोड़
यह पेपर सिद्धांत और व्यवहार के बीच के अंतर को पाटने के बारे में है। AI का उपयोग करके सुरक्षा खामियों के वास्तविक दुनिया के उदाहरण उत्पन्न करके, शोधकर्ताओं ने एक शक्तिशाली नया उपकरण बनाया है। यह शुष्क, उबाऊ परिभाषाओं को जीवित, सांस लेते उदाहरणों में बदल देता है जो हमें सभी के लिए सुरक्षित सॉफ्टवेयर बनाने में मदद करते हैं।
संक्षेप में: उन्होंने AI को सिस्टम में "बग्स" दिखाना सिखाया ताकि हम हैकर्स के आने से पहले उन्हें खत्म करना सीख सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।