तकनीकी सारांश: मेटामॉर्फिक टेस्टिंग और एसोसिएशन रूल माइनिंग के माध्यम से LLM-जनरेटेड कोड का क्रॉस-कटिंग सुरक्षा विश्लेषण

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर सुरक्षात्मक कमजोरियों (vulnerabilities) वाला कोड जनरेट करते हैं। जबकि पूर्व शोध ने यह स्थापित किया है कि LLM-जनरेटेड कोड अक्सर असुरक्षित होता है, मौजूदा मूल्यांकन आमतौर पर कमजोरियों को अलग-अलग दोषों (जैसे, SQL इंजेक्शन को बफर ओवरफ्लो से अलग) के रूप में देखते हैं। यह दृष्टिकोण सॉफ्टवेयर सुरक्षा की क्रॉस-कटिंग प्रकृति (cross-cutting nature) की अनदेखी करता है, जहाँ प्रमाणीकरण (authentication), क्रेडेंशियल प्रबंधन (credential management), इनपुट वैलिडेशन और मेमोरी सेफ्टी में विफलताएं अक्सर एक ही आर्टिफैक्ट के भीतर सह-अस्तित्व में होती हैं। फलस्वरूप, वर्तमान विधियाँ यह निदान करने में विफल रहती हैं कि ये कमजोरियाँ एक साथ कैसे क्लस्टर (cluster) बनाती हैं या कौन सी प्रॉम्प्ट विशेषताएँ व्यापक, प्रणालीगत सुरक्षा जोखिमों को संचालित करती हैं।

कार्यप्रणाली (Methodology)

लेखक एक चार-चरणीय ढांचे का प्रस्ताव करते हैं जो LLM-जनरेटेड कोड में सुरक्षा विफलताओं का पता लगाने, निदान करने और समझाने के लिए मेटामॉर्फिक टेस्टिंग (MT) को एसोसिएशन रूल (AR) माining के साथ एकीकृत करता है।

1. डेटा जनरेशन (चरण A): अध्ययन LLMSecEval बेंचमार्क का उपयोग करता है, जिसमें 18 कॉमन वीकनेस एन्यूमरेशन (CWE) श्रेणियों को कवर करने वाले 148 अद्वितीय नेचुरल-लैंग्वेज प्रॉम्प्ट शामिल हैं। इन प्रॉम्प्ट्स को पांच ओपन-सोर्स मॉडल्स (Qwen3-Coder, Qwen2.5-Coder, DeepSeek-Coder, CodeGemma, और Gemma4:e4b) पर पांच रन के साथ निष्पादित किया गया, जिससे 3,700 कोड स्निपेट्स (Python और C) उत्पन्न हुए।
2. मेटामॉर्फिक जजमेंट (चरण B): लेखक नौ सुरक्षा-उन्मुख मेटामॉर्फिक रिलेशंस (MRs) के कैटलॉग को परिभाषित करते हैं जो प्रमुख CWE श्रेणियों को कवर करते हैं, जिनमें SQL इंजेक्शन (CWE-89), XSS (CWE-79), कमांड इंजेक्शन (CWE-78), पाथ ट्रैवर्सल (CWE-22), ऑथेंटिकेशन बायपास (CWE-862), हार्ड-कोडेड क्रेडेंशियल्स (CWE-798), वीक क्रिप्टोग्राफी (CWE-327), बफर ओवरफ्लो (CWE-120), और इंटिजर ओवरफ्लो (CWE-190) शामिल हैं।
   • एक LLM-आधारित जज (Claude Sonnet 4.6) प्रत्येक स्निपेट का इन MRs के विरुद्ध मूल्यांकन करता है।
   • प्रत्येक MR के लिए, जज उपयुक्तता (applicability), एक निर्णय (उल्लंघन हुआ/पास/N/A), और साक्ष्य प्रदान करता है।
   • यह प्रक्रिया एक बाइनरी वायलेशन मैट्रिक्स का निर्माण करती है जहाँ पंक्तियाँ स्निपेट्स का प्रतिनिधित्व करती हैं और कॉलम MRs का।
3. एसोसिएशन रूल माइनिंग (चरण C): बार-बार होने वाले सह-उल्लंघन पैटर्न (co-violation patterns) खोजने के लिए एपिरि एल्गोरिदम (Apriori algorithm) का उपयोग करके वायलेशन मैट्रिक्स को प्रोसेस किया जाता है। नियमों का मूल्यांकन सपोर्ट, कॉन्फिडेंस और लिफ्ट (जहाँ लिफ्ट > 1 सांख्यिकीय स्वतंत्रता से परे सकारात्मक जुड़ाव को दर्शाता है) के आधार पर किया जाता है। यह चरण पहचानता है कि कमजोरियाँ किस प्रकार के "क्रॉस-कटिंग" क्लस्टर्स बनाती हैं।
4. प्रॉम्प्ट-लेवल रिस्क एनालिसिस (चरण D): लेखक पहचाने गए वायलेशन पैटर्न को प्रॉम्प्ट फीचर्स के साथ सह-संबंधित करते हैं, जिसमें स्ट्रक्चरल मेट्रिक्स, टॉपिक कीवर्ड्स (जैसे, डेटाबेस, ऑथेंटिकेशन, मेमोरी), सुरक्षा जागरूकता वाक्यांश, और मल्टी-टॉपिक कॉम्प्लेक्सिटी शामिल हैं। वे यह निर्धारित करने के लिए क्रॉस-मॉडल कंसिस्टेंसी को भी मापते हैं कि क्या कमजोरियां प्रॉम्प्ट-अंतर्निहित (prompt-inherent) हैं या मॉडल-निर्भर (model-dependent) हैं।

बेसलाइन्स: इस दृष्टिकोण की तुलना चार स्टैटिक एनालिसिस टूल्स (CodeQL, Bandit, Flawfinder, Semgrep) और LLMSecEval बेंचमार्क में दिए गए सुरक्षित कोड सैंपल्स से की गई है।

मुख्य योगदान

1. सुरक्षा-उन्मुख MR कैटलॉग: LLM-जनरेटेड कोड सत्यापन के लिए विशेष रूप से तैयार किए गए नौ मेटामॉर्फिक रिलेशंस का परिभाषा और अनुप्रयोग।
2. क्रॉस-कटिंग स्ट्रक्चरल डायग्नोसिस: सुरक्षा विफलताओं के यह प्रकट करने के लिए AR माइनिंग को MR परिणामों के साथ एकीकृत करना कि सुरक्षा दोष स्वतंत्र नहीं बल्कि संरचित क्लस्टर्स के रूप में बनते हैं।
3. प्रॉम्प्ट-लेवल रिस्क एनालिसिस: विशिष्ट प्रॉम्प्ट विशेषताओं के साथ सह-उल्लंघन क्लस्टर्स को जोड़ने वाला एक नवीन विश्लेषण, जो यह पहचानता है कि कौन से विषय व्यापक असुरक्षा को संचालित करते हैं।
4. बड़े पैमाने पर एम्पिरिकल मूल्यांकन: पांच विविध ओपन मॉडल्स से 3,700 स्निपेट्स का व्यापक मूल्यांकन, जो क्रॉस-कटिंग कमजोरियों की व्यापकता और प्रकृति के प्रमाण प्रदान करता है।

मुख्य परिणाम

कमजोरी की व्यापकता (Vulnerability Prevalence)

• सभी जनरेटेड स्निपेट्स में से 68.8% ने कम से कम एक MR का उल्लंघन किया।
• लागू स्निपेट्स में हार्ड-कोडेड क्रेडेंशियल्स (MR6) और कमांड इंजेक्शन (MR3) सबसे प्रचलित विफलताएं थीं (क्रमशः 79.1% और 74.4%)।
• SQL इंजेक्शन (MR1) की उल्लंघन दर सबसे कम (11.5%) थी, जो सुझाव देती है कि LLMs ने पैरामीटराइज्ड क्वेरी पैटर्न को आंशिक रूप से आत्मसात कर लिया है।
• मॉडल प्रदर्शन: DeepSeek-Coder (6.7B) ने सबसे अधिक असुरक्षित कोड (73.8% उल्लंघन दर) बनाया, जबकि Gemma4:e4b (4.5B) सबसे सुरक्षित (65.1%) था। उल्लेखनीय रूप से, मॉडल स्केल का सुरक्षा के साथ कोई रैखिक संबंध नहीं था; सबसे बड़ा मॉडल (Qwen3-Coder, 30B) सबसे सुरक्षित नहीं था।

डिटेक्शन प्रभावशीलता (Detection Effectiveness)

• MR-आधारित दृष्टिकोण ने 68.8% असुरक्षित स्निपेट्स का पता लगाया।
• इसके विपरीत, चार मानक SAST टूल्स (CodeQL, Bandit, Semgrep, Flawfinder) के यूनियन ने केवल 34.2% का पता लगाया।
• SAST टूल्स सिमेंटिक उल्लंघनों जैसे कि ऑथेंटिकेशन बायपास (0% डिटेक्शन) और हार्ड-कोडेड क्रेडेंशियल्स (केवल 44 में से 651 का पता चला) का पता लगाने में विफल रहे।

क्रॉस-कटिंग सह-उल्लंघन पैटर्न (RQ2)

AR माining ने 44 एसोसिएशन रूल्स की पहचान की, जो दो प्राथमिक कमजोरी क्लस्टर्स को प्रकट करते हैं:

1. ऑथेंटिकेशन–क्रेडेंशियल–क्रिप्टोग्राफी क्लस्टर: एक मजबूती से जुड़ा समूह जिसमें ऑथेंटिकेशन बायपास (MR5), हार्ड-कोडेड क्रेडेंशियल्स (MR6), और वीक क्रिप्टोग्राफी (MR7) शामिल हैं।
   • मुख्य निष्कर्ष: नियम XSS ∧ WeakCrypto ⇒ HardCred का कॉन्फिडेंस 82.5% और लिफ्ट 3.23 है।
   • हार्ड-कोडेड क्रेडेंशियल्स और मिसिंग ऑथोराइजेशन चेक सबसे अधिक बार देखे जाने वाले सह-उल्लंघन जोड़े थे (226 स्निपेट्स)।
2. इनपुट हैंडलिंग–मेमोरी सेफ्टी क्लस्टर: XSS, पाथ ट्रैवर्सल और बफर ओवरफ्लो को जोड़ना।
   • मुख्य निष्कर्ष: XSS ∧ PathTrav ⇒ BuffOvf (Conf: 63.0%, Lift: 2.04)।

• इंटर-क्लस्टर ब्रिज: नियम AuthByp ∧ BuffOvf ⇒ XSS (Conf: 33.3%) दोनों क्लस्टर्स को जोड़ता है, जो इंगित करता है कि कुछ प्रॉम्प्ट्स ऐसे विफलताओं को ट्रिगर करते हैं जो ऑथेंटिकेशन और मेमोरी सेफ्टी डोमेन दोनों में एक साथ फैली हुई हैं।

प्रॉम्प्ट-लेवल ड्राइवर्स (RQ3)

• प्रेडिक्टर्स: डेटाबेस-संबंधित प्रॉम्प्ट्स समग्र कमजोरी (r = 0.52) के सबसे मजबूत भविष्यवक्ता थे, इसके बाद ऑथेंटिकेशन टॉपिक्स (r = 0.43) आए।
• क्लस्टर विशिष्टता: डेटाबेस और ऑथेंटिकेशन कीवर्ड्स ने क्लस्टर 1 की भविष्यवाणी मजबूती से की लेकिन क्लस्टर 2 की नहीं। इसके विपरीत, फ़ाइल I/O कीवर्ड्स क्लस्टर 2 के लिए एकमात्र प्रेडिक्टर थे (r = 0.31), एक ऐसा संबंध जिसे टोटल-काउंट विश्लेषण द्वारा मिस कर दिया गया था।
• सुरक्षा जागरूकता: सुरक्षित कोड (जैसे, "secure", "sanitize" जैसे कीवर्ड का उपयोग करके) को स्पष्ट रूप से अनुरोध करने से सुरक्षित आउटपुट के साथ कोई सहसंबंध नहीं दिखा (r = -0.04)।
• क्रॉस-मॉडल कंसिस्टेंसी: 65.5% प्रॉम्प्ट्स में, पांचों मॉडल्स उल्लंघन की स्थिति पर सहमत थे। हाई-रिस्क प्रॉम्प्ट्स (वे जो दोनों क्लस्टर्स को ट्रिगर करते हैं) के कम-रिस्क प्रॉम्प्ट्स की तुलना में डेटाबेस कीवर्ड्स होने की संभावना 14.2 गुना अधिक और ऑथेंटिकेशन कीवर्ड्स होने की संभावना 6.8 गुना अधिक थी।

महत्व और दावे (Significance and Claims)

यह शोध तर्क देता है कि LLM द्वारा असुरक्षित कोड जनरेशन केवल स्वतंत्र दोषों का संग्रह नहीं है, बल्कि एक संरचित, प्रॉम्प्ट-कंडीशन्ड घटना है।

• होलिस्टिक सुरक्षा विफलता: मजबूत क्रॉस-कटिंग क्लस्टर्स (जैसे, ऑथेंटिकेशन बायपास, हार्ड-कोडेड क्रेडेंशियल्स और वीक क्रिप्टोग्राफी का त्रय) की खोज यह बताती है कि LLMs में सुरक्षा का एक समग्र मॉडल (holistic model) की कमी है। वे SQL क्वेरी को पैरामीटराइज करने में सक्षम हो सकते हैं (कम SQLi दर), जबकि साथ ही उन क्रेडेंशियल्स को हार्ड-कोड करने से बचने में विफल हो सकते हैं जिनकी उन क्वेरीज के लिए आवश्यकता होती है (उच्च HardCred दर)।
• प्रॉम्प्ट-ड्रिवन रिस्क: उच्च क्रॉस-मॉडल कंसिस्टेंसी (65.5% सहमति) यह संकेत देती है कि कमजोरी मुख्य रूप से प्रॉम्प्ट कंटेंट द्वारा संचालित होती है न कि विशिष्ट मॉडल आर्किटेक्चर द्वारा। यह इंगित करता है कि सुरक्षा-केंद्रित रणनीतियाँ जो प्रॉम्प्ट इंजीनियरिंग या ट्रेनिंग डेटा पर ध्यान केंद्रित करती हैं, वे तुलनीय आकार के मॉडल्स के बीच स्विच करने की तुलना में अधिक प्रभावी हो सकती हैं।
• व्यावहारिक निहितार्थ:
  • क्लस्टर-अवेयर वेरिफिकेशन: डेवलपर्स को "क्लस्टर-आधारित" समीक्षा रणनीति अपनानी चाहिए; एक कमजोरी (जैसे, हार्ड-कोडेड क्रेडेंशियल्स) का पता लगाने से उसी क्लस्टर में जुड़ी अन्य कमजोरियों (जैसे, वीक क्रिप्टोग्राफी) के लिए तत्काल जांच शुरू होनी चाहिए।
  • लक्षित हस्तक्षेप: ऑटोमेटेड टूल्स विशिष्ट टॉपिक कीवर्ड्स (जैसे, डेटाबेस + फ़ाइल I/O) के आधार पर प्रॉम्प्ट्स को फ्लैग कर सकते हैं ताकि विशिष्ट कमजोरी क्लस्टर्स की भविष्यवाणी की जा सके, न कि केवल कुल जोखिम का अनुमान लगाया जा सके।
  • सतही निर्देशों की सीमाएं: सुरक्षा-जागरूक वाक्यांशों के बीच सहसंबंध की कमी यह पुष्ट करती है कि वर्तमान LLMs सतही सुरक्षा निर्देशों पर प्रतिक्रिया नहीं देते हैं, जिससे पोस्ट-जेनरेशन वेरिफिकेशन आवश्यक हो जाता है।

लेखक निष्कर्ष निकालते हैं कि उनका ढांचा सरल डिटेक्शन से हटकर स्ट्रक्चरल डायग्नोसिस और प्रॉम्प्ट-लेवल एक्सप्लेनेशन की ओर एक बदलाव सक्षम करता है, जो सुरक्षा विफलताओं की क्रॉस-कटिंग प्रकृति में डेटा-संचालित अंतर्दृष्टि के माध्यम से सुरक्षित LLM-असिस्टेड प्रोग्रामिंग के लिए एक आधार प्रदान करता है।