Hardening vibe-coded web applications with an automated security-audit skill: a controlled comparison of two builds of the same app

कल्पना कीजिए कि आप एक घर बना रहे हैं, लेकिन ईंटें खुद रखने के बजाय, आप एक सुपर-फास्ट, अविश्वसनीय रूप से प्रतिभाशाली रोबोट को यह काम करने के लिए कहते हैं। आप रोबोट को एक सरल वाक्य देते हैं जैसे, "मेरे लिए लाल दरवाजे वाला एक आरामदायक कॉटेज बनाओ," और कुछ ही सेकंड में, वह आपको एक बेहतरीन दिखने वाला घर थमा देता है। यह "वाइब कोडिंग" (vibe coding) की दुनिया है, जहाँ आर्टिफिशियल इंटेलिजेंस (AI) छोटे प्रॉम्प्ट्स से पूरे काम करने वाले ऐप्स लिख देता है। यह जादू जैसा है: आपको तुरंत एक तैयार उत्पाद मिल जाता है। लेकिन यहाँ एक पेंच है: रोबोट चीज़ों को अच्छा दिखाने और उन्हें तेज़ी से चलाने में तो माहिर है, लेकिन वह अक्सर उबाऊ, अदृश्य सुरक्षा संबंधी चीज़ों को भूल जाता है। हो सकता है कि वह सामने का दरवाज़ा खुला छोड़ दे, स्मोक डिटेक्टर लगाना भूल जाए, या पिछला गेट खुला छोड़ दे क्योंकि ये चीज़ें एक त्वरित टूर के दौरान घर को सुंदर नहीं बनातीं।

कंप्यूटर सुरक्षा की दुनिया में, इन अदृश्य अंतरालों को 'वल्नरेबिलिटीज़' (vulnerabilities - कमियां) कहा जाता है। इन्हें नींव में छिपी दरारों या ऐसी खिड़कियों के रूप में सोचें जो लॉक नहीं होतीं। एक पेशेवर टीम के लिए, सुरक्षा गार्ड (मानवीय विशेषज्ञ) होते हैं जो किसी के रहने से पहले इन चीज़ों की जाँच करते हैं। लेकिन AI का उपयोग करने वाले अकेले बिल्डर के लिए, जाँच करने वाला कोई और नहीं होता। रोबोट बस चाबियाँ सौंप देता है, और बिल्डर को पता भी नहीं चलता कि घर असुरक्षित है। यह शोध पत्र एक सरल, महत्वपूर्ण प्रश्न पूछता है: यदि हम ठीक एक ही घर को दो बार बनाते हैं—एक बार रोबोट के साथ अकेले, और दूसरी बार रोबोट प्लस एक विशेष "सुरक्षा निरीक्षक" रोबोट के साथ जो अपने काम की जाँच करता है—तो दूसरा घर कितना अधिक सुरक्षित हो जाता है? शोधकर्ता यह देखना चाहते थे कि क्या एक सरल, स्वचालित जाँच जोड़ने से एक डगमगाते, असुरक्षित ऐप को एक किले में बदला जा सकता है, और वह भी निर्माण के मज़ेदार, तेज़ "वाइब" को धीमा किए बिना।

प्रयोग: दो ऐप्स, एक बड़ा अंतर

शोधकर्ताओं ने "नॉर्थविंड" (Northwind) नामक एक नकली ऑनलाइन स्टोर का उपयोग करके एक नियंत्रित प्रयोग किया। उन्होंने एक AI को इस स्टोर को दो बार बनाने के लिए कहा। पहले संस्करण को, मान लीजिए ऐप A, अकेले रोबलेट के साथ बनाया गया था। दूसरे संस्करण, ऐप B, को उसी रोबोट के साथ बनाया गया था, लेकिन इस बार, रोबोट के साथ एक विशेष "सुरक्षा ऑडिट कौशल" (security audit skill) जुड़ा हुआ था। यह कौशल एक अथक निरीक्षक की तरह है जो पांच-चरणीय लूप चलाता है: यह कोड को स्कैन करता है, समस्याओं को चिह्नित करता है, उन्हें ठीक करता है, और फिर दोबारा स्कैन करता है ताकि यह सुनिश्चित हो सके कि सुधार वास्तव में काम कर गया।

इस प्रयोग की मुख्य बात यह थी कि दोनों ऐप्स के बीच एकमात्र अंतर यह 'सुरक्षा कौशल' था। AI को दिया गया प्रॉम्प्ट बिल्कुल समान था, और मुख्य विशेषताएँ (उत्पाद, शॉपिंग कार्ट, चेकआउट) बिल्कुल एक जैसी थीं। इसने यह सुनिश्चित किया कि कोई भी अंतर इसलिए नहीं था क्योंकि AI भाग्यशाली था या उसने डिज़ाइन बदल दिया था, बल्कि यह पूरी तरह से सुरक्षा निरीक्षक के कारण था।

परिणाम: एक विशाल सुरक्षा वृद्धि

परिणाम नाटकीय थे। जब उन्होंने 16 विभिन्न सुरक्षा नियमों (जैसे कि "कंटेंट सिक्योरिटी पॉलिसी", जो ब्राउज़र को बताती है कि उसे किन स्क्रिप्ट्स को चलाने की अनुमति है, और एक "रेफरर पॉलिसी", जो ऐप को आपकी ब्राउंकिंग हिस्ट्री अन्य साइटों पर लीक होने से रोकती है) के आधार पर दोनों ऐप्स को 100 के पैमाने पर स्कोर किया, तो अंतर बहुत बड़ा था।

• ऐप A (बिना सुरक्षा कौशल के): इसने 100 में से 58 का स्कोर किया। इसमें 16 सुरक्षा समस्याएँ थीं, जिनमें चार "उच्च-गंभीरता" वाली कमियाँ शामिल थीं। ये खतरनाक छेद थे, जैसे सामने के दरवाजों पर ताले गायब होना। कुल "जोखिम" को 100 यूनिट पर मापा गया था।
• ऐप B (सुरक्षा कौशल के साथ): इसने 100 में से 99 का स्कोर किया। सुरक्षा कौशल ने लगभग सब कुछ ठीक कर दिया। इसने सभी चार उच्च-गंभीरता वाली कमियों को खत्म कर दिया और समस्याओं की कुल संख्या को 16 से घटाकर केवल 1 कर दिया। कुल जोखिम 100 यूनिट से घटकर 1 यूनिट रह गया।

साधारण शब्दोंों में, सुरक्षा कौशल ने अनियंत्रित जोखिम को 99.0% कम कर दिया। बचा हुआ एकल जोखिम एक विशिष्ट जाँच से संबंधित था जिसके लिए वास्तविक बैकएंड सर्वर की आवश्यकता होती है (जो इस डेमो में नहीं था), इसलिए कौशल ने ईमानदारी से इसे एक ऐसी चीज़ के रूप में चिह्नित किया जिसे अभी भी मानवीय ध्यान की आवश्यकता है, बजाय इसके कि वह दिखावा करे कि यह ठीक हो गया है।

यह क्यों मायने रखता है: "ग्लिच" बोनस

एक दिलचस्प खोज केवल हैकर्स को रोकने के बारे में नहीं थी, बल्कि ऐप को खुद को टूटने से बचाने के बारे बारे में भी थी। शोधकर्ताओं ने पाया कि यदि आप केवल एक अस्त-व्यस्त ऐप में सख्त सुरक्षा नियम जोड़ते हैं, तो ऐप अक्सर टूट जाता है। उदाहरण के लिए, यदि आप ब्राउज़र को कहते हैं "कोई बाहरी स्क्रिप्ट नहीं," लेकिन आपके ऐप में ऐसा कोड है जो बाहरी स्क्रिप्ट का उपयोग करने की कोशिश करता है, तो ऐप काम करना बंद कर देता है।

सुरक्षा कौशल इतना स्मार्ट था कि वह यह समझ सका। सख्त नियम जोड़ने से पहले, इसने कोड को वापस जाकर साफ किया, स्टाइल और स्क्रिप्ट्स को सही जगहों पर स्थानांतरित किया ताकि ऐप अभी भी पूरी तरह से काम करता रहे और दिखता रहे। इसने उन "ग्लिच" (खराबी) को रोका जो एक मानव निर्माता को तब तक नोटिस नहीं कर पाता जब तक कि बहुत देर न हो जाए। इसने केवल छेदों को ही नहीं भरा; इसने पूरे ढांचे को मजबूत किया ताकि सुरक्षा नियम घर को ढहा न दें।

शोध पत्र क्या कहता है (और क्या नहीं कहता)

शोध पत्र बहुत स्पष्ट है कि यह क्या साबित नहीं करता है। यह दावा नहीं करता कि ऐप अब "अजेय" है या आप सुरक्षा की चिंता करना पूरी तरह से छोड़ सकते हैं। लेखक इस बात पर जोर देते हैं कि यह एक स्टेटिक डेमो (नकली भुगतान वाला एक नकली स्टोर) है और वास्तविक दुनिया के ऐप्स, जिनमें वास्तविक पैसा और वास्तविक उपयोगकर्ता डेटा होता है, उन्हें अभी भी गहन पेनेट्रेशन टेस्टिंग के लिए पेशेवर मानव सुरक्षा विशेषज्ञों की आवश्यकता होती है। 99% सुधार इस प्रकार के ऐप में ऑटोमेट किए जा सकने वाले नियंत्रणों के लिए विशिष्ट है।

हालाँकि, शोध पत्र दृढ़ता से सुझाव देता है कि शौकिया लोगों और एकल डेवलपर्स द्वारा उपयोग किए जाने वाले लाखों छोटे ऐप्स के लिए, इस तरह का स्वचालित, अंतर्निहित ऑडिट एक गेम-चेंजर है। यह सुझाव देता है कि AI के वर्कफ़्लो में सुरक्षा जाँचों को सीधे शामिल करके, हम सॉफ़्टवेयर के "सुरक्षा स्तर" को बहुत अधिक ऊपर उठा सकते हैं, जिससे "वाइब कोडिंग" की जो कभी एक खतरनाक आदत थी, वह बहुत अधिक विश्वसनीय बन सकती है। अध्ययन निष्कर्ष निकालता है कि यह एक सस्ता, उच्च-प्रभाव वाला कदम है जो AI-जनित सॉफ़्टवेयर को लगभग दो गुना (two orders of magnitude) अधिक सुरक्षित बनाता है, केवल सुरक्षित मार्ग को डिफ़ॉल्ट मार्ग बनाकर।