Broken by Default: A Formal Verification Study of Security Vulnerabilities in AI-Generated Code
यह औपचारिक सत्यापन अध्ययन प्रदर्शित करता है कि सात फ्रंटियर एलएलएम (LLMs) में एआई-जनरेटेड कोड मौलिक रूप से असुरक्षित है, जिसमें 55.8% आर्टिफैक्ट्स में गणितीय रूप से सिद्ध कमजोरियां मौजूद हैं जो उद्योग-मानक उपकरणों से बच निकलती हैं और स्पष्ट सुरक्षा निर्देशों के बावजूद बनी रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने घर का ब्लूप्रिंट (नक्शा) लिखने के लिए एक प्रतिभाशाली, तेज़ बोलने वाले प्रशिक्षु (apprentice) को काम पर रखा है। इस प्रशिक्षु ने अब तक लिखी गई हर किताब पढ़ ली है, हज़ारों वास्तुशिल्प शैलियों (architectural styles) को जानता है, और सेकंडों में एक कमरा तैयार कर सकता है। लेकिन एक पेच है: इस प्रशिक्षु ने वास्तव में कभी किसी घर में जीवन नहीं बिताया है, और उसने पुराने ब्लूप्रिंट की नकल करके निर्माण करना सीखा है जिनमें अक्सर छिपी हुई दरारें होती थीं।
यह शोध पत्र, जिसका शीर्षक "ब्रोकन बाय डिफॉल्ट" (Broken by Default) है, इस बात की एक औपचारिक जांच है कि क्या होता है जब हम इन AI "प्रशिक्षुओं" (Large Language Models) को हमारे डिजिटल घरों के लिए कोड लिखने देते हैं, विशेष रूप से उन हिस्सों के लिए जिन्हें सुरक्षित होना चाहिए, जैसे कि ताले और तिजोरियाँ।
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसे रोज़मर्रा की भाषा में अनुवादित किया गया है:
1. बड़ी खोज: "ब्रोकन बाय डिफॉल्ट" (Broken by Default)
शोधकर्ताओं ने दुनिया के सात सबसे स्मार्ट AI मॉडलों से 500 अलग-अलग प्रकार का कोड (जैसे पासवर्ड सिस्टम बनाना या पैसे का लेन-देन संभालना) लिखने के लिए कहा। उन्होंने पाया कि 55.8% समय, AI ने ऐसा कोड लिखा जो टूटा हुआ था और जिसे हैक किया जा सकता था।
- उपमा (Analogy): कल्पना कीजिए कि आप एक शेफ से 100 सैंडविच बनाने के लिए कहते हैं। यदि 56 में पत्थर भरा हो, तो आप यह नहीं कहेंगे, "खैर, शेफ अपनी पूरी कोशिश कर रहा है।" आप कहेंगे कि रसोई ही खराब है।
- ग्रेड्स: यहाँ तक कि "सबसे अच्छे" AI मॉडल को भी केवल D मिला। शीर्ष मॉडल (GPT-4o) को F मिला। कोई भी सुरक्षा परीक्षण में पास नहीं हुआ।
2. "जादुई चश्मा" (Z3 Solver)
उन्हें कैसे पता चला कि कोड वास्तव में टूटा हुआ था? आमतौर पर, सुरक्षा उपकरण स्पेलचेकर (spellcheckers) की तरह होते हैं। वे बुरे शब्दों (जैसे "unsafe") या पहले देखे गए पैटर्न को देखते हैं। यदि AI किसी ताले को तोड़ने का नया, चतुर तरीका लिखता है, तो स्पेलचेकर उसे मिस कर देता है।
शोधकर्ताओं ने Z3 नामक एक टूल का उपयोग किया, जो एक गणितीय सुपर-सिम्युलेटर (mathematical super-simulator) की तरह है।
- यह कैसे काम करता है: केवल बुरे शब्दों को देखने के बजाय, Z3 कोड के गणितीय पहेली को हल करने की कोशिश करता है। यह पूछता है, "क्या कोई ऐसा नंबर है जिसे मैं यहाँ टाइप करूँ और इससे सिस्टम क्रैश हो जाए?"
- परिणाम: यदि Z3 कहता है, "हाँ, यहाँ वह सटीक नंबर है," तो यह केवल एक अनुमान नहीं है। यह इस बात का गणितीय प्रमाण (mathematical proof) है कि कोड का शोषण किया जा सकता है। उन्हें ऐसे 1,000 से अधिक "प्रमाण" मिले।
3. "रनटाइम क्रैश" (वास्तविकता की जाँच)
यह सुनिश्चित करने के लिए कि गणित केवल सिद्धांत नहीं था, उन्होंने Z3 से मिले "प्रमाणों" को वास्तव में एक कंप्यूटर पर चलाया।
- उपमा: यह ऐसा है जैसे एक आर्किटेक्ट कहता है, "यह पुल भार सह लेगा," लेकिन एक इंजीनियर एक छोटा मॉडल बनाता है और उस पर ट्रक चलाकर देखता है। यदि पुल ढह जाता है, तो आप जानते हैं कि वह टूटा हुआ है।
- परिणाम: 7 में से 6 परीक्षणों में, कोड वास्तव में क्रैश हो गया या हैकर्स को अंदर आने दिया। गणित सही था; कोड खतरनाक था।
4. "जादुई मंत्र" काम नहीं आया (Prompting)
लोग अक्सर सोचते हैं, "अगर मैं बस AI को कहूँ, 'कृपया सुरक्षित और सुदृढ़ रहें,' तो यह खुद को ठीक कर लेगा।" शोधकर्ताओं ने एक विशेष "सुरक्षा निर्देश" देकर इसका परीक्षण किया।
- परिणाम: इससे बहुत कम मदद मिली। त्रुटि दर केवल 4 अंक कम हुई।
- महत्वपूर्ण संदर्भ: यह विशिष्ट परीक्षण एक छोटे 50-प्रॉम्प्ट सब-कॉर्पस (पूरे 500-प्रॉम्प्ट बेंचमार्क का एक उपसमुच्चय) पर चलाया गया था। हालांकि पैमाना छोटा था, लेकिन परिणाम एक महत्वपूर्ण सत्य को उजागर करते हैं: एक साधारण अनुस्मारक मूल समस्या को ठीक नहीं करता है।
- उपमा: यह उस व्यक्ति को बताने जैसा है जिसने कभी तैरना नहीं सीखा, "कृपया डूबना मत," और फिर उसे गहरे पानी में फेंक देना। वे अभी भी तैरना नहीं जानते। कोड लिखने के लिए AI की "मसल मेमोरी" (muscle memory) पुराने, असुरक्षित तरीकों के लिए इतनी अभ्यस्त है कि एक साधारण अनुस्देश इसे ठीक नहीं कर सकता।
5. "सुरक्षा गार्ड" सो रहे हैं (Static Tools)
शोधकर्ताओं ने उद्योग के सर्वश्रेष्ठ सुरक्षा उपकरणों (जो आमतौर पर खराब कोड को पकड़ लेते हैं) का AI के आउटपुट के विरुद्ध परीक्षण किया।
- परिणाम: इन उपकरणों ने उस टूटे हुए कोड में से 97.8% को मिस कर दिया जिसे Z3 ने ढूँढा था।
- उपमा: कल्पना कीजिए कि एक चोर एक बिल्कुल नए, अदृश्य औज़ार से खिड़की तोड़ रहा है। सुरक्षा गार्ड एक लोहे की छड़ या लॉकपिक की तलाश कर रहा है। गार्ड कुछ नहीं देखता और कहता है, "सब कुछ ठीक लग रहा है!" गार्ड मूर्ख नहीं है; वह बस सही तरह के खतरे को नहीं देख रहा है।
6. "भूलने की बीमारी" का प्रभाव (Generation vs. Review)
यहाँ सबसे आश्चर्यजनक हिस्सा है। शोधकर्ताओं ने AI द्वारा लिखे गए टूटे हुए कोड को लिया और उसी AI से उसकी समीक्षा करने को कहा।
- परिणाम: जब कोड की समीक्षा करने के लिए पूछा गया, तो AI ने 79% बार खामियों को पहचान लिया। वह ठीक जानता था कि क्या गलत था!
- समस्या: लेकिन जब शून्य से कोड लिखने के लिए कहा गया, तो वह सब कुछ भूल गया और वही गलतियाँ दोबारा कीं।
- उपमा: यह उस छात्र की तरह है जो किसी परीक्षा को पूरी तरह से ग्रेड कर सकता है और समझा सकता है कि उत्तर क्यों गलत है, लेकिन जब वे खुद परीक्षा देते हैं, तो वे उन्हीं सवालों में गलतियाँ करते हैं। उनके पास ज्ञान है, लेकिन वे काम करते समय उसे लागू नहीं कर पाते।
निचोड़ (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि AI कोडिंग असिस्टेंट वर्तमान में भारी मानवीय पर्यवेक्षण के बिना महत्वपूर्ण प्रणालियों के लिए उपयोग करने हेतु असुरक्षित हैं।
- "सुरक्षित" प्रॉम्प्ट पर भरोसा न करें: यह मुख्य समस्या को ठीक नहीं करता है, भले ही इसे डेटा के विशिष्ट उपसमुच्चयों पर परखा गया हो।
- मानक उपकरणों पर भरोसा न करें: वे उन विशिष्ट गणितीय त्रुटियों के प्रति अंधे हैं जो AI करता है।
- समाधान: हमें AI कोड के साथ वैसा ही व्यवहार करना चाहिए जैसा किसी अजनबी के साथ करते हैं जो नियमों को नहीं जानता। हमें काम को अपने डिजिटल घरों में प्रवेश करने देने से पहले "गणितीय प्रमाण" (Z3 जैसे टूल का उपयोग करके) या बहुत सावधानीपूर्वक मानव विशेषज्ञों का उपयोग करना चाहिए।
संक्षेप में: AI एक तेज़, आत्मविश्वासी, लेकिन खतरनाक रूप से लापरवाह प्रशिक्षु है। जब तक हम इसे बुनियादी स्तर से सुरक्षित रूप से निर्माण करना नहीं सिखा देते, हम केवल इसे "सावधान रहने" के लिए नहीं कह सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।