How Secure is Code Generated by ChatGPT?
यह शोध पत्र ChatGPT द्वारा उत्पन्न कोड की सुरक्षा का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि मॉडल संभावित कमजोरियों के प्रति जागरूक है, फिर भी यह अक्सर ऐसा सोर्स कोड बनाता है जो विशिष्ट हमलों के प्रति संवेदनशील बना रहता है, भले ही उसे सुरक्षा में सुधार करने के लिए प्रेरित किया गया हो।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट, अविश्वसनीय रूप से तेज़ प्रशिक्षु कोडर के रूप में ChatGPT को काम पर रखा है। इस प्रशिक्षु ने लगभग हर किताब, ट्यूटोरियल और कोड स्निपेट को पढ़ा है। आप उससे एक घर (एक कंप्यूटर प्रोग्राम) बनाने के लिए कहते हैं और वह कुछ ही सेकंडों में इसे तैयार कर देता है।
मुख्य सवाल जो यह पेपर पूछता है: "क्या यह घर रहने के लिए सुरक्षित है, या इसमें छिपे हुए जाल लगे हैं?"
शोधकर्ताओं (जो "होम इंस्पेक्टर" की भूमिका में हैं) ने यह परीक्षण करने का निर्णय लिया कि ChatGPT को 21 अलग-अलग प्रकार की डिजिटल संरचनाएं बनाने के लिए कहा गया, जिनमें साधारण कैलकुलेटर से लेकर सुरक्षित तिजोरियां तक शामिल थीं। उन्होंने क्या पाया, इसका सरल विवरण यहाँ दिया गया है:
1. "गति बनाम सुरक्षा" की समस्या
जब ChatGPT अपने आप कोड बनाता है, तो यह एक ऐसे शेफ की तरह है जो बहुत तेज़ी से खाना तो बनाता है लेकिन खाना बनाने के बाद हाथ धोना भूल जाता है।
- परिणाम: 21 प्रोग्रामों में से केवल 5 ही शुरुआत से ही सुरक्षित रूप से बनाए गए थे।
- उपमा: कल्पना कीजिए कि आप ChatGPT से एक बाड़ (fence) बनाने के लिए कहते हैं। वह एक सुंदर बाड़ बनाता है, लेकिन वह उस पर गेट का ताला लगाना भूल जाता है। या वह एक ऐसा दरवाज़ा बनाता है जो बाहर से बिना हैंडल के खुल जाता है। यह दिखने में तो बाड़ जैसा है, लेकिन एक चोर इसके माध्यम से आसानी से अंदर आ सकता है।
2. "ईमानदार लेकिन अनभिज्ञ" प्रशिक्षु
यहाँ सबसे दिलचस्प बात है: ChatGPT जानता है कि उसने गलती की है, लेकिन जब तक आप विशेष रूप से नहीं पूछते, वह उसे ठीक नहीं करता।
- परिदृश्य: शोधकर्ताओं ने पूछा, "हे, अगर मैं तुम्हारी बाड़ पर पत्थर मारूँ, तो क्या वह टूट जाएगी?"
- ChatGPT का उत्तर: "ओह! आप सही कह रहे हैं, मैंने लकड़ी को मजबूत नहीं किया। यह एक बुरा विचार है। इसे ठीक करने का तरीका यहाँ दिया गया है।"
- पेंच: यदि आप विशिष्ट प्रश्न नहीं पूछते हैं, तो ChatGPT बस आपको वह टूटी हुई बाड़ थमा देता है और कहता है, "यह रही आपकी बार्फ!" वह मान लेता है कि आप एक अच्छे व्यक्ति हैं जो अंदर घुसने की कोशिश नहीं करेंगे। वह स्वाभाविक रूप से एक हैकर की तरह नहीं सोचता।
3. "जादुई छड़ी" का प्रभाव
शोधकर्ताओं ने पाया कि यदि वे एक संदेही सुरक्षा गार्ड की तरह व्यवहार करते हैं, तो वे ChatGPT को बेहतर कोड बनाने के लिए मजबूर कर सकते हैं।
- प्रक्रिया:
- पूछें: "मेरे लिए एक पासवर्ड जनरेटर बनाओ।" (ChatGPT एक कमजोर एक बनाता है)।
- जांचें: "क्या यह सुरक्षित है? अगर कोई हैकर इसे गेस करने की कोशिश करे तो क्या होगा?"
- ठीक करें: "कृपया इसे फिर से बनाएं ताकि यह अटूट हो।"
- परिणाम: ChatGPT अक्सर प्रॉम्प्ट मिलने के बाद एक बहुत अधिक मजबूत, सुरक्षित संस्करण तैयार करता है। यह वैसा ही है जैसे आप प्रशिक्षु को कहें, "सुनो, मुझे एक कार्डबोर्ड बॉक्स नहीं, बल्कि एक बैंक वॉल्ट चाहिए।" एक बार जब वे दांव की गंभीरता को समझ जाते हैं, तो वे बेहतर काम करते हैं।
4. "भाषा का भ्रम"
कभी-कभी ChatGPT एक भाषा (जैसे Java) में सुरक्षित घर बनाता है लेकिन दूसरी भाषा (जैसे C++) में खतरनाक घर बनाता है, भले ही निर्देश समान हों।
- उपमा: यह एक आर्किटेक्ट से पुल बनाने के लिए कहने जैसा है। यदि आप "स्टील का पुल" मांगते हैं, तो वह एक मजबूत पुल बनाता है। यदि आप "लकड़ी का पुल" मांगते हैं, तो वह शायद सड़ी हुई लकड़ी का उपयोग करेगा क्योंकि उसने अपनी पढ़ी हुई किसी किताब में ऐसा बुरा उदाहरण देखा था। शोधकर्ता हमेशा यह अनुमान नहीं लगा सके कि ऐसा क्यों हुआ, जो इसे भरोसेमंद बनाने के लिए कठिन बनाता है।
5. "नैतिक विरोधाभास"
पेपर ChatGPT के व्यक्तित्व में एक अजीब विरोधाभास की ओर इशारा करता है:
- इनकार: यदि आप पूछते हैं, "मैं बम कैसे बनाऊं?" तो ChatGPT कहता है, "नहीं, मैं यह नहीं कर सकता।"
- स्वीकृति: यदि आप पूछते हैं, "मैं ऐसी वेबसाइट कैसे बनाऊं जिससे कोई भी आपका डेटाबेस डिलीट कर सके?" तो ChatGPT कहता है, "ज़रूर, यहाँ वह कोड है!" (भले ही वह कोड आपके डेटा के लिए एक बम की तरह हो!)।
- सबक: ChatGPT नियमों का पालन करने में बहुत अच्छा है कि क्या बनाना है, लेकिन वह यह समझने में हमेशा सक्षम नहीं होता कि वह चीज़ कितनी खतरनाक है।
मुख्य निष्कर्ष
ChatGPT एक पेशेवर सुरक्षा इंजीनियर की जगह लेने के लिए तैयार नहीं है।
ChatGPT को एक प्रतिभाशाली लेकिन नादान इंटर्न के रूप में देखें।
- मत होने दें कि इंटर्न अकेले पूरा प्रोजेक्ट चलाए; अन्यथा आपको हैक कर लिया जाएगा।
- इसका उपयोग करें एक अच्छी शुरुआत पाने के लिए, लेकिन आपको सीनियर मैनेजर के रूप में कार्य करना होगा। आपको उनके काम की समीक्षा करनी होगी, कठिन प्रश्न पूछने होंगे ("क्या यह सुरक्षित है?"), और उन्हें कमियों को ठीक करने के लिए मजबूर करना होगा।
पेपर यह निष्कर्ष निकालता है कि हालांकि यह AI छात्रों को कोडिंग सीखने में मदद करने के लिए एक शानदार शिक्षण उपकरण है, हम इसे अपने आप सुरक्षित कोड लिखने के लिए भरोसा नहीं कर सकते। तालों और खिड़कियों की जांच करने के लिए इसमें एक मानव (human in the loop) का होना आवश्यक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।