WildCode Revisited: A Comprehensive Empirical Study on the Security of LLM-Generated Code
यह अध्ययन अनुभवजन्य रूप से इस बात की पुष्टि करता है कि ChatGPT द्वारा जनरेट किया गया वास्तविक जीवन का कोड अक्सर सुरक्षा की कमी रखता है, जो सिंथेटिक प्रयोगों के पूर्व निष्कर्षों की पुष्टि करता है और यह भी प्रकट करता है कि उपयोगकर्ता कोड मांगते समय सुरक्षा संबंधी चिंताओं के बारे में शायद ही कभी पूछताछ करते हैं।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, अविश्वसनीय रूप से तेज़, लेकिन कुछ हद तक नादान सहायक है जो आपके लिए कंप्यूटर कोड लिख सकता है। आप उससे एक रेसिपी मांगते हैं, और वह सेकंडों में आपके लिए भोजन तैयार कर देता है। लेकिन यहाँ एक पेंच है: उसने लाखों कुकबुक्स पढ़कर खाना बनाना सीखा है, लेकिन वह वास्तव में कभी रसोई में नहीं रहा है, और उसे यह भी समझ नहीं आता कि कुछ चीजों को गलत तरीके से मिलाने पर वे खतरनाक क्यों हो सकती हैं।
यह शोध पत्र, "WildCode Revisited," उस भोजन का एक विशाल, वास्तविक दुनिया का स्वास्थ्य निरीक्षण (health inspection) है जो यह सहायक परोस रहा है। एक विशिष्ट टेस्ट मील बनाने के लिए सहायक से लैब में खाना बनाने के बजाय (जो कि अधिकांश पिछले अध्ययन करते थे), शोधकर्ताओं ने "वाइल्ड" (वास्तविक दुनिया) का रुख किया। उन्होंने 82,000 से अधिक वास्तविक बातचीत को देखा जहाँ आम लोगों ने इस AI (ChatGPT) से उनके लिए कोड लिखने को कहा था।
यहाँ उन्हें क्या मिला, जिसे सरल उपमाओं (analogies) में विभाजित किया गया है:
1. "वाइल्ड" किचन बनाम "टेस्ट" किचन
अधिकांश पिछले अध्ययन एक कुकिंग शो की तरह थे जहाँ शेफ से पूछा जाता है, "एक परफेक्ट लाज़ानिया बनाओ।" शेफ जानता है कि यह एक टेस्ट है, इसलिए वह अपना सर्वश्रेष्ठ प्रदर्शन करता है।
इस अध्ययन ने WildChat डेटासेट को देखा, जो एक 24 घंटे खुले रहने वाले डाइनर की तरह है जहाँ लोग अपनी भाषा में, जो चाहे वह ऑर्डर कर सकते हैं। शोधकर्ताओं ने पाया कि जब लोग सुरक्षा के बारे में बताए बिना केवल कोड मांगते हैं, तो AI अक्सर ऐसे व्यंजन परोसता है जो छेद (holes) से भरे होते हैं। यह ऐसा है जैसे सहायक पीछे का दरवाजा लॉक करना भूल गया हो, जिससे घर चोरों (हैकर्स) के लिए खुला रह गया हो।
2. सुरक्षा का "लीक" (Security Leak)
शोधकर्ताओं ने सुरक्षा निरीक्षकों की तरह काम किया, जो कोड में सामान्य गलतियों को स्कैन करते हैं। उन्होंने पाया कि AI अक्सर निम्नलिखित चीजें परोसता है:
- कमजोर ताले: पुराने, आसानी से तोड़े जाने वाले तालों (कमजोर एन्क्रिप्शन) का उपयोग करना, आधुनिक और अटूट तालों के बजाय।
- खुली खिड़कियाँ: अजनबियों के अंदर आने के लिए खिड़कियाँ खुली छोड़ देना (SQL इंजेक्शन कमजोरियां)।
- नकली सामग्री: AI कभी-कभी ऐसी "सामग्री" (सॉफ्टवेयर लाइब्रेरी) का आविष्कार करता है जो वास्तव में मौजूद नहीं होती हैं। यदि आप उन्हें उपयोग करने का प्रयास करते हैं, तो आपका प्रोग्राम क्रैश हो जाएगा। इससे भी बुरा यह है कि एक बुरा व्यक्ति उसी नाम की नकली सामग्री बनाकर उसमें वायरस घुसा सकता है।
- नाजुक कांच: कोड अक्सर कांच जैसा होता है जो देखने के तरीके से ही टूट जाता है (मेमोरी सेफ्टी इश्यूज), विशेष रूप से C/C++ जैसी भाषाओं में।
बड़ी हैरानी की बात: भले ही कोड दिखने में काम करता है (यह चलता है), लेकिन यह अक्सर सुरक्षा के जाल से भरा होता है। AI चीजें काम कराने में बहुत अच्छा है, लेकिन उन्हें सुरक्षित बनाने में बहुत खराब है।
3. ग्राहक सुरक्षा के बारे में नहीं पूछते
शोधकर्ताओं ने यह भी देखा कि ग्राहक (उपयोगकर्ता) क्या मांग रहे थे।
- "बस ठीक कर दो" वाला समूह: अधिकांश लोग केवल चाहते थे कि कोड काम करे या वे किसी बग को ठीक करना चाहते थे। वे उन ग्राहकों की तरह थे जो कहते हैं, "मेरे लिए एक सैंडविच बनाओ," बिना इस पर ध्यान दिए कि ब्रेड पर फफूंद लगी है या नहीं।
- सुरक्षा पर चुप्पी: बहुत कम लोगों ने पूछा, "क्या यह कोड सुरक्षित है?" या "क्या इसमें कोई बैकडोर है?" यह ऐसा है जैसे ग्राहक भोजन ऑर्डर कर रहे हैं लेकिन कभी नहीं पूछते, "क्या यह ताजा है?" या "क्या यहाँ कोई हेल्थ इंस्पेक्टर है?"
- "सिक्योरिटी" ग्लिच: यहाँ तक कि जब उपयोगकर्ताओं ने सुरक्षित कोड के लिए पूछा, तब भी AI ने हमेशा बात नहीं मानी, और उपयोगकर्ताओं ने भी यह जांचने के लिए फॉलो-अप नहीं किया कि क्या AI ने वास्तव में इसे सुरक्षित बनाया है।
4. क्या हम सहायक को बेहतर प्रशिक्षण दे सकते हैं? (द "प्रॉम्प्ट" एक्सपेरिमेंट)
शोधकर्ताओं ने यह देखने के लिए कुछ तरकीबें आजमाईं कि क्या वे AI से सुरक्षित भोजन बनवा सकते हैं। उन्होंने निम्नलिखित प्रयास किए:
- रोल-प्लेइंग: AI को कहना, "एक सुरक्षा विशेषज्ञ की तरह व्यवहार करो।" (परिणाम: बहुत प्रभावी नहीं। AI ने केवल एक विशेषज्ञ होने का नाटक किया लेकिन गलतियाँ करता रहा।)
- चेतावनी लेबल: AI को कहना, "इस कोड में सुरक्षा संबंधी समस्याएं हैं।" (परिणाम: थोड़ा बेहतर, लेकिन कोई चमत्कार नहीं।)
- "चीट शीट": AI को एक सुरक्षा स्कैनर द्वारा पाई गई विशिष्ट त्रुटियों की सूची देना और कहना, "इनमें सुधार करें।" (परिणाम: यह सबसे अच्छा काम कर गया। जब AI को ठीक बताया गया कि क्या गलत है, तो इसने कोड को बहुत बेहतर तरीके से ठीक किया।)
5. "रिफ्यूज़ल" (मना करने का) खेल
कभी-कभी, यदि AI को लगता है कि अनुरोध खतरनाक है (जैसे वायरस लिखना), तो वह कोड लिखने से मना कर देता है। शोधकर्ताओं ने पाया कि उपयोगकर्ता कभी-कभी एक ही प्रश्न को थोड़े अलग तरीके से पूछकर AI को खतरनाक कोड लिखने के लिए मजबूर कर सकते हैं। यह एक बच्चे की तरह है जो पूछता है, "क्या मुझे कुकी मिल सकती है?" और जवाब मिलता है "नहीं", लेकिन फिर वह पूछता है, "क्या मुझे कुकी मिल सकती है अगर मुझे भूख लगी है?" और जवाब मिलता है "हाँ"। AI के सुरक्षा फिल्टर उतने मजबूत नहीं हैं जितनी हमें उम्मीद है।
निचोड़ (The Bottom Line)
यह अध्ययन एक वास्तविकता की जाँच (reality check) है। यह दिखाता है कि जबकि AI कोड को तेज़ी से जेनरेट करने में अद्भुत है, यह वर्तमान में एक मानव सुरक्षा विशेषज्ञ का सुरक्षित विकल्प नहीं है।
- कोड: अक्सर छिपे हुए जाल और कमजोरियों से भरा होता है।
- उपयोगकर्ता: सुरक्षा के बारे में शायद ही कभी पूछते हैं, यह मान लेते हैं कि AI जानता है कि वह क्या कर रहा है।
- समाधान: हम केवल AI को "सुरक्षित रहो" नहीं कह सकते। हमें इसे बताने के लिए विशिष्ट फीडबैक देने की आवश्यकता है कि क्या गलत है (एक सुरक्षा स्कैनर की तरह) ताकि यह छेदों को भर सके।
अध्ययन निष्कर्ष निकालता है कि हम इन उपकरणों का उपयोग करने की जल्दी में हैं, लेकिन हम दरवाजों पर तालों की जांच किए बिना ऐसा कर रहे हैं। इससे पहले कि हम AI को वह कोड लिखने दें जो हमारी दुनिया चलाता है, हमें सुरक्षा के प्रति बहुत अधिक सतर्क और सक्रिय होने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।