Open-Source Intelligence for Code Provenance and the Security Patterns that Separate Human and Large-Language-Model Implementations of Common Programming Tasks
यह शोध पत्र एक पूर्णतः पुनरुत्पादनीय (reproducible), ओपन-सोर्स पाइपलाइन प्रस्तुत करता है जो यह प्रदर्शित करता है कि कोड स्निपेट्स की उत्पत्ति को मानव बनाम लार्ज लैंग्वेज मॉडल के मूल से उच्च सटीकता के साथ अलग किया जा सकता है, जबकि यह कई प्रोग्रामिंग भाषाओं में सुसंगत सुरक्षा पैटर्न विचलनों को प्रकट करता है और मॉडल-संचालित भेद्यता सुधारों (vulnerability repairs) में विशिष्ट विफलता मोडों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: इस कोड को किसने लिखा है? क्या यह कोई मानव डेवलपर था जो स्टैक ओवरफ्लो (Stack Overflow) जैसे फोरम पर स्क्रॉल कर रहा था, या यह एक लार्ज लैंग्वेज मॉडल (LLM) था जो कुछ ही सेकंडों में उत्तर तैयार कर रहा था? और इससे भी महत्वपूर्ण बात यह है कि, क्या यह कोड सुरक्षित है?
यह शोध पत्र एक विशाल, ओपन-सोर्स जांच की तरह है जहाँ शोधकर्ताओं ने एक "कोड ज़ू" (code zoo) बनाया है। उन्होंने 9 अलग-अलग AI मॉडलों और वास्तविक मानव डेवलपर्स से 31 कठिन सुरक्षा पहेलियों को हल करने के लिए कहा, जिनमें पासवर्ड लॉक करने से लेकर सुरक्षित लॉगिन सेट करने तक के कार्य शामिल थे। फिर उन्होंने यह देखने के लिए परिणामों का विश्लेषण किया कि क्या वे कोड के 'DNA' को देखकर उनकी "प्रजाति" को पहचान सकते हैं।
यहाँ उन्हें क्या मिला, जिसे जासूसी के अंदाज़ में पेश किया गया है।
द ग्रेट आइडेंटिटी स्वैप: क्या आप AI और मानव में अंतर कर सकते हैं?
निष्कर्ष: हाँ, आप कर सकते हैं।
शोधकर्ताओं ने एक क्लासिफायर (एक स्मार्ट सॉर्टिंग मशीन) बनाया जो केवल सुरक्षा के बजाय कोड के "आकार" (shape) को देखता था। यह एक पेंटिंग को देखकर यह बताने जैसा है कि उसे किसी मानव कलाकार ने बनाया है या रोबोट ने, न कि विषय वस्तु को देखकर।
- स्कोर: जब मशीन ने "मानव बनाम AI" का अनुमान लगाया, तो वह 93% बार सही थी, जिसने 78% के रैंडम गेस बेसलाइन को भी पीछे छोड़ दिया।
- "फिंगरप्रिंट": यह सुरक्षा के रहस्य नहीं थे जिन्होंने उन्हें पकड़ लिया; बल्कि यह शैली (style) थी।
- AI कोड एक बहुत अधिक तैयार रहने वाले शेफ की तरह है: यह विशाल है (औसत 1,801 वर्ण बनाम मानव का 552), इसने पूरा एप्रन पहना हुआ है (ढेर सारी एरर हैंडलिंग और इम्पोर्ट्स), और यह एक पूर्ण, चलने योग्य भोजन परोसने की कोशिश करता है।
- मानव कोड एक त्वरित स्नैक की तरह है: यह छोटा, सघन (dense) है, और अक्सर यह मान लेता है कि आपके पास पहले से ही रसोई व्यवस्थित है। यह एक पूर्ण प्रोग्राम के बजाय एक "स्निपेट" (snippet) है।
ट्विस्ट: जबकि AI को "AI" के रूप में पहचानना आसान है, यह बताना बहुत कठिन है कि कौन सा विशिष्ट AI इसे लिख रहा था। जब शोधकर्ताओं ने यह अनुमान लगाने की कोशिश की कि 9 मॉडलों में से किस मॉडल ने एक विशिष्ट कोड लिखा था, तो उनकी सटीकता केवल 48% रही (तुलना में 17% के बेसलाइन के)। यह एक मानव की आवाज़ को पहचानने जैसा है जो आसान है, लेकिन बिना देखे यह पहचानना कि आपके 9 दोस्तों में से कौन बोल रहा है, एक कठिन खेल है। साथ ही, यह "आवाज़" भाषा के आधार पर बदल जाती है; पायथन (Python) कोड पर प्रशिक्षित क्लासिफायर को जावास्क्रिप्ट (JavaScript) देखते ही भ्रम हो जाता है।
द सिक्योरिटी शोडाउन: कौन अधिक सुरक्षित है?
निष्कर्ष: AI आम तौर पर अधिक सुरक्षित है, लेकिन इसकी एक अजीब कमजोरी है।
शोधकर्ताओं ने मापा कि कितनी बार कोड ने अच्छी सुरक्षा आदतों (जैसे मजबूत पासवर्ड हैशिंग) का उपयोग किया बनाम बुरी आदतों (जैसे कमजोर पासवर्ड) का।
- स्कोर: AI मॉडलों ने अपने सुरक्षा पैमाने पर 0.40 स्कोर किया, जबकि स्टैक ओवरफ्लो से प्राप्त मानव उत्तरों का स्कोर केवल 0.12 था।
- AI क्यों जीतता है: AI ने शायद "नए" नियमपुस्तकों को पढ़ लिया है। यह आधुनिक, मजबूत पासवर्ड हैशिंग का उपयोग करना जानता है और सुरक्षा टोकन के लिए एल्गोरिदम को पिन करना जानता है। मानव उत्तर, जो कई पुराने और अत्यधिक वोट किए गए हैं, अक्सर उन पुरानी और जोखिम भरी विधियों का उपयोग करते हैं जो वर्षों पहले आम थीं लेकिन अब खतरनाक मानी जाती हैं।
- AI की घातक खामी: AI इतना मददगार और पूर्ण होने के लिए उत्सुक है कि वह कभी-कभी खुद को ही जाल में फंसा लेता है। जब एक पूर्ण प्रोग्राम लिखने के लिए कहा जाता है, तो AI अक्सर "सीक्रेट की" (secret key) को एक नकली प्लेसहोल्डर (जैसे
client_secret = "your-secret-key") से भर देता है। यदि कोई डेवलपर इस कोड को बिना उस प्लेसहोल्डर को बदले कॉपी करता है, तो ऐप पूरी तरह असुरक्षित हो जाता है। मनुष्य, जो छोटे स्निपेट लिखते हैं, अक्सर सीक्रेट की को खाली छोड़ देते हैं, जिससे पाठक को इसे सुरक्षित रूप से भरने के लिए मजबूर होना पड़ता है।- फैसला: इंसान पुरानी आदतों के कारण विफल होते हैं। AI बहुत अधिक पूर्ण होने की कोशिश के कारण विफल होता है।
द "फिक्स-इट" टेस्ट: क्या AI एक छेद को भर सकता है?
शोधकर्ताओं ने एक खेल भी खेला: "यहाँ एक टूटा हुआ, असुरक्षित कोड है। कृपया इसे ठीक करें।"
- स्कोर: AI ने 77% मामलों में कोड को ठीक करने में सफलता पाई।
- जाल: 16% मामलों में, AI ने एक "आंशिक सुधार" (partial fix) किया। इसने खराब हिस्से को हटा दिया (जैसे कि कमजोर पासवर्ड हैश) लेकिन अच्छे हिस्से को जोड़ने (जैसे कि एक मजबूत पासवर्ड हैश) के बारे में भूल गया। यह एक मैकेनिक की तरह है जो कार के पुराने ब्रेक तो निकाल देता है लेकिन नए ब्रेक लगाना भूल जाता है। कार "ठीक" दिखती है क्योंकि जंग हट गया है, लेकिन वह अभी भी खतरनाक है।
निचोड़ (The Bottom Line)
यह अध्ययन सिद्ध करता है कि प्रोवेनेंस (provenance) (यह जानना कि कोड कहाँ से आया है) संभव और उपयोगी है।
- यदि आप देखते हैं कि कोड लंबा, संरचित और एरर हैंडलिंग से भरा है, तो यह संभवतः AI है। इसमें हार्डकोडेड सीक्रेट्स (ऐसे प्लेसहोल्डर्स जिन्हें बदला नहीं गया) के लिए जाँच करें।
- यदि आप देखते हैं कि कोड छोटा, सघन और पुरानी लाइब्रेरीज़ का उपयोग करता है, तो यह संभवतः मानव है। इसमें आउटडेटेड सुरक्षा आदतों (जैसे कमजोर पासवर्ड या खुले दरवाजे) के लिए जाँच करें।
शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने केवल सार्वजनिक डेटा का उपयोग करके एक पूर्ण रूप से पुनरुत्पादक पाइपलाइन (reproducible pipeline) बनाई। उन्होंने परिणामों का अनुकरण (simulate) नहीं किया; उन्होंने इसे 528 वास्तविक कोड नमूनों पर मापा। उन्होंने यह दावा नहीं किया कि AI "पूरी तरह सुरक्षित" है (वह नहीं है); उन्होंने केवल यह दिखाया कि AI और मनुष्य अलग-अलग जगहों पर विफल होते हैं। आप जिस स्रोत को देख रहे हैं उसे जानने से आपको पता चलता है कि आपको ठीक किस सुरक्षा जाल (safety net) की जाँच करनी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।