Leveraging Large Language Models to Obscure Code Stylometry: A Comparative Study of GPT-3.5 and GPT-4
यह अध्ययन लेखकत्व निर्धारण (authorship attribution) क्लासिफायर से बचने के लिए कोड शैलीमिति (code stylometry) को छिपाने में GPT-3.5 और GPT-4 की प्रभावशीलता का मूल्यांकन करता है, जो यह प्रकट करता है कि मल्टी-शॉट प्रॉम्प्टिंग और विस्तृत निर्देश शैलीगत अस्पष्टता (stylistic obfuscation) को महत्वपूर्ण रूप से बढ़ाते हैं, जबकि ऐसे संशोधनों के दौरान कोड की कार्यक्षमता को बनाए रखने में अंतर्निहित चुनौतियों को भी उजागर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो किसी संदिग्ध की पहचान उसके चेहरे से नहीं, बल्कि उसकी लिखावट से करने की कोशिश कर रहे हैं। कंप्यूटर प्रोग्रामिंग की दुनिया में, इस "लिखावट" को कोड स्टाइलोमेट्री (code stylometry) कहा जाता है। हर प्रोग्रामर की अपनी अनूठी आदतें होती हैं: वे अपनी लाइनों के बीच कितनी जगह छोड़ते हैं, वे अपने वेरिएबल्स को क्या नाम देते हैं, और वे अपने लॉजिक को बनाने का उनका विशिष्ट तरीका क्या है। जिस तरह एक जासूस किसी नोट को संदिग्ध से मिला सकता है, उसी तरह साइबर सुरक्षा विशेषज्ञ इन डिजिटल उंगलियों के निशान (fingerprints) का उपयोग यह पता लगाने के लिए करते हैं कि सॉफ्टवेयर किसने लिखा था, जो दुर्भावनापूर्ण प्रोग्रामों के लेखकों को पकड़ने के लिए अत्यंत महत्वपूर्ण है।
हालाँकि, खेल में एक नया खिलाड़ी आया है: लार्ज लैंग्वेज मॉडल्स (LLMs) जैसे GPT-3.5 और GPT-4। इन AI मॉडल्स को एक बेहद प्रतिभाशाली 'घोस्टराइटर' (छद्म लेखक) के रूप में सोचें। वे कोड को पढ़ सकते हैं, समझ सकते हैं कि वह वास्तव में क्या करता है, और फिर उसे पूरी तरह से अलग "लिखावट" का उपयोग करके स्क्रैच से दोबारा लिख सकते हैं, जबकि मशीन के निर्देशों को बिल्कुल समान रखते हैं।
यह शोध पत्र मूल रूप से यह परीक्षण करने के लिए है कि ये AI घोस्टराइटर मूल लेखक की पहचान को कितनी अच्छी तरह से छिपाने में सक्षम हैं बिना कोड को तोड़े।
प्रयोग: एक "स्टाइल स्वैप" चुनौती
शोधकर्ताओं ने दो मुख्य टीमों के साथ एक प्रतियोगिता आयोजित की:
- जासूस (The Detectives): एक कंप्यूटर प्रोग्राम (एक रैंडम फॉरेस्ट क्लासिफायर) जिसे विभिन्न प्रोग्रामरों की अनूठी "लिखावट" को पहचानने के लिए प्रशिक्षित किया गया है।
- घोस्टराइटर (The Ghostwriters): AI मॉडल (GPT-3.5 और GPT-4) जो कोड को छिपाने की कोशिश कर रहे हैं।
शोधकर्ताओं ने AI को 10 अलग-अलग जावा (Java) कोड दिए और इसे चार अलग-अलग रणनीतियों का उपयोग करके उन्हें फिर से लिखने के लिए कहा:
- "बस कर डालो" दृष्टिकोण (The "Just Do It" Approach): एक सरल कमांड: "इस कोड की शैली बदलें।"
- "इमिटेटर" दृष्टिकोण (The "Impersonator" Approach): "इस कोड को इस तरह से फिर से लिखें कि यह [प्रसिद्ध प्रोग्रामर X] द्वारा लिखा गया लगे या [विशिष्ट क्षेत्र] से संबंधित लगे।"
- "कॉपीकैट" दृष्टिकोण (The "Copycat" Approach): "यहाँ एक विशिष्ट शैली का उदाहरण है; इस उदाहरण से मेल खाने के लिए कोड को फिर से लिखें।"
- "ट्रांसलेटर" दृष्टिकोण (The "Translator" Approach): "इस जावा कोड को C++ में अनुवादित करें, फिर इसे वापस जावा में अनुवादित करें।" विचार यह है कि अनुवाद की प्रक्रिया AI को नए शैलीगत विकल्प चुनने के लिए मजबूर करती है।
उन्होंने इन रणनीतियों का परीक्षण दो विधियों से किया:
- सिंगल-शॉट (Single-Shot): AI को एक ही बार में पूरा काम करने के लिए कहना।
- मल्टी-शॉट (Multi-Shot): कार्य को छोटे, चरण-दर-चरण निर्देशों में तोड़ना (जैसे, "पहले कोड का विश्लेषण करें, फिर परिवर्तनों को सूचीबद्ध करें, फिर फिर से लिखें")।
परिणाम: खेल में कौन जीता?
1. AI छिपाने में बेहतर हो गया
अध्ययन में पाया गया कि AI मॉडल "लिखावट" बदलने में आश्चर्यजनक रूप से अच्छे थे।
- GPT-4 बेहतर घोस्टराइटर था: यह मूल लेखक की पहचान छिपाने में GPT-3.5 की तुलना में आम तौर पर बेहतर काम करता था।
- चरण-दर-चरण निर्देश सबसे अच्छा काम करते थे: जब शोधकर्ताओं ने AI को विस्तृत, बहु-चरणीय निर्देश (Multi-Shot) दिए, तो यह एक साधारण एक-लाइन वाले कमांड (Single-Shot) की तुलना में कोड को छिपाने में बहुत अधिक सफल रहा। यह एक छात्र को "कहानी लिखो" कहने बनाम "पहले कथानक की रूपरेखा तैयार करो, फिर पात्रों को लिखो, फिर संवाद लिखो" कहने जैसा है। दूसरे तरीके से बेहतर परिणाम मिले।
- "ट्रांसलेटर" वाला तरीका सबसे मजबूत था: कोड को दूसरी भाषा में अनुवादित करने और फिर वापस लाने (रणनीति 4) की रणनीति शैलीगत उंगलियों के निशान को मिटाने का सबसे प्रभावी तरीका था।
2. "टूटे हुए कोड" की समस्या
एक पेच था। हालांकि AI शैली बदलने में अच्छा था, लेकिन यह कोड को चालू रखने में पूरी तरह से सटीक नहीं था।
- कल्पना कीजिए कि आप किसी घोस्टराइटर को एक उपन्यास को फिर से लिखने के लिए कहते हैं लेकिन कथानक को बिल्कुल वैसा ही रखने के लिए। कभी-कभी, वे किसी पात्र का नाम इतना बदल देते हैं कि कहानी अब समझ में नहीं आती।
- अध्ययन में, जब उन्होंने पुनर्गठित कोड को चलाने की कोशिश की, तो 41% कोड कंपाइल होने में विफल रहा (यह शुरू भी नहीं हो सका)। 1% शुरू हुआ लेकिन परीक्षणों में विफल रहा।
- केवल 58% पुनर्गठित कोड वास्तव में सही ढंग से काम कर पाया।
- जो कोड काम कर रहा था, उनमें से केवल 17% ही सफलतापूर्वक जासूस कार्यक्रम को चकमा देने में सफल रहा। इसका मतलब है कि हर 100 प्रयासों में से, केवल लगभग 10 ऐसे परिणाम निकले जो कार्यात्मक (functional) भी थे और सफलतापूर्वक छिपे हुए भी।
निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि हालांकि GPT-4 जैसे AI मॉडल कोड शैलियों को बदलने के लिए शक्तिशाली उपकरण हैं और लेखक की पहचान को सफलतापूर्वक छिपा सकते हैं, लेकिन वे अभी तक पूर्ण "अदृश्यता कवच" (invisibility cloaks) नहीं हैं।
- उन्हें मदद की जरूरत है: वे सरल कमांड के बजाय विस्तृत, चरण-दर-चरण निर्देशों के साथ बेहतर काम करते हैं।
- वे चीजों को बिगाड़ देते हैं: इस बात का उच्च जोखिम है कि शैली बदलने की प्रक्रिया में, AI अनजाने में कोड की कार्यक्षमता को तोड़ देगा।
- चूहे-बिल्ली का खेल जारी है: जैसे-जैसे AI कोड शैलियों को छिपाने में बेहतर होता जाता है, "जासूसों" (साइबर सुरक्षा उपकरणों) को उन्हें पकड़ने के लिए और अधिक स्मार्ट होने की आवश्यकता होगी।
शोधकर्ता इस बात पर जोर देते हैं कि यह अध्ययन वर्तमान क्षमताओं का एक स्नैपशॉट है। उन्होंने पाया कि हालांकि AI "लिखावट" को धुंधला कर सकता है, लेकिन "कहानी" (कोड के कार्य) को तोड़े बिना ऐसा करना अभी भी एक बड़ी चुनौती बनी हुई है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।