An Exploratory Study on LLM-Generated Code and Comments in Code Repositories
यह अन्वेषणात्मक अध्ययन 2021 से 2025 तक कंपनी- और समुदाय-प्रबंधित रिपॉजिटरीज़ में LLM-जनित कोड और टिप्पणियों का विश्लेषण करता है, जिससे यह पता चलता है कि जहाँ पता लगाया गया LLM कोड समय के साथ कम हुआ है और उच्च क्लोनिंग दरों वाले टेस्ट केसेस में प्रचलित है, वहीं LLM-जनित टिप्पणियाँ स्थिर बनी हुई हैं लेकिन अक्सर व्याकरणिक रूप से त्रुटिपूर्ण होती हैं, और मानव-लेबल वाले बग्स का LLM-जनित कोड के साथ केवल एक छोटा संबंध दिखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, हलचल भरी लाइब्रेरी है जहाँ हर दिन लाखों किताबें (सॉफ्टवेयर कोड) लिखी जा रही हैं। हाल ही में, इस क्षेत्र में एक नए प्रकार के "घोस्ट राइटर" (ghost writer - अदृश्य लेखक) ने प्रवेश किया है: आर्टिफिशियल इंटेलिजेंस (LLMs)। ये घोस्ट राइटर बिजली की गति से वाक्य और कहानियाँ (कोड और कमेंट्स) तैयार कर सकते हैं।
यह पेपर एक टीम लाइब्रेरियन की तरह है जिन्होंने यह जांच करने का फैसला किया: "हमारी लाइब्रेरी में लिखा गया कितना हिस्सा वास्तव में इन घोस्ट राइटर्स द्वारा लिखा गया है, और वह लेखन कैसा दिखता है?"
यहाँ उन्हें जो मिला है, उसे सरल कहानियों में विभाजित किया गया है:
1. "घोस्ट" लेखन का रहस्य
लाइब्रेरियन ने विशेष "मेटल डिटेक्टर्स" (सॉफ्टवेयर टूल्स) का उपयोग करके किताबों को स्कैन किया। ये डिटेक्टर्स निश्चित रूप से नहीं जानते कि कोई पन्ना इंसान ने लिखा है या रोबोट ने, लेकिन वे ऐसे पैटर्न पहचान सकते हैं जो रोबोटिक लेखन की तरह दिखते हैं।
- कोड (निर्देश): उन्होंने पाया कि "रोबोट-लिखित" कोड की मात्रा समय के साथ घटती जा रही है। ऐसा लगता है जैसे घोस्ट राइटर्स इंसानों की तरह दिखने में बेहतर हो रहे हैं, या शायद मानव लाइब्रेरियन रोबोट के काम को इतना अधिक संपादित (edit) कर रहे हैं कि रोबोट का निशान मिट जाता है। दिलचस्प बात यह है कि उन्हें जो अधिकांश रोबोट-लिखित कोड मिला, वह "टेस्ट केसेस" (Test Cases) में था—इन्हें अभ्यास क्विज़ या रिहर्सल स्क्रिप्ट समझें। रोबोट इन दोहराव वाले अभ्यास अभ्यासों को लिखने में बहुत रुचि रखते हैं।
- कमेंट्स (नोट्स): जबकि रोबोटिक कोड कम हो रहा है, रोबोट-लिखित नोट्स (जो कोड क्या करता है यह समझाने वाले कमेंट्स) स्थिर रहे हैं। ऐसा लगता है कि रोबोट अभी भी उन "स्टिकी नोट्स" को लिखने में बहुत अच्छे हैं जो निर्देशों को समझाते हैं, लेकिन इंसान मशीन बनाने का वास्तविक काम संभाल रहे हैं।
2. कंपनी लाइब्रेरी बनाम कम्युनिटी लाइब्रेरी
शोधकर्ताओं ने दो प्रकार की लाइब्रेरी की तुलना की:
- कंपनी लाइब्रेरी: ये बड़ी टेक दिग्गजों (जैसे Google या Meta) द्वारा चलाई जाती हैं।
- कम्युनिटी लाइब्रेरी: ये स्वयंसेवकों के समूहों (ओपन-सोर्स प्रोजेक्ट्स) द्वारा चलाई जाती हैं।
निष्कर्ष: कंपनी लाइब्रेरी में "घोस्ट-लिखित" सामग्री का प्रतिशत बहुत अधिक था। यह ऐसा है जैसे बड़ी कंपनियाँ अपने आंतरिक सिस्टम को सुचारू रूप से चलाने के लिए घोस्ट राइटर्स का अधिक भारी उपयोग कर रही हैं। कम्युनिटी लाइब्रेरी में रोबोटिक लेखन कम था, और जब उन्हें रोबोटिक लेखन मिला, तो उनके नोट्स कंपनी लाइब्रेरी की तुलना में व्याकरण की दृष्टि से अधिक साफ और पॉलिश किए हुए थे।
3. "कॉपी-पेस्ट" की समस्या
शोधकर्ताओं ने रोबोटिक कोड में कुछ अजीब देखा: यह क्लोन (clones) से भरा हुआ था।
कल्पना कीजिए कि एक घोस्ट राइटर ने एक कहानी लिखी, और फिर उसी कहानी को लाइब्रेरी की 70% किताबों में कॉपी और पेस्ट कर दिया। रोबोट के साथ कोड में ऐसा ही हुआ। रोबानों द्वारा जेनरेट किया गया कोड उसी लाइब्रेरी के अन्य कोड के लगभग समान दिखता था। हालाँकि, जब उन्होंने इसकी तुलना ज्ञात "शुद्ध रोबोटिक कोड" के डेटाबेस से की, तो उन्हें बहुत कम ओवरलैप मिला। इससे पता चलता है कि इंसान केवल रोबोट के कच्चे आउटपुट को कॉपी-पेस्ट नहीं कर रहे हैं; वे संभवतः उसमें बदलाव (tweaking) कर रहे हैं, जिससे वह अद्वितीय दिखता है लेकिन फिर भी पीछे वे दोहराव वाले पैटर्न छोड़ देता है।
4. क्या घोस्ट राइटर्स ने कुछ बिगाड़ दिया?
एक बड़ी चिंता यह है कि यदि रोबोट कोड लिखते हैं, तो वे बग्स (त्रुटियां) पेश कर सकते हैं जो सॉफ्टवेयर को खराब कर सकते हैं।
- निष्कर्ष: शोधकर्ताओं ने "टूटी हुई" किताबों (बग्स) की एक सूची देखी और पूछा, "क्या यह रोबोट द्वारा लिखा गया था?"
- परिणाम: आश्चर्यजनक रूप से, बहुत कम टूटी हुई किताबें रोबोट द्वारा लिखी गई थीं। ज्ञात त्रुटियों में से केवल 5% से 10% ही घोस्ट राइटर्स से आती हुई प्रतीत हुईं।
- रूपक (Metaphor): यह ऐसा है जैसे घोस्ट राइटर्स को ड्राफ्ट लिखने की अनुमति दी जाती है, लेकिन मानव संपादक बहुत सख्त होते हैं। वे किताब छपने से पहले ही गलतियों को पकड़ लेते हैं। इंसान संभवतः कोड को सेव करने से पहले रोबोट की गलतियों को ठीक कर देते हैं।
5. एक बड़ा सचेत करने वाला तथ्य (डिटेक्टिव की चेतावनी)
लेखक अपनी सीमाओं के बारे में बहुत ईमानदार हैं। वे स्वीकार करते हैं कि उनके पास कोई "ट्रुथ सीरम" नहीं है जिससे यह निश्चित रूप से पता चल सके कि कोई विशेष पंक्ति इंसान ने लिखी है या रोबोट ने। उनके "मेटल डिटेक्टर्स" केवल पैटर्न के आधार पर अनुमान लगाते हैं।
- उपमा: यह एक पेंटिंग को देखकर यह अनुमान लगाने जैसा है कि वह इंसान ने बनाई है या रोबोट ने ब्रशस्ट्रोक के आधार पर। कभी-कभी रोबोट इतना अच्छा होता है कि वह इंसान जैसा दिखता है, और कभी-कभी इंसान भी बहुत दोहराव वाले तरीके से पेंट करता है जो रोबोट जैसा दिखता है।
- निष्कर्ष: इस कारण से, वे अपने निष्कर्षों को "प्रॉक्सी ऑब्जर्वेशन" (Proxy Observations) कहते हैं। वे यह नहीं कह रहे हैं कि, "यह निश्चित रूप से रोबोट का कोड है।" वे कह रहे हैं, "हमारे टूल्स के आधार पर यह बहुत अधिक रोबोटिक कोड जैसा दिखता है।"
सारांश
संक्षेप में, यह अध्ययन बताता है कि हालांकि AI सॉफ्टवेयर लिखने में मदद कर रहा है, लेकिन इंसान अभी भी जहाज के कप्तान हैं। AI बहुत सारा दोहराव वाला "टेस्ट ड्राइविंग" और नोट बनाने का काम कर रहा है, खासकर बड़ी कंपनियों में। लेकिन इंसान काम को भारी मात्रा में संपादित कर रहे हैं, गलतियों को सुधार रहे हैं, और यह सुनिश्चित कर रहे हैं कि अंतिम उत्पाद ऐसा न दिखे कि इसे रोबोट ने लिखा है। "रोबोटिक फिंगरप्रिंट" वास्तव में कोड में ढूँढना कठिन होता जा रहा है, भले ही रोबोट अभी भी स्पष्टीकरण लिखने में व्यस्त हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।