Can LLMs be Effective Code Contributors? A Study on Open-source Projects
यह अध्ययन एक सत्यापन और पुष्टिकरण ढांचे के माध्यम से बड़े पैमाने की ओपन-सोर्स परियोजनाओं में योगदान देने में तीन LLMs की प्रभावशीलता का मूल्यांकन करता है, जिसमें यह पाया गया कि वे जटिल संदर्भों, नए कोड जनरेशन और परियोजना-विशिष्ट मानकों को बनाए रखने में संघर्ष करते हैं, जबकि उनकी सफलता दर 0% से 60% के बीच काफी भिन्न होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द "जूनियर इंटर्न" समस्या: क्या AI वास्तव में वास्तविक सॉफ़्टवेयर बना सकता है?
कल्पना कीजिए कि आपने एक बड़े, जटिल निर्माण प्रोजेक्ट—जैसे कि एक गगनचुंबी इमारत बनाने—में मदद करने के लिए एक नया जूनियर इंटर्न नियुक्त किया है। यह इंटर्न अविश्वसनीय रूप से तेज़ है, इसने अब तक की लिखी गई हर मैनुअल पढ़ ली है, और पेशेवर बिल्डरों की तरह बात करने की नकल कर सकता है।
हालाँकि, एक पेच है: इंटर्न की बारीकियों को याद रखने की क्षमता बहुत खराब है, वह कभी-कभी ऐसे टूल्स की कल्पना (hallucinate) करता है जो अस्तित्व में ही नहीं हैं, और कभी-कभी एक लीक होते पाइप को ठीक करने के चक्कर में गलती से पूरे प्लंबिंग सिस्टम को ही डिलीट कर देता है।
यह पेपर, "Can LLMs be Effective Code Contributors?", वास्तव में इन "AI इंटर्न" (जैसे GPT-4o) का एक प्रदर्शन मूल्यांकन (performance review) है, यह देखने के लिए कि क्या वे वास्तव में वास्तविक दुनिया के पेशेवर सॉफ़्टवेयर प्रोजेक्ट्स पर काम करने के लिए तैयार हैं।
प्रयोग: "वास्तविक दुनिया" का परीक्षण
अधिकांश लोग AI का परीक्षण सरल प्रश्न पूछकर करते हैं, जैसे "एक लिस्ट को सॉर्ट करने के लिए एक फंक्शन लिखें।" यह एक इंटर्न से "एक चिड़िया का घर बनाने" के लिए कहने जैसा है। यह आसान और अनुमानित है।
शोधकर्ताओं ने निर्णय लिया कि वे बहुत कठिन परीक्षण करेंगे। उन्होंने 212 वास्तविक कार्य लिए—वास्तविक बग फिक्स और नए फीचर्स—जो मानव इंजीनियरों ने प्रसिद्ध, विशाल ओपन-सोर्स प्रोजेक्ट्स (जैसे FFmpeg, जो वीडियो हैंडल करता है) पर किए थे। उन्होंने AI को "ब्लूप्रिंट" (कोड) और "वर्क ऑर्डर" (कमिट मैसेज) दिया और कहा: "सिर्फ मुझे यह मत बताओ कि इसे कैसे ठीक करना है; वास्तव में कोड लिखो और इसे काम करने लायक बनाओ।"
निष्कर्ष: जहाँ इंटर्न विफल होता है
अध्ययन में पाया गया कि हालांकि AI मददगार हो सकता है, लेकिन यह वर्तमान में एक "विश्वसनीय योगदानकर्ता" बनने से बहुत दूर है। यहाँ बताया गया है कि वे कैसे विफल हुए, उपमाओं (analogies) के माध्यम से:
1. "घोस्ट टूल" की समस्या (अघोषित आइडेंटिफायर)
AI अक्सर उन टूल्स का उपयोग करने की कोशिश करता है जो टूलबॉक्स में नहीं हैं। यह ऐसा कोड लिख सकता है जो calculate_total() नामक फंक्शन को कॉल करता है, लेकिन उस विशिष्ट प्रोजेक्ट में, उस फंक्शन का नाम वास्तव में get_sum() है।
- परिणाम: कोड शुरू तक नहीं हो पाएगा (यह कंपाइल होने में विफल रहता है)। यह एक इंटर्न द्वारा एक विशेष लेजर लेवल का उपयोग करने की कोशिश करने जैसा है जो वास्तव में निर्माण स्थल पर मौजूद ही नहीं है।
2. "अधूरा सुधार" (आंशिक फिक्स)
कभी-कभी, एक बग एक ऐसे घर की तरह होता जिसकी दो छतें लीक हो रही हों। AI अंदर आएगा, एक छत को पूरी तरह से पैच करेगा, और फिर यह सोचकर बाहर निकल जाएगा कि काम पूरा हो गया।
- परिणाम: कोड कुछ टेस्ट पास कर लेता है, लेकिन मूल समस्या वास्तव में हल नहीं हुई होती है।
3. "अराजकता का एजेंट" (असंबंधित डिलीशन)
यह सबसे खतरनाक निष्कर्षों में से एक था। एक छोटी सी समस्या को ठीक करने के लिए, AI कभी-कभी "सफाई" करने का निर्णय लेता है और कोड के उन हिस्सों को डिलीट कर देता है जो बिल्कुल सही काम कर रहे थे लेकिन AI को "बिखरे हुए" लगे।
- परिणाम: यह एक इंटर्न द्वारा एक चरमराती दरवाज़े को ठीक करने के चक्कर में पूरा दरवाज़ा ही हटाने जैसा है। उन्होंने चरमराहट को तो "ठीक" कर दिया, लेकिन अब आप दरवाज़ा बंद नहीं कर सकते।
4. "स्मृति धुंध" (कॉन्टेक्स्ट साइज)
शोधकर्ताओं ने पाया कि जैसे-जैसे "ब्लूप्रिंट" (फाइल्स) बड़े और अधिक जटिल होते गए, AI की सफलता दर तेजी से गिरती गई।
- परिणाम: यदि कार्य एक छोटा, सरल कमरा है, तो AI बहुत अच्छा है। यदि कार्य एक शहर के पूरे इलेक्ट्रिकल ग्रिड से संबंधित है, तो AI अभिभूत हो जाता है और गलत अनुमान लगाने लगता है।
निर्णय: उपयोग करें, लेकिन उन पर कड़ी नज़र रखें
पेपर निष्कर्ष निकालता है कि LLMs अभी तक "प्रभावी योगदानकर्ता" नहीं हैं जिन्हें अकेला छोड़ा जा सके। इसके बजाय, वे ऐसे सहायक हैं जिन्हें निरंतर पर्यवेक्षण की आवश्यकता होती है।
इंसानों के लिए शोधकर्ताओं की सलाह:
- इसे छोटा रखें: यदि आप चाहते हैं कि AI मदद करे, तो उसे पूरी लाइब्रेरी न दें। उसे पहेली का एक छोटा, प्रबंधनीय हिस्सा दें।
- "फिक्स" की दोबारा जाँच करें: विशेष रूप से जब AI किसी बग को ठीक कर रहा हो (जो कि कुछ नया बनाने की तुलना में उसके लिए कठिन है), तो एक इंसान को सत्यापित करना चाहिए कि उसने बग को केवल "छिपाया" तो नहीं है या कुछ और तो नहीं तोड़ दिया।
- "पास" पर भरोसा न करें: सिर्फ इसलिए कि AI कहता है "मैंने इसे ठीक कर दिया!" या कोड एक बुनियादी टेस्ट पास कर लेता है, इसका मतलब यह नहीं है कि वह वास्तव में सही है। हो सकता है कि उसने बस टेस्ट को बायपास कर दिया हो।
संक्षेप में: AI इंटर्न तेज़ और उत्साही है, लेकिन जब तक वे टूल्स को "हैलुसिनेट" करना और दीवारों को "डिलीट" करना बंद नहीं कर देते, तब तक उन्हें एक सीनियर इंजीनियर की उनके ठीक ऊपर खड़े रहने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।