AI-Generated Code Is Not Reproducible (Yet): An Empirical Study of Dependency Gaps in LLM-Based Coding Agents
यह अनुभवजन्य अध्ययन प्रकट करता है कि अत्याधुनिक एलएलएम (LLM) एजेंटों से उत्पन्न एआई-जनित कोड में वर्तमान में पूर्ण पुनरुत्पादकता का अभाव है, क्योंकि घोषित और वास्तविक रनटाइम निर्भरताओं के बीच महत्वपूर्ण अंतराल के कारण केवल 68.3% प्रोजेक्ट ही स्वच्छ वातावरण में सफलतापूर्वक निष्पादित होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट, हाइपर-फास्ट रोबोट शेफ से आपके लिए एक जटिल भोजन बनाने के लिए कहते हैं। रोबोट आपको एक खूबसूरती से सजाया हुआ व्यंजन और एक रेसिपी कार्ड थमाता है जिस पर लिखा है, "आपको बस मैदा, अंडे और चीनी की जरूरत है।"
आप उस रेसिपी को घर ले जाते हैं, उन तीन सामग्रियों को मिलाते हैं, और केक बनाने की कोशिश करते हैं। वह फट जाता है।
क्यों? क्योंकि रोबốt आपको यह बताना भूल गया कि मैदे के लिए एक विशिष्ट प्रकार के यीस्ट (yeast) की आवश्यकता थी, अंडों को फ्री-रेंज मुर्गियों (एक विशिष्ट ब्रांड) से होना चाहिए था, और चीनी को पहले गर्म पानी में घोलने की आवश्यकता थी। रोबोट ने केक के विचार को तो देख लिया, लेकिन वह रसोई की वास्तविकता को नहीं समझ पाया।
यह बिल्कुल वैसा ही है जैसा एक नए अध्ययन में AI कोडिंग एजेंट्स (जैसे Claude, OpenAI का Codex, और Google का Gemini) के बारे में पाया गया। ये AI कंप्यूटर कोड लिखने में बहुत अच्छे हैं, लेकिन वे आपको यह बताने में बहुत खराब हैं कि उस कोड को वास्तव में चलाने के लिए आपको और क्या चाहिए।
यहाँ सरल उपमाओं (analogies) का उपयोग करके अध्ययन का विवरण दिया गया है:
1. "आउट-ऑफ-द-बॉक्स" टेस्ट
शोधकर्ताओं ने तीन अलग-अलग AI शेफ को 300 अलग-अलग सॉफ्टवेयर प्रोजेक्ट्स (जैसे एक मौसम ऐप, एक डेटा एनालाइज़र, या एक वेबसाइट) बनाने के लिए कहा। उन्होंने AI को एक सख्त नियम दिया: "मुझे वह सब कुछ दें जिसकी मुझे इस नए, खाली कंप्यूटर पर इसे चलाने के लिए आवश्यकता है।"
परिणाम:
- 68% बार, कोड तुरंत सही ढंग से काम कर गया।
- 32% बार, कोड तुरंत विफल हो गया। यह बिना ईंधन के कार शुरू करने की कोशिश करने जैसा था।
डरावनी बात क्या है? भले ही कोड काम कर रहा था, लेकिन यह अक्सर एक इत्तेफाक था। AI के पास कुछ छिपे हुए रहस्य थे जो उसने आपको नहीं बताए।
2. "आइसबर्ग" ऑफ डिपेंडेंसीज़ (Dependencies)
कोडिंग की दुनिया में, "डिपेंडेंसीज़" (dependencies) बस अन्य प्रोग्राम या लाइब्रेरीज़ हैं जिन्हें आपका कोड अपना काम करने के लिए उधार लेने की आवश्यकता होती है। इन्हें सामग्रियों की तरह समझें।
अध्ययन में पाया गया कि AI ने जो कहा और आपको वास्तव में जिसकी आवश्यकता थी, उसके बीच एक बड़ा अंतर है।
- दावा: AI कहता है, "आपको केवल 3 सामग्रियों की आवश्यकता है।"
- वास्तविकता: जब आप वास्तव में कोड चलाते हैं, तो पता चलता है कि आपको 37 सामग्रियों की आवश्यकता थी।
रूपक (Metaphor):
कल्पना कीजिए कि AI आपको एक घर बनाने के लिए कहता है और कहता है, "आपको बस एक हथौड़ा और कुछ कीलों की आवश्यकता है।" आप हथौड़ा और कीलें लेकर पहुँचते हैं, लेकिन आप घर नहीं बना पाते क्योंकि आपको लकड़ी, कंक्रीट, बिजली, प्लंबिंग और एक परमिट की भी आवश्यकता है।
- Python (एक लोकप्रिय कोडिंग भाषा) के लिए, AI काफी अच्छा था, वह औसतन केवल 2 अतिरिक्त सामग्रियों को ही मिस कर रहा था।
- Java (जो बड़े एंटरप्राइज सिस्टम में उपयोग किया जाता है) के लिए, AI बहुत बुरा था। उसने दावा किया कि आपको 2 सामग्रियों की आवश्यकता है, लेकिन वास्तव में आपको 21 की आवश्यकता थी। यह एक 18 गुना अंतर है!
3. "स्पेशलिस्ट" शेफ
अध्ययन ने तीन अलग-अलग AI मॉडल का परीक्षण किया, और वे बहुत अलग व्यक्तित्व और कौशल वाले निकले, भले ही कंपनियाँ इसका विज्ञापन नहीं करती हैं।
- Gemini: Python का जादूगर। यह Python में परफेक्ट था (100% सफलता दर) लेकिन Java में पूरी तरह विफल रहा (केवल 28% सफलता)। यह एक ऐसे शेफ की तरह है जो सुशी बनाने में मास्टर है लेकिन आपके द्वारा मांगी गई हर स्टेक को जला देता है।
- Claude: एंटरप्राइज प्रो। यह Java में आश्चर्यजनक रूप से अच्छा था (80% सफलता), जो आमतौर पर सबसे कठिन भाषा है जिसे AI संभालता है। यह उस शेफ की तरह है जो जटिल, हाई-एंड रेस्टोरेंट किचन को संभाल सकता है।
- Codex: स्क्रिप्टिंग स्पेशलिस्ट। यह Python और JavaScript में ठीक था लेकिन बड़े, जटिल सिस्टम के साथ संघर्ष करता था।
सबक: आप सिर्फ इसलिए एक AI नहीं चुन सकते क्योंकि वह "सबसे अच्छा" है। आपको उस एक को चुनना होगा जो आपके द्वारा उपयोग की जा रही विशिष्ट भाषा में विशेषज्ञ है।
4. असली समस्या: यह केवल गायब सामग्री नहीं है
पेपर का शीर्षक "डिपेंडेंसी गैप्स" (Dependency Gaps) है, लेकिन अध्ययन में कुछ और भी चिंताजनक पाया गया।
जब कोड विफल हुआ, तो गायब सामग्री (dependencies) केवल 10% समस्या थी।
बाकी 50%+ समय, कोड स्वयं टूटा हुआ था।
- AI ने ऐसा कोड लिखा जो सही दिखता था लेकिन उसमें लॉजिक की गलतियाँ थीं (जैसे एक रेसिपी जिसमें लिखा हो "1000 घंटे तक पकाएं")।
- AI ने फाइलों को गलत फोल्डर्स में रख दिया।
- AI वेरिएबल्स को इनिशियलाइज़ करना भूल गया (जैसे एक खाली बाल्टी में पानी डालने की कोशिश करना जो अभी मौजूद ही नहीं है)।
यह ऐसा है जैसे रोबोट शेफ न केवल सामग्री भूल गया बल्कि उसने रेसिपी भी ऐसी भाषा में लिखी जिसे आप पढ़ नहीं सकते, या उसने आपको केक बनने से पहले अंडे मिलाने के लिए कहा।
5. छिपा हुआ खर्च
यदि आप इन टूल्स का उपयोग करने वाले डेवलपर हैं, तो वास्तविकता यह है:
- आप AI से एक टूल बनाने के लिए कहते हैं।
- वह आपको कोड देता है।
- आप उसे चलाने की कोशिश करते हैं, और वह क्रैश हो जाता है।
- आप (औसतन) 15 मिनट डिबगिंग करने, छूटे हुए पैकेज जोड़ने और टूटे हुए लॉजिक को ठीक करने में बिताते हैं।
यदि कोई कंपनी AI का उपयोग करके 100 प्रोजेक्ट्स बनाती है, तो वे लगभग 8 घंटे केवल उन गलतियों को ठीक करने में बिताएंगे जो AI ने की हैं। यह उत्पादकता पर बहुत अधिक "छिपा हुआ टैक्स" है।
निष्कर्ष (The Bottom Line)
AI कोडिंग एजेंट्स परिष्कृत ऑटो-कंप्लीट टूल्स की तरह हैं, न कि अभी पूर्णतः सच्चे डेवलपमेंट पार्टनर्स। वे कोड का लॉजिक लिख सकते हैं, लेकिन उन्होंने अभी तक उस एनवायरनमेंट (environment) को समझना नहीं सीखा है जिसमें वह कोड रहता है।
जब तक AI यह कहना नहीं सीख जाता कि, "यहाँ कोड है, और यहाँ उन 37 पैकेजों की सटीक सूची है, ऑपरेटिंग सिस्टम का विशिष्ट संस्करण है, और कॉन्फ़िगरेशन फ़ाइल है जिसकी आपको इसे चलाने के लिए आवश्यकता है," हम अभी भी एक "पुनरुत्पादकता संकट" (reproducibility crisis) में हैं।
संक्षेप में: AI कहानी लिखने में बहुत अच्छा है, लेकिन वह बार-बार भूल जाता है कि उसे पढ़ने के लिए आपको कौन सी लाइब्रेरी की आवश्यकता है। जब तक वह इसे ठीक नहीं करता, हम पूरी तरह से अपने सॉफ़्टवेयर को अकेले बनाने के लिए इस पर भरोसा नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।