Engineering Pitfalls in AI Coding Tools: An Empirical Study of Bugs in Claude Code, Codex, and Gemini CLI
यह शोध पत्र Claude Code, Codex और Gemini CLI के माध्यम से 3,800 से अधिक GitHub बग्स का व्यवस्थित विश्लेषण करके AI-सहायता प्राप्त कोडिंग टूल्स में इंजीनियरिंग कमियों (pitfalls) का पहला अनुभवजन्य अध्ययन प्रस्तुत करता है, जो यह प्रकट करता है कि कार्यात्मक मुद्दे और API/एकीकरण त्रुटियां विफलताओं के प्राथमिक कारण हैं जो मुख्य रूप से टूल के आह्वान (invocation) और कमांड निष्पादन को बाधित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने घर बनाने में मदद करने के लिए एक बहुत ही बुद्धिमान, अति-तेज़ प्रशिक्षु (apprentice) को काम पर रखा है। यह प्रशिक्षु (AI) अविश्वसनीय रूप से स्मार्ट है; यह ब्लूप्रिंट पढ़ सकता है, कंक्रीट मिला सकता है, और सिर्फ आपकी आवाज़ सुनकर नए कमरों का डिज़ाइन भी बना सकता है। आप इस प्रशिक्षु को Claude Code, Codex, या Gemini CLI कहते हैं।
आप उनसे पूर्णता (perfection) की उम्मीद करते हैं। लेकिन वास्तव में, वे एक ऐसे जीनियस प्रशिक्षु की तरह हैं जो लगातार अपने ही जूतों के फीतों में उलझ रहे हैं, मौसम से भ्रमित हो रहे हैं, या डिलीवरी ट्रक ड्राइवर से बहस कर रहे हैं।
यह शोध पत्र इन AI कोडिंग टूल्स द्वारा की गई 3,800+ गलतियों का एक विस्तृत "पोस्टमार्टम" (autopsy) है। शोधकर्ताओं ने केवल यह नहीं देखा कि AI ने क्या लिखा; उन्होंने यह भी देखा कि पूरा सिस्टम क्यों क्रैश हुआ। यहाँ उनके निष्कर्षों का विवरण है, जिसे सरल भाषा में अनुवादित किया गया है।
1. बड़ी तस्वीर: यह दिमाग की नहीं, शरीर की समस्या है
ज्यादातर लोग सोचते हैं कि AI कोडिंग टूल्स इसलिए विफल होते हैं क्योंकि उनका "दिमाग" (Large Language Model) भ्रमित हो रहा है या मनगढ़ंत तथ्य बना रहा है।
- वास्तविकता: दिमाग वास्तव में ठीक काम कर रहा है। समस्या शरीर और हाथों की है।
- उपमा (Analogy): कल्पना कीजिए कि एक फॉर्मूला 1 ड्राइवर (AI) एक जीनियस है। लेकिन कार (टूल) का टायर पंचर है, फ्यूल लाइन मुड़ी हुई है, और GPS डिस्कनेक्ट हो गया है। ड्राइवर समस्या नहीं है; कार की इंजीनियरिंग समस्या है।
- आंकड़ा: सभी बग्स में से 67% इस बारे में थे कि टूल अपना मूल काम करने में विफल रहा (जैसे कि एक फ़ाइल को सेव करने की कोशिश करना और असफल होना)। केवल एक बहुत छोटा हिस्सा ऐसा था जहाँ AI की "सोच" गलत थी।
2. तीन मुख्य अपराधी (मूल कारण)
शोधकर्ताओं ने गहराई से जांच की कि ये टूल्स क्यों टूटे। उन्हें तीन मुख्य खलनायक मिले:
"प्लग-एंड-प्ले" आपदा (API और एकीकरण त्रुटियां - 21.4%):
- रूपक: आप अमेरिका में खड़े होकर यूरोपीय आउटलेट में टोस्टर लगाने की कोशिश कर रहे हैं। आकार मेल नहीं खाते, या वोल्टेज गलत है।
- क्या हुआ: AI टूल ने अन्य सॉफ़्टवेयर (जैसे आपके कंप्यूटर का फ़ाइल सिस्टम या क्लाउड सर्वर) से बात करने की कोशिश की, लेकिन "हैंडशेक" विफल रहा। टूल्स एक ही भाषा नहीं बोल रहे थे, या कुंजियाँ (पासवर्ड) एक्सपायर हो चुकी थीं।
"निर्देश गलत थे" वाली समस्या (कॉन्फ़िगरेशन और सेटअप - 15.9%):
- रूपक: आपने एक हाई-टेक ओवन खरीदा, लेकिन आप गैस चालू करना भूल गए, या आपने तापमान को "Bake" के बजाय "Broil" पर सेट कर दिया।
- क्या हुआ: टूल को गलत तरीके से इंस्टॉल किया गया था, या उपयोगकर्ता के कंप्यूटर सेटिंग्स (जैसे कि उनके पास प्रोग्रामिंग भाषा का कौन सा वर्ज़न था) टूल की आवश्यकता से मेल नहीं खाते थे।
"भ्रमित वातावरण" (संगतता/Compatibility - 10.5%):
- रूपक: एक शेफ जो एक पेशेवर किचन में खाना पकाने में माहिर है लेकिन एक छोटे से कैंपर वैन वाले किचन में खो जाता है।
- क्या हुआ: टूल Mac पर पूरी तरह से काम करता था लेकिन Windows पर क्रैश हो गया, या यह एक प्रकार के टर्मिनल विंडो में काम करता था लेकिन दूसरे में नहीं।
3. उपयोगकर्ताओं ने वास्तव में क्या देखा (लक्षण)
जब ये टूल्स टूटे, तो उपयोगकर्ताओं ने क्या देखा?
- "साइलेंट ग्लिच" (API त्रुटियां - 18.3%): टूल ने सर्वर से बात करना बंद कर दिया। यह वैसा ही है जैसे किसी दोस्त को कॉल करने की कोशिश करना और लाइन अचानक कट जाना।
- "फ्रीज स्क्रीन" (टर्मिनल समस्याएं - 14%): स्क्रीन पर टेक्स्ट बिगड़ गया, या कर्सर गायब हो गया। यह टीवी स्क्रीन के स्टैटिक (static) में बदलने जैसा है।
- "कमांड फेल" (12.7%): आपने टूल को "घर बनाओ" कहा, और उसने बस कहा, "मैं यह नहीं कर सकता," या उसने इसे करने की कोशिश की और तुरंत क्रैश हो गया।
4. विफलता कहाँ हुई (स्थान)
शोधकर्ताओं ने टूल्स को छह मंजिला इमारत की तरह मैप किया। लीकेज कहाँ हुआ?
- मंजिल 1: मुख्य द्वार (टूल ऑर्केस्ट्रेशन - 37.6%): यह वह जगह है जहाँ AI अन्य टूल्स के दरवाजे खोलने की कोशिश करता है। यह सबसे नाजुक हिस्सा है। यह उस दरबान की तरह है जो बार-बार गेट खोलना भूल जाता है।
- मंजिल 2: निर्माण स्थल (कमांड निष्पादन - 25%): यह वह जगह है जहाँ वास्तविक काम होता है। AI एक कमांड चलाने की कोशिश करता है (जैसे "इस फ़ाइल को डिलीट करो"), और सिस्टम कहता है, "नहीं, मैं इसे नहीं चला सकता।"
- "दिमाग" (LLM रीजनिंग): आश्चर्यजनक रूप से, वास्तविक AI सोचने वाला हिस्सा बग्स के लिए सबसे आम जगह नहीं था। टूल गहराई से सोचने से पहले ही विफल हो गया।
5. निष्कर्ष: बिल्डर्स को क्या करना चाहिए?
यह पेपर इन टूल्स को ठीक करने के लिए एक रोडमैप प्रदान करता है, जिसमें तीन सरल नियम हैं:
- दिमाग को दोष देना बंद करें: केवल AI को स्मार्ट बनाने की कोशिश न करें। प्लंबिंग, वायरिंग और कनेक्शन को ठीक करें। सिस्टम इसलिए विफल हो रहा है क्योंकि हिस्से आपस में फिट नहीं बैठ रहे हैं, न कि इसलिए कि AI मूर्ख है।
- स्पष्ट रहें: यदि टूल को चलाने के लिए किसी विशेष प्रोग्राम के वर्ज़न की आवश्यकता है, तो इसे स्पष्ट रूप से कहें। यह मान न लें कि उपयोगकर्ता जानता है। "प्लग" को चालू करने से पहले उसकी जाँच करें।
- खो जाने पर बोलें: यदि टूल सुनिश्चित नहीं है कि वह कुछ कर सकता है या नहीं, तो उसे बस क्रैश होने या अनुमान लगाने के बजाय कहना चाहिए, "मुझे यकीन नहीं है कि मेरे पास इसके लिए अनुमति है।"
सारांश
एक AI कोडिंग टूल बनाना केवल एक स्मार्ट रोबोट को प्रशिक्षित करना नहीं है; यह एक विश्वसनीय रोबोट बटलर (सेवक) बनाना है। अभी, बटलर स्मार्ट है, लेकिन वह बार-बार कालीन में उलझ रहा है, चाबियाँ रखना भूल रहा है, और डोरबेल से भ्रमित हो रहा है। यह अध्ययन इंजीनियरों को बताता है: "बटलर को और स्मार्ट बनाने की चिंता करने से पहले, कालीन को ठीक करें, चाबियों को व्यवस्थित करें और एक बेहतर डोरबेल स्थापित करें।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।