Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model

कल्पना कीजिए कि आप एक जादू का शो देख रहे हैं जहाँ एक रोबोट सहायक एक टूटे हुए खिलौने को ठीक करने की कोशिश कर रहा है। आप देखते हैं कि रोबोट ने एक पेचकस उठाया, एक पेंच घुमाया, और खिलौना काम करने लगा। ऐसा लगता है जैसे रोबोट एक जीनियस है। लेकिन क्या होगा अगर रोबोट वास्तव में केवल अनुमान लगा रहा था, और खिलौना केवल इसलिए काम करने लगा क्योंकि उसके अंदर एक छिपा हुआ स्प्रिंग अपनी जगह पर वापस आ गया? या क्या होगा अगर रोबोट पिछले साल के खिलौने की तस्वीर देख रहा था, न कि उसके सामने रखे टूटे हुए खिलौने की? कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से आर्टिफिशियल इंटेलिजेंस (AI) और सॉफ्टवेयर इंजीनियरिंग के क्षेत्र में, हम इन "रोबोट सहायकों" (जिन्हें कोडिंग एजेंट कहा जाता है) को बना रहे हैं जो कंप्यूटर कोड लिखते हैं और उन्हें ठीक करते हैं। लंबे समय तक, लोगों को लगा कि रोबोट का "मस्तिष्क"—AI मॉडल—ही एकमात्र महत्वपूर्ण चीज़ थी। यदि मस्तिष्क बुद्धिमान था, तो रोबोट विश्वसनीय होगा। लेकिन यह पेपर तर्क देता है कि मस्तिष्क केवल एक बहुत बड़ी मशीन का एक हिस्सा है। असली जादू (या असली आपदा) उस सिस्टम में होता है जो मस्तिष्क के चारों ओर बना है: वे उपकरण जिनका वह उपयोग करता है, वह स्मृति (मेमोरी) जो वह रखता है, वे सुरक्षा जाँच जिनसे वह गुजरता है, और वे इंसान जो उसकी निगरानी करते हैं। यदि सिस्टम अव्यवस्थित है, तो सबसे बुद्धिमान मस्तिष्क भी विफल हो जाएगा, और यदि सिस्टम ठोस है, तो एक सरल मस्तिष्क भी अद्भुत काम कर सकता है।

स्टेफनी जारमक द्वारा लिखा गया यह पेपर इन AI कोडिंग सिस्टमों को बनाने के लिए एक विशाल मरम्मत नियमावली और एक जासूस की मार्गदर्शिका की तरह है। लेखिका ने जुलाई और अगस्त 2026 में एक संरचित समीक्षा आयोजित की, जिसमें सैकड़ों अध्ययनों, वास्तविक इंजीनियरिंग लॉग और अपने स्वयं के प्रयोगों का विश्लेषण किया गया ताकि यह पता लगाया जा सके कि AI कोडिंग एजेंट कभी-कभी क्यों विफल हो जाते हैं, भले ही वे कागज़ पर बहुत अच्छा प्रदर्शन कर रहे हों। मुख्य निष्कर्ष थोड़ा सा चेतावनी भरा है: आप एक AI कोडिंग एजेंट का मूल्यांकन केवल उसके अंतिम स्कोर या उसके "मस्तिष्क" को देखकर नहीं कर सकते। इसके बजाय, आपको उसके चारों ओर के पूरे "हार्नेस" (ढांचे) को देखना होगा। पेपर एक अवधारणा पेश करता है जिसे "विश्वसनीयता निर्भरता श्रृंखला" (reliability dependency dependency chain) कहा जाता है। इसे डोमिनोज़ की एक रेखा की तरह समझें। यदि पहला डोमिनो (जिस तरह से आप सफलता को मापते हैं) डगमगाता है, तो दूसरा डोमिनो (ग्रेडिंग प्रणाली) गिर जाएगा, जो तीसरे (रिकवरी योजना) को गिरा देगा, और इसी तरह। यदि इस श्रृंखला में से कोई भी कड़ी कमजोर है, तो पूरा सिस्टम अविश्वसनीय हो जाएगा, चाहे AI कितना भी स्मार्ट क्यों न हो।

यह पेपर इस विचार का खंडन करता है कि हम केवल सभी समस्याओं को ठीक करने के लिए AI मॉडल को बड़ा और स्मार्ट बनाते रह सकते हैं। यह सुझाव देता है कि कई "विफलताएं" वास्तव में AI की गलती नहीं हैं; वे उसके आसपास के सिस्टम के कारण होती हैं। उदाहरण के लिए, यदि किसी AI को एक कार्य दिया जाता है लेकिन सिस्टम उसे पढ़ने के लिए सही फाइलें नहीं देता है, तो AI विफल हो जाएगा। क्या यह AI की गलती है? नहीं, यह सिस्टम की गलती है। पेपर इस बात से भी आगाह करता है कि सिस्टम को "गेम" (धोखा देना) न किया जाए। यदि आप एक AI का परीक्षण उन पहेलियों पर करते हैं जिन्हें उसने पहले ही देख लिया है, तो वह एक परफेक्ट स्कोर प्राप्त कर सकता है, लेकिन इसका मतलब यह नहीं है कि वह नई पहेलियों को हल कर सकता है। लेखिका दिखाती हैं कि कई सार्वजनिक स्कोर इसलिए बढ़े हुए हैं क्योंकि AI ने उत्तर "याद" कर लिए हैं या क्योंकि परीक्षण पर्याप्त सख्त नहीं थे।

इसे ठीक करने के लिए, पेपर इन एजेंटों को बनाने और परीक्षण करने का एक नया तरीका प्रस्तावित करता है। यह एक "परफेक्ट" AI मॉडल खोजने के बारे में नहीं है; यह एक मजबूत फैक्ट्री बनाने के बारे में है। कल्पना कीजिए कि एक फैक्ट्री में एक रोबोट कार बनाता है। यदि रोबोट एक हिस्सा गिरा देता है, तो फैक्ट्री को यह मानकर नहीं छोड़ देना चाहिए कि ऐसा हुआ ही नहीं। उसे उस गिरावट को पकड़ने, उसे रिकॉर्ड करने और कार को नुकसान पहुँचाए बिना फिर से प्रयास करने के लिए एक सिस्टम की आवश्यकता है। पेपर 206 "विश्वसनीयता रिकॉर्ड" प्रदान करता है—मूल रूप से, नियम और उपकरण यह सुनिश्चित करने के लिए कि सिस्टम सुरक्षित है। इनमें शामिल हैं:

• परीक्षणों को कई बार चलाना: ठीक वैसे ही जैसे सिक्के को एक बार उछालने से यह पता नहीं चलता कि वह निष्पक्ष है या नहीं, AI को एक बार चलाने से यह पता नहीं चलता कि वह विश्वसनीय है। आपको यह देखने के लिए इसे कई बार चलाना होगा कि वह कितना सुसंगत है।
• उपकरणों की जाँच करना: यह सुनिश्चित करना कि AI उन उपकरणों का उपयोग नहीं कर रहा है जिनका उसे उपयोग नहीं करना चाहिए, या जो उपकरण वह उपयोग कर रहा है वे वास्तव में काम कर रहे हैं।
• मानवीय निरीक्षण: काम की जाँच के लिए एक इंसान होना, लेकिन केवल सही क्षणों पर, ताकि इंसान पर बोझ न पड़े।
• सुरक्षित रिकवरी: यदि AI क्रैश हो जाता है या कोई गलती करता है, तो सिस्टम को प्रगति खोए बिना या अधिक नुकसान पहुँचाए बिना पुनरारंभ (restart) करने में सक्षम होना चाहिए।

लेखिका बहुत सावधानी से यह नहीं कहतीं कि उन्होंने सब कुछ "हल" कर दिया है। वे स्वीकार करती हैं कि उनके कुछ विचार प्रयोगों से प्राप्त मजबूत साक्ष्यों पर आधारित हैं, जबकि अन्य तार्किक तर्क पर आधारित हैं कि आपदा से बचने के लिए सिस्टम को कैसे काम करना चाहिए। वे यह दावा नहीं करतीं कि उनके नियम दुनिया के हर एक AI के लिए काम करेंगे, लेकिन वे इंजीनियरों को अपने स्वयं के सिस्टम का परीक्षण करने के लिए एक ठोस ढांचा प्रदान करती हैं। वे इस बात पर जोर देती हैं कि यदि आप एक बैंक या अस्पताल के लिए कोड लिखने के लिए एक AI पर भरोसा करना चाहते हैं, तो आप केवल उसके टेस्ट स्कोर को नहीं देख सकते। आपको पूरी मशीन को देखना होगा, डोमिनोज़ की जाँच करनी होगी, और यह सुनिश्चित करना होगा कि सिस्टम गलतियों को सुरक्षित रूप से संभालने के लिए बनाया गया है।

संक्षेप में, यह पेपर हमें बताता है कि एक विश्वसनीय AI कोडर बनाना एक सुपर-जीनियस रोबोट खोजने के बारे में कम और उसके चारों ओर एक सुपर-विश्वसनीय फैक्ट्री बनाने के बारे में अधिक है। यह इंजीनियरों के लिए एक मार्गदर्शिका है कि वे अनुमान लगाना बंद करें और मापना शुरू करें, यह सुनिश्चित करते हुए कि जब एक AI कहता है "मैंने इसे ठीक कर दिया है," तो वास्तव में उसका अर्थ होता है "मैंने इसे ठीक कर दिया है, और मैं इसे साबित कर सकता हूँ।" पेपर निष्कर्ष निकालता है कि AI कोडिंग का भविष्य केवल स्मार्ट दिमागों के बारे में नहीं है, बल्कि उन स्मार्ट, सुरक्षित और अधिक ईमानदार सिस्टमों के बारे में है जो उनके चारों ओर मौजूद हैं।