Do Context Files Help Coding Agents? A Two-Agent Ablation Study on Real Repositories
यह शोध पत्र एक नियंत्रित एब्लेशन अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि निरंतर संदर्भ फ़ाइलें (जैसे, AGENTS.md) कोडिंग एजेंट की शुद्धता में मापने योग्य सुधार नहीं करती हैं क्योंकि विफलताएं रिपॉजिटरी ज्ञान की कमी के बजाय कार्यान्वयन कौशल की कमियों से उत्पन्न होती हैं, और साथ ही एजेंट-विशिष्ट कार्य कठिनाई विविधताओं के माध्यम से पूर्व विरोधाभासी निष्कर्षों की व्याख्या भी करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल लाइब्रेरियन बनाम मास्टर बिल्डर
कल्पना कीजिए कि आप एक बहुत ही स्मार्ट, लेकिन बिल्कुल नए, रोबोट असिस्टेंट को एक विशाल, अस्त-व्यस्त वर्कशॉप में एक जटिल मशीन ठीक करना सिखाने की कोशिश कर रहे हैं। आपके पास उसकी मदद करने के दो मुख्य तरीके हैं। पहला, आप उसे वर्कशॉप का एक विस्तृत नक्शा, औजारों के उपयोग के नियमों की एक सूची, और मशीन आमतौर पर कैसे व्यवहार करती है, इसका एक गाइड दे सकते हैं। कंप्यूटर प्रोग्रामिंग की दुनिया में, इसे "कॉन्टेक्स्ट फाइल" (जिसे अक्सर AGENTS.md या CLAUDE.md कहा जाता है) कहा जाता है। यह रोबोट की मेज पर छोड़े गए एक स्टिकी नोट की तरह है जो कहता है, "याद रखें, हम यहाँ हमेशा लाल पेंचों का उपयोग करते हैं!"
दूसव, आप बस रोबोट को वर्कशॉप में घूमने के लिए छोड़ सकते हैं और उसे खुद मशीन को देखकर चीजें समझने के लिए कह सकते हैं।
लंबे समय तक, इन एआई कोडिंग असिस्टेंट को बनाने वाले लोग पहले विकल्प के प्रति जुनूनी रहे हैं। वे घंटों इन निर्देश नियमावलियों (instruction manuals) को लिखने में बिताते हैं, यह मानते हुए कि यदि रोबट नियमों को बेहतर तरीके से जानता होगा, तो वह बेहतर कोड बनाएगा। लेकिन यहाँ एक बड़ा सवाल है: क्या मैनुअल पढ़ना वास्तव में रोबोट को एक बेहतर निर्माता बनाता है, या यह सिर्फ रोबोट को अधिक आत्मविश्वासी महसूस कराता है जबकि वह वही गलतियाँ करता रहता है? यह एक रहस्य है जिसे एक नए अध्ययन ने हल करने की कोशिश की है, यह परीक्षण करते हुए कि क्या ये डिजिटल निर्देश नियमावलियाँ बेहतर एआई कोडिंग की जादुई चाबियाँ हैं या सिर्फ अतिरिक्त कागज का ढेर।
द ग्रेट मैनुअल टेस्ट (महान नियमावली परीक्षण)
इस अध्ययन में, शोधकर्ताओं ने सख्त विज्ञान शिक्षकों की भूमिका निभाई। उन्होंने आज के दो सबसे स्मार्ट एआई कोडिंग एजेंटों को लिया—एक एंथ्रोपिक (Anthropic) नामक कंपनी से (जिसका नाम क्लॉड है) और एक ओपनएआई (OpenAI) से (कोडेक्स/Codex)—और उन्हें वास्तविक कोडिंग चुनौतियाँ दीं। ये कोई नकली होमवर्क समस्याएँ नहीं थीं; ये वास्तविक सॉफ्टवेयर प्रोजेक्ट्स से ली गई वास्तविक कार्य थे, जैसे क्लाउड टूलकिट में बग्स को ठीक करना या एक कंपाइलर में बदलाव करना।
यह देखने के लिए कि क्या "मैनुअल" ने मदद की, उन्होंने प्रत्येक रोबोट के लिए एक ही कार्य को तीन अलग-अलग बार चलाया:
- "नो नोट्स" रन (बिना नोट्स वाला रन): रोबोट को कार्य मिला लेकिन कोई मैनुअल नहीं मिला।
- "ऑलवेज ऑन" रन (हमेशा चालू वाला रन): रोबोट के दिमाग में हर कदम पर पूरा मैनुअल डाल दिया गया था।
- "ऑन-डिमांड" रन (मांग पर उपलब्ध वाला रन): रोबोट के पास छोटे, व्यवस्थित नोट्स की एक लाइब्रेरी थी जिसे वह फंसने पर पढ़ने के लिए चुन सकता था।
उन्होंने कुल 288 बार यह प्रयोग किया, और यह देखने के लिए अंतिम कोड की जांच एक छिपे हुए "गोल्ड स्टैंडर्ड" टेस्ट से की कि क्या वह वास्तव में काम करता है।
बड़ा सरप्राइज: मैनुअल खराब निर्माण को ठीक नहीं करते
परिणाम उन लोगों के लिए एक झटका थे जो ये मैनुअल लिखते हैं। अध्ययन में पाया गया कि कॉन्टेक्स्ट फाइल होने से इस बात में लगभग कोई अंतर नहीं पड़ा कि एआई ने काम सही ढंग से किया या नहीं।
चाहे रोबोट के पास मैनुअल हो, लाइब्रेरी हो, या कुछ भी न हो, सफलता दर लगभग समान रही। क्लॉड रोबोट के लिए, मैनुअल ने परिणाम को 10 प्रतिशत अंकों से अधिक नहीं बदला। कोडेक्स रोबोट के लिए, इसने इसे 15 प्रतिशत अंकों से अधिक नहीं बदला। विज्ञान की दुनिया में, इसे हम "नल रिजल्ट" (null result) कहते हैं—इसका मतलब है कि जिस चीज़ को हम महत्वपूर्ण मान रहे थे, वह वास्तव में महत्वपूर्ण नहीं है।
शोधकर्ताओं ने यह पता लगाने के लिए गहराई से जांच की कि मैनुअल ने मदद क्यों नहीं की। उन्होंने उन समयों को देखा जब रोबंड लगभग सही उत्तर के करीब पहुँच गया था लेकिन विफल रहा। उन्होंने पाया कि रोबोट इसलिए विफल नहीं हुए क्योंकि उनके पास मैनुअल से कोई तथ्य (जैसे "लाल पेंचों का उपयोग न करें") गायब था। इसके बजाय, वे इसलिए विफल हुए क्योंकि उनमें निर्माण कौशल (building skills) की कमी थी।
इसे ऐसे समझें: यदि आप एक शानदार वास्तुकार को घर का एक सटीक ब्लूप्रिंट देते हैं, लेकिन उन्हें यह नहीं पता कि ईंट कैसे बिछानी है या लाइट स्विच का तार कैसे जोड़ना है, तो ब्लूप्रिंट उन्हें बचा नहीं पाएगा। अध्ययन में एआई एजेंट पढ़ने में अच्छे थे, लेकिन वे वास्तविक करने (doing) में लड़खड़ा गए। वे फीचर्स डिजाइन करने, सही पैटर्न चुनने और टुकड़ों को सही ढंग से जोड़ने में संघर्ष कर रहे थे। मैनुअल उन्हें बनाना नहीं सिखा सकता था; यह केवल उन्हें बता सकता था कि इमारत कैसी दिखती है।
"एक आकार सभी के लिए उपयुक्त नहीं है" वाला मोड़
वहाँ एक और दिलचस्प खोज थी। शोधकर्ताओं ने देखा कि एक कार्य जो एक रोबोट के लिए बहुत आसान था, दूसरे के लिए अविश्वसनीय रूप से कठिन हो सकता है, और इसके विपरीत भी। यह वैसा ही है जैसे कुछ लोग गणित की पहेलियाँ सुलझाने में माहिर होते हैं लेकिन जादूगरी (juggling) में बहुत खराब होते हैं, जबकि उनके दोस्त इसके विपरीत होते हैं।
इस कारण से, अध्ययन सुझाव देता है कि पिछले शोध भ्रमित हो गए होंगे। यदि एक वैज्ञानिक ने उस रोबोट पर मैनुअल का परीक्षण किया जिसे कार्य आसान लगे, और दूसरे ने उस रोबोट पर परीक्षण किया जिसे कार्य कठिन लगा, तो उन्हें अलग-अलग परिणाम मिलेंगे। वह "स्वीट स्पॉट" जहाँ एक मैनुअल वास्तव में मदद कर सकता है, हर एआई मस्तिष्क के लिए अलग होता है।
क्या मैनुअल्स ने कुछ भी किया?
तो, क्या मैनुअल्स पूरी तरह से बेकार थे? पूरी तरह से नहीं, लेकिन उनके लाभ बहुत विशिष्ट और छोटे थे।
- गति और लागत: एक विशिष्ट प्रोजेक्ट पर, जब रोबोट के पास मैनुअल था, तो उसने अनावश्यक, धीमे परीक्षण चलाना बंद कर दिया। यह ऐसा था जैसे रोबोट ने एक साइन पढ़ा जिसमें लिखा था "यह टेस्ट 20 मिनट लेता है" और उसने उसे छोड़ने का फैसला किया। इससे समय तो बचा, लेकिन इससे कोड बेहतर नहीं हुआ।
- "नियर-मिस" टेस्ट (निकट-विफलता परीक्षण): शोधकर्ताओं ने एक विशेष प्रयोग किया जहाँ उन्होंने उन कार्यों को लिया जिन्हें रोबोट लगभग हल कर चुके थे और उन्हें उच्च गुणवत्ता वाला असली मैनुअल दिया ताकि यह देखा जा सके कि क्या यह उन्हें सफलता की ओर धकेल पाता है। इसने मदद नहीं की। बेहतरीन निर्देशों के बावजूद, रोबोट अभी भी एक "निकट-विफलता" (near miss) को "सफलता" में नहीं बदल सके।
निचोड़ (The Bottom Line)
अध्ययन का निष्कर्ष है कि जिन एआई कोडिंग एजेंटों का उन्होंने परीक्षण किया, उनके लिए घंटों तक परफेक्ट निर्देश मैनुअल (AGENTS.md) लिखना शायद उन्हें बेहतर कोड लिखने में मदद नहीं करेगा। समस्या यह नहीं है कि रोबोट नियम नहीं जानते; समस्या यह है कि उन्हें सॉफ्टवेयर बनाने के वास्तविक शिल्प (craft) में बेहतर होने की आवश्यकता है।
जबकि ये मैनुअल रोबोट को थोड़ा तेज़ी से काम करने में मदद कर सकते हैं या बुरी आदतों से बचकर थोड़ा पैसा बचा सकते हैं, वे टूटे हुए कोड को ठीक करने वाली जादुई छड़ी नहीं हैं। यदि आप चाहते हैं कि आपका एआई असिस्टेंट एक बेहतर निर्माता बने, तो अध्ययन सुझाव देता है कि आपको केवल अधिक नियम पढ़ने देने के बजाय, कार्यों को छोटे चरणों में तोड़ने या निर्माण करने के बेहतर उदाहरण देने से बेहतर परिणाम मिल सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।