Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?
यह शोध पत्र कोडिंग एजेंटों के लिए रिपॉजिटरी-स्तर की संदर्भ फ़ाइलों (जैसे AGENTS.md) की प्रभावशीलता का मूल्यांकन करता है और पाता है कि, सामान्य अभ्यास के विपरीत, वे आम तौर पर कार्य सफलता दर में सुधार करने में विफल रहते हैं जबकि इनसे इन्फरेंस लागत में 20% से अधिक की वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े नए सहायक को अपनी विशाल, बिखरी हुई कार्यशाला (workshop) की एक विशिष्ट समस्या को ठीक करने के लिए काम पर रख रहे हैं। यह सहायक एक AI कोडिंग एजेंट है।
अपने सहायक की मदद करने के लिए, आप वर्कबेंच पर उनके लिए एक "चीट शीट" या "यूजर मैनुअल" (जिसे AGENTS.md फ़ाइल कहा जाता है) छोड़ने का निर्णय लेते हैं। यह मैनुअल सहायक को यह बताने के लिए है कि:
- "यह कार्यशाला कैसे व्यवस्थित है।"
- "चीजें बनाने के लिए हम किन विशिष्ट नियमों का पालन करते हैं।"
- "हमारे विशेष उपकरणों का उपयोग करने का सबसे अच्छा तरीका क्या है।"
बड़ा सवाल जो यह कागज पूछता है: क्या यह चीट शीट छोड़ना वास्तव में सहायक को काम पूरा करने में तेजी से और बेहतर तरीके से मदद करता है, या यह उन्हें भ्रमित करता है और समय बर्बाद करता है?
शोधकर्ताओं ने यह पता लगाने के लिए एक बड़ा प्रयोग किया। यहाँ उन्होंने क्या खोजा, जिसे सरल भाषा में समझाया गया है:
1. "चीट शीट" का विरोधाभास (The "Cheat Sheet" Paradox)
टीम ने दो प्रकार की चीट शीटों का परीक्षण किया:
- मानव-लिखित (Human-Written): जिसे वास्तविक कार्यशाला के मालिक (डेवलपर) द्वारा लिखा गया है।
- AI-जनरेटेड (AI-Generated): जिसे केवल इसलिए दूसरे AI द्वारा लिखा गया क्योंकि एजेंट फ्रेमवर्क ने ऐसा करने को कहा था।
परिणाम: आश्चर्यजनक रूप से, दोनों में से किसी भी प्रकार की चीट शीट ने सहायक को काम अधिक बार पूरा करने में मदद नहीं की। वास्तव में, सफलता की दर लगभग वैसी ही रही चाहे शीट वहां हो या न हो।
2. "अति-तैयार" सहायक (The "Over-Prepared" Assistant)
हालांकि चीट शीटों ने सहायक को अधिक बार सही उत्तर पाने में मदद नहीं की, लेकिन उन्होंने सहायक के काम करने के तरीके को बदल दिया।
- बिना शीट के: सहायक ने आसपास देखा, कुछ चीजें आजमाईं और समस्या को ठीक कर दिया।
- शीट के साथ: सहायक ने शीट पढ़ी, उसे बहुत गंभीरता से लिया, और फिर एक "रिसर्च ट्रिप" पर निकल गया। उन्होंने अधिक फाइलें देखीं, अधिक परीक्षण किए और अपने काम की दोबारा जांच की।
नुकसान (The Catch): इस अतिरिक्त "गहनता" (thoroughness) की एक कीमत थी। क्योंकि सहायक ने पढ़ने और परीक्षण करने में अधिक समय बिताया, इसलिए AI के समय का बिल बढ़ गया। यह 20% से अधिक बढ़ गया। यह एक जासूस को काम पर रखने जैसा है जो एक साधारण गायब मोजे के मामले को सुलझाने से पहले पूरी विश्वकोश (encyclopedia) पढ़ लेता है। वे बहुत सावधान हैं, लेकिन वे महंगे हैं और जरूरी नहीं कि तेज भी हों। वे बहुत सावधानी बरतते हैं, लेकिन वे महंगे हैं और जरूरी नहीं कि तेज भी हों।
3. "मैप" बनाम "निर्देश" (The "Map" vs. The "Instructions")
शोधकर्ताओं ने पाया कि चीट शीटों ने वास्तव में क्या किया, इसमें एक विभाजन था:
- "मैप" (अवलोकन/Overview): अधिकांश चीट शीटों में पूरी कार्यशाला का एक बड़ा विवरण शामिल था ("यहाँ टूल शेड है, यहाँ पेंट रूम है...")। सहायक ने इसे पढ़ा, लेकिन इसने उन्हें सही उपकरण खोजने में मदद नहीं की। यह किसी को शहर का विस्तृत नक्शा देने जैसा था जब उन्हें बस यह जानने की जरूरत थी कि किस सड़क के कोने पर मुड़ना है।
- "निर्देश" (नियम/Rules): चीट शीटों में विशिष्ट नियम भी थे ("हमेशा लाल रिंच का उपयोग करें," "सैंडिंग से पहले पेंट न करें")। सहायक ने इन नियमों का पूरी तरह से पालन किया। उन्होंने उल्लेखित विशिष्ट उपकरणों का उपयोग किया और विशिष्ट चरणों का पालन किया।
4. निष्कर्ष: कम ही ज्यादा है (The Verdict: Less is More - For Now)
पेपर यह निष्कर्ष निकालता है कि वर्तमान में, इन चीट शीटों को स्वचालित रूप से बनाना पैसे की बर्बादी है।
- यदि आप एक AI का उपयोग चीट शीट लिखने के लिए करते हैं, तो यह केवल फालतू बातें (लंबे अवलोकन) जोड़ता है जो एजेंट को भ्रमित करती हैं और आपके बजट को जलाती हैं।
- यदि कोई मानव इसे लिखता है, तो यह AI संस्करण की तुलना में थोड़ा अधिक मदद करता है, लेकिन यह अभी भी सफलता दर में महत्वपूर्ण सुधार नहीं करता है।
मुख्य बात (The Bottom Line):
यदि आप एक AI एजेंट डेवलपर हैं, तो अपने एजेंट पर केवल एक विशाल, AI-जनरेटेड मैनुअल न थोपें। यह उन्हें स्मार्ट बनाने के बजाय उन्हें अधिक मेहनत करने वाला और अधिक महंगा बनाता है।
यदि आपको एक चीट शीट रखनी ही है, तो इसे छोटा रखें। केवल विशिष्ट, अजीब नियम शामिल करें जो कोड में पहले से ही स्पष्ट नहीं हैं (जैसे "हमेशा लाल रिंच का उपयोग करें")। कार्यशाला का लंबा इतिहास शामिल न करें; एजेंट इसे खुद समझ सकता है।
संक्षेप में: चीट शीट एजेंट को एक अधिक आज्ञाकारी छात्र बनाती है जो अधिक अध्ययन करता है, लेकिन यह उन्हें एक बेहतर छात्र नहीं बनाती जो बेहतर ग्रेड प्राप्त करता है। और अधिक अध्ययन करने का मतलब है अधिक ट्यूशन फीस देना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।