The Working Set of a Coding Agent: Coherence Debt in Repository-Scale Tasks
यह शोध पत्र "कोहेरेंस डेट" (coherence debt) की अवधारणा प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि रिपॉजिटरी-स्तर के कोडिंग एजेंट की सफलता मुख्य रूप से आवश्यक प्रासंगिक तथ्यों की तत्काल उपलब्धता पर निर्भर करती है न कि उनकी दूरी या एजेंट की पैरामीट्रिक मेमोरी पर, जो यह प्रकट करता है कि तथ्य गायब होने पर एजेंट अक्सर समाधान गढ़ते हैं और वर्तमान मूल्यांकन हार्नेस (evaluation harnesses) 'रीड ऑपरेशन्स' पर ध्यान केंद्रित करके विफलताओं का गलत निदान कर सकते हैं बजाय इसके कि वे जनरेट किए गए आउटपुट की निरंतरता पर ध्यान दें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर की दुनिया में, कोड की एक अकेली पंक्ति शायद ही कभी अलगाव में मौजूद होती है। एक फ़ाइल में किसी संख्या को बदलने के लिए, एक प्रोग्रामर को अक्सर यह जानने की आवश्यकता होती है कि उस संख्या का उपयोग अन्य तीन फ़ाइलों में कैसे किया जाता है, कौन सी कॉन्फ़िगरेशन सेटिंग्स उसे नियंत्रित करती हैं, और यह सिद्ध करने के लिए कौन से परीक्षण (टेस्ट) पास होने चाहिए कि परिवर्तन सुरक्षित है। कनेक्शनों का यह जाल ही बग को ठीक करने या सिस्टम को अपग्रेड करने को कठिन बनाता है; सही उत्तर उन तथ्यों पर निर्भर करता है जो पूरे प्रोजेक्ट में बिखरे हुए हैं। वर्षों से, शोधकर्ताओं ने ऐसे आर्टिफिशियल इंटेलिजेंस एजेंट बनाने की कोशिश की है जो इन जटिल जालों को नेविगेट कर सकें, एक जूनियर डेवलपर की तरह कार्य कर सकें जो पूरे कोडबेस को पढ़ सके, नियमों को समझ सके और सही संपादन (एडिट) कर सके। उम्मीद यह रही है कि यदि हम इन AI एजेंटों को प्रोजेक्ट के बारेंे में पर्याप्त जानकारी दे देंगे, तो वे सफल होंगे। लेकिन एक नया अध्ययन बताता है कि केवल एजेंट को अधिक जानकारी देना ही पूरी कहानी नहीं है। वास्तविक चुनौती केवल तथ्यों का उपलब्ध होना नहीं है, बल्कि ठीक उसी क्षण सही तथ्य उपलब्ध होना है जब एजेंट कोड की एक नई पंक्ति लिखने का प्रयास करता है।
मैक्स प्लैंक इंस्टीट्यूट फॉर सॉफ्टवेयर सिस्टम्स और EPFL सहित कई संस्थानों के शोधकर्ताओं ने यह परीक्षण करने के लिए हाथ मिलाया कि ये AI एजेंट कोडिंग कार्य के दौरान सूचना के प्रवाह को कैसे संभालते हैं। उन्होंने प्रोजेक्ट को एक जीवित प्रणाली की तरह माना जहाँ एजेंट को अपने मन में तथ्यों का एक "वर्किंग सेट" (working set) लगातार बनाए रखना होता है: वर्तमान परीक्षण आवश्यकताएं, आयातित (इंपोर्टेड) टूल्स के नाम, और यह नियम कि सॉफ्टवेयर को कैसे व्यवहार करना चाहिए। उन्होंने एक सरल लेकिन गहन प्रश्न पूछा: क्या होता है जब एजेंट के दृश्य से कोई आवश्यक तथ्य गायब हो जाता है? क्या एजेंट रुक जाता है और मदद मांगता है, या वह अनुमान लगाता है? और क्या इससे कोई फर्क पड़ता है कि वह तथ्य संपादन के ठीक बगल में है या पिछले निर्देशों की एक लंबी सूची में कहीं गहरा दबा हुआ है?
इसका उत्तर खोजने के लिए, टीम ने नियंत्रित प्रयोगों की एक श्रृंखला बनाई। उन्होंने काल्पनिक सॉफ्टवेयर लाइब्रेरी बनाईं जिनमें विशिष्ट नियम थे जिन्हें किसी भी AI ने पहले कभी नहीं देखा था, जिससे यह सुनिश्चित हो सके कि एजेंट अपने रटे-रटाए ज्ञान पर भरोसा न कर सकें। इसके बाद उन्होंने एजेंटों को माइग्रेशन कार्यों के माध्यम से चलाया, जैसे कि किसी लाइब्रेरी को एक संस्करण से दूसरे संस्करण में अपडेट करना, विभिन्न स्थितियों के तहत। कुछ रन में, एजेंटों को कार्य विवरण दिया गया लेकिन कोड या नियमों तक पहुंच नहीं दी गई, जिससे वे पूरी तरह से अपने प्रशिक्षण के दौरान सीखी गई बातों पर निर्भर रहे। अन्य रन में, शोधकर्ताओं ने सटीक नियम और सोर्स फाइलें शुरुआत में ही प्रदान कर दीं। उन्होंने यह भी परीक्षण किया कि क्या होता है जब उन्होंने जानबूझकर विशिष्ट जानकारी को छिपा दिया, जैसे कि परिणाम की गणना करने के लिए आवश्यक एक गुप्त मान (secret value), यह देखने के लिए कि एजेंटों ने कैसे प्रतिक्रिया दी।
परिणाम स्पष्ट और कड़े थे। जब एजेंटों को आवश्यक तथ्यों तक पहुंच से वंचित कर दिया गया, तो वे केवल काम करना बंद नहीं कर दिया या यह स्वीकार नहीं किया कि वे फंस गए हैं। इसके बजाय, वे कार्य करते रहे, अक्सर खतरनाक आत्मविश्वास के साथ। यदि कोई फ़ाइल गायब थी, तो एजेंट एक नई फ़ाइल बना देता था। यदि कोई मान अज्ञात था, तो वह एक संख्या का अनुमान लगा लेता था। एजेंटों ने "अनुपस्थित कार्य" के बजाय "गलत कार्य" (wrong work) का उत्पादन किया। उन्होंने फ़ाइलें गढ़ीं और मानों का अनुमान लगाया, जिससे ऐसा कोड बना जो पूर्ण दिखता था लेकिन मौलिक रूप रूप से टूटा हुआ था। इस व्यवहार का अर्थ था कि एजेंट की सफलता को मापने के लिए उपयोग किए जाने वाले मानक उपकरण, जो अक्सर केवल यह जांचते हैं कि एजेंट ने एक फ़ाइल पढ़ी या नहीं, भ्रामक थे। एक एजेंट ने उस फ़ाइल को पढ़ा जिसे उसने स्वयं लिखा था, या ऐसी फ़ाइल पढ़ी जो अप्रासंगिक थी, और उपकरण इसे "काम करने" के रूप में गिन लेंगे, भले ही एजेंट ने उस महत्वपूर्ण तथ्य को मिस कर दिया हो जिसकी उसे आवश्यकता थी।
अध्ययन ने यह भी खुलासा किया कि जानकारी का स्थान उतना महत्वपूर्ण नहीं था जितना कि उसकी उपस्थिति। शोधकर्ताओं ने परीक्षण किया कि क्या इससे कोई अंतर पड़ता है यदि एक आवश्यक तथ्य निर्देशों की एक लंबी सूची के बिल्कुल प्रारंभ में रखा जाए बनाम जहाँ संपादन किया जा रहा है उसके ठीक बगल में। उन्होंने पाया कि जब तक तथ्य एजेंट के दृश्य में मौजूद था, तब तक इसका कोई महत्व नहीं था कि वह एक विशाल संदर्भ विंडो (context window) के शुरू में था या अंत में। दूरी ने तथ्य का उपयोग करने की एजेंट की क्षमता को कम नहीं किया। हालाँकि, यदि तथ्य को पूरी तरह से रोक दिया जाता, तो एजेंट विफल हो जाता, चाहे उसके पास कितनी भी अन्य जानकारी क्यों न हो। क्षति रैखिक (linear) थी: एक तथ्य को छिपाने से एजेंट उस विशिष्ट कार्य में विफल हो गया जो उस तथ्य पर निर्भर था, लेकिन इसने कोड के असंबंधित हिस्सों में विफलताओं की एक श्रृंखला पैदा नहीं की।
शायद सबसे आश्चर्यजनक खोज एजेंटों की अवरुद्ध (blocked) होने की बात स्वीकार करने की क्षमता के बारे में थी। शोधकर्ताओं ने पाया कि क्या कोई एजेंट यह कहेगा कि "मैं एक फ़ाइल गायब होने के कारण आगे नहीं बढ़ सकता" यह पूरी तरह से इस पर निर्भर करता है कि किस विशिष्ट AI मॉडल का उपयोग किया जा रहा है। कुछ मॉडल, जैसे कि 'ओपस' (Opus) नामक एक मॉडल, फ़ाइल गायब होने पर हर एक परीक्षण में अवरुद्ध होने की रिपोर्ट करता था। अन्य, जैसे कि 'कोडेक्स' (Codex), कभी भी अवरुद्ध होने की रिपोर्ट नहीं करते थे; वे बस गायब फ़ाइल को गढ़ देते थे और आगे बढ़ जाते थे। यह सुझाव देता है कि ज्ञान के अंतराल को पहचानने की क्षमता कोडिंग एजेंटों की एक सार्वभौमिक विशेषता नहीं है, बल्कि यह मॉडल का एक विशिष्ट गुण है। उन प्रणालियों के लिए जो यह स्वीकार नहीं करती हैं कि वे फंस गए हैं, "कोहेरेंस डेब्ट" (coherence debt)—एजेंट को जो चाहिए और जो वह जानता है उसके बीच का अंतर—तब तक अदृश्य रहता है जब तक कि अंतिम कोड की जाँच नहीं की जाती और वह गलत पाया जाता है।
शोधकर्ताओं ने यह भी खोजा कि कोडिंग कार्य को कैसे व्यवस्थित किया जाता है, यह जानकारी की कुल मात्रा से अधिक महत्वपूर्ण है। जब उन्होंने एक मजबूती से जुड़े कार्य को कई एजेंटों के बीच विभाजित किया, तो सफलता दर गिर गई क्योंकि एजेंट साझा तथ्यों को सुसंगत नहीं रख सके। लेकिन जब उन्होंने स्वतंत्र कार्यों को विभाजित किया, तो एजेंटों ने उतना ही अच्छा काम किया। इसने पुष्टि की कि समस्या केवल पर्याप्त डेटा होने के बारे में नहीं है, बल्कि उन विशिष्ट तथ्यों को एक ही समय में उपलब्ध रखने के बारे में है जो आपस में जुड़े हुए हैं। यदि एक एजेंट को एक फ़ाइल में सेटिंग बदलने के लिए कहा जाता है, तो उसके पास उस सेटिंग का वर्तमान मान और वह नियम होना चाहिए कि यह उसके तत्काल दृश्य में अन्य फ़ाइलों के साथ कैसे इंटरैक्ट करता है।
अंत में, अध्ययन ने इस पर गौर किया कि क्या होता है जब एजेंट के पास उपलब्ध जानकारी विरोधाभासी होती है। कुछ प्रयोगों में, शोधकर्ताओं ने एक लिखित मानक दस्तावेज़ प्रदान किया जो एक बात कहता था, जबकि मौजूदा कोड परियोजना में इसके विपरीत प्रदर्शित होता था। हर एक मामले में, एजेंटों ने लिखित मानक का पालन किया, भले ही वह मानक कोड लिखने के अधिक खराब या अधिक त्रुटिपूर्ण तरीके का निर्देश देता हो। यह सुझाव देता है कि इन AI एजेंटों के लिए, एक लिखित नियम उस वास्तविक व्यवहार की तुलना में अधिक अधिकार रखता है जिसका उसे वर्णन करना चाहिए। यदि मानक पुराना (outdated) है, तो एजेंट उस पुराने नियम को निष्ठापूर्वक दोहराएगा, जिससे एक पुराना दस्तावेज़ किसी भी दस्तावेज़ के न होने की तुलना में अधिक खतरनाक हो जाता है।
इन निष्कर्षों के निहितार्थ हमारे AI कोडिंग टूल्स को बनाने और उनका मूल्यांकन करने के तरीके के लिए महत्वपूर्ण हैं। यह पाया गया है कि केवल संदर्भ विंडो (context window) को बड़ा बनाना या एजेंट को अधिक मेमोरी देना सफलता की गारंटी नहीं देता है। महत्वपूर्ण कारक यह सुनिश्चित करना है कि एजेंट को संपादन करने के लिए आवश्यक विशिष्ट तथ्य उसके लेखन के समय मौजूद और सुसंगत हों। यदि एजेंट के पास एक तथ्य गायब है, तो वह प्रतीक्षा नहीं करेगा; वह अनुमान लगाएगा। और यदि तथ्य विरोधाभासी हैं, तो वह लिखित नियम का पालन करेगा, भले ही वह नियम गलत हो। अध्ययन निष्कर्ष निकालता है कि इन प्रणालियों को बनाने का सबसे अच्छा तरीका केवल उन्हें अधिक डेटा खिलाना नहीं है, बल्कि वातावरण को इस तरह से डिजाइन करना है कि आवश्यक तथ्य हमेशा उपलब्ध और अद्यतित (up to date) रहें, और एजेंट के आउटपुट की जाँच उस चीज़ के विरुद्ध की जाए जो उसने वास्तव में उत्पन्न की है, न कि यह मान लिया जाए कि उसने सही चीज़ों को पढ़ा है। एजेंट इसलिए विफल नहीं हो रहे हैं क्योंकि वे बहुत छोटे या बहुत धीमे हैं; वे इसलिए विफल हो रहे हैं क्योंकि वे तथ्यों के गायब होने पर खाली जगहों को भरने के लिए बहुत उत्सुक हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।