What Process Evaluation of Coding Agents Actually Measures: Action, Task, and Step Are Three Different Levels
यह शोधपत्र एक ऐसा मापन ढांचा प्रस्तुत करता है जो एक्शन (action), टास्क (task) और स्टेप (step) स्तरों के बीच अंतर करता है ताकि यह प्रदर्शित किया जा सके कि कोडिंग एजेंटों के वर्तमान प्रक्रिया मूल्यांकन अक्सर सिमेंटिक प्रासंगिकता (semantic relevance) को कारण संबंधी योगदान (causal contribution) के साथ मिला देते हैं, जिससे यह प्रकट होता है कि एजेंट का व्यवहार सरल कोड ट्रांज़िशन के बजाय निष्पादन उत्पत्ति (execution provenance) और टास्क-स्तरीय अनिश्चितता द्वारा संचालित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर विकास की दुनिया में, एक नए प्रकार के कार्यकर्ता का उदय हुआ है: कोडिंग एजेंट। लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा संचालित ये प्रोग्राम किसी समस्या के विवरण को पढ़ सकते हैं, एक जटिल कोडबेस में नेविगेट कर सकते हैं, और उसे हल करने के लिए आवश्यक सुधार लिख सकते हैं। वर्षों से, उद्योग इन एजेंटों का मूल्यांकन केवल इस आधार पर करता आया है कि दिन के अंत में वे सफल हुए या विफल। लेकिन जैसे-जैसे ये डिजिटल कार्यकर्ता अधिक सामान्य होते जा रहे हैं, डेवलपर्स ने महसूस किया है कि अंतिम परिणाम पर्याप्त नहीं है। वे जानना चाहते हैं कि एजेंट वहां तक कैसे पहुँचा। वे समझना चाहते हैं कि किन विशिष्ट कदमों ने कार्य में मदद की, किनसे विफलता हुई, और क्या प्रक्रिया तार्किक थी या केवल एक भाग्यशाली अनुमान था। इस आवश्यकता ने "प्रक्रिया मूल्यांकन" (process evaluation) पर केंद्रित अध्ययन के एक क्षेत्र को जन्म दिया है, जो एजेंट की यात्रा को केवल उसके गंतव्य के बजाय, चरण-दर-चरण ग्रेड करने का एक प्रयास है।
इस क्षेत्र में मुख्य चुनौती यह है कि लोग तीन बहुत अलग प्रश्नों को एक ही मानकर चल रहे हैं। एक प्रश्न पूछता है कि एजेंट अपनी वर्तमान स्थिति के आधार पर आगे क्या करने की संभावना रखता है। दूसरा पूछता है कि जैसे-जैसे एजेंट काम करता है, पूरे कार्य में अनिश्चितता कितनी बनी रहती है। तीसरा, और सबसे कठिन, यह पूछता है कि क्या एक विशिष्ट क्रिया ने वास्तव में अंतिम परिणाम को बदलने का कारण बनी। लंबे समय से, शोधकर्ता और उपकरण इन अवधारणाओं को आपस में मिलाते रहे हैं, यह मानकर कि अगला कदम भविष्यवाणी करने के लिए डिज़ाइन किए गए टूल से यह भी समझाया जा सकता है कि कोई कदम क्यों महत्वपूर्ण था। अलीबाबा और नानजिंग यूनिवर्सिटी के शोधकर्ताओं के एक दल ने इन धागों को सुलझाने का निर्णय लिया। उन्होंने प्रत्येक के इन तीन स्तरों को अलग-अलग मापने के लिए एक कठोर ढांचा तैयार किया, जिसमें एक ऐसी विधि शामिल है जिसमें एजेंट को काम करते हुए देखना, उसे रोकना, और फिर उसे ठीक उसी बिंदु से फिर से शुरू करना शामिल है ताकि देखा जा सके कि क्या होता है।
इसे करने के लिए, शोधकर्ताओं ने "फाइल लोकलाइजेशन" (file localization) नामक एक विशिष्ट प्रकार के कार्य पर ध्यान केंद्रित किया। कल्पना कीजिए कि एक एजेंट को एक बग रिपोर्ट और एक सॉफ्टवेयर प्रोजेक्ट का स्नैपशॉट दिया गया है। इसका काम उन सटीक फाइलों को खोजना है जिन्हें बग को ठीक करने के लिए बदलना आवश्यक है। यह अध्ययन के लिए एक आदर्श सेटिंग है क्योंकि लक्ष्य स्पष्ट और सत्यापन योग्य है। शोधकर्ताओं ने वास्तविक दुनिया के सॉफ्टवेयर रिपॉजिटरी पर एजेंटों के काम करने के 499 एपिसोड रिकॉर्ड किए। फिर उन्होंने इन रिकॉर्ड किए गए सत्रों को विभिन्न बिंदुओं तक पीछे ले जाकर (rewind) देखा। उन बिंदुओं से, उन्होंने एजेंट को फिर से चलने दिया, कभी उसे अपना अगला कदम चुनने दिया, और कभी उसे एक अलग रास्ता लेने के लिए मजबूर किया ताकि देखा जा सके कि क्या अंतिम परिणाम बदल जाता है। इसने उन्हें पूरी यात्रा के शोर से व्यक्तिगत कदमों के प्रभाव को अलग करने की अनुमति दी।
उनके अन्वेषण से पता चला कि एजेंट कोड के माध्यम से जिस तरह से आगे बढ़ते हैं, वह वैसा नहीं है जैसा अधिकांश लोग उम्मीद करते हैं। जब यह अनुमान लगाने की कोशिश की जाती है कि एजेंट आगे क्या करेगा, तो सबसे शक्तिशाली संकेत कोड की संरचना स्वयं नहीं है, जैसे कि डिपेंडेंसी ग्राफ में फाइलें कैसे जुड़ी हुई हैं। इसके बजाय, एजेंट लगभग पूरी तरह से अपने हालिया इतिहास से प्रेरित होता है। वह अपने पिछले टूल्स के आउटपुट में देखे गए रास्तों को देखता है और उस तत्काल संदर्भ का उपयोग यह तय करने के लिए करता है कि आगे कहाँ जाना है। कोड की संरचना अगले कदम के लिए उतनी महत्वपूर्ण नहीं है जितना कि एजेंट द्वारा छोड़े गए ब्रेडक्रंब्स (breadcrumbs) का निशान। यह खोज बताती है कि एजेंट उस पर प्रतिक्रिया दे रहा है जो उसने अभी देखा है, न कि रिपॉजिटरी के पूर्व-नियोजित मानचित्र का पालन कर रहा है।
अध्ययन ने यह भी उजागर किया कि इन कार्यों में अनिश्चितता वास्तव में कहाँ निवास करती है। कई लोग मानते हैं कि विफलता का जोखिम एक गलत कदम (जैसे गलत फाइल का चुनाव) से आता है। हालाँकि, शोधकर्ताओं ने पाया कि अनिश्चितता पूरे कार्य का एक गुण है, न कि व्यक्तिगत कदमों का। कुछ कार्य शुरुआत से ही स्वाभाविक रूप से कठिन या अस्पष्ट होते हैं, जबकि अन्य सरल होते हैं। एजेंट के सफल या विफल होने के बीच का अंतर उस विशिष्ट समस्या की प्रकृति से निर्धारित होता है जिसे वह हल कर रहा है, न कि उसके द्वारा किए गए कदमों के विशिष्ट क्रम से। इसका अर्थ है कि किसी एक "घातक त्रुटि" वाले कदम को चिन्हित करने का प्रयास अक्सर निरर्थक होता है क्योंकि परिणाम संभवतः कार्य की कठिनाई द्वारा ही तय किया गया था।
शायतः सबसे चौंकाने वाली खोज इन एजेंटों के मूल्यांकन के बारे में है। कई सिस्टम एक "जज" (judge) का उपयोग करते हैं, जो अक्सर एक अन्य लार्ज लैंग्वेज मॉडल होता है, जो एजेंट के काम के पूरे इतिहास की समीक्षा करता है और तय करता है कि कौन सा कदम विफलता के लिए जिम्मेदार था। शोधकर्ताओं ने एजेंट के इतिहास के विभिन्न हिस्सों को छिपाकर या प्रकट करके इन जजों का परीक्षण किया। उन्होंने पाया कि जब जज देख सकता था कि यात्रा के बाद के चरणों में क्या हुआ, तो वह व्यवस्थित रूप से दोष को प्रक्रिया के अंत की ओर स्थानांतरित कर देता था। ऐसा तब भी हुआ जब बाद के चरणों का वास्तविक कारण से कोई लेना-देना नहीं था। जज वास्तविक कारण की पहचान नहीं कर रहा था; वह केवल हालिया साक्ष्य पर टिक रहा था जो प्रासंगिक लग रहा था। इसने वर्तमान मूल्यांकन विधियों में एक व्यवस्थित पूर्वाग्रह को प्रकट किया, जहाँ एजेंटों को ग्रेड करने वाले उपकरण वास्तव में "सिमेंटिक रेलेवेंस" (semantic relevance)—जो बाद में प्रासंगिक लगता है—को माप रहे हैं, न कि प्रमाणित "कॉज़ल कॉन्ट्रिब्यूशन" (causal contribution) को।
शोधकर्ताओं ने निष्कर्ष निकाला कि प्रक्रिया मूल्यांकन एक एकल समस्या नहीं है बल्कि अलग-अलग चुनौतियों का एक संग्रह है। अगले कदम की भविष्यवाणी करना एक समाधान योग्य समस्या है जो हालिया संदर्भ द्वारा संचालित होती है। कार्य की कठिनाई को समझना स्वयं समस्या का विश्लेषण करने का मामला है। लेकिन एक एकल कदम के कारण प्रभाव (causal impact) को निर्धारित करना अविश्वसनीय रूप से कठिन है और वर्तमान उपकरणों के साथ इसे मापना अक्सर असंभव है। अध्ययन सुझाव देता है कि हमें इन विभिन्न स्तरों को एक समान मानना बंद कर देना चाहिए। यदि हम कोडिंग एजेंटों को बेहतर बनाना चाहते हैं, तो हमें सही प्रश्न के लिए सही टूल का उपयोग करने की आवश्यकता है, यह पहचानते हुए कि एक संकेत जो अगले कदम की भविष्यवाणी करता है, वह उस संकेत के समान नहीं है जो यह सिद्ध करता है कि एक कदम ने सफलता या विफलता का कारण बनाया। इन स्तरों को अलग करके, हम अंततः समझ पाएंगे कि हमारे मूल्यांकन उपकरण हमें वास्तव में क्या बता रहे हैं, और वे केवल क्या अनुमान लगा रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।