🤖 AI

AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation

यह शोध पत्र AgentLens प्रस्तुत करता है, जो यह प्रदर्शित करके कि केवल बाइनरी टेस्ट परिणामों पर निर्भर रहना समाधान की गुणवत्ता में महत्वपूर्ण अंतरों को छिपा देता है, SWE-agent मूल्यांकन में "लकी पास" (Lucky Pass) घटनाओं की व्यापकता को उजागर करता है, और मॉडल प्रदर्शन को अधिक सटीक रूप से रैंक करने के लिए टास्क-लेवल प्रिफिक्स ट्री एक्सेप्टर (Prefix Tree Acceptor) संदर्भों का उपयोग करते हुए एक प्रोसेस-लेवल मूल्यांकन पद्धति का प्रस्ताव करता है।

मूल लेखक: Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपनी कार ठीक करने के लिए एक मैकेनिक को काम पर रख रहे हैं। AI सॉफ्टवेयर इंजीनियरों (जिन्हें "SWE agents" कहा जाता है) को टेस्ट करने का वर्तमान तरीका बहुत सरल है: आप उन्हें एक खराब कार देते हैं, वे एक ठीक की हुई कार लेकर वापस आते हैं, और आप चेक करते हैं कि क्या वह स्टार्ट होती है। यदि वह स्टार्ट हो जाती है, तो आप उन्हें एक गोल्ड स्टार देते हैं। यदि नहीं, तो उन्हें रेड X मिलता है।

यह एक "पास/फेल" (Pass/Fail) सिस्टम है। इस पेपर के अनुसार, समस्या यह है कि यह सिस्टम दो बहुत ही अलग तरह के मैकेनिकों के साथ बिल्कुल एक जैसा व्यवहार करता है:

मास्टर मैकेनिक: समस्या का जल्दी निदान करता है, सही पुर्जा मंगवाता है, कुशलतापूर्वक मरम्मत करता है, और अपने काम की दोबारा जांच करता है।
किस्मत का धनी (The Lucky Gambler): 50 रैंडम पुर्जे आजमाता है, बिना सोचे-समझे उन्हें बदलता रहता है, रास्ते में कुछ और चीजें भी तोड़ देता है, निराश होता है, और अंत में—सिर्फ किस्मत के सहारे—सही पुर्जा लगा देता है। कार स्टार्ट हो जाती है।

पुराने सिस्टम के तहत, दोनों को गोल्ड स्टार मिलता है। लेकिन यह पेपर तर्क देता है कि यह एक गलती है। "किस्मत का धनी" वास्तव में एक बुरा कर्मचारी है क्योंकि उसकी प्रक्रिया अराजक, बर्बादी भरी और अप्रत्याशित है।

समस्या: "लकी पास" (The Lucky Pass)

शोधकर्ताओं ने वास्तविक सॉफ्टवेयर बग्स को ठीक करने के 2,600 से अधिक प्रयासों का अध्ययन किया। उन्होंने पाया कि "सफल" सुधारों में से 10.7% वास्तव में "लकी पास" थे।

इन एजेंटों ने समस्या को तार्किक रूप से हल नहीं किया था। इसके बजाय, उन्होंने:

अंधाधुंध कोशिश की: जैसे कोई बच्चा तब तक पियानो बजाता है जब तक कि कोई धुन सही न सुनाई देने लगे।
चेक करना भूल गए: कोड तो ठीक कर दिया लेकिन यह देखने के लिए टेस्ट नहीं चलाए कि क्या वह वास्तव में काम कर रहा है।
समय बर्बाद किया: गलत फाइलों को खंगाला या बिना किसी दिशा के चक्कर काटते रहे और फिर अचानक सही उत्तर तक पहुँच गए।

समाधान: AGENTLENS (द "प्रोसेस कैमरा")

इस समस्या को ठीक करने के लिए, टीम ने AGENTLENS नामक एक नया टूल बनाया है। इसे एक हाई-डेफिनिशन कैमरे की तरह समझें जो केवल तैयार कार को ही नहीं देखता; बल्कि यह पूरी मरम्मत प्रक्रिया को स्लो मोशन में रिकॉर्ड करता है।

AGENTLENS दो मुख्य काम करता है:

1. "अच्छे समाधानों का मानचित्र" (PTA)
केवल एक "परफेक्ट" उदाहरण से तुलना करने के बजाय, AGENTLENS एक प्रिफिक्स ट्री एक्सेप्टर (Prefix Tree Acceptor - PTA) बनाता है।

उपमा: एक पेड़ की कल्पना करें जहाँ तना काम की शुरुआत है। शाखाएं मरम्मत के विभिन्न वैध तरीकों का प्रतिनिधित्व करती हैं। कुछ शाखाएं इंजन रूम से होकर जाती हैं; अन्य ट्रंक (तने) से होकर जाती हैं।
यदि कोई AI ऐसे पथ पर चलता है जो पेड़ पर मौजूद है, तो वह समझदारी भरा काम कर रहा है। यदि वह पेड़ से भटककर जंगल में चला जाता है, तो वह समय बर्बाद कर रहा है।

2. "इन्टेंट ट्रांसलेटर" (The Intent Translator)
यह टूल AI जो कर रहा है उसे देखता है और हर कदम को एक "विचार" (thought) के साथ लेबल करता है:

एक्सप्लोरेशन (Exploration): "मैं समस्या की तलाश कर रहा हूँ।"
इम्प्लीमेंटेशन (Implementation): "मैं पुर्जे को ठीक कर रहा हूँ।"
वेरिफिकेशन (Verification): "मैं जाँच रहा हूँ कि क्या यह काम कर रहा है।"
ऑर्केस्ट्रेशन (Orchestration): "मैं अपने विचारों को व्यवस्थित कर रहा हूँ।"

यदि कोई AI कोड लिखने से पहले ही एक टेस्ट चलाता है, तो यह टूल उसे भ्रमित घोषित कर देता है। यदि वह कोड ठीक करता है लेकिन कभी टेस्ट नहीं चलाता, तो यह उसे जोखिम भरा घोषित कर देता है।

उन्होंने क्या पाया

जब उन्होंने इस "प्रोसेस कैमरा" को डेटा पर लागू किया, तो परिणाम आश्चर्यजनक थे:

सभी विजेता समान नहीं हैं: उन्होंने सफल सुधारों को तीन समूहों में विभाजित किया:
- आदर्श (Ideal) (20%): साफ, तार्किक और कुशल।
- ठोस (Solid) (69%): अच्छे, लेकिन शायद थोड़े अव्यवस्थित।
- किस्मत वाले (Lucky) (10.7%): "गैम्बलर" समूह। उन्हें सही उत्तर मिला, लेकिन अराजकता के माध्यम से।
रैंकिंग बदल गई: जब उन्होंने AI मॉडल्स को उनके द्वारा समस्याओं को हल करने के तरीके के आधार पर रैंक किया (न कि केवल इस आधार पर कि उन्होंने हल किया या नहीं), तो लीडरबोर्ड पलट गया।
- एक मॉडल (GPT-4o) 8वें स्थान से 3रे स्थान पर आ गया क्योंकि, जब भी वह सफल हुआ, उसने बहुत ही सफाई से काम किया।
- दूसरा मॉडल (Opus 4.6) पहले स्थान से छठे स्थान पर गिर गया। इसकी सफलता दर अधिक थी, लेकिन इसकी कई जीत "लकी पास" थीं जो व्यर्थ के प्रयासों से भरी हुई थीं।
किस्मत की लागत: "लकी" एजेंट अविश्वसनीय रूप से महंगे थे। कुछ एजेंटों ने समान परिणाम प्राप्त करने के लिए कुशल एजेंटों की तुलना में 40 गुना अधिक कंप्यूटिंग पावर (टोकन) बर्बाद किया। यह अखरोट तोड़ने के लिए अखरोट तोड़ने वाले औजार के बजाय हथौड़े का उपयोग करने जैसा है क्योंकि उन्हें सही उपकरण का पता नहीं है।

"लकी" के पांच प्रकार

पेपर ने यह भी वर्गीकृत किया कि एजेंटों ने किस तरह से किस्मत का सहारा लिया:

अति-आत्मविश्वासी (The Overconfident): ठीक किया लेकिन यह नहीं देखा कि क्या यह काम कर रहा है।
ब्रूट-फोर्सर (The Brute-Forcer): तब तक रैंडम चीजें आजमाते रहे जब तक कि एक काम नहीं कर गया।
आधे-अधूरे (The Half-Hearted): समस्या के केवल एक हिस्से को ठीक किया, लेकिन टेस्ट इतने सख्त नहीं थे कि बाकी हिस्से को पकड़ सकें।
भटकने वाला (The Wanderer): एक्सप्लोरेशन में खो गया और वास्तव में ध्यान केंद्रित नहीं कर पाया।
रचनात्मक जीनियस (The Creative Genius): एक पूरी तरह से अलग, वैध तरीका खोजा जिसकी "मैप" को उम्मीद नहीं थी (यह "लकी" होने का एकमात्र "अच्छा" प्रकार है)।

निष्कर्ष

पेपर का निष्कर्ष है कि हम केवल AI से यह नहीं पूछ सकते कि, "क्या आपने इसे ठीक किया?" हमें यह पूछना होगा, "क्या आपने इसे सही तरीके से ठीक किया?"

AGENTLENS का उपयोग करके, हम AI मॉडल्स को भाग्यशाली या बर्बादी भरे होने के लिए पुरस्कृत करना बंद कर सकते हैं। इसके बजाय, हम उन्हें प्रशिक्षित कर सकते हैं कि वे मास्टर मैकेनिक की तरह बनें: कुशल, तार्किक और विश्वसनीय। शोधकर्ताओं ने अपने टूल्स और डेटा को जारी कर दिया है ताकि अन्य लोग इस "प्रोसेस कैमरा" का उपयोग करके AI इंजीनियरों का बेहतर मूल्यांकन कर सकें।

तकनीकी सारांश: AGENTLENS: SWE-Agent मूल्यांकन में 'लकी पास' (Lucky Pass) समस्या का अनावरण

1. समस्या विवरण

सॉफ्टवेयर इंजीनियरिंग (SWE) एजेंटों का वर्तमान मूल्यांकन एक बाइनरी सिग्नल द्वारा नियंत्रित है: क्या अंतिम पैच टेस्ट सुइट (जैसे, SWE-bench) को पास करता है। यह "केवल परिणाम-आधारित" (outcome-only) दृष्टिकोण एक सिद्धांतपूर्ण, कुशल समाधान और एक अराजक, परीक्षण-और-त्रुटि (trial-and-error) प्रक्रिया को समान मानता है। लेखक तर्क देते हैं कि यह समानता अनुभवजन्य रूप से गलत और एजेंट व्यवहार के मूल्यांकन के लिए अपर्याप्त है।

विशेष रूप से, शोध पत्र "लकी पास" (Lucky Pass) समस्या की पहचान करता है: सफल ट्राजेक्टरीज (trajectories) का एक उपसमूह जो एक कमजोर, भंगुर या अक्षम प्रक्रिया के माध्यम से सही पैच तक पहुँचते हैं। इनमें शामिल हैं:

रिग्रेशन चक्र (Regression cycles): समान संपादन (edits) को बार-बार विफल करना और पुनः प्रयास करना।
अंधाधुंध पुन: प्रयास (Blind retries): बिना नई जानकारी के कार्यों को दोहराना।
सत्यापन की कमी (Missing verification): परीक्षण चलाए बिना सुधार लागू करना।
अस्थायी रूप से अव्यवस्थित अन्वेषण (Temporally disordered exploration): कार्यान्वयन के बाद सत्यापन चरणों को करना या सुधार सत्यापित होने के बाद अप्रासंगिक फ़ाइलों की खोज करना।

शोध पत्र का मानना है कि सभी पास होने वाली ट्राजेक्टरीज को समान मूल्यवान पर्यवेक्षण डेटा (जैसा कि SWE-Gym जैसे डेटासेट में किया जाता है) मानना प्रदर्शन गुणवत्ता का एक मोटा अनुमान है। इसके अलावा, जैसे-जैसे मॉडल पास-रेट बेंचमार्क पर अभिसरित (converge) होते हैं, प्रक्रिया की गुणवत्ता मॉडल तुलना और जोखिम मूल्यांकन के लिए एक आवश्यक अक्ष बन जाती है, क्योंकि परीक्षण-और-त्रुटि के माध्यम से सफल होने वाले एजेंट जटिल, वास्तविक दुनिया के परिनियोजन (deployments) में अप्रत्याशित व्यवहार कर सकते हैं।

2. कार्यप्रणाली: AGENTLENS फ्रेमवर्क

लेखक SWE-एजेंट ट्राजेक्टरीज के प्रक्रिया-स्तरीय मूल्यांकन के लिए AGENTLENS नामक एक फ्रेमवर्क पेश करते हैं। यह चार चरणों में कार्य करता है:

A. कच्चे लॉग से लेबल किए गए स्टेट्स तक

रॉ एजेंट लॉग को संरचित स्टेट अनुक्रमों (state sequences) में पार्स किया जाता है। प्रत्येक स्टेट को चार संज्ञानात्मक चरणों से एक इन्टेंट-स्टेज लेबल (intent-stage label) दिया जाता है:

अन्वेषण (Exploration - E): फ़ाइलें पढ़ना, खोजना, निर्देशिकाएँ सूचीबद्ध करना।
कार्यान्वयन (Implementation - I): सोर्स फ़ाइलों को संपादित करना या बनाना।
सत्यापन (Verification - V): परीक्षण चलाना, त्रुटियों की जाँच करना, संपादित फ़ाइलों को फिर से पढ़ना।
अभियान संचालन (Orchestration - O): बुककीपिंग और तर्क संबंधी चरण।

महत्वपूर्ण रूप से, AGENTLENS एक संदर्भ-संवेदनशील (context-sensitive) इन्टेंट-स्टेज लेबलर का उपयोग करता है। केवल टूल की पहचान के आधार पर लेबल करने वाले (जैसे, यह मान लेना कि grep हमेशा अन्वेषण है) सरल दृष्टिकोणों के विपरीत, यह लेबलर ट्राजेक्टरी इतिहास का उपयोग करता है। उदाहरण के लिए, पैच लिखे जाने से पहले grep को 'अन्वेषण' के रूप में लेबल किया जाता है, लेकिन यदि किसी कार्यान्वयन चरण के बाद विशिष्ट परिवर्तन की जाँच के लिए किया जाता है, तो इसे 'सत्यापन' के रूप में लेबल किया जाता है। यह टर्मिनल कमांड्स की अस्पष्टता को दूर करता है, जिसे सात एनोटेटर्स के बीच Fleiss' $\kappa = 0.933$ के साथ मान्य किया गया है।

B. PTA संदर्भ का निर्माण

एक एकल संदर्भ ट्रेस की तुलना करने के बजाय, AGENTLENS एक ही कार्य के लिए $k \ge 2$ पास होने वाली ट्राजेक्टरीज से एक प्रिफिक्स ट्री एक्सेप्टर (Prefix Tree Acceptor - PTA) का निर्माण करता है।

विलय (Merging): साझा प्रिफिक्स को सामान्य नोड्स में मिला दिया जाता है।
शाखन (Branching): भिन्न लेकिन सफल रणनीतियाँ शाखाएँ बनाती हैं।
परिणाम: PTA एक निर्देशित अचक्रीय ग्राफ (Directed Acyclic Graph - DAG) है जो एकल उदाहरण के बजाय "ज्ञात-अच्छे" समाधान रणनीतियों के स्थान को एनकोड करता है। यह सिस्टम को वैध वैकल्पिक पथों को पहचानने और ज्ञात सफल प्रक्रियाओं से विचलन को चिह्नित करने की अनुमति देता है।

C. कैंडिडेट ट्राजेक्टरीज का स्कोरिंग

एक कैंडिडेट ट्राजेक्टरी को कार्य-स्तर के PTA के विरुद्ध चार पूरक संकेतों का उपयोग करके स्कोर किया जाता है, जिन्हें 0–100 गुणवत्ता स्कोर में संयोजित किया जाता है:

संरचनात्मक संरेखण ( $\Phi_{struct}$ ): मापता है कि क्या कैंडिडेट लगभग सही क्रम में PTA स्टेट्स पर जाता है (ऑर्डर्ड रिकॉल + अनऑर्डर्ड प्रिसिजन)।
सेट कवरेज ( $\Phi_{cov}$ ): क्रम की परवाह किए बिना, PTA स्टेट्स के उस अंश को मापता है जो कैंडिडेट द्वारा मैच किए गए हैं।
ट्राजेक्टरी सुसंगतता ( $\Phi_{coh}$ ): इन्टेंट-स्टेज अनुक्रम का सारांश देता है, जो प्रगति (जैसे, $E \to I \to V$ ) को पुरस्कृत करता है और बैकट्रैक्स और अंधेधुंध पुन: प्रयासों को दंडित करता है।
अस्थायी प्रोफाइल समानता ( $\Phi_{temp}$ ): जेन्सन-शैनन डायवर्जेंस (Jensen-Shannon divergence) का उपयोग करके शुरुआती, मध्य और अंतिम ट्राजेक्टरी खंडों में चरणों के वितरण की तुलना PTA के साथ करता है।

अंतिम स्कोर एक भारित योग (weighted sum) है:
$f(\tau_c, G) = 0.20 \cdot \Phi_{struct} + 0.15 \cdot \Phi_{cov} + 0.30 \cdot (100 \cdot \Phi_{coh}) + 0.35 \cdot (100 \cdot \Phi_{temp})$
व्यवहार संबंधी संकेत (सुसंगतता और अस्थायी प्रोफाइल) 65% भार वहन करते हैं, जो यह दर्शाता है कि संरचनात्मक कवरेज और प्रक्रिया की गुणवत्ता अक्सर अलग-अलग ट्राजेक्टरीज पर विफल होती हैं।

D. रिपोर्ट और टियरिंग

कंपाजिट स्कोर के आधार पर ट्राजेक्टरीज को श्रेणियों (tiers) में वर्गीकृत किया जाता है:

आदर्श (Ideal $\ge 70$ ): सिद्धांतपूर्ण, कम-अपव्यय, सुव्यवस्थित।
ठोस (Solid $47 \le score < 70$ ): अपूर्ण लेकिन सुसंगत।
लकी (Lucky $< 47$ ): कमजोर प्रक्रियाएं जो संयोग से पास होती हैं (जैसे, रिग्रेशन चक्र, अंधेधुंध पुन: प्रयास)।
आंशिक-विफलता / ऑफ-ट्रैक (Partial-fail / Off-track): विफल ट्राजेक्टरीज के लिए।

सिस्टम संरचित अक्षमता रिपोर्ट भी उत्पन्न करता है, जो "अपव्यय" (रिग्रेशन लूप, अंधेधुंध पुन: प्रयास, अनावश्यक कदम, अनावश्यक अन्वेषण, चक्रीय पैटर्न) को विशिष्ट ट्राजेक्टरी चरणों के साथ स्थानीयकृत करता है।

3. मुख्य योगदान

AGENTLENS-Bench: पहला प्रक्रिया-एनोटेटेड SWE-एजेंट ट्राजेक्टरी डेटासेट। इसमें 47 SWE-bench Verified कार्यों से 1,815 ट्राजेक्टरीज शामिल हैं, जिसमें गुणवत्ता स्कोर, वेस्ट एनोटेशन, डायवर्जेंस मेटाडेटा और ग्राउंड-ट्रुथ PTA शामिल हैं।
लकी पास की खोज: लेखक प्रदर्शित करते हैं कि 10.7% पास होने वाली ट्राजेक्टरीज "लकी पास" हैं। इन्हें पांच आवर्ती तंत्रों में विभाजित किया गया है:
- न्यूनतम और अपुष्ट (Minimal & Unverified) (15.6%): संक्षिप्त, कोई सत्यापन नहीं।
- ब्रूट-फोर्स अभिसरण (Brute-Force Convergence) (34.4%): उच्च अपव्यय, कम सुसंगतता।
- अपूर्ण कार्यान्वयन (Incomplete Implementation) (33.6%): टेस्ट गैप्स के कारण आंशिक सुधार का पास होना।
- अत्यधिक अन्वेषण (Excessive Exploration) (4.1%): लंबा, बिना फोकस वाला।
- विचलित-लेकिन-वैध (Divergent-but-Valid) (12.3%): वैकल्पिक वैध दृष्टिकोण।
संदर्भ-संवेदनशील इन्टेंट लेबलिंग: एक मान्य लेबलर जो टर्मिनल कमांड्स में अन्वेषण-बनाम-सत्यापन की अस्पष्टता को हल करता है, जो 96.0% रॉ एग्रीमेंट प्राप्त करता है।
PTA-आधारित प्रक्रिया संदर्भ: ज्ञात-अच्छे रणनीतियों के एक संदर्भ स्थान में कई पास होने वाले समाधानों को मिलाने की एक विधि, जो नए ट्राजेक्टरीज को विविध सही व्यवहारों के विरुद्ध स्कोर करने में सक्षम बनाती है।
ओपन-सोर्स टूलिंग: AGENTLENS SDK और वेब इंटरफेस की रिलीज़, जो स्कोरिंग के लिए LLM कॉल्स की आवश्यकता के बिना ATIF और OpenHands ट्रेसेस का समर्थन करती है।

4. परिणाम

फ्रेमवर्क का मूल्यांकन आठ मॉडल बैकएंड (GPT-4.1, GPT-4o, Claude Opus, और Gemini 2.5 Pro सहित) से 60 SWE-bench Verified कार्यों के माध्यम से 2,614 ट्राजेक्टरीज पर किया गया।

पास होने वाली ट्राजेक्टरीज का वितरण: 1,136 पास होने वाली ट्राजेक्टरीज में से, 20.2% आदर्श (Ideal) थे, 69.1% ठोस (Solid) थे, और 10.7% लकी (Lucky) थे।
मॉडल रैंकिंग विसंगति: प्रक्रिया-जागरूक स्कोरिंग केवल पास-रेट की तुलना में मॉडल रैंकिंग को महत्वपूर्ण रूप से बदल देती है।
- उदाहरण: GPT-4o पास रेट द्वारा 8वें स्थान पर है लेकिन गुणवत्ता स्कोर द्वारा तीसरे स्थान पर है।
- उदाहरण: Claude Opus 4.6 पास रेट द्वारा तीसरे स्थान पर है लेकिन गुणवत्ता स्कोर द्वारा छठे स्थान पर है, जिसका 18.7% लकी रेट (शीर्ष-स्तरीय मॉडलों में सबसे अधिक) है।
- मॉडलों के बीच लकी दर 0.5% (Opus 4.5) से 23.2% (GPT-4.1) तक भिन्न होती है।
वर्गीकरण विशिष्टता (Taxonomy Specificity): मॉडल प्रकार और लकी पास श्रेणी के बीच एक महत्वपूर्ण संबंध है ( $\chi^2(28) = 102.47, p < 0.0001$ )। उदाहरण के लिए, Opus 4.6 असमान रूप से "न्यूनतम और अपुष्ट" पास उत्पन्न करता है, जबकि GPT-4.1 "ब्रूट-फोर्स" और "अत्यधिक अन्वेषण" श्रेणियों में हावी है।
विभेदक शक्ति (Discriminative Power): कंपोजिट स्कोर पास और विफल ट्राजेक्टरीज को 0.766 के AUROC ( $p=0.0017$ ) के साथ अलग करता है। कोई भी एकल सिग्नल अकेले सांख्यिकीय महत्व प्राप्त नहीं कर सका, जो संरचनात्मक और व्यवहारिक संकेतों के संलयन (fusion) की आवश्यकता को उजागर करता है।
लागत निहितार्थ: लकी पास काफी अधिक कम्प्यूटेशनल लागत वहन करते हैं। "ब्रूट-फोर्स" ट्राजेक्टरीज को "न्यूनतम" की तुलना में ~25x अधिक टोकन खर्च होते हैं, और "अत्यधिक अन्वेषण" को समान बाइनरी पास/फेल लेबल प्राप्त करने के बावजूद ~40x अधिक टोकन खर्च होते हैं।

5. महत्व और दावे

शोध पत्र दावा करता है कि AGENTLENS बाइनरी परिणामों से परे मूल्यांकन के लिए एक आवश्यक परत प्रदान करता है। इसका महत्व तीन क्षेत्रों में है:

डेटा क्यूरेशन: यह केवल पास रेट द्वारा प्रशिक्षण डेटा को फ़िल्टर करने के अभ्यास को चुनौती देता है, यह दिखाते हुए कि "सफल" ट्राजेक्टरीज की गुणवत्ता में भारी अंतर होता है। पर्यवेक्षण के लिए निम्न-गुणवत्ता वाले "लकी" ट्राजेक्टरीज का उपयोग भंगुर व्यवहार को सुदृढ़ कर सकता है।
मॉडल तुलना: यह मॉडलों की तुलना के लिए एक नया अक्ष प्रदान करता है। जैसे-जैसे मॉडल उच्च पास-रेट की ओर अभिसरित होते हैं, सुसंगत, कम-अपव्यय प्रक्रियाओं के माध्यम से कार्यों को हल करने की क्षमता एक विभेदक (differentiator) बन जाती है। शोध पत्र दिखाता है कि गुणवत्ता स्कोर द्वारा रैंकिंग करने से मॉडल की स्थिति में पांच रैंक तक बदलाव आ सकता है।
परिनियोजन जोखिम (Deployment Risk): यह उजागर करता है कि परीक्षण-और-त्रुटि के माध्यम से सफल होने वाले एजेंट महंगे परीक्षण या अपरिवर्तनीय कार्यों वाले वातावरण में अप्रत्याशित हो सकते। "लकी पास" को उजागर करके, AGENTLENS चिकित्सकों को उन मॉडलों की पहचान करने में मदद करता है जो सिद्धांतपूर्ण तर्क के बजाय भंगुर अन्वेषण पर भरोसा करते हैं।

लेखक AGENTLENS को बाइनरी आउटकम चेक के विकल्प के रूप में नहीं, बल्कि सॉफ्टवेयर इंजीनियरिंग एजेंटों के मूल्यांकन, विश्लेषण और प्रशिक्षण को बेहतर बनाने के लिए एक पूरक नैदानिक उपकरण (diagnostic tool) के रूप में प्रस्तुत करते हैं। वे इस डेटासेट और टूल्स को जारी करते हैं ताकि प्रक्रिया-जागरूक विश्लेषण को SWE-एजेंट मूल्यांकन पाइपलाइन का एक मानक घटक बनाया जा सके।