AgentPulse: A Continuous Multi-Signal Framework for Evaluating AI Agents in Deployment

यहाँ शोध पत्र "AgentPulse: A Continuous Multi-Signal Framework for Evaluating AI Agents in Deployment" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

AI एजेंटों के मूल्यांकन के वर्तमान तरीके काफी हद तक स्थिर बेंचमार्क (जैसे SWE-bench, GAIA, WebArena) पर निर्भर हैं जो एक निश्चित समय पर क्षमता को मापते हैं। लेखक इस प्रतिमान (paradigm) में तीन महत्वपूर्ण सीमाओं की पहचान करते हैं:

• स्थिर स्नैपशॉट (Static Snapshots): बेंचमार्क एजेंटिक सिस्टम के तीव्र विकास को कैप्चर नहीं कर सकते, जहाँ क्षमताएं, एकीकरण (integrations) और विश्वसनीयता साप्ताहिक आधार पर बदलती रहती हैं।
• क्षमता $\neq$ अपनाना (Capability $\neq$ Adoption): उच्च कार्य-पूर्णता स्कोर वास्तविक दुनिया में अपनाने की भविष्यवाणी नहीं करते हैं, जो एकीकरण की गुणवत्ता, मूल्य निर्धारण, विश्वसनीयता और सामुदायिक विश्वास पर निर्भर करता है—ऐसे आयाम जो बेंचमार्क में अदृश्य हैं।
• क्रॉस-टूल तुलनीयता का अभाव (Lack of Cross-Tool Comparability): मौजूदा बेंचमार्क क्षमता के संकीर्ण हिस्सों का मूल्यांकन करते हैं, जो विविध उपकरणों (जैसे कोडिंग कोपायलट बनाम स्वायत्त SWE एजेंट) की उनके संबंधित वर्कफ़्लो के माध्यम से तुलना करने के लिए एक एकीकृत ढांचा प्रदान करने में विफल रहते हैं।

यह शोध पत्र तर्क देता है कि मूल्यांकन को "क्या यह इस समस्या को हल कर सकता है?" से बदलकर "क्या यह विश्वसनीय, अच्छी तरह से बनाए रखा गया और डेवलपर समुदाय द्वारा विश्वसनीय है?" पर विकसित होना चाहिए।

2. कार्यप्रणाली: AgentPulse फ्रेमवर्क (Methodology: The AgentPulse Framework)

AgentPulse एक निरंतर मूल्यांकन ढांचा है जो 10 वर्कलोड श्रेणियों में 50 एजेंटों को स्कोर करने के लिए सार्वजनिक API (GitHub, पैकेज रजिस्ट्री, IDE मार्केटप्लेस, सोशल प्लेटफॉर्म और लीडरबोर्ड) से 18 रीयल-टाइम संकेतों (signals) को एकत्रित करता है।

फ्रेमवर्क चार भारित (weighted) कारकों के आधार पर एक संयुक्त स्कोर $AP(a)$ की गणना करता है:
$$AP(a) = w_B \cdot B(a) + w_A \cdot A(a) + w_S \cdot S(a) + w_E \cdot E(a)$$

• भार (Weights): बेंचमार्क प्रदर्शन ($0.35$), अपनाने के संकेत ($0.25$), सामुदायिक भावना ($0.20$), पारिस्थितिकी तंत्र स्वास्थ्य ($0.20$)।

चार कारक:

1. बेंचमार्क प्रदर्शन ($B$): प्रकाशित स्कोर (SWE-bench, GAIA, WebArena, HumanEval+, और TAU-bench) का सामान्यीकृत औसत। बिना स्कोर वाले एजेंटों को एक न्यूट्रल प्रायर (0.5) दिया जाता है।
2. अपनाने के संकेत ($A$): एक लॉग-सामान्यीकृत मिश्रण:
   • GitHub स्टार्स (वेलोसिटी सहित)।
   • पैकेज डाउनलोड (PyPI/npm)।
   • IDE पैठ (VS Code इंस्टॉल्स/रेटिंग)।
3. सामुदायिक भावना ($S$): Bluesky, Reddit, Hacker News, Stack Overflow, GitHub Discussions आदि से प्राप्त टेक्स्ट पर लागू एक मल्टी-लेयर NLP पाइपलाइन (VADER, TextBlob, FinBERT, DistilBERT) से व्युत्पन्न। पाइपलाइन में व्यंग्य का पता लगाना (sarcasm detection), जुड़ाव भारण (engagement weighting), और प्लेटफॉर्म विश्वसनीयता भारण शामिल है।
4. पारिस्थितिकी तंत्र स्वास्थ्य ($E$): योगदानकर्ता गहराई (log-normalized), GitHub इश्यू क्लोज रेट, अपडेट फ्रीक्वेंसी (60-दिन का क्षय/decay), और VS Code मार्केटप्लेस रेटिंग का एक संयोजन।

डेटा पाइपलाइन: सिस्टम प्रत्येक एजेंट के लिए 18 संकेतों को एकत्र करता है जिनकी आवृत्ति भिन्न होती है (5 मिनट से 24 घंटे तक)। डेटा को MD5/trigram डीडुप्लिकेशन, बॉट/स्पैम फ़िल्टरिंग, और स्रोत-विश्वसनीयता भारण के बाद NLP प्रोसेसिंग के लिए भेजा जाता है।

3. मुख्य योगदान (Key Contributions)

1. एक चार-कारक मूल्यांकन ढांचा: तैनात AI एजेंटों को मापने के लिए एक सिद्धांतपूर्ण पद्धति जो स्थिर बेंचमार्क को वास्तविक दुनिया के परिनियोजन संकेतों के साथ पूरक बनाती है।
2. रीयल-टाइम डेटा इंफ्रास्ट्रक्चर: 50 एजेंटों और 10 वर्कलोड श्रेणियों में 18 संकेतों को एकत्रित करने वाला एक स्वायत्त पाइपलाइन, जो निरंतर अपडेट करने में सक्षम है।
3. तीन-चरणीय सत्यापन (Three-Pronged Validation):
   • कारक स्वतंत्रता (Factor Independence): यह प्रदर्शित करना कि चार कारक पूरक जानकारी कैप्चर करते हैं।
   • सर्कुलैरिटी-नियंत्रित भविष्य कहनेवाला वैधता (Circularity-Controlled Predictive Validity): यह सिद्ध करना कि कारकों का एक उपसमुच्चय (subset) उन बाहरी एडॉप्शन प्रॉक्सी की भविष्यवाणी करता है जिनका उपयोग उनके निर्माण में नहीं किया गया था।
   • रैंकिंग विचलन विश्लेषण (Ranking Divergence Analysis): यह दिखाना कि संयुक्त रैंकिंग, बेंचमार्क-ओनली रैंकिंग से कैसे भिन्न होती है, विशेष रूप से ओपन-सोर्स बनाम क्लोज्ड-सोर्स एजेंटों के लिए।
4. ओपन रिलीज़: फ्रेमवर्क, सभी 18 सिग्नल कलेक्टर, NLP पाइपलाइन, 50-एजेंट रजिस्ट्री, और 15,000 स्कोर किए गए टेक्स्ट को CC BY 4.0 के तहत जारी किया गया है।

4. मुख्य परिणाम और निष्कर्ष (Key Results & Findings)

A. कारक स्वतंत्रता (n=50)

Spearman सहसंबंध विश्लेषण पुष्टि करता है कि कारक काफी हद तक पूरक हैं:

• बेंचमार्क बनाम अपनाना: लगभग सहसंबंध रहित ($\rho = 0.05$), जो मूल परिकल्पना की पुष्टि करता है कि क्षमता, अपनाने की भविष्यवाणी नहीं करती है।
• अपनाना बनाम पारिस्थितिकी तंत्र: मध्यम सहसंबंध ($\rho = 0.61$) क्योंकि दोनों ओपन-सोर्स स्वास्थ्य को दर्शाते हैं, लेकिन अलग हैं (अपनाना = मांग; पारिस्थितिकी तंत्र = आपूर्ति)।
• भावना बनाम अपनाना: हल्का नकारात्मक सहसंबंध ($\rho = -0.29$), जो बताता है कि अत्यधिक अपनाए गए टूल्स अधिक आलोचनात्मक जांच का सामना करते हैं।

B. सर्कुलैरिटी-नियंत्रित भविष्य कहनेवाला वैधता (n=35)

यह सिद्ध करने के लिए कि फ्रेमवर्क बाहरी सत्य को कैप्चर करता है, लेखकों ने एक बेंचमार्क+सेंटिमेंट सब-कंपोजिट बनाया (GitHub-सिग्नल लीकेज से बचने के लिए एडॉप्शन और इकोसिस्टम कारकों को छोड़कर)।

• परिणाम: यह उप-संयोजन तीन बाहरी एडॉप्शन प्रॉक्सी की भविष्यवाणी करता है:
  • GitHub स्टार्स ($\rho_s = 0.52, p < 0.01$)
  • Stack Overflow प्रश्न वॉल्यूम ($\rho_s = 0.49, p < 0.01$)
  • VS Code इंस्टॉल्स ($\rho_s = 0.44, p < 0.05$)
• महत्व: यह दर्शाता है कि बेंचमार्क क्षमता और सामुदायिक भावना मिलकर उस जानकारी को समाहित करते हैं जो पूर्ण स्कोर में शामिल संकेतों से स्वतंत्र होकर, डेवलपर एडॉप्शन में प्रकट होती है।

C. रैंकिंग विचलन (n=11 SWE-bench उपसमुच्चय)

प्रकाशित SWE-bench स्कोर वाले एजेंटों के उपसमुच्चय पर:

• कम सहसंबंध: संयुक्त रैंकिंग और बेंचमार्क-ओनली रैंकिंग लगभग सहसंबंध रहित हैं ($\rho_s = 0.25$)।
• विचलन के चालक (Drivers):
  • उच्च अपनाना, कम बेंचमार्क: Cline संयुक्त रैंकिंग में दूसरे स्थान पर आता है (3.7M VS Code इंस्टॉल्स के कारण) लेकिन SWE-bench में सातवें स्थान पर है।
  • उच्च बेंचमार्क, शून्य दृश्यमान अपनाना: OpenAI Codex और Devin SWE-bench में दूसरे और तीसरे स्थान पर आते हैं लेकिन संयुक्त स्कोर में चौथे और नौवें स्थान पर गिर जाते हैं क्योंकि उनके पास सार्वजनिक रिपॉजिटरी या मार्केटप्लेस उपस्थिति की कमी है (यह एक "मापन सीमा" है, गुणवत्ता का निर्णय नहीं)।
• एब्लेशन अध्ययन (Ablation Study): संयुक्त स्कोर से एडॉप्शन कारक को हटाने से SWE-bench के साथ सहसंबंध बढ़ जाता ($\rho$ 0.03 से बढ़कर 0.57 हो जाता है), जो पुष्टि करता है कि फ्रेमवर्क जानबूझकर शुद्ध क्षमता स्कोर के बजाय परिनियोजन संकेतों को प्राथमिकता देता है।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:

• पद्धतिगत बदलाव: AgentPulse क्षेत्र को "स्थिर क्षमता स्नैपशॉट" से "निरंतर परिनियोजन स्वास्थ्य" निगरानी की ओर ले जाता है।
• समग्र दृष्टिकोण: यह प्रकट करता है कि "सर्वश्रेष्ठ" एजेंट उपयोग के मामले (जैसे उच्च-एडॉप्शन कोडिंग असिस्टेंट बनाम उच्च-क्षमता अनुसंधान एजेंट) पर निर्भर करता है।
• पारदर्शिता: लेखक स्पष्ट रूप से क्लोज्ड-सोर्स एजेंटों के लिए मापन सीमा और अंग्रेजी-मात्र NLP जैसी सीमाओं को स्वीकार करते हैं, इसे एक पद्धति के रूप में प्रस्तुत करते हैं न कि ग्राउंड-ट्रुथ ओरेकल के रूप में।

सीमाएं:

• क्लोज्ड-सोर्स पूर्वाग्रह: वे एजेंट जिनके पास सार्वजनिक रिपॉजिटरी नहीं है (जैसे Devin, Codex), एडॉप्शन संकेतों पर शून्य स्कोर प्राप्त करते हैं, जिससे उनका संयुक्त रैंक कृत्रिम रूप से कम हो जाता है।
• भावना पूर्वाग्रह: सोशल मीडिया पोस्टर्स पूरे उपयोगकर्ता आधार का प्रतिनिधित्व नहीं करते हैं; कॉर्पस अंग्रेजी और विशिष्ट प्लेटफार्मों (Bluesky, Reddit) की ओर झुका हुआ है।
• नमूना आकार: SWE-bench ओवरलैप विश्लेषण 11 एजेंटों तक सीमित है, जो इसे निर्णायक के बजाय खोजपूर्ण बनाता है।

निष्कर्ष:
AgentPulse AI एजेंटों के लिए एक मान्य, निरंतर फ्रेमवर्क प्रदान करता है। यह सिद्ध करके कि मल्टी-सिग्नल कंपोजिट केवल बेंचमार्क की तुलना में बाहरी एडॉप्शन प्रॉक्सी की बेहतर भविष्यवाणी करते हैं, यह उत्पादन (production) में AI एजेंटों की विश्वसनीयता, रखरखाव योग्यता और सामुदायिक विश्वास का आकलन करने के लिए एक नया मानक स्थापित करता है।