💬 NLP

Agent-Diff: Benchmarking LLM Agents on Enterprise API Tasks via Code Execution with State-Diff-Based Evaluation

यह शोध पत्र Agent-Diff को प्रस्तुत करता है, जो एक नवीन बेंचमार्किंग फ्रेमवर्क है जो कंटेनरीकृत (containerized) API सैंडबॉक्स के साथ स्टेट-डिफ़ (state-diff) आधारित मूल्यांकन मीट्रिक को जोड़कर वास्तविक दुनिया के एंटरप्राइज API कार्यों पर एजेंटिक LLMs का मूल्यांकन करता है, ताकि ट्रेस मिलान (trace matching) के बजाय पर्यावरणीय अवस्था परिवर्तनों के माध्यम से कार्य की सफलता का आकलन किया जा सके।

मूल लेखक: Hubert M. Pysklo, Artem Zhuravel, Patrick D. Watson

प्रकाशित 2026-03-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hubert M. Pysklo, Artem Zhuravel, Patrick D. Watson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने कागजी काम को करने के लिए डिजिटल सहायकों (AI एजेंटों) की एक टीम रख रहे हैं। आप जानना चाहते हैं: क्या वे वास्तव में बिना किसी गड़बड़ी के काम पूरा कर सकते हैं?

यह शोध पत्र, जिसका शीर्षक "Agent-Diff" है, इस सवाल का जवाब देने के लिए एक नया, अत्यंत सख्त परीक्षण मैदान पेश करता है। केवल AI से यह पूछने के बजाय कि "आप क्या करेंगे?", वे AI को एक सुरक्षित, सिम्युलेटेड ऑफिस में वास्तव में काम करने के लिए कहते हैं।

यहाँ बताया गया है कि उन्होंने इस परीक्षण को कैसे बनाया और उन्हें क्या पता चला, सरल उपमाओं (analogies) का उपयोग करते हुए।

1. समस्या: "नकली ऑफिस" बनाम "असली गड़बड़"

पहले, AI एजेंटों का परीक्षण करना एक नकली कमरे में "साइमन सेज़" (Simon Says) खेलने जैसा था।

"नकली कमरा" (Sandbox): शोधकर्ताओं ने सॉफ्टवेयर का एक नकली संस्करण बनाया (जैसे Slack या Google Calendar)। यह साफ और अनुमानित था, लेकिन यह वास्तविक दुनिया जैसा महसूस नहीं होता था।
"असली गड़बड़" (Live Services): अन्य परीक्षणों ने AI को वास्तविक सॉफ़्टवेयर से बात करने की अनुमति दी। यह यथार्थवादी था, लेकिन यदि AI ने गलती की, तो वह गलती से कोई वास्तविक फ़ाइल डिलीट कर सकता था या गलत व्यक्ति को वास्तविक ईमेल भेज सकता था। साथ ही, वास्तविक दुनिया निष्पक्ष रूप से परीक्षण करने के लिए बहुत तेज़ी से बदलती है।

Agent-Diff समाधान: उन्होंने एक "घोस्ट ऑफिस" (Ghost Office) बनाया।
एक वास्तविक कार्यालय (Slack, Box, Google Calendar, आदि) के एक आदर्श, डिजिटल जुड़वां की कल्पना करें। यह बिल्कुल असली चीज़ की तरह दिखता है और काम करता है, लेकिन यह अलग (isolated) है। यदि AI इस घोस्ट ऑफिस में एक फ़ाइल डिलीट करता है, तो किसी वास्तविक व्यक्ति का डेटा नहीं खोता। यह एक सुरक्षित खेल का मैदान है जो बिल्कुल वास्तविक दुनिया जैसा महसूस होता है।

2. नया नियम: "क्या कमरा बदल गया?"

आप AI को ग्रेड कैसे देते हैं?

पुराना तरीका (The Trace): आप AI के कदमों को देखते हैं। "क्या इसने सही बटन दबाया? क्या इसने सही शब्द कहे?" यह एक छात्र को केवल इस आधार पर ग्रेड देने जैसा है कि उसने निबंध कैसे लिखा, न कि इस आधार पर कि क्या निबंध ने वास्तव में प्रश्न का उत्तर दिया।
Agent-Diff का तरीका (State-Diff): उन्हें इस बात से फर्क नहीं पड़ता कि AI ने इसे कैसे किया। उन्हें केवल परिणाम से फर्क पड़ता है।
- उपमा: कल्पना कीजिए कि आपने एक रोबोट को कहा "लाल कुर्सी को किचन में ले जाओ।"
- पुराना तरीका: आप देखते हैं कि क्या रोबोट ने कुर्सी को सही ढंग से उठाया।
- Agent-Diff का तरीका: आप काम शुरू होने से पहले और बाद की कमरे की एक फोटो लेते हैं। आप अंतर (the "Diff") देखते हैं। क्या लाल कुर्सी किचन में है? हाँ? पास। क्या रोबोट ने कुर्सी ले जाते समय गलती से फूलदान गिरा दिया? फेल।

यह "State-Diff" तरीका एक सुरक्षा कैमरे की तरह है जो केवल इस बात की परवाह करता है कि कमरे की अंतिम स्थिति आपके निर्देशों से मेल खाती है या नहीं, जिससे AI द्वारा रास्ते में की गई किसी भी आकस्मिक गड़बड़ी को पकड़ा जा सके।

3. परीक्षण: 224 वास्तविक दुनिया के मिशन

उन्होंने 9 अलग-अलग AI मॉडल्स को 224 अलग-अलग कार्य दिए, जैसे:

"अर्जेंटीना की अर्थव्यवस्था के बारे में सभी फ़ाइलें खोजें, गलत वाली को डिलीट करें, और सही वाली को टैग करें।"
"एक उल्कापात (meteor shower) के लिए एक नया कैलेंडर इवेंट बनाएं, लेकिन सुनिश्चित करें कि यह आपके दोस्त के शेड्यूल से न टकराए।"
"एक प्रोजेक्ट इश्यू को एक नई टीम में ले जाएं और स्टेटस अपडेट करें।"

कुछ कार्य आसान थे (1 स्टेप), और कुछ कठिन (24 स्टेप्स तक)। कुछ कार्यों में AI को आवश्यक आईडी नंबर दिए गए थे; अन्य कार्यों में उन्हें खुद ढूंढने के लिए मजबूर किया गया।

4. परिणाम: कौन जीता?

उन्होंने DeepSeek, Claude, Gemini और अन्य मॉडल्स का परीक्षण किया।

विजेता: DeepSeek-v3.2 और Devstral-2512 शीर्ष प्रदर्शन करने वाले रहे। उन्होंने लगभग 88% कार्य सही किए। वे सबसे भरोसेमंद इंटर्न की तरह थे जिन्होंने वास्तव में मैनुअल पढ़ा था।
हारने वाले: Llama-4-Scout और Claude-Haiku संघर्ष करते रहे, जिनका स्कोर 50% से नीचे रहा। वे उन इंटर्न की तरह थे जो बार-बार भूल जाते थे कि उन्हें क्या करना था।
लागत: सबसे अच्छा मॉडल ज़रूरी नहीं कि सबसे महंगा हो। एक मॉडल, Grok-4.1-Fast, अविश्वसनीय रूप से सस्ता और कुशल था, जिसने कुछ पैसों में बेहतरीन परिणाम दिए।

5. "चीट शीट" प्रयोग (दस्तावेज़ीकरण)

शोधकर्ता यह जानना चाहते थे: क्या AI को मैनुअल (API दस्तावेज़) देने से मदद मिलती है?

चौंकाने वाला तथ्य: यह सरल कार्यों के लिए बहुत मददगार था। यदि AI को नहीं पता था कि किसी विशिष्ट बटन का उपयोग कैसे करना है, तो मैनुअल ने इसे ठीक कर दिया।
नुकसान: जटिल कार्यों के लिए, मैनुअल ने कभी-कभी चीज़ों को और खराब कर दिया। यह एक शेफ को 10-कोर्स मील बनाने के दौरान 50 पन्नों की रेसिपी बुक देने जैसा था; वे अभिभूत हो गए और मुख्य व्यंजन ही भूल गए।
"नया फीचर" परीक्षण: उन्होंने Box में एक बिल्कुल नया फीचर (जिसे "Hubs" कहा जाता है) शामिल किया जिसे AI मॉडल्स ने पहले कभी नहीं देखा था क्योंकि यह उनके प्रशिक्षण के बाद रिलीज़ हुआ था।
- परिणाम: मैनुअल के बिना, AI पूरी तरह विफल रहा। मैनुअल के साथ, उन्होंने इसे पूरी तरह से हल कर लिया। यह साबित करता है कि AI नए टूल्स को तुरंत सीख सकता है यदि आप उन्हें निर्देश दें।

6. विजेता कैसे सफल हुए

पेपर ने विश्लेषण किया कि शीर्ष मॉडल्स क्यों जीते। यह केवल तथ्यों को जानने के बारे में नहीं था; यह रणनीति के बारे में था।

हारने वालों की रणनीति: "मैंने यह कोशिश की, यह विफल रहा। मैं फिर से वही चीज़ ठीक वैसे ही करूँगा।" (जैसे दीवार पर सिर टकराना)।
विजेताओं की रणनीति: "मैंने यह कोशिश की, यह विफल रहा। मुझे इस बड़ी समस्या को छोटे चरणों में तोड़ना चाहिए," या "मुझे पहले सही आईडी नंबर ढूँढना चाहिए।"
सबक: सर्वश्रेष्ठ एजेंट वे हैं जो दीवार से टकराने पर केवल अपनी गलतियों को दोहराने के बजाय अनुकूलित (adapt) होते हैं।

सारांश

Agent-Diff AI एजेंटों को वास्तविक काम करने के लिए परखने का एक नया, निष्पक्ष और सुरक्षित तरीका है। इसने सिद्ध किया कि:

प्रक्रिया से अधिक परिणाम मायने रखते हैं: क्या काम बिना कुछ तोड़े पूरा हुआ?
कुछ AI दूसरों की तुलना में बहुत बेहतर हैं: शीर्ष और निचले प्रदर्शन करने वालों के बीच एक बड़ा अंतर है।
निर्देश मदद करते हैं, लेकिन बहुत अधिक जानकारी भ्रमित करती है: AI को मैनुअल देना नए टूल्स के लिए मददगार है, लेकिन बहुत अधिक टेक्स्ट उन्हें विचलित कर सकता है।
अनुकूलन क्षमता (Adaptability) महत्वपूर्ण है: सर्वश्रेष्ठ एजेंट जानते हैं कि अपनी गलतियों को कैसे सुधारना है।

यह फ्रेमवर्क अब सभी के उपयोग के लिए खुला है, ताकि डेवलपर्स वास्तविक दुनिया के लिए बेहतर, अधिक विश्वसनीय AI सहायक बना सकें।

यहाँ शोध पत्र "Agent-Diff: Benchmarking LLM Agents on Enterprise API Tasks via Code Execution with State-Diff-Based Evaluation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एजेंटिक लार्ज लैंग्वेज मॉडल्स (LLMs) के मूल्यांकन को पारिस्थितिक वैधता (वास्तविक सेवाओं का उपयोग करना) और पुनरुत्पादकता (नियंत्रित सैंडबॉक्स का उपयोग करना) के बीच एक मौलिक समझौते का सामना करना पड़ता है।

मौजूदा बेंचमार्क: अधिकांश बेंचमार्क या तो मॉक/सिंथेटिक वातावरण (यथार्थता की कमी) या लाइव सेवाओं (अस्थिरता और अनिश्चितता लाना) पर निर्भर करते हैं।
मूल्यांकन दोष: वर्तमान मूल्यांकन मेट्रिक्स अक्सर "ट्रेस मैचिंग" (यह जांचना कि एजेंट ने सही क्रम में किन टूल्स को कॉल किया) या "LLM-as-a-judge" (व्यक्तिपरक स्कोरिंग) पर निर्भर करते हैं। ये तरीके यह पकड़ने में विफल रहते हैं कि क्या वास्तविक परिणाम प्राप्त हुआ था या क्या एजेंट ने अनपेक्षित साइड इफेक्ट्स (जैसे, असंबंधित डेटा को हटाना) उत्पन्न किए।
अंतराल (The Gap): एक ऐसे फ्रेमवर्क की कमी है जो एजेंटों को कोड निष्पादन के माध्यम से वास्तविक एंटरप्राइज API के साथ इंटरैक्ट करने की अनुमति दे, जबकि कठोर स्टेट वेरिफिकेशन के लिए एक नियत (deterministic), पुनरुत्पादक वातावरण बनाए रखे।

2. कार्यप्रणाली: Agent-Diff फ्रेमवर्क (Methodology: The Agent-Diff Framework)

Agent-Diff कंटेनरीकृत API रेप्लिका (replicas) और स्टेट-डिफ़-आधारित मूल्यांकन को संयोजित करके इस चुनौती का समाधान करता है।

A. वातावरण: कंटेनरीकृत API रेप्लिका (Containerized API Replicas)

API को मॉक करने या लाइव प्रोडक्शन सेवाओं से जुड़ने के बजाय, Agent-Diff एंटरप्राइज सेवाओं (Slack, Box, Linear, Google Calendar) के कंटेनरीकृत रेप्लिका बनाता है।

व्यवहार संबंधी समानता (Behavioral Equivalence): रेप्लिका को विशिष्ट अनुरोधों ( $R^*$ ) के लिए वास्तविक API के व्यवहार के समान बनाया गया है। वे समान इनपुट स्वीकार करते हैं और समान आउटपुट देते हैं, लेकिन आंतरिक साइड इफेक्ट्स (जैसे, एनालिटिक्स या नोटिफिकेशन) अदृश्य होते हैं।
स्टेट-केंद्रित मॉडलिंग (State-Centric Modeling): प्रत्येक सेवा को एक स्टेट मशीन के रूप में मॉडल किया गया है जो PostgreSQL डेटाबेस द्वारा समर्थित है। स्टेट $S$ में टाइप किए गए रिलेशनल टेबल्स (जैसे, channels, messages, files) शामिल हैं।
अलगाव (Isolation): प्रत्येक बेंचमार्क रन डेटाबेस के भीतर एक नए, अलग स्कीमा में निष्पादित होता है, जिससे रन के बीच कोई क्रॉस-कंटैमिनेशन नहीं होता और समानांतर निष्पादन संभव होता है।

B. मूल्यांकन तंत्र: स्टेट-डिफ़ कॉन्ट्रैक्ट (Evaluation Mechanism: State-Diff Contracts)

मुख्य नवाचार स्टेट-डिफ़ कॉन्ट्रैक्ट है, जो प्रक्रिया (एजेंट ने कैसे कार्य किया) को परिणाम (पर्यावरण में क्या बदला) से अलग करता है।

स्नैपशॉटिंग (Snapshotting): सिस्टम कार्य निष्पादन से पहले ( $T_{before}$ ) और बाद में ( $T_{after}$ ) डेटाबेस स्टेट का स्नैपशॉट लेता है।
डिफ़ गणना (Diff Calculation): यह सटीक अंतर ( $\Delta S$ $Δ S$ ) की गणना करता है जिसमें शामिल हैं:
- Inserted: जोड़े गए नए एंटिटीज।
- Deleted: हटाए गए एंटिटीज।
- Modified: अपडेट किए गए एंटिटीज (प्राइमरी कीज़ की तुलना करके)।
सत्यापन (Verification): कार्य की सफलता यह जांचकर निर्धारित की जाती है कि क्या देखा गया $\Delta S$ , डिक्लेरेटिव एसेर्शन (declarative assertions) में परिभाषित अपेक्षित स्टेट परिवर्तनों से मेल खाता है।
क्लोज्ड-वर्ल्ड इनवैरिएंट (Closed-World Invariant): मूल्यांकन एक सख्त इनवैरिएंट लागू करता: पर्यावरण स्टेट में कोई भी परिवर्तन कार्य के एसेर्शन द्वारा स्पष्ट किया जाना चाहिए। यदि एजेंट किसी असंबंधित संसाधन को संशोधित या हटा देता है (एक अनपेक्षित साइड इफेक्ट), तो कार्य को विफलता के रूप में चिह्नित किया जाता है। यह अव्यवस्थित निष्पादन के लिए "आंशिक क्रेडिट" देने से रोकता है।

C. बेंचमार्क डिज़ाइन (Benchmark Design)

दायरा (Scope): 4 एंटरप्राइज सेवाओं (Box, Slack, Linear, Google Calendar) में 224 कार्य।
कार्य आयाम (Task Dimensions): कार्य क्षितिज (1–24 API कॉल), ऑपरेशन प्रोफाइल (Search, Create, Read, Update, Delete), एंटिटी स्कोप (सिंगल बनाम मल्टी-एंटिटी), और सूचना उपलब्धता (एक्सप्लिसिट ID बनाम इम्प्लिसिट डिस्कवरी) के आधार पर भिन्न होते हैं।
इंटरैक्शन मॉडल: एजेंट स्ट्रक्चर्ड टूल कॉलिंग (JSON स्कीमा) के बजाय कोड निष्पादन (curl और मानक यूटिलिटीज का उपयोग करके Bash/Python स्क्रिप्ट जेनरेट करना) के माध्यम से इंटरैक्ट करते हैं।

3. मुख्य योगदान (Key Contributions)

नया बेंचमार्किंग फ्रेमवर्क: Agent-Diff पहला ऐसा फ्रेमवर्क है जो वास्तविक API इंटरफेस संरचनाओं को पूरी तरह से पुनरुत्पादक, कंटेनरीकृत सैंडबॉक्स के साथ जोड़ता है।
स्टेट-डिफ़ मूल्यांकन कॉन्ट्रैक्ट: एक कठोर, नियत मूल्यांकन मीट्रिक जो 'ट्रेस' के बजाय 'आउटकम' को सत्यापित करता है, जो अनपेक्षित साइड इफेक्ट्स और मतिभ्रम (hallucinations) का पता लगाने में सक्षम है।
व्यापक डेटासेट: कोड जनरेशन, प्लानिंग और स्टेट मैनेजमेंट की आवश्यकता वाले 224 जटिल, मल्टी-स्टेप वर्कफ़्लो का एक क्यूरेटेड सूट।
डॉक्यूमेंटेशन का अनुभवजन्य विश्लेषण: इस बात का व्यवस्थित अध्ययन कि API डॉक्यूमेंटेशन एजेंट के प्रदर्शन को कैसे प्रभावित करता है, जिसमें "परिचित" इंटरफेस और "नवीन" एंडपॉइंट्स के बीच अंतर किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 9 अत्याधुनिक LLMs (DeepSeek-v3.2, Devstral, Qwen, Claude, Llama, आदि सहित) का तीन स्थितियों के तहत मूल्यांकन किया: No-Docs, Relevant-Docs, और All-Docs।

A. मॉडल प्रदर्शन (Model Performance)

शीर्ष प्रदर्शन करने वाले: DeepSeek-v3.2 (88.1% स्कोर) और Devstral-2512 (86.0%) ने एक स्पष्ट शीर्ष स्तर बनाया।
निचले प्रदर्शन करने वाले: Llama-4-Scout (38.0%) और Claude-Haiku-4.5 (49.3%) काफी संघर्ष करते दिखे।
सर्विस वेरिएंस: प्रदर्शन सेवा के अनुसार भिन्न हुआ; Linear (इश्यू ट्रैकिंग) आम तौर पर सबसे आसान था, जबकि Calendar (टेम्पोरल रीजनिंग) कई मॉडल्स के लिए सबसे कठिन था।

B. डॉक्यूमेंटेशन का प्रभाव (Impact of Documentation)

पास रेट बनाम स्कोर: प्रासंगिक API डॉक्यूमेंटेशन प्रदान करने से पास रेट (+7.0 प्रतिशत अंक) में उल्लेखनीय वृद्धि हुई, जिसका अर्थ है कि एजेंट कार्यों को अधिक बार पूरा कर सके। हालांकि, Assertion-Weighted Score (जो साइड इफेक्ट्स को दंडित करता है) ने केवल एक मामूली, गैर-महत्वपूर्ण सुधार दिखाया।
कॉन्टेक्स्ट डाइल्यूशन (Context Dilution): सभी डॉक्यूमेंटेशन प्रदान करने (All-Docs) से स्कोर में सुधार नहीं हुआ और जटिल कार्यों (जैसे, Linear) पर प्रदर्शन कभी-कभी घट गया, जिससे पता चलता है कि अप्रासंगिक कॉन्टेक्स्ट ध्यान (attention) के लिए प्रतिस्पर्धा करता है।
नॉवेल्टी टेस्ट: हाल ही में पेश किए गए Box Hubs API (पोस्ट-ट्रेनिंग कटऑफ) का उपयोग करके एक प्राकृतिक प्रयोग ने दिखाया कि हब-विशिष्ट कार्यों के लिए डॉक्यूमेंटेशन ने भारी लाभ (+19.0 अंक) दिया, जबकि मानक फ़ाइल कार्यों के लिए इसका बहुत कम प्रभाव पड़ा। यह साबित करता है कि नए APIs के लिए डॉक्यूमेंटेशन 'इन्फरेंस-टाइम लर्निंग' के लिए महत्वपूर्ण है।

C. त्रुटि और रिकवरी विश्लेषण (Error and Recovery Analysis)

त्रुटि के प्रकार: सबसे सामान्य त्रुटियाँ Reasoning Failures (53.6%) और Parameter Errors (43.3%) थीं। Endpoint Selection त्रुटियाँ दुर्लभ लेकिन घातक थीं।
रिकवरी रणनीतियाँ:
- टॉप मॉडल्स: lookup_correct_value (IDs खोजना) और break_into_steps (विभाजन) जैसी अनुकूलन योग्य रणनीतियों को प्राथमिकता दी।
- बॉटम मॉडल्स: retry_same (विफल क्रियाओं को दोहराना) पर बहुत अधिक निर्भर रहे, जो विफलता के साथ दृढ़ता से सह-संबंधित था।
- मतिभ्रम (Hallucination): डॉक्यूमेंटेशन ने मतिभ्रम दर को काफी कम कर दिया (लगभग 21 प्रतिशत अंक)।

5. महत्व और निष्कर्ष (Significance and Conclusion)

Agent-Diff "क्या एजेंट ने सही टूल को कॉल किया?" से हटकर "क्या एजेंट ने वास्तव में दुनिया को इच्छित रूप से बदला?" की ओर बढ़कर एजेंट मूल्यांकन में एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है।

मजबूती (Robustness): स्टेट-डिफ़ दृष्टिकोण यह सुनिश्चित करता है कि एजेंट सफलता का भ्रम पैदा करके या संपार्श्विक क्षति (collateral damage) पहुँचाकर "चीटिंग" नहीं कर सकते।
यथार्थवाद (Realism): वास्तविक एंटरप्राइज API के कंटेनरीकृत रेप्लिका का उपयोग करके, यह बेंचमार्क लाइव सेवाओं की अस्थिरता के बिना वास्तविक वर्कफ़्लो की जटिलता को कैप्चर करता है।
विकास के लिए निहितार्थ: उनके परिणाम बताते हैं कि जबकि LLMs कोड जनरेशन में बेहतर हो रहे हैं, उनकी योजना बनाने, त्रुटियों से उबरने और नवीन APIs के लिए डॉक्यूमेंटेशन का उपयोग करने की क्षमता एक प्रमुख विभेदक बनी हुई है। यह फ्रेमवर्क एंटरप्राइज प्रोडक्टिविटी सेटिंग्स में एजेंटिक सिस्टम को आगे बढ़ाने के लिए एक मानकीकृत, पुनरुत्पादक टेस्टबेड प्रदान करता है।

कोड और डेटा उपलब्धता: फ्रेमवर्क, बेंचमार्क और मूल्यांकन स्क्रिप्ट https://github.com/agent-diff-bench/agent-diff पर MIT लाइसेंस के तहत ओपन-सोर्स हैं।