तकनीकी सारांश: एंकर (Anchor) – एजेंट बेंचमार्क जनरेशन में आर्टिफ़ैक्ट ड्रिफ्ट (Artifact Drift) को कम करना

समस्या विवरण (Problem Statement)

एंटरप्राइज़ AI एजेंटों के लिए वर्तमान बेंचमार्क एक मौलिक निर्माण दोष से ग्रस्त हैं जिसे आर्टिफ़ैक्ट ड्रिफ्ट (artifact drift) कहा जाता है। पारंपरिक बेंचमार्क जनरेशन में, कार्य के चार महत्वपूर्ण घटक—निर्देश ($I$), वातावरण ($E$), ऑरेकल समाधान ($x^*$), और सत्यापनकर्ता ($V$)—अक्सर ढीले ढंग से जुड़े (loosely coupled) प्रक्रियाओं के माध्यम से बनाए जाते हैं। यह अलगाव विसंगतियों को जन्म देता है जहाँ आर्टिफ़ैक्ट्स कार्य की आवश्यकताओं पर एक-दूसरे से असहमत होते हैं। उदाहरण के लिए, एक वातावरण में वह डेटा अनुपस्थित हो सकता है जो निर्देश द्वारा माना गया है, एक ऑरेकल उस स्थिति पर निर्भर हो सकता है जो वातावरण में छोड़ दी गई है, या एक सत्यापनकर्ता ऐसे परिणामों को स्वीकार कर सकता है जो निर्देश द्वारा नहीं मांगे गए थे। ये विसंगतियां ऐसे वातावरण का परिणाम होती हैं जो या तो हल करने में असंभव हैं, रिवॉर्ड हैकिंग (reward hacking) के प्रति संवेदनशील हैं, या बस असंगत हैं, जिससे बेंचमार्क स्कोर और वास्तविक दुनिया के उत्पादन प्रदर्शन के बीच एक अंतर पैदा होता है।

कार्यप्रणाली: द एंकर पाइपलाइन (The Anchor Pipeline)

आर्टिफ़ैक्ट ड्रिफ्ट को संबोधित करने के लिए, लेखक एंकर (Anchor) पेश करते हैं, जो एक कार्य-जनरेशन पाइपलाइन है जो एक ही हल किए गए विनिर्देश (specification) से सभी चार कार्य आर्टिफ़ैक्ट्स को संकलित करती है। पाइपलाइन इस प्रकार कार्य करती है:

1. औपचारिकीकरण (Formalization): एक डोमेन विशेषज्ञ और एक इंजीनियर एक व्यावसायिक वर्कफ़्लो (जैसे, इनवॉइस प्राथमिकता, उत्पादन शेड्यूलिंग) को OR-Tools CP-SAT का उपयोग करके एक पैरामेट्रिक बाधा कार्यक्रम (parametric constraint program) के रूप में औपचारिक रूप देते हैं। इस विनिर्देश में निर्णय चर (decision variables), व्यावसायिक-नियम बाधाएं और एक उद्देश्य मीट्रिक शामिल है।
2. समाधान (Solving): दिए गए मापदंडों ($\theta$) के लिए, CP-SAT सॉल्वर या तो इंस्टेंस को अव्यवहार्य (infeasible) मानकर अस्वीकार कर देता है या एक इष्टतम समाधान ($x^*_\theta$) को प्रमाणित करता है। यह परिणाम, मापदंडों और बाधाओं के साथ मिलकर, एक हल किया गया विनिर्देश ($S_\theta$) बनाता है।
3. नियत संकलन (Deterministic Compilation): चार अनुवाद परतें (translation layers) $S_\theta$ को नियत रूप से कार्य आर्टिफ़ैक्ट्स में प्रोजेक्ट करती हैं:
   • निर्देश जनरेटर (Instruction Generator): मापदंडों, बाधाओं और उद्देश्यों को प्राकृतिक भाषा में रेंडर करता है।
   • सेटअप जनरेटर (Setup Generator): वातावरण कंटेनर में नमूनाकृत प्रारंभिक रिकॉर्ड लिखता है।
   • ऑरेकल जनरेटर (Oracle Generator): सॉल्वर के प्रमाणित समाधान को संदर्भ टर्मिनल अवस्था के रूप में लिखता है।
   • सत्यापनकर्ता जनरेटर (Verifier Generator): कार्यक्रम की बाधाओं और उद्देश्य के विरुद्ध टर्मिनल अवस्थाओं का ग्रेडिंग करता है।

चूंकि सभी आर्टिफ़ैक्ट्स एक ही हल किए गए विनिर्देश के नियत प्रोजेक्शन हैं, इसलिए विसंगतियों को निर्माण के स्तर पर ही कम कर दिया जाता है। पाइपलाइन में पांच एंड-टू-एंड चेक (no-op एजेंट स्कोरिंग, ऑरेकल रीप्ले, LLM निरंतरता निर्णय, रिवॉर्ड-हैकिंग कैनरीज़, और विशेषज्ञ स्पॉट-चेक) शामिल हैं ताकि शेष दोषों को सामने लाया जा सके।

मुख्य योगदान (Key Contributions)

1. द एंकर पाइपलाइन

एक नवीन कार्य निर्माण ढांचा जो एक एकल बाधा कार्यक्रम से निर्देश, वातावरण, ऑरेकल और सत्यापनकर्ता जनरेशन को एकीकृत करता है। यह दृष्टिकोण सुनिश्चित करता है कि कठिनाई को मापदंडों के माध्यम से ट्यून किया जा सकता है और इष्टतम समाधान गणितीय रूप से प्रमाणित हैं, जिससे सत्यापन योग्य प्रशिक्षण पाठ्यक्रम (verifiable training curricula) सक्षम होते हैं।

2. ERP-Bench

Odoo 19 के भीतर खरीद और विनिर्माण वर्कफ़्लो के 300 लॉन्ग-होरिज़न कार्यों का एक बेंचमार्क।

• दायरा (Scope): इसमें 29 वर्कफ़्लो पैटर्न शामिल हैं, जिनमें नियमित पुनरावृत्ति (routine replenishment), व्यवधान रिकवरी, और उत्पादन-एवं-पूर्ति परिदृश्य शामिल हैं।
• जटिलता (Complexity): कार्यों में संरचित डेटा (बिक्री आदेश, खरीद आदेश, विनिर्माण आदेश, BOMs) शामिल है और इसके लिए एजेंटों को जटिल व्यावसायिक नियमों (लीड टाइम, MOQ, क्षमता बाधाएं) के माध्यम से नेविगेट करने की आवश्यकता होती है।
• सत्यापन (Verification): सत्यापनकर्ता एक भारित स्कोरिंग प्रणाली (25% बाधा संतुष्टि, 60% इष्टतमता, 15% ट्रैसेबिलिटी) का उपयोग करता है जिसमें महत्वपूर्ण विफलताओं के लिए हार्ड-जीरो गेट्स होते हैं।

3. व्यापक मूल्यांकन

लेखकों ने तीन हार्नेस (कोडिंग, ब्राउज़र, कंप्यूटर-यूज़) में पाँच फ्रंटियर मॉडल्स (GPT-5.5, Claude Opus 4.7, GLM-5.1, GLM-5V-Turbo, Kimi K2.5) का 18,000 परीक्षणों के माध्यम से मूल्यांकन किया।

• हार्नेस (Harnesses): वास्तविक दुनिया के स्कैफोल्ड्स को प्रतिबिंबित करने के लिए ओपन-सोर्स pi-mono टूलकिट पर निर्मित।
• मीट्रिक (Metrics): Pass@1, Pass@5, औसत स्कोर, और व्यवहार्यता-इष्टतमता अंतराल (feasibility-optimality gap) का मूल्यांकन किया गया।

परिणाम (Results)

1. कठिनाई सहसंबंध (Difficulty Correlation)

पैरामेट्रिक कठिनाई हस्तक्षेप सफलतापूर्वक वास्तविक प्रदर्शन की भविष्यवाणी करता है। सभी मॉडलों और हार्नेसों में, Pass@5 स्कोर आसान से कठिन स्तरों तक निरंतर रूप से गिरता है:

• कोडिंग: 70.5% $\to$ 22.3%
• ब्राउज़र: 46.5% $\to$ 7.7%
• कंप्यूटर-यूज़: 56.0% $\to$ 9.5%

कार्य मापदंड जैसे कि वर्कसेंटर की संख्या, मैन्युफैक्चरिंग ऑर्डर्स, और विशिष्ट वेंडर्स, Pass@1 के साथ मजबूत नकारात्मक सहसंबंध दिखाते हैं।

2. व्यवहार्यता-इष्टतमता अंतराल (The Feasibility-Optimality Gap)

बाधाओं को संतुष्ट करने और इष्टतमता प्राप्त करने के बीच एक महत्वपूर्ण अंतर मौजूद है। सभी मॉडलों में, एजेंट 26.1% परीक्षणों में स्पष्ट बाधाओं को संतुष्ट करते हैं लेकिन केवल 17.4% में पूर्णतः इष्टतम समाधान तक पहुँचते हैं। सबसे मजबूत मॉडल (कोडिंग में GPT-5.5) में 23.4-पॉइंट का अंतर है। स्कोर में गिरावट मुख्य रूप से व्यवहार्य योजनाओं के बीच उप-इष्टतम ट्रेड-ऑफ के बजाय टूटी हुई स्पष्ट बाधाओं (feasibility) द्वारा संचालित होती है।

3. हार्नेस प्रदर्शन (Harness Performance)

मॉडल ब्राउज़र या कंप्यूटर-यूज़ हार्नेस की तुलना में कोडिंग हार्नेस (API-संचालित) में काफी बेहतर प्रदर्शन करते हैं।

• GUI हार्नेस को कोडिंग हार्नेस की तुलना में 16–56 प्रतिशत अंक कम कार्य हल होते हैं।
• GUI हार्नेस (एक्शन बैचिंग सीमाओं के कारण) प्रति प्रयास कार्य 3.1–14.3× अधिक लागत वाला होता है।
• मूल्यांकन के दौरान रिवॉर्ड हैकिंग का कोई भी मामला नहीं देखा गया।

4. विश्वसनीयता (Reliability)

वर्तमान फ्रंटियर एजेंट अभी तक अनअटेंडेड (unattended) डिप्लॉयमेंट के लिए पर्याप्त विश्वसनीय नहीं हैं। जबकि Pass@5 (पाँच परीक्षणों में कम से कम एक सफलता) मापने योग्य है, Pass5 (सभी पाँच परीक्षणों का सफल होना) लगभग एक क्रम (order of magnitude) कम है (जैसे, कोडिंग में 9.8%), जो एजेंट प्रदर्शन में उच्च भिन्नता को दर्शाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि एंकर (Anchor) और ERP-Bench आर्थिक रूप से मूल्यवान एजेंट कार्यों के लिए ऑडिटेबल मूल्यांकन वातावरण बनाने का एक ठोस नुस्खा प्रदान करते हैं। व्यावसायिक वर्कफ़्लो को बाधा अनुकूलन कार्यक्रमों (constraint optimization programs) में औपचारिक रूप देकर, लेखक यह प्रदर्शित करते हैं कि वास्तविक, सत्यापन योग्य और स्केलेबल बेंचमार्क बनाना संभव है जो वर्तमान मूल्यांकनों में व्याप्त आर्टिफ़ैक्ट ड्रिफ्ट को कम करता है।

लेखक इस कार्य को आर्थिक रूप से मूल्यवान एजेंट कार्य के लिए एक 'कंक्रीट रेसिपी' के रूप में देखते हैं। वे नोट करते हैं कि जबकि यह ढांचा व्यवहार्य, पुनरुत्पादनीय और सटीक रूप से ग्रेड करने योग्य कार्यों को प्राथमिकता देता है, यह स्वाभाविक रूप से उन व्यावसायिक कार्यों के लिए उपयुक्त है जो टर्मिनल सिस्टम स्टेट्स (जैसे ERP संचालन) में दिखाई देते हैं, लेकिन उन वर्कफ़्लो के लिए कम उपयुक्त है जो अंतर्निहित निर्णय (tacit judgment) या बातचीत (negotiation) पर निर्भर करते हैं। erpbench.ai पर टास्क जनरेटर और डेटासेट का रिलीज सत्यापन योग्य एजेंट प्रशिक्षण और मूल्यांकन में आगे के अनुसंधान का समर्थन करने के लिए किया गया है।