तकनीकी सारांश: संरचित कोड वर्कफ़्लो निष्पादन के लिए विशेषज्ञ एजेंटिक सिस्टम (Specialist Agentic Systems)

समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने सामान्य-उद्देश्य वाले सॉफ़्टवेयर विकास एजेंटों (जैसे Roo, Cline, AutoGen) को अपनाने की गति को तेज़ कर दिया है, लेकिन औद्योगिक सेटिंग्स में उनका अनुप्रयोग महत्वपूर्ण चुनौतियों का सामना करता है। जनरललिस्ट सिस्टम, जो कार्यों की योजना बनाने और उन्हें शून्य से निष्पादित करने के लिए फाउंडेशनल LLMs पर निर्भर करते हैं, अक्सर निम्नलिखित समस्याओं से ग्रस्त होते हैं:

• असंगति (Inconsistency): वे परिवर्तनशील कार्यक्षमता और गुणवत्ता वाला कोड जनरेट करते हैं, जिससे विश्वसनीयता सीमित हो जाती है।
• उच्च ओवरहेड (High Overhead): वे व्यापक योजना (planning) की मांग करते हैं, जिससे अत्यधिक टोकन उपयोग और विलंबता (latency) होती है।
• डोमेन विशिष्टता का अभाव (Lack of Domain Specificity): वे भारी उपयोगकर्ता हस्तक्षेप के बिना कंपनी-विशिष्ट सर्वोत्तम प्रथाओं या स्टाइल गाइडों का पालन करने में विफल रहते हैं।
• कॉन्टेक्स्ट मैनेजमेंट संबंधी मुद्दे (Context Management Issues): जैसे-जैसे कॉन्टेक्स्ट विंडो भरती है, प्रदर्शन गिर जाता है और अप्रासंगिक जानकारी का जोखिम बढ़ जाता है।

यह शोध पत्र इस बात की जांच करता है कि क्या विशेषज्ञ एजेंटिक सिस्टम (specialist agentic systems)—जो विशिष्ट कार्य वर्गों के लिए संकुचित, सुपरिभाषित वर्कफ़्लो के साथ डिज़ाइन किए गए हैं—बिजनेस प्रोसेस ऑटोमेशन के संदर्भ में जनरललिस्ट बेसलाइन्स से बेहतर प्रदर्शन कर सकते हैं, विशेष रूप से बिजनेस प्रोसेस मॉडल एंड नोटेशन (BPMN) आरेखों को निष्पादन योग्य एजेंटों में बदलने के मामले में।

कार्यप्रणाली (Methodology)

लेखक एक विशेषज्ञ सिस्टम (specialist system) का प्रस्ताव करते हैं जो उद्योग-मानक BPMN 2.0 प्रोसेस मॉडल्स को ReAct-शैली के कंट्रोल ग्राफ्स में संकलित (compile) करता है। उन जनरललिस्ट सिस्टम्स के विपरीत जो प्रॉम्प्ट्स या मल्टी-एजेंट समन्वय के माध्यम से योजनाओं की खोज करते हैं, यह सिस्टम डीकंपोज़िशन लॉजिक को बाहरी रूप से निर्धारित (externalize) करता है।

सिस्टम आर्किटेक्चर (System Architecture)

प्रस्तावित सिस्टम एक मॉड्यूलर, पांच-चरणीय पाइपलाइन के माध्यम से संचालित होता है:

1. वर्कफ़्लो पार्सिंग (Workflow Parsing): तर्क के एक संरचित प्रतिनिधित्व को बनाने के लिए BPMN आरेख को अलग-अलग चरणों (टास्क, निर्णय नोड्स, API कॉल्स) में पार्स किया जाता है।
2. API सर्विस जनरेशन (API Service Generation): बाहरी कॉल्स को रैप करने और लो-लेवल विवरणों को एब्स्ट्रैक्ट करने के लिए API स्पेसिफिकेशन से एक पुन: प्रयोज्य क्लाइंट मॉड्यूल जनरेट किया जाता है।
3. टूल/कॉन्टेक्स्ट निर्माण (Tool/Context Creation): प्रत्येक वर्कफ़्लो नोड के लिए विशिष्ट टूल्स का कोड जनरेट किया जाता है, जहाँ कॉन्टेक्स्ट को उस विशिष्ट सब-टास्क के लिए आवश्यक जानकारी तक ही सीमित रखा जाता है।
4. पुनरावृत्ति परिशोधन (Iterative Refinement/Self-Verification): जनरेट किए गए टूल कोड का अपेक्षित व्यवहार के विरुद्ध परीक्षण किया जाता है। यदि विफलता होती है, तो सिस्टम त्रुटियों का विश्लेषण करने और सफलता या ठहराव तक कार्यान्वयन को संशोधित करने के लिए एक रिफाइनमेंट लूप में प्रवेश करता है।
5. एजेंट असेंबली (Agent Assembly): सत्यापित टूल्स को वर्कफ़्लो लॉजिक को एनकोड करने वाले नेचुरल लैंग्वेज प्रॉम्प्ट में संयोजित किया जाता है, जो एक मुख्य फंक्शन जनरेट करता है जो एक FastAPI सर्विस के पीछे एक ReAct एजेंट को इंस्टैंशिएट करता है।

प्रयोगात्मक सेटअप (Experimental Setup)

• कार्य (Task): 10 नियतात्मक (deterministic) BPMN वर्कफ़्लो (9 से 52 नोड्स तक की सीमा वाले) को ऑपरेशनल एजेंटिक पाइपलाइनों में बदलना।
• बेसलाइन्स (Baselines): सिस्टम की तुलना Roo और Cline (जनरललिस्ट IDE एक्सटेंशन) से की गई। अन्य फ्रेमवर्क्स (AutoGen, MetaGPT, FLOW) को बाहर रखा गया क्योंकि वे किसी भी वर्कफ़्लो के लिए कार्यात्मक एंड-टू-एंड समाधान प्रदान करने में विफल रहे।
• मूल्यांकन प्रोटोकॉल (Evaluation Protocol): प्रत्येक सिस्टम ने प्रति वर्कफ़्लो 10 सफल एजेंट जनरेट करने का प्रयास किया। जनरेट किए गए एजेंटों का परीक्षण सभी संभावित कंट्रोल-फ्लो पाथों को कवर करने वाले 30,543 व्यक्तिगत टेस्ट केसों पर किया गया।
• मेट्रिक्स (Metrics):
  • जेनरेशन एफिशिएंसी (Generation Efficiency): रिपेयर इटरेशन और टोकन उपयोग।
  • रनटाइम परफॉरमेंस (Runtime Performance): टूल-यूज़ एक्सैक्टनेस (TUE), प्रोसेस एडहेरेंस, पेनल्टी-एडजस्टेड लेटेंसी, और टूल-कॉल एरर्स।

मुख्य योगदान (Key Contributions)

1. स्पेशलिस्ट वर्कफ़्लो डिज़ाइन: एक अभिनव आर्किटेक्चर जो BPMN स्पेसिफिकेशन्स को ReAct एजेंटों में संकलित करता है, जो संकुचित निष्पादन और लक्षित कॉन्टेक्स्ट मैनेजमेंट को लागू करता है।
2. अनुभवजन्य तुलना (Empirical Comparison): एक कठोर बेंचमार्क जो यह प्रदर्शित करता है कि विशेषज्ञ एजेंट, स्ट्रक्चर्ड और नियतात्मक वातावरण में जनरललिस्ट एजेंटों से बेहतर प्रदर्शन करते हैं।
3. कॉन्टेक्स्ट मैनेजमेंट रणनीति: प्रत्येक सब-टास्क के लिए न्यूनतम आवश्यक जानकारी तक सक्रिय कॉन्टेक्स्ट को प्रतिबंधित करने की विधि, जो बड़े कॉन्टेक्स्ट विंडोज़ में प्रदर्शन गिरावट की समस्या को हल करती है।
4. मॉड्यूलर डीकंपोज़िशन: डीकंपोज़िशन का एक ऐसा दृष्टिकोण जहाँ डीकंपोज़िशन का स्रोत मॉडल से बाहरी होता है, जिससे रनटाइम पर मॉडल को योजना को फिर से खोजने की आवश्यकता नहीं होती।

परिणाम (Results)

विशेषज्ञ सिस्टम ने जनरललिस्ट बेसलाइन्स (Roo और Cline) की तुलना में महत्वपूर्ण लाभ प्रदर्शित किए:

• जेनरेशन एफिशिएंसी (Generation Efficiency):
  • रिपेयर इटरेशन (Repair Iterations): सफल जेनरेशन के लिए विशेषज्ञ सिस्टम को शून्य रिपेयर इटरेशन की आवश्यकता थी, जबकि Roo और Cline ने क्रमशः 2.08 और 1.89 का औसत दिखाया।
  • टोकन लागत (Token Cost): विशेषज्ञ सिस्टम ने जेनरेशन टोकन लागत को 95% से अधिक कम कर दिया। इसने ~55k कुल टोकन का उपयोग करके एक सिंगल पास में एक सही एजेंट बनाया, जबकि बेसलाइन्स के लिए यह >1,000k था।
• रनटाइम परफॉरमेंस (Runtime Performance):
  • टूल-यूज़ एक्सैक्टनेस (TUE): विशेषज्ञ सिस्टम ने 57.69% का TUE स्कोर प्राप्त किया, जिसने Cline (48.62%, +9.1 pp) और Roo (38.11%, +19.6 pp) को पछाड़ दिया।
  • टूल-कॉल एरर्स (Tool-Call Errors): विशेषज्ञ सिस्टम ने प्रति रन औसतन 1.27 त्रुटियां दर्ज कीं, जबकि बेसलाइन्स के लिए यह ~3.2 था (एक 2.5 गुना कमी)। बेसलाइन्स में प्रमुख त्रुटि मिस टूल कॉल्स थी।
  • लेटेंसी (Latency): विशेषज्ञ सिस्टम ने प्रति प्रभावी स्टेप 2.49s की पेनल्टी-एडजस्टेड लेटेंसी प्राप्त की, जो Cline की तुलना में 2.6x तेज़ और Roo की तुलना में 3.6x तेज़ है।
  • प्रोसेस एडहेरेंस (Process Adherence): विशेषज्ञ सिस्टम ने उच्चतम एडहेरेंस दर (54.68%) प्राप्त की, और वर्कफ़्लो की जटिलता बढ़ने के साथ प्रदर्शन का अंतर बढ़ता गया।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि स्ट्रक्चर्ड, डे टर्मिनिस्टिक बिजनेस प्रोसेस ऑटोमेशन के लिए, विशेषज्ञ एजेंटिक सिस्टम जनरललिस्ट कोडिंग असिस्टेंट्स के मुकाबले एक व्यावहारिक और बेहतर विकल्प प्रदान करते हैं।

• विश्वसनीयता और रखरखाव (Reliability and Maintainability): एक टेम्पलेट वर्कफ़्लो में एक्सपर्ट नॉलेज को एनकोड करके, यह सिस्टम सुसंगत आउटपुट प्रदान करता है, जिससे तकनीकी ऋण (technical debt) कम होता है और डिबगिंग सरल होती है।
• स्केलेबिलिटी और लागत (Scalability and Cost): टोकन उपयोग में भारी कमी और रिपेयर इटरेशन का उन्मूलन विशेषज्ञ दृष्टिकोण को एंटरप्राइज वातावरण में बड़े पैमाने पर, बार-बार तैनाती के लिए व्यवहार्य बनाता है।
• नियंत्रण (Control): यह डिज़ाइन डेवलपर्स को LLM के लिए सूचना एक्सपोज़र को कड़ाई से नियंत्रित करने की अनुमति देता है, जिससे अनस्ट्रक्चर्ड कॉन्टेक्स्ट मैनेजमेंट से जुड़े जोखिम कम होते हैं।

लेखक एक सीमित दायरे को स्वीकार करते हुए कहते हैं कि उनके परिणाम विशेष रूप से डे टर्मिनिस्टिक वर्कफ़्लो पर लागू होते हैं, और जनरललिस्ट सिस्टम अभी भी ओपन-एंडेड या अत्यधिक अस्पष्ट कार्यों के लिए बेहतर हो सकते हैं। वे सुझाव देते हैं कि भविष्य के कार्य घटक-स्तरीय एब्लेशन (component-level ablations) और इन स्ट्रक्चरल तत्वों को जनरललिस्ट असिस्टेंट्स में चुनिंदा रूप से शामिल करने की दिशा में हो सकते हैं।