StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments

आधुनिक कंप्यूटिंग की दुनिया में, बुद्धिमान प्रोग्रामों का एक बढ़ता हुआ वर्ग है जिन्हें 'एजेंट्स' (agents) के रूप में जाना जाता है। ये केवल साधारण उपकरण नहीं हैं जो एक एकल कमांड का पालन करते हैं; ये ऐसी प्रणालियाँ हैं जिन्हें जटिल समस्याओं को हल करने के लिए तर्क करने, जानकारी देखने और कार्रवाई करने के लिए डिज़ाइन किया गया है, ठीक वैसे ही जैसे कि एक मानव कर्मचारी करता है। कार्य करने के लिए, ये एजेंट दो अलग-अलग हिस्सों पर निर्भर करते हैं। पहला है 'मस्तिष्क' (brain), एक लार्ज लैंग्वेज मॉडल जो तर्क और ज्ञान प्रदान करता है। दूसरा है 'हार्नेस' (harness), जो एजेंट के हाथ, आँख और कान के रूप में कार्य करता है। हार्नेस यह परिभाषित करता है कि एजेंट दुनिया को कैसे देखता है, उसे किन उपकरणों का उपयोग करने की अनुमति है, और वह अपने काम की जाँच कैसे करता है। वर्षों तक, वैज्ञानिकों ने लगभग पूरी तरह से मस्तिष्क को बड़ा और स्मार्ट बनाने पर ध्यान केंद्रित किया है। हालाँकि, व्यवसायिक वातावरण की अव्यवset, नियम-बद्ध वास्तविकता में, एक शानदार मस्तिष्क भी विफल हो सकता है यदि उसके हाथ अनाड़ी हों या यदि वह उस कार्यालय के विशिष्ट नियमों को नहीं समझता जिसमें वह काम कर रहा है। यह एक व्यावहारिक प्रश्न खड़ा करता है: यदि हम मस्तिष्क को नहीं बदल सकते, तो क्या हम एजेंट को बेहतर बनाने के लिए उसके हाथों और नियमों में सुधार कर सकते हैं?

ServiceNow के शोधकर्ताओं की एक टीम ने, शैक्षणिक संस्थानों के सहयोगियों के साथ मिलकर, 'StarHarness' नामक एक नए ढांचे (framework) के साथ इस प्रश्न का उत्तर देने का प्रयास किया। उन्होंने उद्यम सेटिंग्स (enterprise settings) में पाए जाने वाले एक विशिष्ट चुनौती पर ध्यान केंद्रित किया, जहाँ सॉफ़्टवेयर को आईटी सिस्टम, वित्तीय वर्कफ़्लो और ग्राहक सेवा रिकॉर्ड जैसी चीज़ों को प्रबंधित करना होता है। इन वातावरणों में, सॉफ़्टवेयर को उन डेटाबेस और उपकरणों के साथ इंटरैक्ट करना होता है जिनके सख्त, अक्सर छिपे हुए नियम होते हैं। शोधकर्ता यह देखना चाहते थे कि क्या वे मूल मस्तिष्क को छुए बिना एजेंट के हार्नेस को स्वचालित रूप से बेहतर बना सकते हैं। उन्होंने हार्नेस को कोड के एक टुकड़े के रूप में माना जिसे परीक्षण और त्रुटि (trial and error) की प्रक्रिया के माध्यम से विकसित या सुधारा जा सकता था। लक्ष्य यह था कि एजेंट के कार्यों को फ्रेम करने, अपने उपकरणों का उपयोग करने और अपने परिणामों को सत्यापित करने के बेहतर तरीके को खोजा जाए, और यह सब मॉडल के आंतरिक भार (weights) को पूरी तरह से स्थिर रखते हुए किया जाए।

अपने विचार का परीक्षण करने के लिए, शोधकर्ताओं ने एक प्रणाली बनाई जो नियंत्रित तरीके से सुधारों की खोज कर सके। उन्होंने पहले एजेंट को कार्यों के एक बड़े सेट पर चलाकर यह देखा कि वह आमतौर पर कहाँ विफल होता है। फिर उन्होंने इन कार्यों को तीन समूहों में विभाजित किया। एक समूह का उपयोग परिवर्तनों का प्रस्ताव देने के लिए किया गया, दूसरा समूह यह परीक्षण करने के लिए छिपाकर रखा गया कि क्या परिवर्तन वास्तव में काम करते हैं, और तीसरा समूह एक अंतिम, निष्पक्ष जाँच के लिए सुरक्षित रखा गया। प्रणाली हार्नेस में एक छोटा सा बदलाव सुझाएगी, जैसे कि किसी टूल को कॉल करने के तरीके को ठीक करना या एक सामान्य गलती को रोकने के लिए एक नियम जोड़ना। इसके बाद यह परिवर्तन को छिपे हुए समूह पर परीक्षण करेगी। यदि परिवर्तन ने एजेंट के प्रदर्शन को बेहतर बनाया, तो प्रणाली उसे रख लेती; यदि नहीं, तो उसे त्याग देती। यह प्रक्रिया खुद को दोहराती रही, जिससे हार्नेस धीरे-धीरे अपने स्वयं के अधिक सक्षम संस्करण में विकसित होता गया। शोधकर्ताओं ने इस पद्धति का उपयोग तीन अलग-अलग व्यावसायिक चुनौतियों में किया: कंप्यूटर नेटवर्क विफलताओं का विश्लेषण करना, आईटी सेवा अनुरोधों का प्रबंधन करना और वित्तीय वर्कफ़्लो को संभालना।

परिणाम आश्चर्यजनक थे। जब सिस्टम ने केवल कुछ ही स्वीकृत परिवर्तन किए—आमतौर पर प्रति वातावरण चार से बारह समायोजन—तो एजेंट का प्रदर्शन काफी बढ़ गया। बेंचमार्क के अनुसार, फुल-बेंचमार्क प्रदर्शन डिफ़ॉल्ट हार्नेस की तुलना में 20-35 प्रतिशत अंक सुधर गया। विशेष रूप से, नेटवर्क विश्लेषण कार्यों पर सफलता दर में 35 प्रतिशत अंक का सुधार हुआ, आईटी सेवा प्रबंधन परीक्षणों में 20 प्रतिशत अंक की वृद्धि हुई, और वित्तीय वर्कफ़्लो में 26 प्रतिशत अंक की वृद्धि हुई। महत्वपूर्ण बात यह है कि ये सुधार केवल उन विशिष्ट समस्याओं का परिणाम नहीं थे जिन्हें सिस्टम ने प्रशिक्षण के दौरान देखा था। जब शोधकर्ताओं ने विकसित हार्नेस का नए, अनदेखे कार्यों पर परीक्षण किया, तो एजेंट अभी भी पहले की तुलना में बहुत बेहतर प्रदर्शन कर रहा था। इससे भी अधिक आश्चर्यजनक बात यह थी कि सुधार विभिन्न प्रकार के एआई मॉडलों में भी स्थानांतरित (transfer) हो गए। एक विशिष्ट मॉडल परिवार का उपयोग करके विकसित किया गया हार्नेस, एक पूरी तरह से अलग मॉडल परिवार को दिए जाने पर भी बिना किसी और प्रशिक्षण या समायोजन के उतना ही प्रभावी रहा।

शोधकर्ताओं ने यह समझने के लिए परिवर्तनों का विश्लेषण किया कि सिस्टम ने वास्तव में क्या सीखा है। उन्होंने पाया कि सुधार तीन स्पष्ट श्रेणियों में आते हैं। पहला, सिस्टम ने एजेंट और उसके उपकरणों के बीच के इंटरफेस की मरम्मत की, उन त्रुटियों को ठीक किया जिनके कारण एजेंट टूल्स को गलत तरीके से कॉल करता था। दूसरा, इसने वातावरण के छिपे हुए नियमों (conventions) को सीखा, जैसे कि कुछ चरणों को किस क्रम में लिया जाना चाहिए या तारीखों और प्राथमिकताओं को सही ढंग से कैसे संभाला जाए। तीसरा, इसने परिचालन ज्ञान (operational knowledge) को जोड़कर खोज प्रक्रिया को संक्षिप्त (compress) किया, जिससे एजेंट अनावश्यक चरणों को छोड़कर समस्या के सबसे संभावित कारणों पर ध्यान केंद्रित कर सका। उदाहरण के लिए, वित्तीय कार्यों में, विकसित हार्नेस ने किसी भी बदलाव को करने से पहले सुरक्षा उल्लंघनों की जाँच करना सीखा, जिससे त्रुटियों की संख्या में भारी कमी आई। नेटवर्क विश्लेषण कार्यों में, एजेंट ने सबूत खोजने के बजाय एक संभावित कारण मिलने पर ही रुकना सीख लिया, जिससे अनावश्यक समय बर्बाद होने से बच गया।

ये निष्कर्ष बताते हैं कि कई वास्तविक दुनिया के व्यावसायिक अनुप्रयोगों के लिए, सफलता की सबसे बड़ी बाधा मॉडल की बुद्धिमत्ता नहीं, बल्कि उस प्रणाली का डिज़ाइन है जो इसका मार्गदर्शन करती है। हार्नेस को विकसित करके, शोधकर्ता गलत निदान की संख्या को कम करने, कार्यों को पूरा करने में लगने वाले समय को कम करने और एजेंट को चलाने की लागत को कम करने में सक्षम रहे। यह अध्ययन प्रदर्शित करता है कि एक निश्चित, अपरिवर्तित मस्तिष्क भी उल्लेखनीय रूप से अधिक प्रभावी हो सकता है जब उसके आसपास के उपकरण और नियम उस विशिष्ट वातावरण के लिए सावधानीपूर्वक ट्यून किए जाते हैं जिसमें वह काम करता है। यह संगठनों के लिए एक व्यावहारिक मार्ग प्रदान करता है जिन्हें आज विश्वसनीय एआई एजेंटों की आवश्यकता है, बिना अगली पीढ़ी के बड़े मॉडलों के विकसित होने की प्रतीक्षा किए। यह कार्य दिखाता है कि कभी-कभी, सबसे शक्तिशाली अपग्रेड एक नया दिमाग नहीं, बल्कि काम करने का एक बेहतर तरीका होता है।