Testing Agentic Workflows with Structural Coverage Criteria
यह शोध पत्र मल्टी-एजेंट वर्कफ़्लो के लिए एक स्ट्रक्चरल टेस्टिंग दृष्टिकोण प्रस्तुत करता है जो उन्हें कोऑर्डिनेशन ग्राफ्स के रूप में मॉडल करता है ताकि कवरेज दायित्वों (coverage obligations) को प्राप्त किया जा सके, जिन्हें फिर DSPy के माध्यम से निष्पादन योग्य परीक्षणों के रूप में साकार किया जाता है ताकि यह सत्यापित किया जा सके कि घोषित एजेंट, टूल-एक्सेस नियम, प्रतिबंध और डेलीगेशन पाथ वास्तव में उपयोग किए गए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक कस्टमर सर्विस विभाग चलाने के लिए विशेषज्ञ रोबोटों की एक टीम को काम पर रखा है। आप उन्हें एक सख्त नियम पुस्तिका देते हैं: "रोबोट A केवल उड़ान का शेड्यूल चेक कर सकता है, रोबोट B केवल सीटें बुक कर सकता है, और रोबोट C मैनेजर है जो तय करता है कि कौन क्या करेगा।" आप कुछ विशिष्ट नियम भी लिखते हैं जैसे, "रोबोट A के लिए सीटें बुक करना वर्जित है।"
अब, कल्पना कीजिए कि आप यह परीक्षण करना चाहते हैं कि क्या यह टीम सही ढंग से काम कर रही है।
पुराना तरीका ("हैप्पी पाथ" टेस्ट)
पारंपरिक रूप से, टेस्टर टीम से एक सरल प्रश्न पूछेंगे: "मुझे एक सीट बुक करनी है।" यदि टीम सफलतापूर्वक सीट बुक कर देती है, तो यह टेस्ट "पास" माना जाता है।
- समस्या: यह इस बात का प्रमाण नहीं देता कि टीम ने नियमों का पालन किया है। हो सकता है कि रोबोट A ने सीट बुक करने की कोशिश की हो, लेकिन रोबोट B ने बीच में ही कार्य संभाल लिया हो। या शायद रोबोट A ने उस अनुरोध को देखा ही न हो। टेस्ट पास हो गया, लेकिन आपको यह पता नहीं चला कि आपके द्वारा लिखे गए विशिष्ट नियमों का वास्तव में पालन किया गया या नहीं। इसमें कोई "छिपा हुआ" रोबोट हो सकता है जिसका कभी उपयोग ही नहीं किया गया, या कोई वर्जित कार्य जिसे कभी जांचा ही नहीं गया।
नया तरीका (स्ट्रक्चरल कवरेज)
यह शोध पत्र AI टीमों के परीक्षण करने का एक नया तरीका प्रस्तावित करता है। केवल यह जांचने के बजाय कि अंतिम काम पूरा हुआ या नहीं, वे यह देखते हैं कि क्या नियम पुस्तिका का प्रत्येक नियम और संबंध वास्तव में उपयोग किया गया था।
इन AI एजेंटों की नियम पुस्तिका को एक सबवे सिस्टम (मेट्रो) के मानचित्र के रूप में सोचें:
- स्टेशन विभिन्न AI एजेंटों (रोबोटों) को दर्शाते हैं।
- ट्रैक वे रास्ते हैं जहाँ वे एक-दूसरे को कार्य सौंपते हैं (डेलीगेशन)।
- ट्रेन लाइनें वे उपकरण हैं जिनका वे उपयोग कर सकते हैं (जैसे "फ्लाइट चेक करना" या "सीट बुक करना")।
- रेड ज़ोन (लाल क्षेत्र) वे ट्रैक हैं जिनमें प्रवेश करना उनके लिए सख्त वर्जित है (प्रतिबंधित उपकरण)।
उनका तरीका नियम पुस्तिका को इस सबवे मैप की तरह मानता है। वे केवल यह नहीं पूछते, "क्या ट्रेन गंतव्य तक पहुँच गई?" बल्कि वे पूछते हैं:
- क्या ट्रेन ने हर स्टेशन का दौरा किया? (क्या हर रोबोट को मौका मिला?)
- क्या ट्रेन ने हर अनुमत ट्रैक पर यात्रा की? (क्या हर रोबोट ने उन सभी उपकरणों का उपयोग किया जिनकी उसे अनुमति थी?)
- क्या ट्रेन ने रेड ज़ोन में प्रवेश करने की कोशिश की और उसे रोका गया? (क्या हमने यह साबित किया कि वर्जित नियम वास्तव में काम करते हैं?)
- क्या ट्रेन ने हर ट्रांसफर पॉइंट पर अपनी लाइन बदली? (क्या रोबोटों ने कार्यों को सही ढंग से एक-दूसरे को सौंपा?)
वे इसे कैसे करते हैं
शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो एक सुपर-स्मार्ट स्क्रिप्टराइटर (DSPy नामक टूल का उपयोग करके) की तरह काम करती है।
- मैप को पढ़ना: सबसे पहले, सिस्टम कोड को पढ़ता है और सबवे मैप (कोऑर्डिनेशन ग्राफ) बनाता है।
- परिदृश्य (Scenarios) लिखना: इसके बाद, यह विशिष्ट, प्राकृतिक भाषा के अनुरोध लिखता है जिन्हें मैप के विशिष्ट हिस्सों का उपयोग करने के लिए मजबूर करने के लिए डिज़ाइन किया गया है।
- उदाहरण: एक "रेड ज़ोन" का परीक्षण करने के लिए, यह मैनेजर रोबोट से कह सकता है, "कृपया मेरे लिए एक सीट बुक करें," इस उम्मीद में कि मैनेजर सीधे इसे करने की कोशिश करेगा (जो कि वर्जित है)। यदि सिस्टम मैनेजर को नियम तोड़ने की कोशिश करते हुए और खुद को रोकते हुए पकड़ लेता है, तो यह प्रतिबंध के सफल परीक्षण का प्रमाण है।
- रियलिटी चेक: यह सिस्टम इन परिदृश्यों को वास्तविक AI टीम के विरुद्ध चलाता है। यह केवल अंतिम उत्तर नहीं देखता; यह आंतरिक लॉग्स (Internal Logs) को देखता है कि किस रोबोट ने बात की, किस टूल पर क्लिक किया गया, और कौन सा हैंडऑफ हुआ।
उन्होंने क्या पाया
उन्होंने 10 अलग-अलग AI टीम सेटअपों पर इसका परीक्षण किया (सरल कस्टमर सर्विस बॉट्स से लेकर जटिल रिसर्च टीमों तक)।
- अच्छी खबर: उनके तरीके ने सफलतापूर्वक ऐसे परीक्षण उत्पन्न किए जो यह सिद्ध करते हैं कि AI टीमें अपने अनुमत उपकरणों का उपयोग कर रही हैं और कार्यों को एक-दूसरे को सही ढंग से सौंप रही हैं।
- "रेड ज़ोन" की खोज: जब उन्होंने AI टीमों को नियम तोड़ने के लिए उकसाने की कोशिश की, तो उन्होंने पाया कि कुछ टीमें खुद को रोकने में बहुत अच्छी थीं (0 उल्लंघन), जबकि अन्य टीमों ने गलती से वर्जित उपकरणों का उपयोग करने की कोशिश की (उल्लंघन पाए गए)। यह मूल्यवान है क्योंकि यह दिखाता है कि नियम कहाँ कमजोर हैं।
- सीमा: उन्होंने पाया कि यदि किसी कार्य के लिए कई अलग-अलग रोबोटों से गुजरना आवश्यक है (एक लंबी सबवे यात्रा की तरह), तो उनके स्क्रिप्टराइटर के लिए AI को हर बार ठीक उसी पथ पर ले जाना कठिन होता है।
निष्कर्ष
यह शोध पत्र तर्क देता है कि केवल इसलिए कि एक AI टीम किसी समस्या को हल करती है, इसका मतलब यह नहीं है कि वह अपने डिज़ाइन का पालन कर रही है। आपको AI टीम के परिणाम के बजाय उसके ढांचे (Structure) की जांच करने की आवश्यकता है।
यह कार की जांच करने जैसा है: आप केवल यह देखने के लिए कार नहीं चलाते कि वह दुकान तक पहुँचती है या नहीं। आप यह भी देखते हैं कि क्या ब्रेक का परीक्षण किया गया था, क्या दुर्घटना के दौरान एयरबैग खुले थे, और क्या इंजन ऑयल बदला गया था। यह शोध पत्र हमें एक चेकलिस्ट प्रदान करता है ताकि यह सुनिश्चित किया जा सके कि AI टीम के डिज़ाइन के हर हिस्से का परीक्षण किया गया है, जिससे यह सुनिश्चित होता है कि हमारे द्वारा निर्धारित नियमों का वास्तव में पालन किया जा रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।