When Agentic Executions Fail: Detecting and Localizing Runtime Faults from Telemetry
यह शोधपत्र AGENTCHAOSBENCH को प्रस्तुत करता है, जो रनटाइम दोषों (runtime faults) के साथ इंजेक्ट किए गए 275 एजेंटिक निष्पादन ट्रेसेस (agentic execution traces) का एक बेंचमार्क डेटासेट है, ताकि यह प्रदर्शित किया जा सके कि वर्तमान LLM-आधारित विधियाँ केवल टेलीमेट्री के माध्यम से विविध परिचालन विफलताओं का सटीक रूप से पता लगाने और उन्हें स्थानीयकृत करने में संघर्ष करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक सॉफ़्टवेयर अब केवल एक कंप्यूटर पर चलने वाला एकल प्रोग्राम नहीं रह गया है; यह अक्सर आपस में काम करने वाले कृत्रिम बुद्धिमत्ता (AI) एजेंटों की एक टीम है। एक डिजिटल वर्कफोर्स की कल्पना करें जहाँ एक एजेंट यात्रा की योजना बनाता है, दूसरा उड़ान बुक करता है, और तीसरा मौसम की जाँच करता है, जो सभी एक-दूसरे से संवाद करते हैं और मानचित्र या कैलेंडर जैसे बाहरी उपकरणों का उपयोग करते हैं। ये प्रणालियाँ कनेक्शनों के एक जटिल जाल पर निर्भर करती हैं: एजेंट एक-दूसरे से बात करते हैं, सलाह के लिए एक लार्ज लैंग्वेज मॉडल (LLM) से पूछते हैं, काम करने के लिए बाहरी उपकरणों का आह्वान करते हैं, और यह सुनिश्चित करने के लिए सख्त सुरक्षा नियमों का पालन करते हैं कि वे कुछ भी हानिकारक न कहें या करें। जब सब कुछ ठीक चलता है, तो टीम एक सही उत्तर देती है। लेकिन जब कुछ गलत होता है, तो अंतिम उत्तर गलत हो सकता है, या सिस्टम बस काम करना बंद कर सकता है, जिससे उपयोगकर्ता को यह पता भी नहीं चलता कि क्यों। समस्या यह है कि केवल अंतिम परिणाम को देखने से हमें विफलता के बारेों में कुछ भी पता नहीं चलता। क्या सिस्टम इसलिए विफल हुआ क्योंकि AI ने एक गलत निर्णय लिया, या इसलिए क्योंकि उसे आवश्यक उपकरण मिलने में देरी हुई, या क्योंकि एक सुरक्षा जाँच गलती से छूट गई थी? इन प्रणालियों को ठीक करने के लिए, इंजीनियरों को केवल मंजिल नहीं, बल्कि पूरी यात्रा को देखने की आवश्यकता है।
टोरंटो विश्वविद्यालय के शोधकर्ताओं ने इस रहस्य को सुलझाने में मदद करने के लिए एक नया परीक्षण मैदान बनाया है। उन्होंने 'AgentChaosBench' नामक एक बेंचमार्क बनाया है, जो अनिवार्य रूप से इन AI टीमों को जानबूझकर तोड़ने के लिए एक नियंत्रित वातावरण है ताकि यह देखा जा सके कि क्या नैदानिक (diagnostic) उपकरण समस्या का पता लगा सकते हैं। शोधकर्ताओं ने पाँच अलग-अलग वास्तविक दुनिया के अनुप्रयोगों को लिया—वे सिस्टम जो SQL कोड लिखते हैं, पुस्तकें ड्राफ्ट करते हैं, सोशल मीडिया प्रबंधित करते हैं, लैंडिंग पेज बनाते हैं, और भर्ती में सहायता करते हैं—और उनके विफल होने के दस अलग-अलग तरीकों का अनुकरण किया। इन विफलताओं में ऐसे उपकरण शामिल थे जिन्होंने उत्तर देने से मना कर दिया, ऐसे उपकरण जिन्होंने जवाब देने में बहुत समय लिया, एजेंटों के बीच संदेश खो गए, और सुरक्षा नियम जो बायपास हो गए। प्रत्येक टूटे हुए परिदृश्य के लिए, उन्होंने बिल्कुल उसी शुरुआती निर्देशों का उपयोग करके उसी कार्य का एक पूर्ण, दोष-रहित संस्करण भी चलाया। इस जोड़ीकरण ने उन्हें यह जानने में सक्षम बनाया कि वास्तव में क्या गलत हुआ और कहाँ। इससे इन डिजिटल यात्राओं के 275 विस्तृत रिकॉर्ड तैयार हुए।
उनके कार्य का मुख्य केंद्र यह देखना था कि क्या एक स्वचालित प्रणाली विफल निष्पादन (execution) के रिकॉर्ड को देखकर कारण की सही पहचान कर सकती है। उन्होंने उन सभी संकेतों (labels) को हटा दिया जो उत्तर बता देते, जिससे केवल हुआ घटनाक्रम का कच्चा डेटा ही बचा: कॉल्स का समय, संदेशों की सामग्री और प्रत्येक चरण की स्थिति। इसके बाद उन्होंने विभिन्न कृत्रिम बुद्धिमत्ता मॉडलों को, जिनमें छोटे स्थानीय मॉडलों से लेकर उपलब्ध सबसे शक्तिशाली फ्रंटियर मॉडल तक शामिल थे, जासूस की भूमिका निभाने के लिए कहा। इन मॉडलों को रिकॉर्ड पढ़ना था, यह समझना था कि कौन सा दोष प्रकार (fault type) हुआ था, और ठीक उसी हिस्से की पहचान करनी थी जो सिस्टम के लिए जिम्मेदार था। शोधकर्ताओं ने यह भी परीक्षण किया कि क्या जासूस को तुलना करने के लिए एक पूर्ण, दोष-रहित रन की प्रति देना मदद करेगा।
परिणामों ने दिखाया कि यह कार्य उम्मीद से कहीं अधिक कठिन है। यहाँ तक कि सबसे उन्नत मॉडल भी, जो कविता लिख सकते हैं और जटिल तर्क पहेलियों को हल कर सकते हैं, इन रनटाइम दोषों का निदान करने में काफी संघर्ष करते हैं। जब एक एकल रिकॉर्ड से विफलता के प्रकार को पहचानने के लिए कहा गया, तो सर्वश्रेष्ठ मॉडल 25 प्रतिशत से भी कम समय में सही उत्तर दे पाया। छोटे मॉडलों के लिए, सफलता दर और भी कम थी, जो लगभग 13 से 19 प्रतिशत के आसपास थी, जो कि रैंडम अनुमान लगाने से मुश्किल से बेहतर है। समस्या तब और कठिन हो गई जब मॉडलों को विशिष्ट घटक की ओर इशारा करना था जो विफल हुआ था। वे केवल 31 प्रतिशत समय में ही सिस्टम के सही हिस्से का पता लगा पाए। जब उन्हें एक साथ दोनों कार्य करने के लिए कहा गया—दोष का नाम बताना और स्थान ढूँढना—तो सर्वश्रेष्ठ मॉडल के लिए सफलता दर गिरकर केवल 22 प्रतिशत रह गई।
अध्ययन से पता चला कि कुछ विफलताओं को पहचानना दूसरों की तुलना में आसान होता है। वे त्रुटियाँ जो स्पष्ट संकेत उत्पन्न करती हैं, जैसे कि एक उपकरण द्वारा स्पष्ट त्रुटि संदेश लौटाना या कनेक्शन का समय समाप्त होना (timeout), अधिक बार पहचानी गईं। हालाँकि, सबसे खतरनाक और सूक्ष्म विफलताएँ लगभग अदृश्य बनी रहीं। जब एक सुरक्षा नियम को बायपास किया गया, जिससे एक अनुरोध जो ब्लॉक किया जाना चाहिए था आगे बढ़ गया, तो मॉडल लगभग हमेशा इसे पहचानने में विफल रहे। इसी तरह, जब किसी उपकरण की प्रतिक्रिया दूषित (corrupted) हो गई या जब सिस्टम मेमोरी स्पेस खत्म हो गया, तो मॉडल इन मुद्दों को सामान्य व्यवहार से विश्वसनीय रूप से अलग नहीं कर सके। शोधकर्ताओं ने पाया कि एक पूर्ण संदर्भ रन प्रदान करना, तुलना करने के लिए, कुछ मामलों में मदद करता है, जैसे कि यह पहचानने में कि एक उपकरण असामान्य रूप से धीमा था या सिस्टम ने बहुत अधिक मेमोरी का उपयोग करने की कोशिश की। हालाँकि, यह तुलना सुरक्षा बायपास या दूषित डेटा के मामले में मददगार नहीं रही, क्योंकि टूटा हुआ आउटपुट अभी भी प्रशंसनीय (plausible) लग रहा था और सुरक्षा जाँच भी पास होती हुई प्रतीत हो रही थी।
यह कार्य प्रदर्शित करता है कि जबकि हमने कई AI एजेंटों को समन्वित करने के लिए परिष्कृत प्रणालियाँ बनाई हैं, हमने अभी तक यह समझने के लिए विश्वसनीय उपकरण नहीं बनाए हैं कि वे क्यों विफल होते हैं। वर्तमान पीढ़ी के नैदानिक मॉडल, सबसे बड़े और सबसे सक्षम मॉडलों सहित, अभी भी एक टूटे हुए टूल, एक धीमे नेटवर्क, एक छूटे हुए सुरक्षा चेक और एक सामान्य ऑपरेशन के बीच अंतर बताने में लगातार सक्षम नहीं हैं। शोधकर्ता निष्कर्ष निकालते हैं कि इन प्रणालियों को ठीक करने के लिए नए तरीकों की आवश्यकता होगी जो केवल एक लार्ज लैंग्वेज मॉडल से लॉग पढ़ने के परे हों। वे सुझाव देते हैं कि भविष्य के समाधानों को वर्तमान निष्पादनों की तुलना ज्ञात 'अच्छे' निष्पादनों के साथ करने या विशेष रूप से इन परिचालन दोषों को खोजने के लिए डिज़ाइन किए गए विशिष्ट उपकरणों को विकसित करने पर निर्भर होना पड़ सकता है, बजाय इसके कि केवल सामान्य-उद्देश्य वाली बुद्धि (general-purpose intelligence) पर निर्भर रहा जाए। आगे का रास्ता इन अदृश्य दरारों को देखने के बेहतर तरीके बनाने में निहित है, इससे पहले कि वे पूरे सिस्टम को ध्वस्त कर दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।