Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses
यह गुणात्मक पायलट अध्ययन प्रदर्शित करता है कि एजेंटिक एआई मॉडल विसंगत बनाम अपूर्ण टूल प्रतिक्रियाओं का सामना करते समय अपने लॉग-प्रोबेबिलिटीज़ (log-probabilities) में विशिष्ट, चैनल-विशिष्ट हस्ताक्षर प्रदर्शित करते हैं, जो यह प्रकट करता है कि इन विभिन्न दोष प्रकारों के प्रति सुदृढ़ता असममित है और इसके लिए एक सार्वभौमिक दृष्टिकोण के बजाय अनुकूलित पहचान तंत्र की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, एक नए प्रकार के डिजिटल कार्यकर्ता का उदय हुआ है: भाषा एजेंट (language agent)। पहले के उन प्रोग्रामों के विपरीत जो केवल एक स्थिर डेटाबेस के आधार पर प्रश्नों के उत्तर देते थे, ये एजेंट कार्य करने के लिए डिज़ाइन किए गए हैं। वे वेब ब्राउज़ कर सकते हैं, डेटाबेस से प्रश्न पूछ सकते हैं, और जटिल समस्याओं को हल करने के लिए सॉफ्टवेयर टूल्स का उपयोग कर सकते हैं, ठीक उसी तरह जैसे एक मानव सहायक जो आरक्षण करने के लिए फोन उठाता है या इन्वेंट्री की जांच के लिए स्प्रेडशीट देखता है। हालाँकि, ये डिजिटल कार्यकर्ता अचूक नहीं हैं। जब वे किसी टूल (उपकरण) तक पहुँचते हैं, तो वे एक स्वच्छ और सटीक प्रतिक्रिया की अपेक्षा करते हैं। वास्तविक दुनिया में, टूल्स कभी-कभी विफल हो जाते हैं, त्रुटि संदेश (error messages) लौटाते हैं, या वे ऐसा डेटा लौटाते हैं जो सतह पर तो एकदम सही दिखता है लेकिन उसमें एक सूक्ष्म झूठ छिपा होता है। शोधकर्ताओं के लिए मुख्य चुनौती केवल ऐसे एजेंट बनाना नहीं है जो सब कुछ सही होने पर काम करें, बल्कि ऐसे एजेंट बनाना है जो यह पहचान सकें कि कब कुछ गलत हुआ है और उसके अनुसार उचित प्रतिक्रिया दे सकें। यदि एक एजेंट टूटे हुए टूल और एक भ्रामक टूल के बीच अंतर नहीं कर सकता है, तो वह गलत सुधार लागू करेगा, जिससे संभावित रूप से समय बर्बाद होगा या स्थिति और भी खराब हो जाएगी।
आलबोर्ग यूनिवर्सिटी और झेजियांग यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इसी निर्णय के क्षण की जांच करने का निर्णय लिया। वे जानना चाहते थे कि क्या एक आर्टिफिशियल इंटेलिजेंस तुरंत एक ऐसे टूल के बीच अंतर कर सकता है जिसने कोई डेटा वापस करने में विफलता दिखाई है और एक ऐसे टूल के बीच जिसने एक सुव्यवस्थित लेकिन गलत उत्तर दिया है। इसका परीक्षण करने के लिए, उन्होंने एक रिटेल कस्टमर-सर्विस परिदृश्य का अनुकरण करने वाला एक नियंत्रित वातावरण बनाया। इस डिजिटल दुनिया में, एक एजेंट एक सपोर्ट प्रतिनिधि के रूपட்டாக कार्य करता है, जो ऑर्डर विवरण देखने, भुगतान विधियों की जांच करने और उपयोगकर्ता की जानकारी को अपडेट करने के लिए सोलह अलग-अलग टूल्स का उपयोग करता है। शोधकर्ताओं ने कार्यों के एक मानक, सफल क्रम को लिया और एक विशिष्ट बिंदु पर, टूल की सामान्य प्रतिक्रिया को एक दोषपूर्ण प्रतिक्रिया के साथ बदल दिया। उन्होंने तीन प्रकार के दोष बनाए: एक पूर्ण विफलता जहाँ टूल ने एक त्रुटि संदेश लौटाया, एक जाली ऑर्डर स्टेटस (falsified order status) जिसने उन नियमों को बदल दिया जो एजेंट को आगे क्या करने की अनुमति देते थे, और एक जाली भुगतान पहचानकर्ता (falsified payment identifier) जो सही लग रहा था लेकिन ग्राहक का नहीं था।
शोधकर्ताओं ने केवल एजेंट को कार्य पूरा करने की कोशिश करते हुए नहीं देखा और यह नहीं देखा कि वह सफल हुआ या नहीं। इसके बजाय, उन्होंने दोषपूर्ण डेटा के आते ही प्रक्रिया को रोक दिया। उन्होंने मॉडल की आंतरिक "विचार प्रक्रिया" की जांच की, विशेष रूप से यह देखा कि उसके जवाब में अगले शब्द को उत्पन्न करने की संभावना कितनी थी। उन्होंने दो अलग-अलग चीजें मापीं। सबसे पहले, उन्होंने जांचा कि लौटाया गया डेटा टूल के अपेक्षित प्रारूप (format) में कितनी अच्छी तरह फिट बैठता है। दूसरा, उन्होंने जांचा कि वह डेटा बातचीत में एजेंट द्वारा पहले देखे गए सभी डेटा के साथ कितनी अच्छी तरह मेल खाता है, जिसमें उपयोगकर्ता का मूल अनुरोध और पिछले टूल परिणाम शामिल थे। उन्होंने एजेंट की अगले कदम के लिए योजना पर भी नज़र डाली, यह मापते हुए कि वह अगला कदम उठाने के बारे में कितना आश्वस्त था और क्या उस क्रिया में सिस्टम की स्थिति को फिर से जांचना शामिल था या बदलाव के साथ आगे बढ़ना।
परिणामों ने इन विभिन्न प्रकार की त्रुटियों के प्रति एजेंट की प्रतिक्रिया में एक तीव्र और तत्काल अंतर का खुलासा किया। जब टूल ने एक टूटा हुआ त्रुटि संदेश लौटाया, तो एजेंट ने तुरंत पहचान लिया कि डेटा उसके बुनियादी प्रारूप में फिट नहीं बैठता है। यह एक स्पष्ट संकेत था कि टूल विफल हो गया था। फलस्वरूप, एजेंट की योजना नाटकीय रूप से बदल गई; इसकी संभावना बहुत अधिक हो गई कि वह सिस्टम की स्थिति को फिर से पढ़ने वाली क्रिया चुनेगा, जिसका अर्थ है कि उसने फिर से प्रयास करने या तथ्यों की जांच करने का निर्णय लिया। इसके विपरीत, जब टूल ने एक सुव्यवस्थित लेकिन गलत उत्तर दिया, तो एजेंट को प्रारूप में कोई समस्या नहीं दिखी। डेटा बिल्कुल सही लग रहा था। हालाँकि, बातचीत के इतिहास के साथ नए डेटा की एजेंट की आंतरिक तुलना ने एक संघर्ष प्रकट किया। गलत डेटा उस जानकारी से टकरा गया जो उपयोगकर्ता ने पहले बताई थी या जो सिस्टम पॉलिसी द्वारा निर्धारित थी।
महत्वपूर्ण रूप से, शोधकर्ताओं ने पाया कि गलत उत्तरों के प्रति एजेंट की प्रतिक्रिया पूरी तरह से झूठ की प्रकृति पर निर्भर करती थी। जब जाली जानकारी एक साधारण बेमेल (mismatch) थी, जैसे कि एक भुगतान आईडी जो उपयोगकर्ता का नहीं था, तो एजेंट की योजना काफी हदत तक अपरिवर्तित रही। वह भ्रमित या अनिश्चित नहीं हुआ; उसने बस गलत डेटा को स्वीकार किया और आगे बढ़ गया, क्योंकि उस झूठ ने बातचीत के मौलिक नियमों को नहीं बदला था। लेकिन जब जाली जानकारी एक ऐसा ऑर्डर स्टेटस था जिसने उन कार्यों के नियमों को बदल दिया जो अनुमत थे, तो एजेंट का व्यवहार बदल गया। वह अगले कदम के बारे में अनिश्चित हो गया, और उसकी योजना नई, गलत वास्तविकता को दर्शाने के लिए बदल गई। इससे पता चला कि एजेंट टूटे हुए टूल और झूठ बोलने वाले टूल के बीच अंतर कर सकता था, लेकिन वह एक हानिरहित झूठ और एक परिणामी झूठ (जो कार्य को पटरी से उतार दे) के बीच अंतर नहीं कर सका।
अध्ययन में इस बात पर भी गौर किया गया कि प्रारंभिक गलती के बाद क्या होता है। शोधकर्ताओं ने पाया कि त्रुटि के प्रकार ने एजेंट के भविष्य के व्यवहार पर एक स्थायी प्रभाव छोड़ा। टूटे हुए टूल के कारण एजेंट लगातार बाद के चरणों में सिस्टम की स्थिति को फिर से पढ़ने की कोशिश करता रहा, जो सत्यापन के लूप में फंसने का संकेत था। हालाँकि, जाली ऑर्डर स्टेटस ने एजेंट को एक पूरी तरह से अलग रास्ते पर भेज दिया, जिससे वह गलत जानकारी के आधार पर सिस्टम की स्थिति बदलने वाली क्रियाएं करने लगा। जाली भुगतान आईडी, जिसे एजेंट ने शुरू में बिना किसी समस्या के स्वीकार कर लिया था, बाद के चरणों में भी स्वीकार किया जाता रहा, जिसमें एजेंट द्वारा भ्रमित होने का कोई संकेत नहीं मिला। इसने प्रदर्शित किया कि त्रुटि को पहचानने की एजेंट की क्षमता एक एकल, सार्विकीय अलार्म नहीं है। इसके बजाय, यह विभिन्न संकेतों का एक संग्रह है। एक संकेत बताता था कि टूल टूटा हुआ है, दूसरा बताता था कि डेटा बातचीत के इतिहास के साथ असंगत है, और तीसरा बताता था कि डेटा नियमों के साथ असंगत है। कोई भी एकल संकेत हर प्रकार की त्रुटि को नहीं पकड़ सकता था।
शोधकर्ताओं ने निष्कर्ष निकाला कि इन एजेंटों में मजबूती (robustness) केवल एक ऐसे मेट्रिक के बारे में नहीं है जो सभी खराब डेटा को चिह्नित करे। इसके बजाय, इसके लिए सूचना के कई चैनलों को एक साथ पढ़ने की आवश्यकता होती है। एक एजेंट को यह देखने में सक्षम होना चाहिए कि डेटा टूल के आकार से मेल खाने में विफल रहता है, जब वह बातचीत के इतिहास के विपरीत होता है, और जब वह डोमेन के नियमों के विपरीत होता है। अध्ययन ने दिखाया कि ये विभिन्न प्रकार की त्रुटियां एजेंट की आंतरिक गणनाओं में विशिष्ट हस्ताक्षर (signatures) उत्पन्न करती हैं। एक टूटा हुआ टूल तुरंत स्पष्ट हो जाता है क्योंकि वह प्रारूप को तोड़ देता है। एक झूठ बोलने वाला टूल पकड़ना कठिन होता है क्योंकि वह प्रारूप में फिट बैठता है लेकिन कहानी को तोड़ देता है। सबसे खतरनाक झूठ वे होते हैं जो खेल के नियमों को बदल देते हैं, क्योंकि वे एजेंट को बिना किसी भ्रम को ट्रिगर किए पूरी तरह से गलत रास्ते पर भेज सकते हैं। इन विशिष्ट हस्ताक्षरों को समझकर, डेवलपर्स ऐसे एजेंट बना सकते हैं जो अपनी गलतियों का निदान करने और सही उपचार चुनने के लिए बेहतर ढंग से सुसज्जित हों, चाहे वह टूल को फिर से आज़माना हो, तथ्य की दोबारा जांच करना हो, या स्पष्टीकरण के लिए रुकना हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।