Verified Tool Calls Improve LLM Agent Reliability Under Non-Atomic Failures
यह शोध पत्र एक हल्का, सत्यापन-जागरूक टूल रैपर प्रस्तावित करता है जो गैर-परमाणु टूल विफलताओं—जैसे कि टाइमआउट और आंशिक अपडेट—के कारण एलएलएम (LLM) एजेंटों में होने वाली विश्वसनीयता संबंधी समस्याओं को कम करता है, जो अंतर्निहित भाषा मॉडल को संशोधित किए बिना कार्य सफलता दर को बनाए रखते हुए दोहराए गए कार्यों को महत्वपूर्ण रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं, लेकिन आप खुद जहाज नहीं चला रहे हैं, बल्कि आप एक बहुत ही बुद्धिमान, बातूनी रोबोट सह-पायलट से बात कर रहे हैं। आपका काम रोबोट को निर्देश देना है, जैसे कि "इंजन चालू करो" या "एक संकट का संकेत भेजो।" आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन रोबोट्स को LLM एजेंट्स (लार्ज लैंग्वेज मॉडल एजेंट्स) कहा जाता है, और वे जिन चीजों को छूते हैं उन्हें टूल्स (जैसे कंप्यूटर प्रोग्राम या डेटाबेस) कहा जाता है। लंबे समय तक वैज्ञानिकों ने यह माना कि जब रोबोट किसी टूल को कुछ करने के लिए कहता है, तो टूल तुरंत कहेगा, "हो गया!" या "ओह, विफल रहा!" यह एक आदर्श पिंग-पोंग गेम की तरह था जहाँ गेंद हमेशा तुरंत वापस आती है।
लेकिन वास्तविक दुनिया में, चीजें अधिक जटिल होती हैं। कभी-कभी आप एक संदेश भेजते हैं, और नेटवर्क धीमा होता है, इसलिए आपको कुछ समय तक कोई जवाब नहीं मिलता। या शायद संदेश वास्तव में पहुँच गया और इंजन चालू हो गया, लेकिन रोबोट को "हो गया!" का संकेत कभी मिला ही नहीं। अगर रोबोट घबरा जाता है क्योंकि उसे कोई जवाब नहीं मिला, तो वह चिल्ला सकता है, "इसे फिर से करो!" और गलती से इंजन को दो बार चालू कर सकता है। यह शोध पत्र इन रोबोट सह-पायलटों को सिखाने के बारे में है कि वे इन भ्रमित करने वाले क्षणों को बिना अराजकता पैदा किए कैसे संभालें। यह सुझाव देता है कि केवल अनुमान लगाने और दोबारा प्रयास करने के बजाय, रोबोट को दोबारा कोशिश करने से पहले एक त्वरित नज़र डालनी चाहिए कि क्या काम वास्तव में पूरा हो गया है।
समस्या: "क्या यह काम कर गया?" का रहस्य
शोधकर्ताओं ने देखा कि इन AI एजेंट्स के काम करने के तरीके में एक बड़ा अंतर है। अधिकांश वर्तमान सिस्टम इस तरह काम करते हैं जैसे वे एक आदर्श, तात्कालिक दुनिया में हों। वे मान लेते हैं कि यदि कोई टूल कॉल (जैसे ईमेल भेजना या बैंक रिकॉर्ड अपडेट करना) स्पष्ट "सफलता" संदेश नहीं देता है, तो वह निश्चित रूप से विफल हो गया है।
लेकिन वास्तविक कंप्यूटर सिस्टम एक व्यस्त डाकघर की तरह होते हैं। कभी-कभी एक पत्र डिलीवर हो जाता है, लेकिन "डिलीवर्ड" की रसीद डाक में खो जाती है। कभी-कभी, पत्र पहुँच जाता है, लेकिन मेलबॉक्स चेक करने वाले व्यक्ति ने उसे अभी तक देखा नहीं होता है (देरी)। कभी-कभी, पत्र केवल आधा-अधूरा डिलीवर होता है। शोध पत्र में, लेखक इसे नॉन-एटॉमिक फेलियर्स (non-atomic failures) कहते हैं। "एटॉमिक" का अर्थ है कि कुछ एक साथ होता है, जैसे बिजली का स्विच चालू होना। "नॉन-एटॉमिक" का अर्थ है कि यह अव्यवस्थित है, जिसमें देरी और आंशिक चरण शामिल हैं।
जब एक AI एजेंट इस उलझन का सामना करता है, तो वह अक्सर घबरा जाता है। यदि वह एक कमांड भेजता है और उसे 'टाइमआउट' (कोई उत्तर नहीं) मिलता है, तो वह सोचता है, "ओह नहीं, यह काम नहीं किया!" और फिर से प्रयास करता है। लेकिन यदि पहला कमांड वास्तव में काम कर गया था, तो एजेंट ने एक डुप्लिकेट बना दिया। कल्पना कीजिए कि आपने पिज्जा ऑर्डर किया, दुकान से कोई जवाब नहीं मिला, और आपने उन्हें पांच बार कॉल किया। अब आपके पास एक के बजाय पांच पिज्जा हैं। डिजिटल दुनिया में, इसका मतलब ग्राहकों को पांच गुस्से भरे ईमेल भेजना या क्रेडिट कार्ड से पांच बार पैसे काटना हो सकता है।
समाधान: "चेक-फर्स्ट" रैपर
इसे ठीक करने के लिए, लेखकों ने उन टूल्स के चारों ओर एक सरल, हल्का "रैपर" (एक सुरक्षा परत) बनाया है जिनका एजेंट उपयोग करते हैं। वे इसे वेरिफाई-बिफोर-रिट्राई (verify-before-retry) सिस्टम कहते हैं।
यह कैसे काम करता है, एक सरल उदाहरण से समझते हैं:
कल्पना कीजिए कि आप दीवार पर एक तस्वीर टांगने की कोशिश कर रहे हैं।
- पुराना तरीका (नाइव रिट्राई - Naive Retry): आप कील ठोंकते हैं। आपको कोई "धप" की आवाज सुनाई नहीं देती, इसलिए आप सोचते हैं कि आपने निशाना चूक गए। आप फिर से ठोंकते हैं। फिर से। अंत में, आपके पास दीवार में एक बड़ा, खराब छेद होता है क्योंकि आपने बार-बार ठोंका जबकि तस्वीर पहले से ही ऊपर लगी हुई थी।
- नया तरीका (वेरिफाई-बिफोर-रिट्राई): आप कील ठोंकते हैं। आपको "धप" की आवाज नहीं सुनाई देती। तुरंत दोबारा ठोंकने के बजाय, आप दीवार की ओर देखते हैं। आप चेक करते हैं: "क्या तस्वीर टंगी हुई है?"
- यदि तस्वीर वहां है, तो आप रुक जाते हैं। आप दोबारा नहीं ठोंकते।
- यदि तस्वीर वहां नहीं है, तभी आप दोबारा ठोंकते हैं।
यह रैपर एजेंट के व्यवहार में तीन स्मार्ट नियम जोड़ता है:
- सिग्नल को वास्तविकता से अलग करें: सिर्फ इसलिए कि आपको "सफलता" का संदेश नहीं मिला, इसका मतलब यह नहीं है कि क्रिया विफल हो गई।
- दोबारा प्रयास करने से पहले जांचें: एजेंट द्वारा किसी कमांड को फिर से आज़माने से पहले, उसे वास्तव में दुनिया की स्थिति (पोस्टकंडीशन) की जांच करनी चाहिए कि क्या काम पहले से ही पूरा हो चुका है।
- एक जादुई कुंजी का उपयोग करें (इडम्पोटेंसी - Idempotency): यदि एजेंट को वास्तव में दोबारा प्रयास करना पड़ता है, तो वह एक विशेष "जादुई कुंजी" (इडम्पोटेंसी की) का उपयोग करता है। यह कंप्यूटर सिस्टम को बताता है, "हे, मैं इसे फिर से आज़मा रहा हूँ, लेकिन यह बिल्कुल वही अनुरोध है। यदि आपने इसे पहले ही कर दिया है, तो बस इसे अनदेखा कर दें।"
उन्होंने क्या पाया: कम गलतियाँ, वही सफलता
शोधकर्ताओं ने इस विचार का परीक्षण एक सिम्युलेटेड वातावरण में किया जहाँ उन्होंने जानबूझकर चीजों को खराब किया ताकि वे देख सकें कि एजेंट कैसे प्रतिक्रिया देते हैं। उन्होंने दो मुख्य कार्य बनाए:
- ग्राहक को सक्रिय करना: एक उपयोगकर्ता खाता बनाएं और ठीक एक स्वागत संदेश भेजें।
- इनवॉइस रिकॉर्ड करना: एक बिल को अपडेट करें और उसे 'पेड' (भुगतान किया गया) के रूप में चिह्नित करें।
उन्होंने सिस्टम में विभिन्न प्रकार की "बुरी किस्मत" डाली, जैसे नेटवर्क टाइमआउट, विलंबित अपडेट और आंशिक विफलताएं। उन्होंने पुराने "सिर्फ रिट्राई" तरीके की तुलना अपने नए "चेक-फर्स्ट" तरीके से की।
परिणाम स्पष्ट और काफी नाटकीय थे:
- डुप्लिकेट क्रियाएं: जब चीजें गलत होती थीं, तो पुराना तरीका आपदा बन गया। "ग्राहक सक्रिय करें" कार्य में, जब विफलताएं बार-बार होती थीं, तो पुराने एजेंट ने 72% बार डुप्लिकेट स्वागत संदेश भेजे। नए "वेरिफाई-बिफोर-रिट्राई" एजेंट ने इसे घटाकर केवल 20% कर दिया। "इनवॉइस रिकॉर्ड करें" कार्य में, उच्च विफलता दर के तहत पुराने एजेंट ने 76% बार डुप्लिकेट रिकॉर्ड बनाए, जबकि नए एजेंट ने इसे 20% (कम दोष पर 0% और मध्यम दोष पर 16% से नीचे) तक कम कर दिया।
- कार्य की सफलता: नया तरीका केवल गलतियों को रोकता नहीं है; यह वास्तव में एजेंटों को अपना काम बेहतर ढंग से पूरा करने में मदद करता है। ग्राहक कार्य के लिए, नया एजेंट टूटे हुए सिस्टम के बावजूद 100% बार सफल रहा। पुराने एजेंट की सफलता दर, जब चीजें गड़बड़ा गईं, घटकर 64% रह गई। इनवॉइस कार्य के लिए, बेसलाइन पहले से ही काफी मजबूत थी (कम दोष पर 100% और उच्च दोष पर 96% हासिल करना), लेकिन नए रैपर ने उच्चतम दोष स्तरों पर भी 100% सफलता दर सुनिश्चित की, जिससे विश्वसनीयता बनी रही जहाँ बेसलाइन थोड़ी गिर गई थी।
लेखकों ने एक विशेष परीक्षण भी चलाया यह देखने के लिए कि उनके नए सिस्टम का कौन सा हिस्सा सबसे महत्वपूर्ण काम कर रहा है। उन्होंने पाया कि वेरिफिकेशन (काम पूरा हुआ या नहीं, इसकी जांच करना) सबसे महत्वपूर्ण हिस्सा था। केवल स्थिति की जांच करना और दोबारा प्रयास न करना, लगभग पूरे सिस्टम जितना ही प्रभावी था। यह सुझाव देता है कि सबसे बड़ी समस्या यह नहीं थी कि एजेंटों को अधिक मेहनत करने की आवश्यकता थी; बल्कि समस्या यह थी कि वे तब बहुत अधिक कोशिश कर रहे थे जब उन्हें इसकी आवश्यकता नहीं थी।
यह क्यों मायने रखता है
यह शोध पत्र सुझाव देता है कि हमें इन समस्याओं को ठीक करने के लिए AI को "अधिक स्मार्ट" बनाने या उसके मस्तिष्क को बदलने की आवश्यकता नहीं है। इसके बजाय, हमें केवल यह बदलना होगा कि वह टूल्स के साथ कैसे इंटरैक्ट करता है। "कदम उठाने से पहले देखें" का एक सरल चरण जोड़कर, हम AI एजेंटों को बहुत अधिक विश्वसनीय बना सकते हैं।
यह उन कार्यों के लिए विशेष रूप से महत्वपूर्ण है जहाँ कुछ काम दो बार करना विनाशकारी हो सकता है, जैसे पैसा भेजना या फाइलें हटाना। अध्ययन दिखाता है कि एक ऐसी दुनिया में जहाँ कंप्यूटर सिस्टम अक्सर अव्यवस्थित और विलंबित होते हैं, एक विश्वसनीय रोबोट बनाने का सबसे अच्छा तरीका यह है कि उसे घबराने और दोबारा करने से पहले अपने काम को दोबारा जांचना सिखाया जाए। यह सॉफ्टवेयर में एक छोटा सा बदलाव है जो बहुत सारी डिजिटल अराजकता को रोक सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।