Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective
यह शोध पत्र उच्च-स्तरीय योजना (high-level planning), निम्न-स्तरीय निष्पादन (low-level execution) और पुन: योजना (replanning) परतों के माध्यम से LLM वेब एजेंट की विफलताओं का निदान करने के लिए एक पदानुक्रमित नियोजन ढांचे (hierarchical planning framework) को प्रस्तुत करता है, जो यह प्रकट करता है कि हालांकि संरचित PDDL योजनाएं रणनीति निर्माण में सुधार करती हैं, फिर भी निम्न-स्तरीय निष्पादन और बोध संबंधी ग्राउंडिंग (perceptual grounding) मानव-स्तर की विश्वसनीयता प्राप्त करने में प्राथमिक बाधाएं बनी हुई हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने लिए ऑनलाइन शॉपिंग या रिसर्च करने के लिए एक बहुत ही बुद्धिमान, विद्वान लेकिन थोड़े अनाड़ी (clumsy) रोबोट असिस्टेंट को काम पर रखा है। आप उसे एक बड़ा, जटिल निर्देश देते हैं जैसे, "मेरे कुत्ते के लिए मेरे साइज का सबसे सस्ता विंटर कोट ढूंढो, और यह भी सुनिश्चित करो कि वह सेल पर हो।"
यह पेपर अनिवार्य रूप से एक "पोस्टमार्टम रिपोर्ट" है कि क्यों ये रोबोट असिस्टेंट (जिन्हें LLM Web Agents कहा जाता है) इन कार्यों में अक्सर विफल हो जाते हैं, भले ही वे अधिक स्मार्ट होते जा रहे हैं।
लेखक तर्क देते हैं कि हम गलत चीज़ को देख रहे हैं। केवल यह पूछने के बजाय कि, "क्या रोबbot ने काम पूरा किया? हाँ या ना," उन्होंने यह देखने का फैसला किया कि रोबोट कैसे सोचता और कार्य करता है। उन्होंने रोबोट के दिमाग को तीन अलग-अलग परतों में विभाजित किया, जैसे एक निर्माण दल घर बनाता है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. रोबोट के मस्तिष्क की तीन परतें
लेखक कहते हैं कि प्रत्येक वेब एजेंट के तीन काम होते हैं, और वे प्रत्येक में अलग-अलग बिंदुओं पर विफल होते हैं:
परत 1: आर्किटेक्ट (उच्च-स्तरीय योजना - High-Level Planning)
- काम: यह वह हिस्सा है जो आपके अनुरोध को पढ़ता है और एक मास्टर प्लान बनाता है। यह कहता है, "पहले, स्टोर पर जाओ। दूसरा, डॉग सेक्शन ढूंढो। तीसरा, साइज के आधार पर फ़िल्टर करो।"
- समस्या: कभी-कभी आर्किटेक्ट भ्रमित हो जाता है। यह एक ऐसा प्लान बना सकता है जो बहुत अस्पष्ट हो ("कोट ढूंढो") या बहुत विशिष्ट हो ("बाईं ओर का तीसरा बटन क्लिक करें"), जिससे बड़ी तस्वीर छूट जाती है।
- समाधान: पेपर में पाया गया कि यदि आप आर्किटेक्ट को अपनी योजना एक सख्त, संरचित भाषा (जैसे एक कंप्यूटर कोड जिसे PDDL कहा जाता है) में लिखने के लिए मजबूर करते हैं, तो योजनाएं बहुत अधिक स्पष्ट और तार्किक हो जाती हैं। यह सामान्य अंग्रेजी में चैट करने के बजाय एक सटीक ब्लूप्रिंट (नक्शे) का उपयोग करने जैसा है।
परत 2: बिल्डर (निम्न-स्तरीय निष्पादन - Low-Level Execution)
- काम: यह वह हिस्सा है जो वास्तव में स्क्रीन को छूता है। इसे सही बटन पर क्लिक करना होता है, सही शब्द टाइप करने होते हैं, और सही जगह तक स्क्रॉल करना होता है।
- समस्या: यहीं पर रोबोट सबसे अधिक विफल होता है। भले ही आर्किटेक्ट एक आदर्श ब्लूप्रिंट तैयार करे, बिल्डर अनाड़ी होता है। यह गलत लिंक पर क्लिक कर सकता है, बार-बार एक ही बटन क्लिक करने के लूप में फंस सकता है, या भटककर किसी दूसरी वेबसाइट पर जा सकता है (जैसे फ्लाइट ट्रैकर साइट पर "डॉग कोट्स" खोजना)।
- उपमा: कल्पना कीजिए कि एक प्रतिभाशाली आर्किटेक्ट है जिसने एक आदर्श पुल डिजाइन किया है, लेकिन निर्माण दल बार-बार अपने जूतों के फीतों में फंस रहा है और ईंटें गिरा रहा है। पेपर में पाया गया कि यही अनाड़ीपन (clumsiness) सबसे बड़ी बाधा है। रोबोट अभी भी वेबसाइट को "देखने" और सही चीजों पर क्लिक करने में उतना सक्षम नहीं है।
परत 3: फिक्सर (पुनः योजना बनाना - Replanning)
- काम: जब चीजें गलत हो जाती हैं (वेबसाइट क्रैश हो जाती है, या बटन काम नहीं करता है), तो इस हिस्से को कहना होता है, "ठीक है, प्लान A विफल रहा। चलिए दूसरा तरीका आजमाते हैं।"
- निष्कर्ष: पेपर में पाया गया कि जब रोबोट कहीं फंस जाता है, तो उसे अपनी रणनीति पर फिर से विचार करने का "दूसरा मौका" देने से बहुत मदद मिलती है। यह एक खोए हुए यात्री को बताने जैसा है, "ठीक है, वह रास्ता बंद है। चलिए फिर से नक्शा देखते हैं और एक नया रास्ता ढूंढते हैं।" "री-प्लानिंग" का यह सरल चरण सफलता दर में काफी सुधार करता है।
2. मुख्य निष्कर्ष (The Big Takeaways)
लेखकों ने तीन अलग-अलग "मस्तिष्क" (AI मॉडल) के साथ प्रयोग किए और तीन मुख्य बातें पाईं:
- संरचना (Structure) प्लानर की मदद करती है: जब आप AI को अपनी योजना एक संरचित प्रारूप (PDDL) में लिखने के लिए मजबूर करते हैं, तो यह बेहतर और अधिक संक्षिप्त योजनाएं बनाता है। यह बिना सोचे-समझे बातें करना बंद कर देता है और सीधे मुद्दे पर आता है।
- "हाथ" ही समस्या हैं: मुख्य मुद्दा यह नहीं है कि AI सोच नहीं सकता; बल्कि यह है कि वह कर नहीं सकता। उसे एक अच्छे विचार को एक विशिष्ट क्लिक या टाइप एक्शन में बदलने में संघर्ष करना पड़ता है। यह एक जीनियस शेफ की तरह है जो रेसिपी का वर्णन तो पूरी तरह से कर सकता है लेकिन टोस्टर का उपयोग करते समय हर बार टोस्ट जला देता है।
- फंस जाना सामान्य है, लेकिन सुधारना काम करता है: रोबोट आसानी से भ्रमित हो जाते हैं। लेकिन यदि आप उन्हें रुकने, यह महसूस करने और एक नई योजना बनाने की अनुमति देते हैं, तो वे बहुत अधिक सफल होते हैं।
3. हमें आगे क्या करना चाहिए?
पेपर सुझाव देता है कि इन रोबोटों को वास्तव में विश्वसनीय (इंसानों की तरह) बनाने के लिए, हमें एक विशाल AI को सब कुछ पूरी तरह से करने की कोशिश करने के बजाय, निम्नलिखित करना चाहिए:
- कामों को अलग करें: योजना बनाने (आर्किटेक्ट) के लिए एक विशेष मॉड्यूल और क्लिक करने तथा टाइप करने (बिल्डर) के लिए एक अलग, विशेष टूल रखें।
- उन्हें भ्रमित होने को स्वीकार करना सिखाएं: गलत चीज़ पर क्लिक करने या अनुमान लगाने के बजाय, रोबोट को यह कहने में सक्षम होना चाहिए, "मुझे यकीन नहीं है कि मुझे कहाँ क्लिक करना चाहिए, मुझे मदद के लिए पूछने दें या दूसरा तरीका आज़माते हैं।"
- केवल अंतिम स्कोर को न देखें: हमें उन्हें केवल इस आधार पर ग्रेड नहीं देना चाहिए कि उन्होंने काम पूरा किया या नहीं, बल्कि इस आधार पर कि उन्होंने कार्य कैसे किया। यह हमें यह समझने में मदद करता है कि वे मूर्खता के कारण विफल हुए, या केवल अनाड़ी होने के कारण।
संक्षेप में: ये AI वेब एजेंट प्रतिभाशाली लेकिन अनाड़ी इंटर्न की तरह हैं। वे असाइनमेंट को समझ सकते हैं, लेकिन वास्तविक काम करने की कोशिश करते समय वे अपने ही पैरों में फंस जाते हैं। उन्हें ठीक करने के लिए, हमें उन्हें बेहतर निर्देश (संरचित योजना) और माउस और कीबोर्ड का उपयोग करने का बेहतर प्रशिक्षण (perceptual grounding) देने की आवश्यकता है, न कि केवल इस उम्मीद में कि वे सोचने में और स्मार्ट हो जाएंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।