Does The Way You Plan Matter? An Empirical Study of Planning Representations for LLM Web Agents
यह शोध पत्र PlanAhead फ्रेमवर्क प्रस्तुत करता है ताकि अनुभवजन्य रूप से यह प्रदर्शित किया जा सके कि प्राकृतिक भाषा योजना प्रतिनिधित्व (जैसे कि अनुक्रमिक उपलक्ष्य, वृत्तांत, स्यूडोकोड, या चेकलिस्ट) का चयन और अंतर्निहित LLM दोनों ही कठिन WebArena कार्यों पर मल्टीमॉडल वेब एजेंटों की मजबूती और सफलता दर को महत्वपूर्ण रूप से प्रभावित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप ऑनलाइन शॉपिंग करने के लिए एक बहुत ही बुद्धिमान, लेकिन थोड़े अनाड़ी रोबोट को काम पर रख रहे हैं। आप उसे कहते हैं, "मेरे दांत पीसने की समस्या के लिए मुझे एक नाइट गार्ड (night guard) खरीद कर दो।" रोबोट को वेबसाइट पर जाना होगा, उत्पाद खोजना होगा और चेकआउट करना होगा।
कभी-कभी, रोबोट सफल हो जाता है। अन्य समय में, वह एक लूप में फंस जाता है, गलत चीज़ खरीद लेता है, या पूरी तरह से हार मान लेता है।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या आपके द्वारा दिए गए निर्देश लिखने का तरीका मायने रखता है?
अधिकांश लोग मानते हैं कि यदि आप रोबोट को एक स्पष्ट, चरण-दर-चरण सूची (जैसे कि एक रेसिपी) देते हैं, तो यह सबसे अच्छा काम करेगा। लेकिन इस अध्ययन के पीछे के शोधकर्ताओं ने सोचा: क्या होगा अगर रोबोट एक कहानी के साथ बेहतर काम करे? या एक चेकलिस्ट के साथ? या यहाँ तक कि एक कंप्यूटर कोड स्क्रिप्ट के साथ?
यहाँ उनके अध्ययन का विवरण सरल रूप में दिया गया है:
1. समस्या: रोबोट रास्ता भटक जाते हैं
बेहतरीन AI दिमागों के बावजूद, वेब एजेंट (वेबसाइट ब्राउज़ करने वाले रोबोट) अक्सर विफल हो जाते हैं। वे एक महत्वपूर्ण चरण चूक सकते हैं, किसी पॉप-अप से भ्रमित हो सकते हैं, या यह भूल सकते हैं कि वे क्या करने की कोशिश कर रहे थे। शोधकर्ताओं को संदेह था कि उन्हें दिया गया योजना का फॉर्मेट (प्रारूप) ही इसका कारण था।
2. प्रयोग: "PLANAHEAD" किचन
शोधकर्ताओं ने PLANAHEAD नामक एक परीक्षण रसोई बनाई। उन्होंने कोई नया रोबमान नहीं बनाया; उन्होंने बस मौजूदा रोबोट्स को दी जाने वाली रेसिपी को बदल दिया।
उन्होंने 158 बहुत कठिन कार्य (जैसे जटिल वेबसाइटों पर विशिष्ट वस्तुएं खरीदना) लिए और उन्हें विभिन्न AI मॉडल्स को दिए। लेकिन रोबोट शुरू करने से पहले, उन्होंने उसे चार अलग-अलग "भाषाओं" में एक योजना दी:
- रेसिपी (क्रमिक उप-लक्ष्य - Sequential Subgoals): मानक तरीका। "चरण 1: यहाँ जाएँ। चरण 2: इसे क्लिक करें।"
- कहानी (कथा - Narrative): यात्रा का वर्णन करने वाला एक पैराग्राफ। "नाइट गार्ड प्राप्त करने के लिए, आपको खोज (search) करके शुरू करना चाहिए..."
- चेकलिस्ट (आवश्यकताएं - Requirements): उन चीजों की एक सूची जिन्हें पूरा किया जाना अनिवार्य है, लेकिन जरूरी नहीं कि वे क्रम में हों। "कार्ट में आइटम होना चाहिए। पता भरा जाना चाहिए।"
- कोड (स्यूडोकोड - Pseudocode): एक लॉजिक स्क्रिप्ट जिसमें "यदि/तो" (if/then) नियम हैं। "यदि आइटम मिल जाता है, तो खरीदें। यदि नहीं, तो फिर से खोजें।"
3. नया स्कोरकार्ड: "पास/फेल" से परे
आमतौर पर, शोधकर्ता केवल यह गिनते हैं कि रोबोट ने कितनी बार काम पूरा किया (सफलता दर)। लेकिन AI अप्रत्याशित है; कभी-कभी वे भाग्यशाली होते हैं, कभी-री वह दुर्भाग्यशाली होते हैं।
लेखकों ने रोबोटों को स्कोर देने के दो नए तरीके बनाए:
- उपलब्धि दर (Achievement Rate - AR): "क्या रोबोट ने इस कार्य को सफलतापूर्वक पूरा किया यदि हम इसे पाँच बार प्रयास करने दें?" यह मापता है कि क्या वह कार्य उस रोबोट के लिए संभव भी है।
- सुलझाए गए कार्य की निरंतरता (Solved-Task Consistency - STC): "यदि रोबोट सफल हुआ, तो वह कितनी बार सफल हुआ?" यह विश्वसनीयता को मापता है। क्या उसने इसे 100% समय सही किया, या केवल 20%?
4. आश्चर्यजनक परिणाम
अध्ययन में पाया गया कि एक ही आकार सबके लिए सही नहीं होता (one size does not fit all)। निर्देशों को देने का "सबसे अच्छा" तरीका पूरी तरह से इस बात पर निर्भर करता है कि आप किस रोबोट मस्तिष्क का उपयोग कर रहे हैं।
- "कहानी सुनाने वाला" रोबोट: एक मॉडल (GPT-4.1-mini) नैरेटिव (Narrative) मिलने पर सबसे अच्छा काम करता था। ऐसा लगा कि वह चरणों की एक शुष्क सूची की तुलना में कार्य की "कहानी" को बेहतर समझता है।
- "सूची बनाने वाला" रोबोट: दूसरा मॉडल (Qwen) चेकलिस्ट (Checklist) को पसंद करता था। वह यह जानकर फलफूल करता था कि किन आवश्यकताओं को पूरा किया जाना आवश्यक है, चाहे उनका क्रम कुछ भी हो।
- "कोडर" रोबोट: तीसरा मॉडल (Gemini) आश्चर्यजनक रूप से स्यूडोकोड (Pseudocode) के साथ बहुत अच्छा प्रदर्शन करता था, भले ही यह मनुष्यों के लिए नहीं लिखा गया था। ऐसा लगा कि वह तार्किक "यदि/तो" संरचना को पसंद करता है।
बड़ी सीख:
शोधकर्ताओं ने यह भी पाया कि काम को दो रोबोटों में बांटना सिर्फ एक रोबोट का उपयोग करने से बेहतर काम करता है।
- प्लानर (Planner): एक रोबोट लक्ष्य को पढ़ता है और योजना (रेसिपी) लिखता है।
- एक्सेक्यूटर (Executor): दूसरा रोबोट उस योजना को पढ़ता है और वास्तव में बटन क्लिक करता है।
- यह क्यों काम करता है: यह एक ऐसे शेफ की तरह है जो रेसिपी लिखता है और एक सहायक शेफ (sous-chef) की तरह जो वास्तव में खाना पकाता है। शेफ प्याज काटने में विचलित नहीं होता, और कुक मेनू से भ्रमित नहीं होता।
5. निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि आप कैसे योजना बनाते हैं, यह मायने रखता है।
यदि आप अपने AI एजेंट को सफल बनाना चाहते हैं, तो आप केवल उसके सामने चरणों की एक सामान्य सूची नहीं फेंक सकते। आपको योजना के फॉर्मेट को उस AI मॉडल के व्यक्तित्व के साथ मिलाना होगा जिसका आप उपयोग कर रहे हैं। कभी-कभी एक कहानी सूची से बेहतर होती है; कभी-कभी चेकलिस्ट कहानी से बेहतर होती है।
इन विभिन्न प्रारूपों का परीक्षण करके, शोधकर्ताओं ने दिखाया कि हम इन डिजिटल एजेंटों को बहुत अधिक मजबूत और विश्वसनीय बना सकते हैं, केवल उनसे बात करने का तरीका बदलकर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।