Executable Agentic Memory for GUI Agent
यह शोध पत्र एक्जीक्यूटेबल एजेंटिक मेमोरी (EAM) प्रस्तुत करता है, जो एक संरचित नॉलेज ग्राफ-आधारित फ्रेमवर्क है जो वैल्यू-गाइडेड ग्राफ सर्च का उपयोग करके रिट्रीवल-एंड-एक्ज़ीक्यूशन प्रक्रिया के माध्यम से नाजुक, स्टेप-वाइज LLM इंटरैक्शन को प्रतिस्थापित करता है, जिससे लॉन्ग-होरिज़न GUI ऑटोमेशन कार्यों में बेहतर प्रदर्शन, कम लागत और कम विलंबता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Executable Agentic Memory for GUI Agent" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
समस्या: "भुलक्कड़" रोबोट
कल्पना कीजिए कि आपने अपने स्मार्टफोन का उपयोग करने में मदद करने के लिए एक रोबोट को काम पर रखा है। हर बार जब रोबोट किसी नई स्क्रीन को देखता है (जैसे सेटिंग्स मेनू खोलना), तो उसे वह सब कुछ भूलना पड़ता है जो उसने अभी किया था, स्क्रीन को फिर से शुरू से पढ़ना पड़ता है, और यह अनुमान लगाना पड़ता है कि आगे क्या करना है।
वर्तमान में अधिकांश AI एजेंट इसी तरह काम करते हैं। वे एक विशाल, भ्रमित करने वाले शहर में भुलक्कड़ पर्यटकों (amnesiac tourists) की तरह हैं।
- वे एक सड़क का साइन (स्क्रीन) देखते हैं।
- वे अनुमान लगाते हैं कि किस दिशा में जाना है।
- वे एक कदम उठाते हैं।
- फिर, वे एक नया साइन देखते हैं, पिछला वाला भूल जाते हैं, और फिर से अनुमान लगाते हैं।
यदि वे शुरुआत में एक छोटी सी गलती करते हैं, तो वे रास्ता भटक जाते हैं। वे किसी गलत गली (गलत ऐप स्क्रीन) में जा सकते हैं और केवल अनुमान लगाते हुए समय और पैसा बर्बाद कर सकते हैं। इसे एक "नाजुक" (fragile) सिस्टम कहा जाता है, खासकर लंबे कार्यों के लिए जैसे "ब्लूटूथ चालू करें, फिर एक विशिष्ट फोटो खोजें, फिर उसे ईमेल करें।"
समाधान: EAM ("जीवंत मानचित्र")
लेखक एक नई प्रणाली प्रस्तावित करते हैं जिसे Executable Agentic Memory (EAM) कहा जाता है। हर कदम का अनुमान लगाने के बजाय, रोबोट फोन के इंटरफेस का एक संरचित, जीवंत मानचित्र (structured, living map) बनाता है।
EAM को केवल टेक्स्ट नोट्स की सूची के रूप में नहीं, बल्कि एक विशाल, इंटरैक्टिव सबवे मैप (मेट्रो मैप) के रूप में सोचें।
- स्टेशन: ये आपके फोन की विभिन्न स्क्रीनें हैं।
- ट्रैक: ये वे बटन और क्रियाएं हैं जिन्हें आप क्लिक कर सकते हैं।
- कनेक्शन: मानचित्र जानता है कि कौन सा बटन किस स्क्रीन की ओर ले जाता है।
एक बार जब यह मानचित्र बन जाता है, तो रोबट को यह "अनुमान" लगाने की आवश्यकता नहीं होती कि बटन क्लिक करने पर क्या होगा। वह बस मानचित्र को देखता है, ट्रैक को देखता है, और उसका अनुसरण करता है।
वे मानचित्र कैसे बनाते हैं (ऑफलाइन चरण)
इससे पहले कि रोबोट मानचित्र का उपयोग कर सके, किसी को इसे बनाना होगा। पेपर इस काम को बिना समय बर्बाद किए करने का एक स्मार्ट तरीका बताता है:
- एक्सप्लोरर (DFS): कल्पना कीजिए कि एक बहुत ही व्यवस्थित खोजकर्ता (explorer) को फोन के ऐप्स में भेजा गया है। बिना किसी रैंडम तरीके से घूमने के बजाय, वे "डेप्थ-फर्स्ट सर्च" (Depth-First Search) रणनीति का उपयोग करते हैं। वे एक रास्ते पर तब तक जाते हैं जब तक वह खत्म न हो जाए, मृत अंत (dead ends) को चिह्नित करते हैं, और फिर अगला रास्ता आज़माने के लिए वापस पीछे आते हैं। यह सुनिश्चित करता है कि वे लूप में फंसे बिना हर संभावित मार्ग खोज लें।
- कंडेंसर (Action Group Mining): कभी-कभी, किसी कार्य के लिए लगातार पाँच बटन क्लिक करने की आवश्यकता होती है (जैसे "Settings खोलें" -> "Network" -> "Wi-Fi" -> "Scan")। इसे एक-एक करके करना धीमा है। सिस्टम इन बार-बार होने वाले पैटर्न को पहचानता है और उन्हें एक एकल "सुपर बटन" (Super Button) (जैसे एक एक्सप्रेस ट्रेन) में जोड़ देता है। यह मानचित्र को बहुत छोटा और नेविगेट करने में तेज़ बनाता है।
रोबोट मानचित्र का उपयोग कैसे करता है (ऑनलाइन चरण)
जब आप रोबोट को कोई कार्य देते हैं (जैसे "Wi-Fi चालू करें"), तो वह केवल अनुमान नहीं लगाता। वह मानचित्र पर सबसे अच्छा रास्ता खोजने के लिए GPS नेविगेटर का उपयोग करता है।
- GPS (Q-Model): रोबोट के पास एक छोटा, स्मार्ट दिमाग (एक हल्का AI मॉडल) होता है जो GPS की तरह काम करता है। वह मानचित्र को देखता है और कहता है, "यदि मैं इस ट्रैक पर जाता हूँ, तो 90% संभावना है कि मैं लक्ष्य तक पहुँच जाऊँगा। यदि मैं उस पर जाता हूँ, तो केवल 10% संभावना है।"
- खोज (MCTS): रोबोट अपने दिमाग में कुछ संभावित रास्तों का अनुकरण (simulate) करता है (जैसे ट्रैफिक के लिए Google Maps चेक करना) ताकि सबसे अच्छा रास्ता चुना जा सके।
- निष्पादन (Execution): एक बार रास्ता चुने जाने के बाद, रोबोट चरणों को पूरा करता है। क्योंकि रास्ता एक सत्यापित मानचित्र से आता है, इसलिए यह गारंटी है कि यह वैध है। यह गलती से ऐसा बटन क्लिक नहीं करेगा जो मौजूद नहीं है या जो किसी टूटी हुई स्क्रीन की ओर ले जाता है।
यह एक बड़ी बात क्यों है
पेपर का दावा है कि यह दृष्टिकोण तीन प्रमुख समस्याओं को हल करता है:
- विश्वसनीयता (Reliability): क्योंकि रोबोट एक पूर्व-सत्यापित मानचित्र का पालन करता है, वह रास्ता नहीं भटकता या भ्रमित (hallucinate) नहीं होता। यह एक अजनबी से दिशा पूछने के बजाय, एक सबवे मैप का पालन करने जैसा है।
- गति (Speed): रोबोट बहुत तेज़ है। हर कदम के बारे में सोचने के लिए एक विशाल, धीमे AI (जैसे GPT-4) से पूछने के बजाय, यह मानचित्र पढ़ने के लिए एक छोटे, तेज़ AI का उपयोग करता है। पेपर कहता है कि यह कंप्यूटिंग लागत के मामले में 6 गुना सस्ता है और प्रति चरण केवल 2.8 सेकंड लेता है।
- लंबे कार्य (Long Tasks): यह लंबे, जटिल कार्यों को बिना यह भूले कि शुरुआत कहाँ से हुई थी, संभाल सकता है। मानचित्र पूरी यात्रा को नज़र में रखता है।
परिणाम
शोधकर्ताओं ने वास्तविक दुनिया के Android फोन कार्यों पर इसका परीक्षण किया।
- सफलता दर (Success Rate): उनके सिस्टम ने वर्तमान सर्वश्रेष्ठ AI मॉडलों (जैसे UI-TARS-7B) को एक महत्वपूर्ण अंतर से पीछे छोड़ दिया (19.6% तक बेहतर)।
- दक्षता (Efficiency): इसने बड़े क्लाउड-आधारित मॉडलों की तुलना में बहुत कम कंप्यूटर संसाधनों (tokens) का उपयोग किया।
सारांश उपमा (Summary Analogy)
- पुराना तरीका: एक पर्यटक जो हर चौराहे पर अलग-अलग अजनबियों से रास्ता पूछकर शहर पार करने की कोशिश कर रहा है। वे थक जाते हैं, भ्रमित हो जाते हैं, और अक्सर गलत मोहल्ले में पहुँच जाते हैं।
- EAM का तरीका: एक पर्यटक जिसके पास एक सटीक, पहले से बना हुआ सबवे मैप और एक स्मार्ट GPS है। उन्हें पता है कि कौन सी ट्रेन लेनी है, किस स्टॉप पर उतरना है, और वे कभी रास्ता नहीं भटकते। वे अपने गंतव्य तक जल्दी, सस्ते और भरोसेमंद तरीके से पहुँच जाते हैं।
पेपर यह निष्कर्ष निकालता है कि फोन के इंटरफेस को केवल अनुमान लगाने वाली यादृच्छिक छवियों के बजाय एक संरचित मशीन (मानचित्र) के रूप में मानकर, हम AI एजेंटों को लंबे समय के स्वचालन (automation) के लिए बहुत अधिक विश्वसनीय और कुशल बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।