तकनीकी सारांश: स्टेट-ग्राउंडेड डायनेमिक रिट्रीवल के माध्यम से वेब एजेंटों के लिए ऑनलाइन स्किल लर्निंग

समस्या विवरण

भाषा एजेंट (Language agents) बहु-चरणीय वेब ऑटोमेशन कार्यों (जैसे, सूचना खोज, फॉर्म भरना) के लिए तेजी से उपयोग किए जा रहे हैं। जबकि मौजूदा शोध ने ऑनलाइन स्किल लर्निंग की खोज की है—जहाँ एजेंट भविष्य के प्रदर्शन को बेहतर बनाने के लिए पिछले कार्य प्रक्षेपवक्रों (task trajectories) से पुन: प्रयोज्य प्रक्रियात्मक ज्ञान (reusable procedural knowledge) प्राप्त करते हैं—वर्तमान पद्धतियों में एक महत्वपूर्ण सीमा बनी हुई है।

मौजूदा ऑनलाइन स्किल लर्निंग दृष्टिकोण मुख्य रूप से कार्य-स्तर (task level) पर कार्य करते हैं। वे पूरे निष्पादन के दौरान केवल प्रारंभिक कार्य निर्देश के आधार पर कौशलों (skills) का एक निश्चित सेट पुनर्प्राप्त (retrieve) करते हैं और इस सेट को स्थिर रखते हैं। यह स्थिर रणनीति इंटरैक्टिव वेब निष्पादन की प्रकृति के साथ मेल नहीं खाती है, जहाँ अगला उपयुक्त कार्य न केवल वैश्विक कार्य लक्ष्य पर बल्कि वर्तमान वेबपेज अवस्था (webpage state) पर भी निर्भर करता है। जैसे-जैसे एजेंट नेविगेट करता है, वेबपेज की अवस्था बदलती रहती है, जिससे अक्सर शुरू में चुने गए कौशल अप्रासंगिक हो जाते हैं या उन नई स्थितियों को कवर करने में विफल रहते हैं जो उत्पन्न होती हैं। इसके अलावा, मौजूदा पद्धतियाँ कौशल सूक्ष्मता (skill granularity) के साथ संघर्ष करती हैं: पूर्ण-प्रक्षेपवक्र कौशल (full-trajectory skills) मध्यवर्ती अवस्थाओं के लिए बहुत विशिष्ट होते हैं, जबकि एकल-क्रिया कौशल (single-action skills) सार्थक प्रक्रियात्मक अमूर्तता (procedural abstraction) की कमी रखते हैं।

इस शोध पत्र द्वारा संबोधित मुख्य चुनौती यह है: एक ऑनलाइन एजेंट प्रत्येक निर्णय चरण पर, विकसित होते कार्य लक्ष्य और वर्तमान वेबपेज अवस्था दोनों पर आधारित, सही पुन: प्रयोज्य कौशल को गतिशील रूप से कैसे पुनर्प्राप्त कर सकता है?

कार्यप्रणाली: स्टेट-ग्राउंडेड डायनेमिक रिट्रीवल (SGDR)

लेखक स्टेट-ग्राउंडेड डायनेमिक रिट्रीवल (SGDR) का प्रस्ताव करते हैं, जो एक ऑनलाइन स्किल लर्निंग फ्रेमवर्क है जिसे स्थिर, कार्य-स्तरीय कौशल पुन: उपयोग के स्थान पर अनुकूल, चरण-स्तरीय पुनर्प्राप्ति (step-level retrieval) को बदलने के लिए डिज़ाइन किया गया है। यह विधि एक अनुक्रमिक कार्य-स्ट्रीम सेटिंग के भीतर कार्य करती है जहाँ एजेंटों को निष्पादन के दौरान ग्राउंड-ट्रुथ सफलता संकेतों तक पहुँच के बिना, चलते-चलते अपने स्किल लाइब्रेरी को अपडेट करना होता है।

SGDR तीन मुख्य घटकों से बना है:

1. स्लाइडिंग-विंडो स्किल एक्सट्रैक्शन (Sliding-Window Skill Extraction)

सूक्ष्मता की चुनौती को हल करने के लिए, SGDR पूरे कार्य प्रक्षेपवक्रों को एकल कौशल के रूप में संग्रहीत नहीं करता है। इसके बजाय, एक कार्य पूरा होने और एक इवैल्यूएटर मॉडल द्वारा सफल घोषित किए जाने के बाद, सिस्टम प्रक्षेपवक्र पर एक स्लाइडिंग-विंडो एक्सट्रैक्शन प्रक्रिया लागू करता है।

• प्रक्रिया: प्रक्षेपवक्र को स्थानीय उप-प्रक्रियाओं (विभिन्न लंबाई वाली विंडोज़) में विभाजित किया जाता है।
• सत्यापन: प्रत्येक उम्मीदवार खंड को एक कौशल में परिवर्तित किया जाता है और मूल प्रक्षेपवक्रम में संगत क्रियाओं को कौशल कॉल से बदलकर सत्यापित किया जाता है। केवल वे कौशल जो प्रक्षेपवक्रम की सफलता को बनाए रखते हैं, उन्हें लाइब्रेरी में जोड़ा जाता है।
• परिणाम: यह सघन, पुन: प्रयोज्य उप-प्रक्रियाएं (जैसे, "एक छोटा फॉर्म भरें," "एक फ़िल्टर लागू करें") उत्पन्न करता है जो केवल पूर्ण-कार्य संदर्भों के बजाय मध्यवर्ती वेबपेज अवस्थाओं के लिए भी लागू होते हैं।

2. डुअल टेक्स्ट-कोड रिप्रेजेंटेशन (Dual Text–Code Representation)

प्रत्येक प्रेरित कौशल $s_k$ को एक जोड़ी $(d_k, c_k)$ के रूप में दर्शाया जाता है:

• विवरण ($d_k$): एक प्राकृतिक भाषा सारांश जिसका उपयोग पुनर्प्राप्ति (retrieval) के लिए किया जाता है।
• कोड ($c_k$): एक निष्पादन योग्य फंक्शन जिसका उपयोग क्रिया निष्पादन के लिए किया जाता है।
  यह दोहरा प्रतिनिधित्व सुनिश्चित करता है कि कौशल ब्राउज़र वातावरण के भीतर सिमेंटिक रूप से पुनर्प्राप्त करने योग्य और कार्यात्मक रूप से निष्पादन योग्य दोनों हों।

3. स्टेट-ग्राउंडेड डायनेमिक रिट्रीवल (State-Grounded Dynamic Retrieval)

स्थिर विधियों के विपरीत जो शुरुआत में एक बार कौशल पुनर्प्राप्त करती हैं, SGDR वर्तमान अवस्था के आधार पर प्रत्येक निर्णय चरण $t$ पर कौशल पुनर्प्राप्त करता है।

• क्वेरी निर्माण: पुनर्प्राप्ति क्वेरी मूल कार्य निर्देश $g$ और वर्तमान वेबपेज अवस्था $r_t$ (एक्सेसिबिलिटी ट्री से प्राप्त) के एक संक्षिप्त सारांश को जोड़ती है।
• प्रासंगिकता स्कोरिंग: कौशल विवरण और संयुक्त क्वेरी के बीच भारित कोसाइन समानता (weighted cosine similarity) का उपयोग करके प्रासंगिकता स्कोर की गणना की जाती है:
  $$score_t(s_k) = \alpha \cos(\phi(g), \phi(d_k)) + (1-\alpha) \cos(\phi(r_t), \phi(d_k))$$
  जहाँ $\alpha$ कार्य लक्ष्य बनाम वर्तमान अवस्था के महत्व को संतुलित करता है।
• MMR रीरैंकिंग: अतिरेक (redundancy) को रोकने के लिए (चूंकि स्लाइडिंग विंडो ओवरलैपिंग कौशल उत्पन्न कर सकती है), शीर्ष-$M$ उम्मीदवारों को मैक्सिमल मार्जिनल रेलवेंस (MMR) का उपयोग करके पुन: रैंक किया जाता है। यह पहले से चयनित कौशलों के साथ समानता को दंडित करते हुए वर्तमान क्वेरी के प्रति प्रासंगिकता को अधिकतम करता है, जिससे विविध क्रियाशील विकल्पों का एक सेट सुनिश्चित होता है।
• इंजेक्शन: चयनित कौशल केवल वर्तमान चरण के लिए इंजेक्ट किए जाते हैं, जिससे निष्पादन के दौरान एजेंट का समर्थन अनुकूलित हो जाता है।

मुख्य योगदान

1. समस्या का निरूपण: यह पेपर वेब एजेंटों में कार्य-स्तरीय वन-शॉट स्किल पुन: उपयोग की सीमा की पहचान करता है और उसे औपचारिक रूप देता है, जो विकसित होते वेब संदर्भों को संभालने के लिए स्टेट-ग्राउंडेड डायनेमिक रिट्रीवल की आवश्यकता पर जोर देता है।
2. पद्धतिगत नवाचार: यह SGDR पेश करता है, एक फ्रेमवर्क जो चरण-वार कौशल पुन: उपयोग को सक्षम बनाता है। प्रमुख नवाचारों में शामिल हैं:
   • मध्यवर्ती-स्तर के कौशल उत्पन्न करने के लिए स्लाइडिंग-विंडो एक्सट्रैक्शन।
   • पुनर्प्राप्ति सिमेंटिक्स को निष्पादन योग्य क्रियाओं से जोड़ने वाला डुअल टेक्स्ट-कोड रिप्रेजेंटेशन।
   • डायनेमिक रिट्रीवल मैकेनिज्म जो कौशल चयन को कार्य लक्ष्यों और वास्तविक समय की अवस्था अवलोकनों पर आधारित करता है।
3. अनुभवजन्य सत्यापन: इसे दो बैकबोन मॉडल्स (GPT-4.1 और QWEN3-4B) का उपयोग करके पांच डोमेन (Shopping, Admin, Reddit, Gitlab, Map) में WebArena बेंचमार्क पर मूल्यांकित किया गया है।

प्रयोगात्मक परिणाम

प्रयोगों से पता चलता है कि SGDR लगातार मजबूत बेसलाइन्स (Baselines) को पछाड़ता है, जिसमें वैनिला (कोई कौशल नहीं), एजेंट वर्कफ़्लो मेमोरी (AWM), एजेंट स्किल इंडक्शन (ASI), और कॉन्टेक्स्टुअल एक्सपीरियंस रीप्ले (CER) शामिल हैं।

• सफलता दर:
  • GPT-4.1 के साथ, SGDR ने औसतन 37.5% की सफलता दर हासिल की, जो सबसे मजबूत बेसलाइन (CER 33.9%) पर 10.6% सापेक्ष लाभ है।
  • QWEN3-4B के साथ, SGDR ने 24.3% हासिल किया, जो CER (22.1%) पर 10.0% सापेक्ष लाभ है।
  • सुधार पांच में से चार डोमेन में देखे गए, जिसमें एडमिन (ASI के 41.4% के मुकाबले 47.7%) और शॉपिंग में उल्लेखनीय लाभ हुआ।
• निष्पादन दक्षता: SGDR ने कार्यों को पूरा करने के लिए आवश्यक चरणों की औसत संख्या को कम कर दिया। GPT-4.1 के साथ, इसने CER के 6.4 चरणों की तुलना में औसतन 4.8 चरण का उपयोग किया, जो दर्शाता है कि उच्च-स्तरीय कौशल अमूर्तता कई निम्न-स्तरीय ब्राउज़र इंटरैक्शन को प्रभावी ढंग से बदल देती है।
• एब्लेशन स्टडीज (Ablation Studies):
  • रिट्रीवल सिग्नल: कार्य और अवस्था जानकारी को मिलाने ($\alpha=0.5$) से सर्वोत्तम परिणाम मिले, जो केवल कार्य-मात्र या केवल अवस्था-मात्र पुनर्प्राप्ति से बेहतर थे।
  • रीरैंकिंग: MMR रीरैंकिंग ने रेडंडेंसी को कम करके सरल टॉप-$M$ प्रासंगिकता पुनर्प्राप्ति की तुलना में प्रदर्शन में काफी सुधार किया।
  • सूक्ष्मता (Granularity): स्लाइडिंग-विंडो एक्सट्रैक्शन ने पूर्ण-प्रक्षेपवक्र और एकल-क्रिया एक्सट्रैक्शन दोनों से बेहतर प्रदर्शन किया, जो मध्यवर्ती सूक्ष्मता की आवश्यकता की पुष्टि करता है।

महत्व और दावे

यह पेपर दावा करता है कि SGDR स्थिर कार्य-स्तरीय पुन: उपयोग से अनुकूल स्टेट-ग्राउंडेड पुन: उपयोग की ओर एक बदलाव का प्रतिनिधित्व करता है। विकसित होते वेबपेज की अवस्था के साथ कौशल पुनर्प्राप्ति को गतिशील रूप से संरेखित करके, यह विधि एजेंटों को वास्तविक, इंटरैक्टिव वातावरण में संचित प्रक्रियात्मक ज्ञान का बेहतर लाभ उठाने की अनुमति देती है।

लेखक इस कार्य को अधिक यथार्थवादी वेब ऑटोमेशन की दिशा में एक कदम के रूप में देखते हैं, जहाँ एजेंटों को ऐसे कार्यों को संभालना होता है जो क्रमिक रूप से आते हैं और जिनमें निरंतर अनुकूलन की आवश्यकता होती है। यह पद्धति पूर्व-निर्मित ऑफलाइन लाइब्रेरी पर निर्भर नहीं है बल्कि यह "ऑन द फ्लाई" अपनी क्षमताओं को सीखती और परिष्कृत करती है, जो इसे उन तैनाती परिदृश्यों के लिए उपयुक्त बनाती है जहाँ कार्य वितरण बदल सकता है या विकसित हो सकता है। परिणाम बताते हैं कि जटिल वेब वातावरण में भाषा एजेंटों के प्रदर्शन को सुधारने के लिए स्थिर कौशल इंजेक्शन और गतिशील वेब अवस्थाओं के बीच के अंतर को संबोधित करना महत्वपूर्ण है।