💬 NLP

Region4Web: Rethinking Observation Space Granularity for Web Agents

यह शोध पत्र Region4Web प्रस्तुत करता है, जो एक ऐसा ढांचा है जो पदानुक्रमित अपघटन (hierarchical decomposition) और एक निरंतर PageDigest पाइपलाइन के माध्यम से वेब एजेंट अवलोकन को तत्व-स्तर (element-level) से कार्यात्मक क्षेत्र-स्तर (functional region-level) की सूक्ष्मता में पुनर्गठित करता है, जिससे विभिन्न LLM बैकबोन पर WebArena बेंचमार्क पर बेहतर कार्य सफलता दर और कम अवलोकन लंबाई प्राप्त होती है।

मूल लेखक: Donguk Kwon, Dongha Lee

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Donguk Kwon, Dongha Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को ऑनलाइन शॉपिंग करना, कोई फॉर्म भरना या यात्रा बुक करना सिखाने की कोशिश कर रहे हैं। इसके लिए, रोबोट को वेबपेज को "देखने" की आवश्यकता होती है। वर्तमान में, रोबोट को पेज का जो दृश्य दिया जाता है, वह एक घर के हर एक ईंट, कील और पेंच की विशाल, अव्यवस्थित सूची की तरह है। उन्हें यह समझने के लिए कि दरवाजा कहाँ है या कौन सी खिड़की खुलती है, हर एक वस्तु को एक-एक करके देखना पड़ता है। यह धीमा है, भ्रमित करने वाला है, और बहुत अधिक मानसिक शक्ति बर्बाद करता है।

पेपर "Region4Web: Rethinking Observation Space Granularity for Web Agents" रोबोट को वेबपेज दिखाने का एक स्मार्ट तरीका प्रस्तावित करता है। बजाय इसके कि उन्हें ईंटों की एक सूची दी जाए, वे उन्हें एक फ्लोर प्लान (मंजिल का नक्शा) देते हैं जो कार्यात्मक क्षेत्रों (functional rooms) को उजागर करता है।

यहाँ उनका समाधान बताया गया है, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: "ईंट-दर-ईंट" वाला दृश्य

वर्तमान में, वेब एजेंट (रोबोट) वेबपेज को हजारों छोटी तत्वों (बटन, टेक्स्ट, इमेज) की एक लंबी, सपाट सूची के रूप में देखते हैं।

उपमा (Analogy): कल्पना कीजिए कि आप एक फिल्म को हर एक फ्रेम, हर एक प्रॉप और हर एक बैकग्राउंड एक्स्ट्रा की सूची पढ़कर समझने की कोशिश कर रहे हैं, बिना यह बताए कि आप किस सीन में हैं। आपको यह अनुमान लगाने के लिए खुद ही अंदाजा लगाना होगा कि "किचन सीन" चल रहा है क्योंकि आप फ्रिज, चूल्हा और मेज देख रहे हैं, बजाय इसके कि आपको बताया जाए, "यह किचन है।"
समस्या: रोबोट को हर एक कदम पर खुद ही यह सारा अनुमान लगाना पड़ता है, जिससे वह धीमा हो जाता है और गलतियाँ करने की संभावना बढ़ जाती है।

2. समाधान: Region4Web (एक "फ्लोर प्लान" बनाने वाला)

लेखकों ने Region4Web नामक एक सिस्टम बनाया है जो रोबोट के देखने से पहले ही वेबपेज को पुनर्गठित कर देता है।

यह कैसे काम करता है: यह तत्वों की अव्यवस्थित सूची को लेता है और उन्हें कार्यात्मक क्षेत्रों (Functional Regions) में समूहित करता है।
उपमा: ईंटों की सूची के बजाय, यह सिस्टम एक फ्लोर प्लान बनाता है। यह कहता है, "ईंटों का यह समूह किचन है (इसका उद्देश्य खाना बनाना है), और इस समूह का नाम लिविंग रूम है (इसका उद्देश्य आराम करना है)।"
जादू: यह केवल उन चीजों को समूहबद्ध नहीं करता जो पास-पास हैं; यह उन्हें समूहबद्ध करता है जो साथ मिलकर काम करते हैं। उदाहरण के लिए, उत्पादों के कार्ड की एक सूची एक समान वस्तुओं के ग्रिड की तरह दिख सकती है, लेकिन Region4Web बता सकता है कि वे व्यक्तिगत उत्पाद (अलग-अलग क्षेत्र) हैं या एक एकल "बेस्ट सेलर्स" शोकेस (एक बड़ा क्षेत्र) हैं। यह प्रत्येक समूह को एक लेबल (उद्देश्य) और एक त्वरित सारांश (स्थिति/स्टेट) देता है कि अभी क्या हो रहा है।

3. वितरण प्रणाली: PageDigest (एक "ब्रीफिंग नोट")

फ्लोर प्लान होने के बाद भी, रोबोट को हर कदम पर पूरे घर का दृश्य दिखाना अभी भी बहुत अधिक जानकारी देना होगा।

समाधान: उन्होंने PageDigest नामक एक पाइपलाइन बनाई है।
उपमा: कल्पना कीजिए कि एक टूर गाइड (रोबोट) एक नए कमरे में प्रवेश करता है। पूरे हवेली के ब्लूप्रिंट दिखाने के बजाय, गाइड उन्हें एक ब्रीफिंग नोट देता है जो केवल उन कमरों को सूचीबद्ध करता है जो वर्तमान कार्य के लिए प्रासंगिक हैं।
- यदि कार्य "जूते खरीदना" है, तो गाइड "शू सेक्शन" और "शॉपिंग कार्ट" को हाइलाइट करेगा, और उनके लिए पूरी जानकारी देगा।
- "हमारे बारे में" (About Us) पेज या "फुटर" (Footer) के लिए, गाइड बस लिखेगा "यह फुटर है, आपको यहाँ देखने की आवश्यकता नहीं है," जिससे जगह बचती है।
अपडेट रहना: यदि रोबोट एक बटन क्लिक करता है और एक ड्रॉपडाउन मेनू दिखाई देता है, तो PageDigest पूरा नोट फिर से नहीं लिखता है। यह बस एक छोटा सा स्टिकी नोट जोड़ देता है: "ओह, यहाँ एक नया मेनू दिखाई दिया है।" यह रोबोट की "टू-डू लिस्ट" को छोटा और प्रबंधनीय रखता है।

4. परिणाम: तेज़ और स्मार्ट

लेखकों ने इसे WebArena (एक सिम्युलेटेड वेब वातावरण जिसमें खरीदारी या मानचित्रों का उपयोग करने जैसे कार्य शामिल हैं) नामक एक बेंचमार्क पर टेस्ट किया।

परिणाम: "ईंट-दर-ईंट" से "कमरा-दर-कमरा" (Region4Web) में स्विच करके और "ब्रीफिंग नोट" (PageDigest) का उपयोग करके:
- रोबोट को पढ़ने के लिए दी जाने वाली जानकारी में 30% से 50% की कमी आई।
- रोबोट वास्तव में कार्य पूरा करने में बेहतर हुआ, और विभिन्न प्रकार के "मस्तिष्क" (लार्ज लैंग्वेज मॉडल्स) में सफलता दर बढ़ी, छोटे से लेकर बहुत बड़े मॉडल्स तक।
- यह तब भी अच्छी तरह काम किया जब रोबोट को अलग-अलग प्रकार के कार्य दिए गए, जिससे साबित हुआ कि पेज के किसी क्षेत्र के कार्य (Function) को समझना, केवल हर बटन को देखने से अधिक महत्वपूर्ण है।

सारांश

संक्षेप में, यह पेपर तर्क देता है कि हमें रोबोट को शब्दकोश (शब्द दर शब्द) की तरह वेबपेज पढ़ना नहीं सिखाना चाहिए। इसके बजाय, हमें उन्हें एक इंसान की तरह पढ़ना सिखाना चाहिए: कार्यात्मक क्षेत्रों (जैसे चेकआउट बटन, सर्च बार, या प्रोडक्ट लिस्ट) को पहचानकर और केवल पेज के उन हिस्सों पर ध्यान केंद्रित करके जो काम के लिए जरूरी हैं। यह रोबोट को तेज़, अधिक कुशल और काम पूरा करने में बेहतर बनाता है।

तकनीकी सारांश: Region4Web और PageDigest

समस्या विवरण

वेब एजेंट अपने परिवेश को एक अवलोकन स्थान (observation space) के माध्यम से देखते हैं, फिर भी इस अवलोकन की सूक्ष्मता (granularity) एक अनछुआ डिज़ाइन विकल्प रही है। मौजूदा दृष्टिकोण आमतौर पर अवलोकन स्थान को क्रिया स्थान (action space) के समान ही तत्व-स्तर की सूक्ष्मता (element-level granularity) पर देखते हैं, जो पृष्ठ को व्यक्तिगत DOM तत्वों (जैसे, AXTree नोड्स) की एक सपाट या पदानुक्रमित सूची के रूप में प्रस्तुत करते हैं। जबकि विशिष्ट क्रियाओं (जैसे, एक विशिष्ट लिंक पर क्लिक करना) को चुनने के लिए तत्व-स्तर की सूक्ष्मता स्वाभाविक है, यह पृष्ठ अवस्था की समझ (page state understanding) के लिए इष्टतम नहीं है।

तत्व-स्तर के अवलोकनों में, पृष्ठ का कार्यात्मक संगठन—कि कैसे तत्वों के समूह "उत्पाद लिस्टिंग," "नेविगेशन मेनू," या "खोज फ़ॉर्म" जैसे साझा उद्देश्यों की पूर्ति करते हैं—अंतर्निहित रहता है। एजेंट को हर चरण में कच्चे तत्व संकेतों से इन कार्यात्मक क्षेत्रों और उनके उद्देश्यों का अनुमान लगाने के लिए मजबूर होना पड़ता है। यह दृष्टिकोण कार्यात्मक इकाइयों को परिभाषित करने वाले संरचनात्मक संकेतों का लाभ उठाने में विफल रहता है और अक्सर अत्यधिक लंबे अवलोकन संदर्भों (observation contexts) का परिणाम देता है जो पृष्ठ के संगठन को अस्पष्ट कर देते हैं। इसके अलावा, एक पृष्ठ के भीतर प्रत्येक चरण में पूर्ण तत्व-स्तर के अवलोकन का पुनर्निर्माण करना अनावश्यक है, क्योंकि अधिकांश क्रियाएं DOM में केवल मामूली बदलाव लाती हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक दो-भाग वाले ढांचे का प्रस्ताव करता है: क्षेत्र-स्तरीय अवलोकन के निर्माण के लिए Region4Web और इन अवलोकनों को कुशलतापूर्वक वितरित करने के लिए PageDigest।

1. Region4Web: क्षेत्र-स्तरीय अवलोकन का निर्माण

Region4Web पृष्ठ के AXTree को कार्यात्मक क्षेत्रों (functional regions) में पुनर्गठित करने के लिए एक दो-चरणीय प्रक्रिया का उपयोग करता है:

पदानुक्रमित अपघटन (Hierarchical Decomposition): यह चरण एकल बॉटम-अप ट्रैवर्सल में AXTree के प्रत्येक पैरेंट-चाइल्ड किनारे (edge) को या तो विलय (merge) या कट (cut) के रूप में वर्गीकृत करता है।
- इनपुट: प्रत्येक नोड $v$ ( $x_v$ ) के लिए एक फीचर वेक्टर जो एक सीखे गए रोल एम्बेडिंग और संख्यात्मक संरचनात्मक विशेषताओं (गहराई, सबट्री आकार, चाइल्ड विविधता, आदि) को जोड़ता है।
- तंत्र: एक EdgeClassifier यह निर्धारित करता है कि क्या एक चाइल्ड नोड को अपने पैरेंट से अलग किया जाना चाहिए। यह पैरेंट की विशेषताओं, चाइल्ड के प्रतिनिधित्व और पैरेंट के सिब्लिंग्स के औसत प्रतिनिधित्व का उपयोग संदर्भ के रूप में करता है। यदि वर्गीकरण स्कोर थ्रेशोल्ड $\tau$ से अधिक होता है, तो किनारे को काट दिया जाता है, जिससे एक नया क्षेत्र सीमा (region boundary) बनती है। अन्यथा, चाइल्ड को पैरेंट के क्षेत्र में मिला दिया जाता है।
- आउटपुट: AXTree का उप-वृक्षों (subtrees) में विभाजन, जहाँ प्रत्येक उप-वृक्ष एक कार्यात्मक क्षेत्र बनाता है।
सिमेंटिक एब्स्ट्रैक्शन (Semantic Abstraction): यह चरण प्रत्येक पहचाने गए क्षेत्र के उद्देश्य को स्पष्ट करने के लिए उसकी व्याख्या करता है।
- तंत्र: एक छोटा, फाइन-ट्यून किया गया लैंग्वेज मॉडल (Qwen3-0.6B) प्रत्येक क्षेत्र के प्रीप्रोसेस्ड AXTree उप-वृक्ष को प्रोसेस करता है।
- आउटपुट: प्रत्येक क्षेत्र के लिए दो ऑर्थोगोनल आयाम:
  1. उद्देश्य ( $p_i$ ): इस क्षेत्र का उच्च-स्तरीय विवरण कि यह किस लिए है (जैसे, "उत्पाद लिस्टिंग," "खोज फ़ॉर्म")।
  2. स्टेट समरी ( $s_i$ ): क्षेत्र के वर्तमान क्रियाशील संदर्भ का एक संक्षिप्त सारांश (जैसे, "हाई-एंड सनग्लासेस के लिए प्रमोशनल शोकेस")।

ये चरण एक प्रोप्रायटरी LLM (GPT-5-mini) द्वारा जनरेट किए गए एनोटेशन के आधार पर प्रशिक्षित छोटे, समर्पित मॉडलों के रूप में कार्यान्वित किए गए हैं।

2. PageDigest: वेब-विशिष्ट इन्फरेंस पाइपलाइन

PageDigest एक पाइपलाइन है जिसे क्षेत्र-स्तरीय अवलोकनों को एक्टर एजेंट को एक कॉम्पैक्ट डाइजेस्ट (compact digest) के रूप में वितरित करने के लिए डिज़ाइन किया गया है जो पृष्ठ के भीतर चरणों में बना रहता है।

कार्य-प्रासंगिक क्षेत्र चयन (Task-Relevant Region Selection): एक नए पृष्ठ में प्रवेश करने पर, एक्टर एजेंट का बैकबोन LLM कार्य निर्देश, एक्शन हिस्ट्री और क्षेत्रों का सेट $\{(p_i, s_i)\}$ ${(p_{i}, s_{i})}$ प्राप्त करता है। मॉडल कार्य-प्रासंगिक क्षेत्रों का चयन करता है।
- चयनित क्षेत्र: क्रिया निष्पादन के लिए तत्व-स्तर की सूक्ष्मता बनाए रखने के लिए इन्हें पूर्ण AXTree उप-वृक्षों के रूप में प्रस्तुत किया जाता है।
- गैर-चयनित क्षेत्र: केवल उनके उद्देश्य सारांश द्वारा प्रतिनिधित्व किया जाता है, जिससे टोकन की अधिकता के बिना पृष्ठ के समग्र संरचनात्मक संदर्भ को बनाए रखा जाता है।
पेज-अवेयर ऑब्जर्वेशन ट्रांजिशन मैनेजमेंट: हर स्टेप पर Region4Web को दोबारा चलाने के बजाय, PageDigest वृद्धिशील परिवर्तनों (incremental changes) को ट्रैक करता है।
- यह पृष्ठ प्रविष्टि के समय के AXTree की तुलना वर्तमान AXTree से करता है ताकि जोड़े गए, हटाए गए या संशोधित नोड्स की पहचान की जा सके।
- अपडेट्स: हटाए गए/संशोधित नोड्स मौजूदा क्षेत्रों के तहत संरचना को अपडेट करते हैं। जोड़े गए नोड्स को अलग से सूचीबद्ध किया जाता है ताकि मौजूदा क्षेत्रों के उद्देश्यों में बदलाव न आए।
- यह दृष्टिकोण पूर्ण पुनर्निर्माण के बिना निरंतरता बनाए रखते हुए अनावश्यक पुनर्निर्माण से बचता है।
फ़ालबैक तंत्र (Fallback Mechanism): यदि एजेंट यह निर्धारित करता है कि चयनित क्षेत्र अपर्याप्त हैं, तो वह सभी क्षेत्रों को उनके पूर्ण AXTree रूप में प्रकट करने के लिए view_all क्रिया को कॉल कर सकता है।

मुख्य योगदान

Region4Web फ्रेमवर्क: एक अभिनव विधि जो पदानुक्रमित अपघटन और सिमेंटिक एब्स्ट्रैक्शन के माध्यम से AXTrees को कार्यात्मक क्षेत्रों में पुनर्गठित करती है, जिससे एजेंट के लिए पृष्ठ का कार्यात्मक संगठन स्पष्ट हो जाता है।
PageDigest पाइपलाइन: एक वेब-विशिष्ट इन्फरेंस तंत्र जो क्षेत्र-स्तरीय अवलोकनों को एक कॉम्पैक्ट, निरंतर डाइजेस्ट के रूप में वितरित करता है, जिससे अवलोकन की लंबाई कम होती है और अवस्था संक्रमण (state transitions) को ट्रैक किया जाता है।
अनुभवजन्य सत्यापन (Empirical Validation): WebArena बेंचमार्क पर व्यापक मूल्यांकन, जो दर्शाता है कि क्षेत्र-स्तरीय अवलोकन विभिन्न बैकबोन LLMs और एजेंट विधियों में कार्य सफलता दर में सुधार करता है और अवलोकन की लंबाई को कम करता है।

परिणाम

WebArena बेंचमार्क (5 डोमेन में 812 कार्य: शॉपिंग, CMS, Reddit, GitLab, Map) पर मूल्यांकित किए गए प्रस्तावित तरीकों ने निम्नलिखित परिणाम दिए:

अवलोकन लंबाई में कमी: PageDigest ने चार अलग-अलग बैकब론 LLMs (GPT-5.1, Gemini 3.1 Flash-Lite, DeepSeek-V3.2, Qwen3.5-27B) में औसत अवलोकन टोकन लंबाई को काफी कम कर दिया (43%, 6,437 से घटकर 3,671 टोकन)। यह कमी बैकबोन के आधार पर 16% से 54% तक थी।
कार्य सफलता दर (SR) में सुधार: कम संदर्भ के बावजूद, PageDigest ने कुल कार्य सफलता दर में औसतन 2.3 प्रतिशत अंक का सुधार किया।
- उदाहरण के लिए, GPT-5.1 के साथ, SR 45.2% से बढ़कर 47.5% हो गया।
- Qwen3.5-27B के साथ, SR 38.2% से बढ़कर 39.9% हो गया।
सामान्यीकरण (Generalizability): सुधार विभिन्न क्षमताओं वाले प्रोप्रायटरी और ओपन-सोर्स मॉडलों के साथ-साथ स्थापित एजेंट विधियों (SteP और AgentOccam) में भी देखे गए, जो इंगित करता है कि क्षेत्र-स्तरीय अवलोकन मॉडल की शक्ति से स्वतंत्र होकर पृष्ठ अवस्था की समझ के लिए एक पूरक संकेत प्रदान करता है।
एब्लेशन अध्ययन (Ablation Studies):
- केवल Region4Web ने तुलनीय अवलोकन लंबाई के साथ SR में सुधार (48.5% $\to$ 50.3%) किया, जो पुष्टि करता है कि कार्यात्मक क्षेत्र समझ में सहायता करते हैं।
- केवल PageDigest (Region4Web के बिना, तत्व-स्तर के चयन के साथ) ने SR को कम कर दिया (48.5% $\to$ 46.1%), जिससे पता चलता है कि तत्व-स्तर का प्रसंस्करण संपीड़न के साथ भी प्रदर्शन में बाधा डालता है।
- संयुक्त रूप: पूर्ण PageDigest पाइपलाइन ने सबसे कम अवलोकन लंबाई (3,814 टोकन) के साथ उच्चतम SR (53.9%) प्राप्त किया।
विफलता विश्लेषण: 50 विफल प्रक्षेप पथों (trajectories) के विश्लेषण से पता चला कि 82.0% विफलताएं बैकबोन एजेंट की क्रिया चयन क्षमताओं के कारण थीं, जबकि केवल 8.0% विफलताएं PageDigest पाइपलाइन (अपघटन, एब्स्ट्रैक्शन, या चयन त्रुटियों) के कारण थीं। यह दर्शाता है कि पाइपलाइन डिज़ाइन के अनुसार विश्वसनीय रूप से कार्य करती है।

महत्व और दावे

यह शोध पत्र तर्क देता है कि अवलोकन की सूक्ष्मता (observation granularity) वेब एजेंटों के लिए एक महत्वपूर्ण, बल्कि कम जांचा गया डिज़ाइन विकल्प है। तत्व-स्तर से कार्यात्मक क्षेत्र-स्तर के अवलोकन में स्थानांतरित होकर, लेखक सिद्ध करते हैं कि:

स्पष्ट संगठन: पृष्ठ के कार्यात्मक संगठन को स्पष्ट करना (क्षेत्रों और उद्देश्यों के माध्यम से) कच्चे तत्वों से अनुमान लगाने की तुलना में पृष्ठ अवस्था की समझ के लिए अधिक सूचनात्मक आधार प्रदान करता है।
दक्षता और प्रदर्शन: क्षेत्र-स्तरीय अवलोकन एक अधिक कॉम्पैक्ट संदर्भ की अनुमति देता है जो सफलता दर को कम नहीं करता है, बल्कि वास्तव में उसमें सुधार करता है।
डिकपलिंग (Decoupling): यह दृष्टिकोण अवलोकन डिज़ाइन को मॉडल क्षमता और क्रिया नीति (action policy) से अलग करता है, जो अंतर्निहित LLM की क्षमता के बावजूद अधिक कुशल वेब एजेंटों के लिए एक मार्ग प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि कार्यात्मक क्षेत्रों की सूक्ष्मता पर कार्य करना, तत्व-स्तर के प्रसंस्करण की तुलना में निर्णय लेने के लिए अधिक कॉम्पैक्ट और सूचनात्मक आधार प्रदान करता है, जो इस परिकल्पना को मान्य करता है कि एजेंट वेब को कैसे "देखता" है यह उतना ही महत्वपूर्ण है जितना कि वह इसके बारे में कैसे "सोचता" है।