तकनीकी सारांश: गुणवत्ता-विविधता वाले वेब एजेंट इमिटेशन के लिए स्पेक्युलेटिव रोलबैक करेक्शन (Speculative Rollback Correction)

1. समस्या विवरण

इंटरैक्टिव वेब और GUI एजेंटों को इमिटेशन लर्निंग (Imitation Learning) के माध्यम से प्रशिक्षित करने में कंपाउंडिंग एरर्स (Compounding Errors) और समाधान विविधता (Solution Diversity) के बीच एक मौलिक तनाव बना रहता है।

• कंपाउंडिंग एरर्स (एक्सपोज़र बायस): मानक व्यवहार क्लोनिंग (Behavior Cloning) विशेषज्ञ प्रक्षेपवक्र (Expert Trajectories) पर प्रशिक्षण लेती है, लेकिन तैनाती के दौरान एजेंट अपने स्वयं के कार्यों द्वारा प्रेरित अवस्थाओं (States) पर कार्य करता है। लंबे समय तक चलने वाले इंटरैक्टिव वातावरणों में, एक प्रारंभिक गलती (जैसे, गलत तत्व पर क्लिक करना) एजेंट को विशेषज्ञ के पथ से बहुत दूर की अवस्था में धकेल देती है, जिससे बाद के विशेषज्ञ प्रदर्शन अप्रासंगिक हो जाते हैं और विफलता का कारण बनते हैं।
• विविधता बनाम कठोरता का ट्रेड-ऑफ (The Diversity vs. Rigidity Trade-off): जबकि मानक ऑनलाइन सुधार विधियाँ (जैसे DAgger) एक्सपोज़र बायस को कम करती हैं, वे अक्सर एजेंटों को एक ही "शिक्षक-पसंद" प्रक्षेपवक्र की ओर धकेल देती हैं। हालाँकि, कई GUI कार्यों में कई वैध समाधान पथ होते हैं (जैसे, खोज, ब्राउज़िंग, या विभिन्न मेनू क्रमों के माध्यम से)। अत्यधिक सुधार इन वैध विकल्पों को एक कठोर मोड में संकुचित कर देता है, जबकि कम सुधार लूप्स और निम्न-गुणवत्ता वाली खोज की अनुमति देता है।
• ग्रैनुलैरिटी चुनौती (The Granularity Challenge): मौजूदा सुधार रणनीतियाँ हस्तक्षेप के समय (Timing of Intervention) के साथ संघर्ष करती हैं। तत्काल स्टेप-लेवल पर्यवेक्षण महंगा है और उपयोगी अन्वेषण में बाधा डालता है, जबकि पोस्ट-होक सुधार (एक पूर्ण प्रक्षेपवक्र विफल होने के बाद) डेटा-अक्षम है क्योंकि एजेंट पहले ही सुधारा जा सकने वाली अवस्था से बहुत दूर जा चुका होता है।

2. कार्यप्रणाली: स्पेक्युलेटिव रोलबैक करेक्शन (SRC)

लेखक स्पेक्युलेटिव रोलबैक करेक्शन (SRC) का प्रस्ताव करते हैं, जो रिसेटेबल (Resettable) GUI वातावरणों के लिए डिज़ाइन किया गया एक ब्रांच-लेवल इमिटेशन फ्रेमवर्क है। SRC उन तीन अलग-अलग भूमिकाओं को अलग करता है जो अक्सर विशेषज्ञ सुधार में आपस में मिल जाती हैं: स्थानीय प्रगति निर्णय (Local Progress Judgment), अंतिम सफलता सत्यापन (Final Success Verification), और गुणवत्ता-विविधता क्यूरेशन (Quality-Diversity Curation)।

मुख्य तंत्र (Core Mechanism)

1. फिक्स्ड-होराइजन ब्रांच रिव्यू: प्रत्येक स्टेप पर शिक्षक से पूछने के बजाय, छात्र एजेंट $K$ कार्यों का एक "स्पेक्युलेटिव ब्रांच" (एक छोटा क्षितिज/Horizon) निष्पादित करता है।
2. टीचर रिव्यूअर (स्थानीय प्रगति): ब्रांच निष्पादित होने के बाद, एक शिक्षक समीक्षक यह मूल्यांकन करता है कि क्या ब्रांच लक्ष्य की ओर स्थानीय प्रगति को बनाए रखती है।
   • स्वीकार (Accept): यदि ब्रांच वैध है (भले ही वह मानक विशेषज्ञ पथ से विचलित हो), तो सभी कार्यों को प्रतिबद्ध (Commit) किया जाता है।
   • अस्वीकार (Reject): यदि ब्रांच में कोई हानिकारक विचलन है (जैसे, लूप में प्रवेश करना, गलत पेज, या अपरिवर्तनीय अवस्था), तो शिक्षक सबसे पहले हानिकारक इंडेक्स $j$ की पहचान करता है।
3. रोलबैक और सुधार (Rollback and Correction):
   • वातावरण को हानिकारक क्रिया $j$ से ठीक पहले की अवस्था में रीसेट किया जाता है।
   • उपयोगी प्रीफिक्स (क्रियाएं $0$से$j-1$) को सुरक्षित रखा जाता है।
   • एक शिक्षक सुधारक (Teacher Corrector) रिकवर की गई अवस्था के लिए एक एकल सुधारात्मक क्रिया प्रदान करता है।
   • एजेंट इस सुधारात्मक अवस्था से निष्पादन फिर से शुरू करता है।
4. मल्टी-लीफ कलेक्शन (Multi-Leaf Collection): विविधता बनाए रखने के लिए, अस्वीकृत छात्र निरंतरता (Student Continuations) को पूरी तरह से हटाया नहीं जाता है। यदि "फोर्क बजट" अनुमति देता है, तो इन अस्वीकृत शाखाओं को अलग तार्किक लीव्स (Logical Leaves) के रूप में माना जाता है, उन्हें पूरा होने तक चलाया जाता है, और स्वतंत्र रूप से सत्यापित किया जाता है।
5. क्वालिटी-डाइवर्सिटी (QD) आर्काइव: सफल प्रक्षेपवक्यों को एक हार्ड वेरीफायर द्वारा फ़िल्टर किया जाता है और एक लाइटवेट आर्काइव में संग्रहीत किया जाता है।
   • गुणवत्ता प्रतिबंध (Quality Constraints): प्रक्षेपवक्यों को वेरीफायर पास करना चाहिए और दक्षता संबंधी बाधाओं (जैसे, अधिकतम लंबाई, अधिकतम बार-बार की जाने वाली क्रियाएं, अधिकतम हस्तक्षेप) को पूरा करना चाहिए।
   • विविधता डिस्क्रिप्टर्स (Diversity Descriptors): प्रक्षेपवक्यों को व्यवहार डिस्क्रिप्टर्स (जैसे, पथ की लंबाई, प्रमुख क्रिया प्रकार, हस्तक्षेप संख्या) द्वारा बिन (Bin) किया जाता है। आर्काइव विभिन्न बिनों से उच्च-गुणवत्ता वाले 'एलीट' को रखता है, यह सुनिश्चित करता है कि प्रशिक्षण डेटा एक एकल सबसे छोटे पथ के बजाय कई समाधान मोड को कवर करता है।

प्रशिक्षण उद्देश्य (Training Objective)

अंतिम प्रशिक्षण सेट ($D_{sft}$) निम्नलिखित का मिश्रण है:

• लोकलाइज्ड करेक्शन्स ($D_{corr}$): रोलबैक बिंदुओं से प्राप्त नेक्स्ट-एक्शन लेबल्स (छात्र अवस्था $\to$ शिक्षक सुधार)।
• आर्काइव्ड प्रक्षेपवक्य ($D_{arc}$): आर्काइव में सत्यापित, विविध सफल प्रक्षेपवक्यों से निकाले गए नेक्स्ट-एक्शन लेबल्स।
  मॉडल को इस मिश्रण पर मानक नेक्स्ट-एक्शन सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से प्रशिक्षित किया जाता है, बिना रिवॉर्ड मॉडलिंग या प्रेफरेंस ऑप्टिमाइज़ेशन के।

3. मुख्य योगदान

1. व्यवस्थित DAgger अनुकूलन: विजुअल, लॉन्ग-होरिजन GUI और वेब एजेंटों के लिए विशेष रूप से डिज़ाइन किया गया पहला व्यवस्थित DAgger-शैली का ऑनलाइन एक्सपर्ट करेक्शन कार्यान्वयन, जो वास्तविक इंटरैक्शन परिदृश्यों में कंपाउंडिंग एरर की समस्या को संबोधित करता है।
2. स्पेक्युलेटिव रोलबैक मैकेनिज्म: एक नवीन ब्रांच-लेवल ट्रेनिंग रणनीति जो प्रशिक्षण स्थिरता और मल्टी-सॉल्यूशन लर्निंग के बीच संतुलन बनाती है। स्पेक्युलेटिव शॉर्ट-ब्रांच रोलआउट और सटीक मिनिमल रोलबैक का उपयोग करके, यह वैध छात्र अन्वेषण को सुरक्षित रखता है जबकि स्टेट ड्रिफ्ट (State Drift) को रोकता है।
3. क्वालिटी-डाइवर्सिटी डेटा क्यूरेशन: एक फ्रेमवर्क जो स्थानीय प्रगति निर्णय को अंतिम सफलता सत्यापन से अलग करता है, जिससे कई वेरीफायर-पासिंग समाधान पथों का संग्रह संभव होता है जो कुशल और व्यवहारिक रूप से भिन्न हैं।

4. प्रायोगिक परिणाम

लेखकों ने WebArena-Infinity, WebArena-Lite, और एक OSWorld सबसेट पर SRC का मूल्यांकन किया।

• प्रदर्शन लाभ: अंतिम टीचर-फ्री SRC मॉडल ने सभी बेंचमार्क पर बेसलाइन एक्सपर्ट SFT को काफी पीछे छोड़ दिया:
  • WebArena-Infinity: +9.7% सफलता दर (SR) सुधार (Expert SFT के 25.3% के मुकाबले 35.0%)।
  • WebArena-Lite: +3.5% SR सुधार।
  • OSWorld सबसेट: +12.9% SR सुधार, जो मजबूत क्रॉस-डोमेन सामान्यीकरण का सुझाव देता है।
• दक्षता बनाम लागत: SRC ने स्टेप-लेवल करेक्शन (LEAP-शैली) या रैंडम स्विचिंग (OEC-शैली) की तुलना में कम शिक्षक प्रश्नों के साथ उच्च सफलता दर प्राप्त की।
  • रिव्यू होराइजन एब्लेशन: $K=3$ के होराइजन ने सबसे अच्छा ट्रेड-ऑफ प्रदान किया, जिसने स्टेप-लेवल ($K=1$) की तुलना में कम प्रश्नों के साथ 51.9% एग्रीगेट SR प्राप्त किया और लंबे होराइजन ($K=7$) की तुलना में बेहतर रिकवरी प्रदान की।
• डेटा संरचना: प्रशिक्षण डेटा शिक्षक हस्तक्षेप द्वारा हावी नहीं था; केवल ~14.2% उदाहरण रोलबैक सुधारों से आए थे, जबकि अधिकांश स्वीकृत छात्र शाखाओं से आए थे।
• विविधता संरक्षण: संग्रह राउंड के दौरान आर्काइव कवरेज 147 से बढ़कर 259 विशिष्ट व्यवहार बिन हो गया, जो पुष्टि करता है कि यह विधि एक एकल पथ में सिमटने के बजाय विविध समाधान मोड को बनाए रखती है।

5. महत्व और दावे

यह पेपर दावा करता है कि SRC विजुअल इंटरैक्शन परिदृश्यों के लिए इंटरैक्टिव इमिटेशन लर्निंग में एक लंबे समय से चले आ रहे अंतर को भरता है। इसका महत्व यहाँ है:

• एक्सपोज़र बायस को कम करना: केवल विशेषज्ञ अवस्थाओं (विशेषज्ञ के पथ के बजाय) से सीखने के माध्यम से (रोलबैक और सुधार के माध्यम से), यह स्वाभाविक रूप से मानक व्यवहार क्लोनिंग में निहित कंपाउंडिंग एरर की समस्या को संबोधित करता है।
• स्थिरता और विविधता को संतुलित करना: यह त्रुटि संचय को रोकने और GUI कार्यों में निहित कई वैध समाधान पथों को संरक्षित करने के बीच के ट्रेड-ऑफ को हल करता है।
• स्केलेबिलिटी: यह फ्रेमवर्क मॉडल और मोडैलिटी-अग्नोस्टिक (Modality-agnostic) है, जो एजेंटों को निष्क्रिय इमिटेशन से स्वायत्त, विश्वसनीय निष्पादन तक विकसित करने के लिए एक सामान्य प्रशिक्षण प्रतिमान के रूप में कार्य करता है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें उल्लेख है कि वर्तमान में यह विधि रिसेटेबल वातावरण मानती है (जो गैर-रिसेटेबल वर्कफ़्लो के अनुप्रयोग को सीमित करती है) और एक निश्चित रिव्यू होराइजन $K$ का उपयोग करती है, जो सभी उप-कार्यों के लिए इष्टतम नहीं हो सकता है। भविष्य के कार्य के रूप में कार्य संरचना के आधार पर अनुकूलित (Adaptive) ब्रांच रिव्यूज का सुझाव दिया गया है।