Scalable Behaviour Cloning on Browser Using via Skill Distillation
यह शोध पत्र मानव संपर्क प्रक्षेप पथों (trajectories) को एक कौशल ग्राफ के भीतर व्यवस्थित संक्षिप्त, प्रतिग्रहीय प्राकृतिक-भाषा कौशलों में संकुचित करके ब्राउज़र एजेंटों को प्रशिक्षित करने के लिए एक स्केलेबल दृष्टिकोण प्रस्तावित करता है, जिससे मैन्युअल रूप से डिज़ाइन किए गए कार्यों पर निर्भर रहने के बजाय निर्णय लेने की बाधाओं को दूर करने के लिए मौजूदा उपयोगकर्ता डेटा का लाभ उठाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को वेब ब्राउज़र का उपयोग करना सिखाने की कोशिश कर रहे हैं। आप रोबोट को एक विशिष्ट फॉर्म पर "Submit" बटन क्लिक करते हुए किसी इंसान का वीडियो दिखा सकते हैं, और रोबोट ठीक उसी जगह को क्लिक करना सीख सकता है। लेकिन जैसे ही वेबसाइट का लेआउट बदलता है, या बटन दो इंच बाईं ओर खिसक जाता है, रोबोट विफल हो जाता है। यह बिल्कुल वैसा ही है जैसे किसी को एक विशिष्ट कार में स्टीयरिंग व्हील की सटीक स्थिति याद करवाकर गाड़ी चलाना सिखाना; यदि वे किसी दूसरी कार में बैठते हैं, तो वे दुर्घटनाग्रस्त हो जाएंगे।
यह पेपर, BrowserBC, तर्क देता है कि समस्या यह नहीं है कि रोबट बटन क्लिक नहीं कर सकते या अक्षर टाइप नहीं कर सकते। समस्या यह है कि जब वे खो जाते हैं, तो उन्हें क्या करना है, यह नहीं पता होता। उनमें "डिसीजन प्रायर्स" (decision priors) की कमी होती है—यानी वह सहज ज्ञान या सामान्य समझ जो इंसानों में वेबसाइट को नेविगेट करने के बारे में होती है।
यहाँ बताया गया है कि लेखक इसे कैसे हल करते हैं, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: रोबोट "भूलने की बीमारी" (Amnesiac) का शिकार है
वर्तमान AI एजेंट उन पर्यटकों की तरह हैं जो पहले कभी किसी शहर में नहीं गए हैं। वे सड़क के संकेत (वेबपेज) देख सकते हैं और वे चल सकते हैं (क्लिक और टाइप कर सकते हैं), लेकिन उन्हें यह नहीं पता कि शॉर्टकट क्या हैं, कौन से रास्ते बंद हैं, या वे यह कैसे पहचानें कि वे वास्तव में अपने गंतव्य पर पहुँच गए हैं। वे बिना किसी दिशा के भटकते रहते हैं, और तब तक रैंडम चीजें आजमाते रहते हैं जब तक कि उनकी किस्मत चमक न जाए।
लेखक कहते हैं कि हमारे पास इसे ठीक करने के लिए एक विशाल, अनछुआ संसाधन है: इंसानों द्वारा इंटरनेट ब्राउज़ करने में बिताए गए अरबों घंटे। हर बार जब कोई इंसान सफलतापूर्वक एक फॉर्म भरता है या कोई उत्पाद ढूँढता है, तो वे अपनी यात्रा का एक "निशान" (trace) पीछे छोड़ देते हैं।
2. समाधान: "पदचिह्नों" को "निर्देश पुस्तिका" में बदलना
पेपर एक प्रणाली प्रस्तावित करता है जिसे स्किल डिस्टिलेशन (Skill Distillation) कहा जाता है। किसी इंसान के बटन क्लिक करने के कच्चे वीडियो को (जो बहुत अव्यवस्थित और एक क्षण के लिए विशिष्ट होता है) बचाने के बजाय, यह प्रणाली उन कार्यों को नेचुरल लैंग्वेज स्किल्स (Natural Language Skills) में बदल देती है।
इसे इस तरह सोचें:
- रॉ ट्रेस (Raw Trace): एक व्यक्ति का अपने घर से किराने की दुकान तक जाने का वीडियो, जिसमें वह रेड लाइट पर रुकता है, सड़क की दरार से टकराकर लड़खड़ाता है, और दूध खरीदता है। यह बहुत अधिक विशिष्ट है। यदि कल सड़क बंद हो जाती है, तो वह वीडियो बेकार है।
- BrowserBC स्किल: एक लिखित रेसिपी कार्ड जो कहता है: "दूध खरीदने के लिए: स्टोर पर जाएँ, डेयरी विभाग ढूँढें, एक कार्टन उठाएं, और उसकी एक्सपायरी डेट चेक करें। यदि स्टोर बंद है, तो अगले स्टोर पर जाएँ।"
यह "रेसिपी कार्ड" एक स्किल कार्ड (Skill Card) है। इसे इससे फर्क नहीं पड़ता कि सड़कों के नाम क्या हैं या ट्रैफिक लाइट का रंग क्या है। यह कार्य के तर्क (logic) पर ध्यान केंद्रित करता है।
3. लाइब्रेरी: एक "स्किल ग्राफ" (Skill Graph)
यदि आप केवल इन हजारों रेसिपी कार्डों को इकट्ठा कर लेंगे, तो आपके पास कार्डों का एक अस्त-व्यस्त ढेर होगा जहाँ कुछ कहेंगे "दूध खरीदें" और अन्य कहेंगे "डेयरी सेक्शन में जाएँ," जिससे भ्रम पैदा होगा।
लेखक इन कार्डों को एक स्किल ग्राफ में व्यवस्थित करते हैं। एक अच्छी तरह से व्यवस्थित लाइब्रेरी या फ्लोचार्ट की कल्पना करें:
- यदि आपको "फॉर्म भरने" की आवश्यकता है, तो सिस्टम ग्राफ को देखता है और सामान्य "फॉर्म भरें" वाला कार्ड ढूँढ लेता है।
- यदि वह फॉर्म "पेमेंट" के लिए है, तो यह अधिक विशिष्ट "पेमेंट फॉर्म" कार्ड से जुड़ जाता है।
- यदि फॉर्म विफल हो जाता है, तो यह एक "रिकवरी" कार्ड से जुड़ता है जो कहता है, "यदि आपको एरर मिलता है, तो अपना ईमेल एड्रेस चेक करें।"
यह सिस्टम को बिना उलझे स्मार्ट बनने की अनुमति देता है। यह ज्ञान को केवल जमा करने के बजाय उसे समेकित (consolidate) करता है।
4. जादू का नुस्खा: "एक बार निकालें, कम खर्च में उपयोग करें"
यह इस पेपर का सबसे शक्तिशाली हिस्सा है।
- द डिस्टिलर (The Distiller): एक बहुत ही स्मार्ट, महंगी AI (जैसे एक पीएचडी छात्र) एक वेबसाइट ब्राउज़ करते हुए इंसान को देखती है। यह एकदम सटीक "स्किल कार्ड" (रेसिपी) लिखती है।
- द एक्जीक्यूटर (The Executor): एक छोटी, सस्ती, तेज़ AI (जैसे एक हाई स्कूल इंटर्न) को फिर वह कार्ड दिया जाता है ताकि वह वास्तविक काम कर सके।
"पीएचडी छात्र" नियम पुस्तिका बनाने के लिए एक बार कठिन सोच का काम करता है। "इंटर्न" बस उस नियम पुस्तिका का पालन करता है। इसका मतलब है कि आपको हर एक कार्य के लिए सुपर-कंप्यूटर की आवश्यकता नहीं है। आप मानव विशेषज्ञता को एक बार रिकॉर्ड कर सकते हैं और हजारों छोटे, सस्ते रोबोट उस ज्ञान का हमेशा के लिए उपयोग कर सकते हैं।
5. परिणाम: कम भटकना, अधिक सफलता
लेखकों ने वास्तविक वेबसाइटों पर इसका परीक्षण किया और पाया कि "स्किल कार्ड्स" का उपयोग करने वाले एजेंटों ने:
- अधिक कार्यों को हल किया: वे बिना कार्ड वाले एजेंटों की तुलना में लगभग 20% से 35% अधिक बार सफल हुए।
- कम कदम उठाए: वे ज्यादा इधर-उधर नहीं भटके। उन्हें पता था कि कहाँ जाना है।
- गलतियों से उबर गए: जब चीजें गलत हुईं, तो उन्हें पता था कि इसे कैसे ठीक करना है क्योंकि स्किल कार्ड के "रिकवरी" भाग ने उन्हें बताया कि क्या करना है।
- नई वेबसाइटों पर काम किया: क्योंकि कौशल सामान्य भाषा (न कि विशिष्ट निर्देशांक/coordinates) में लिखे गए थे, इसलिए वे वेबसाइट के डिज़ाइन बदलने पर भी काम करते रहे।
सारांश
यह पेपर तर्क देता है कि स्मार्ट वेब एजेंटों का भविष्य उन्हें तेजी से क्लिक करने या बेहतर देखने के बारे में नहीं है। यह उन्हें मानवीय बुद्धिमत्ता की एक लाइब्रेरी देने के बारे में है। मानवीय ब्राउज़िंग इतिहास को साफ, पुन: प्रयोज्य "निर्देश पुस्तिकाओं" में बदलकर, हम रोबोट को इंटरनेट पर नेविगेट करने के लिए उसी सामान्य समझ के साथ सिखा सकते हैं जिसका उपयोग इंसान करते हैं, बिना हर बार सब कुछ नए सिरे से सीखे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।