🤖 AI

Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining

यह शोध पत्र एक नैदानिक अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि जबकि इंटरेक्शन ट्रेजेक्टरी माइनिंग कंप्यूटर का उपयोग करने वाले एजेंटों के लिए पठनीय और उच्च-शुद्धता वाली स्किल लाइब्रेरी जेनरेट कर सकती है, वर्तमान दृष्टिकोण सीमा पहचान (बाउंड्री डिटेक्शन), सेगमेंट प्रतिनिधित्व और ऑफलाइन रिवॉर्ड मॉडलिंग की सीमाओं के कारण इन अंतर्दृष्टि को विश्वसनीय क्रॉस-डोमेन पॉलिसी सुधारों में बदलने में विफल रहता है।

मूल लेखक: Yuexing Hao, Xiaomin Li

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuexing Hao, Xiaomin Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक रोबोट सहायक है जो एक इंसान की तरह कंप्यूटर का उपयोग कर सकता है: क्लिक करना, टाइप करना, स्क्रॉल करना और कॉपी करना। इस रोबोट को अधिक स्मार्ट बनाने के लिए, हम अक्सर इसे एक "चीट शीट" देते हैं जिसे SKILL.md कहा जाता है। इस चीट शीट को एक रेसिपी बुक (नुस्खों की किताब) की तरह समझें। रोबोट को यह बताने के बजाय कि "यहाँ क्लिक करो, फिर वहाँ टाइप करो," यह किताब कहती है: "यहाँ 'ईमेल भेजने' या 'फाइल सेव करने' का तरीका दिया गया है।" ये पहले से तैयार किए गए कौशल (skills) हैं जो रोबोट के काम को समझने और ठीक करने में आसान बनाते हैं।

आमतौर पर, इंसानों को इन रेसिपी बुक्स को हाथ से लिखना पड़ता है। लेकिन क्या होगा अगर हम रोबोट को यह सिखा सकें कि वह लोगों को कंप्यूटर इस्तेमाल करते हुए देखकर अपनी खुद की रेसिपी बुक कैसे लिखे? यह शोध बिल्कुल यही करने की कोशिश कर रहा है।

प्रयोग: एक रोबोट को अपनी खुद की कुकबुक लिखना सिखाना

शोधकर्ताओं ने कंप्यूटर उपयोग के कच्चे डेटा (raw data) को एक रेसिपी बुक में बदलने के लिए एक तीन-चरणीय मशीन बनाई:

वीडियो को काटना (Cutting the Video): कल्पना कीजिए कि आप किसी को काम करते हुए देखते हुए एक लंबा वीडियो देख रहे हैं। मशीन "सीन बदलावों" (scene changes) को खोजने की कोशिश करती है। यदि व्यक्ति अचानक टाइप करना बंद कर देता है और स्क्रॉल करना शुरू कर देता है, तो मशीन वीडियो को वहीं से काट देती है, यह सोचते हुए, "ठीक है, यह एक कार्य था; अब वे एक नया कार्य शुरू कर रहे हैं।"
दृश्यों को समूहबद्ध करना (Grouping the Scenes): मशीन इन छोटे वीडियो क्लिप्स को लेती है और समान दिखने वाले क्लिप्स को एक साथ रखने की कोशिश करती है। यदि 50 क्लिप्स "कॉपी और पेस्ट" करने से संबंधित हैं, तो वह उन्हें "डेटा ट्रांसफर" लेबल वाले एक बकेट (bucket) में डाल देती है। इसके बाद, वह प्रत्येक बकेट के लिए एक डिजिटल "फिंगरप्रिंट" बनाती है ताकि रोबोट बाद में उन्हें पहचान सके।
रोबोट को प्रशिक्षित करना (Training the Robot): अंत में, वे रोबोट को इन बकेट्स का उपयोग करके एक नई पॉलिसी (नियमों का एक सेट) सिखाते हैं। लक्ष्य यह देखना है कि क्या रोबोट एक नए कार्य को देखकर कह सकता है, "सबसे पहले, मुझे 'सर्च' स्किल का उपयोग करना चाहिए, फिर 'कॉपी' स्किल का," और क्या वह वास्तव में पहले से बेहतर तरीके से इसे कर पाता है।

परिणाम: एक मिला-जुला अनुभव

परिणाम थोड़े वैसे ही थे जैसे किसी सुंदर द्वीप की ओर ले जाने वाले खजाने के नक्शे का मिलना, लेकिन आपने जो नाव बनाई है वह बहुत अच्छी तरह से नहीं चलती।

अच्छी खबर: नक्शा पठनीय है
जिस विशिष्ट डेटासेट (जिसे "IW" कहा जाता है) का उपयोग उन्होंने नक्शा बनाने के लिए किया था, उस पर मशीन ने डेटा को व्यवस्थित करने में बहुत अच्छा काम किया। आठ में से पांच "बकेट्स" बहुत शुद्ध थे। उदाहरण के लिए, एक बकेट लगभग पूरी तरह से "दस्तावेज़ संपादन" (Document Editing) कार्यों से बना था, और दूसरा पूरी तरह से "संदेश भेजने" से संबंधित था।

उपमा: यह ऐसा है जैसे आपने एक रोबट को कपड़ों के मिले-जुले ढेर को छाँटने के लिए कहा, और उसने सफलतापूर्वक सभी मोज़ों को एक टोकरी में और सभी शर्टों को दूसरी टोकरी में डाल दिया। छंटाई स्पष्ट थी और इंसानों के लिए समझना आसान था।

बुरी खबर: नाव नहीं चलती
यहाँ पेचीदा बात यह है: केवल इसलिए कि रोबोट ने कपड़े छाँटने में अच्छा काम किया, इसका मतलब यह नहीं है कि वह उन्हें पहनना भी जानता है।

ट्रांसफर की समस्या (The Transfer Problem): जब उन्होंने इन सॉर्ट किए गए कौशलों को नए कार्यों (अलग वेबसाइटों या अलग प्रकार के काम) पर आज़माया, तो रोबोट में कोई सुधार नहीं हुआ। वास्तव में, कभी-कभी यह थोड़ा और खराब भी हो गया।
"फ्रीक्वेंसी" का आश्चर्य: शोधकर्ताओं ने रोबोट का परीक्षण एक बहुत ही सरल, मूर्ख आधार रेखा (baseline) के विरुद्ध किया: एक "फ्रीक्वेंसी प्रायर" (Frequency Prior)। यह बस एक नियम है जो कहता है, "जो कौशल पहले सबसे अधिक बार उपयोग किया गया था, उसे ही फिर से करें।" आश्चर्यजनक रूप से, इस साधारण नियम ने रोबोट के जटिल, सीखे हुए कौशलों को भी पीछे छोड़ दिया।
- उपमा: कल्पना कीजिए कि आप एक नई भाषा सीखने की कोशिश कर रहे हैं। आप एक जटिल व्याकरण की किताब पढ़ते हैं (रोबोट के कौशल), लेकिन आप गलतियाँ करते रहते हैं। वहीं, आपका दोस्त कल सुनी गई सबसे आम बात ("नमस्ते") को दोहराता है, और इस विशिष्ट परीक्षण में वह आपसे बेहतर संवाद कर लेता है।

यह क्यों विफल हुआ?
पेपर कुछ कारणों का सुझाव देता है कि रोबोट की "रेसिपी बुक" उसे बेहतर खाना पकाने में मदद क्यों नहीं कर पाई:

क्रम को भूल जाना (Missing the Order): मशीन ने कार्यों को उनके प्रकार (क्लिक, टाइप) के आधार पर समूहबद्ध किया, लेकिन वह क्रम को भूल गई। उसे पता था कि "क्लिक" और "पेस्ट" एक ही बकेट में हैं, लेकिन उसे यह याद नहीं रहा कि आपको पेस्ट करने से पहले क्लिक करना होता है। यह केक बनाने के लिए सामग्री के बैग जैसा है, लेकिन यह भूल जाना कि मिश्रण को किस क्रम में मिलाना है।
गलत कट (Wrong Cuts): मशीन कभी-कभी "वीडियो" को गलत जगहों पर काट देती थी। वह शायद टाइपिंग में लंबे अंतराल को एक नया कौशल समझ लेती थी, जबकि वह उसी कौशल का निरंतर हिस्सा था।
रिवॉर्ड सिस्टम (The Reward System): रोबोट को प्रशिक्षित करने के लिए उपयोग किया गया सिस्टम (जिसे GR0 कहा जाता है) फीडबैक देने में बहुत अच्छा नहीं था। यह एक ऐसे कोच की तरह था जो विशिष्ट सुधारों के बजाय अस्पष्ट प्रशंसा देता है।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर एक डायग्नोस्टिक स्टडी (नैदानिक अध्ययन) है, जिसका अर्थ है कि यह किसी बड़ी जीत का दावा करने के बजाय इस बात पर अधिक केंद्रित है कि कोई चीज़ पूरी तरह से क्यों काम नहीं कर पाई।

क्या काम किया: हम कंप्यूटर उपयोग के डेटा को स्वचालित रूप से निकालकर कौशलों की एक पठनीय, व्यवस्थित सूची बना सकते हैं जिसे इंसान समझ सकते हैं।
क्या काम नहीं किया: उस सूची को एक ऐसे रोबोट में बदलना जो उन कौशलों का उपयोग करके नई समस्याओं को हल कर सके, बहुत कठिन है। वर्तमान विधि एक साधारण "सबसे सामान्य क्रिया का अनुमान लगाने" वाली रणनीति से बेहतर नहीं रही।

लेखक निष्कर्ष निकालते हैं कि हालांकि हमारे पास यह देखने का एक अच्छा तरीका है कि लोग कैसे काम करते हैं, लेकिन हमने अभी तक यह नहीं सुलझाया है कि उस संरचना को रोबोट के लिए एक विश्वसनीय, हस्तांतरणीय कौशल सेट में कैसे बदला जाए। "रेसिपी बुक" मौजूद है, लेकिन रोबोट को अपने दम पर खाना पकाने में सक्षम होने के लिए अभी और अभ्यास की आवश्यकता है।

तकनीकी सारांश: इंटरैक्शन ट्राजेक्टरी माइनिंग के माध्यम से कंप्यूटर-उपयोग करने वाले एजेंटों के लिए SKILL.md जनरेशन को स्वचालित करना

समस्या विवरण
कंप्यूटर-उपयोग करने वाले एजेंट (CUAs) ग्राफिकल यूजर इंटरफेस (GUIs) पर प्रिमिटिव एक्शन्स (क्लिक करना, टाइप करना, स्क्रॉल करना) के माध्यम से कार्य करते हैं। जैसे-जैसे ये एजेंट सिंगल-स्टेप कार्यों से जटिल वर्कफ़्लो की ओर बढ़ते हैं, बार-बार दोहराए जाने वाले पैटर्न उभरते हैं जिन्हें "स्किल्स" (skills) के रूप में पैक किया जा सकता है—जो प्रिमिटिव एक्शन्स के ऊपर लेकिन पूर्ण टास्क प्लान के नीचे स्थित नामित प्रक्रियाओं के रूप में होते हैं। जबकि स्पष्ट स्किल लाइब्रेरी (जिसे यहाँ SKILL.md फाइलों के रूप में संदर्भित किया गया है) निरीक्षण और डिबगिंग की सुविधा प्रदान करती है, वे आमतौर पर हाथ से लिखी जाती हैं, जो नामकरण, स्कोपिंग और इंटरफेस के विकास के साथ अपडेट करने में एक बाधा उत्पन्न करती हैं।

इस कार्य का केंद्रीय प्रश्न यह है कि क्या डाउनस्ट्रीम एजेंट पॉलिसियों को बेहतर बनाने के लिए इंटरैक्शन ट्राजेक्टरीज से स्पष्ट स्किल लाइब्रेरीज़ को स्वचालित रूप से माइन किया जा सकता है। लेखक क्रियाओं के सुसंगत क्लस्टर्स को खोजने (discover) की क्षमता और उन क्लस्टर्स को नए कार्यों के लिए उपयोगी पॉलिसी में स्थानांतरित (transfer) करने की क्षमता के बीच अंतर स्पष्ट करते हैं। वे नोट करते हैं कि एक क्लस्टर सुसंगत हो सकता है बिना उपयोगी हुए, और पॉलिसी सुधार डेटा की मात्रा में वृद्धि से हो सकते हैं न कि एक हस्तांतरणीय स्किल शब्दावली के अधिग्रहण से।

कार्यप्रणाली (Methodology)
पेपर InteraSkill (IW) डेटासेट से स्किल्स को माइन करने और उनकी उपयोगिता का मूल्यांकन करने के लिए एक तीन-चरणीय पाइपलाइन प्रस्तावित करता है:

चरण 1: ट्राजेक्टरी सेगमेंटेशन (बाउंड्री डिटेक्शन)
- पाइपलाइन "एक्शन जम्प्स" के आधार पर ट्राजेक्टरीज को सेगमेंट करती है। यह आसन्न एक्शन वेक्टर्स के बीच यूक्लिडियन डिस्टेंस ( $\Delta a_t = \|a_t - a_{t-1}\|_2$ ) की गणना करती है।
- एक थ्रेशोल्ड $\theta$ को मैक्सिमम बाउंड्री F1 प्राप्त करने के लिए होल्ड-आउट IW डेटा पर चुना जाता है। यदि $\Delta a_t > \theta$ , तो एक बाउंड्री मार्क की जाती है।
- एक्शन वेक्टर्स में 15 नॉर्मलाइज्ड फीचर्स (प्रिमिटिव एक्शन वन-हॉट, स्क्रीन कोऑर्डिनेट्स, टाइमस्टैम्प, टेक्स्ट लेंथ, स्क्रॉल अमाउंट) शामिल हैं लेकिन इनमें DOM या स्क्रीनशॉट डेटा शामिल नहीं है।
चरण 2: स्किल एम्बेडिंग (लाइब्रेरी कंस्ट्रक्शन)
- सेगमेंट रिप्रेजेंटेशन: प्रत्येक सेगमेंट को उसके एक्शन वेक्टर्स के मीन ( $\mu$ ) और डायगोनल वेरिएंस ( $\Sigma$ ) का उपयोग करके एक "बैग-ऑफ-एक्शन्स" के रूप में संक्षेपित किया जाता है। यह रिप्रेजेंटेशन लेंथ-इनवेरिएंट है लेकिन अनुक्रमिक क्रम (जैसे क्लिक-बिफोर-टाइप बनाम टाइप-बिफोर-क्लिक) को हटा देता है।
- क्लस्टरिंग: सेगमेंट को उनके मीन/वेरिएंस प्रोफाइल्स के बीच स्क्वेर्ड बयर्स डिस्टेंस (डायगोनल गासियन के लिए 2-वॉसरस्टीन डिस्टेंस का एक विशेष मामला) का उपयोग करके क्लस्टर किया जाता है। $k=8$ से $16$ के साथ एग्लॉमेरेटिव क्लस्टरिंग की जाती है।
- रिफाइनमेंट: क्लस्टर असाइनमेंट्स को स्यूडो-लेबल्स के रूप में उपयोग करके एक सुपरवाइज्ड-कॉन्ट्रास्टिव एनकोडर (MLP) को प्रशिक्षित किया जाता है। यह एम्बेडिंग्स को और अधिक आंतरिक रूप से सुसंगत बनाने के लिए रिफाइन करता है, जो 30-डायमेंशनल इनपुट्स (मीन + वेरिएंस) को 16-डायमेंशनल लेटेंट स्पेस में मैप करता है।
चरण 3: स्किल-अवेयर पॉलिसी ट्रेनिंग
- माइन किए गए स्किल लेबल्स का उपयोग स्किल-सीक्वेंस कंपोजिशन (टास्क कॉन्टेक्स्ट दिए गए होने पर अगला स्किल लेबल प्रेडिक्ट करना) के लिए पॉलिसी को प्रशिक्षित करने के लिए किया जाता है।
- बेसलाइन्स: सिंपल MLP और ट्रांसफॉर्मर मॉडल सीखे गए सेगमेंट एम्बेडिंग्स का उपभोग करते हैं।
- मुख्य पॉलिसी: Qwen3-8B को बेस मॉडल से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करके प्रशिक्षित किया जाता है। रिवॉर्ड मॉडल फुल स्किल-अवेयर रिस्पॉन्स को स्कोर करता है, और पॉलिसी को बिना सुपरवाइज्ड वॉर्म स्टार्ट के अपडेट किया जाता है।
- मूल्यांकन: प्राथमिक मेट्रिक स्किल-स्टेप एक्यूरेसी और होल्ड-आउट बेंचमार्क्स (WebArena, BrowseComp+) पर एग्जैक्ट सीक्वेंस मैच है, जहाँ IW सोर्स डोमेन के रूप में कार्य करता है।

प्रमुख योगदान

स्वचालित स्किल माइनिंग के लिए पाइपलाइन: लेखक एक पुनरुत्पादक (reproducible) पाइपलाइन प्रस्तुत करते हैं जो GUI ट्राजेक्टरीज को सेगमेंट करती है, उन्हें कैंडिडेट स्किल्स में क्लस्टर करती है, और SKILL.md-स्टाइल आर्टिफैक्ट्स जेनरेट करती है।
ट्रांसफर का डायग्नोस्टिक मूल्यांकन: अध्ययन इस बात का कठोर मूल्यांकन करता है कि क्या माइन की गई स्किल्स डाउनस्ट्रीम पॉलिसी प्रदर्शन में सुधार करती हैं, जो सीखे गए मॉडल्स की तुलना जीरो-शॉट बेसलाइन्स और ट्रिवियल स्टैटिस्टिकल प्रायर्स से करती है।
नेगेटिव रिजल्ट्स और सीमाएं: पेपर रिपोर्ट करता है कि जबकि माइन किया गया स्ट्रक्चर सोर्स डोमेन में पठनीय है, वर्तमान पाइपलाइन विश्वसनीय क्रॉस-डोमेन पॉलिसी सुधार उत्पन्न करने में विफल रहती है।

परिणाम

सोर्स-डोमेन रीडेबिलिटी: सोर्स IW बेंचमार्क पर, माइन किए गए क्लस्टर्स अत्यधिक पठनीय हैं। आठ में से पांच क्लस्टर्स ग्राउंड-ट्रुथ IW स्किल लेबल्स (जैसे document_edit, data_transfer) के विरुद्ध $\ge 0.95$ प्योरिटी प्राप्त करते हैं। कॉन्ट्रास्टिव एनकोडर नॉर्मलाइज्ड म्यूचुअल इंफॉर्मेशन (NMI) को 0.65 (वॉसरस्टीन बेसलाइन) से बढ़ाकर 0.86 कर देता है।
खराब ट्रांसफर परफॉरमेंस:
- GRPO परफॉरमेंस: माइन की गई स्किल्स के साथ GRPO पर Qwen3-8B को प्रशिक्षित करने से सोर्स डोमेन पर केवल मामूली लाभ मिलता है (IW स्किल-स्टेप एक्यूरेसी 18.5% से बढ़कर 20.5% होती है) और होल्ड-आउट डोमेन पर यह घट जाती है या अपरिवर्तित रहती है (WebArena गिरकर 44.2% हो जाता है; BrowseComp+ ~43.3% पर रहता है)।
- बेसलाइन फेलियर: एक ट्रिवियल फ्रीक्वेंसी बेसलाइन (सबसे सामान्य अगले स्किल को प्रेडिक्ट करना) IW स्किल-स्टेप एक्यूरेसी पर सीखे गए MLP और GRPO-ट्रेन्ड पॉलिसी दोनों से बेहतर प्रदर्शन करती है (34.9% बनाम 23.3% और 20.5%)।
- एडिट डिस्टेंस: ऑटो-जेनरेटेड SKILL.md फाइल्स का नॉर्मलाइज्ड एडिट डिस्टेंस सभी डेटा साइज़ के लिए फ्रीक्वेंसी बेसलाइन की तुलना में अधिक है, जो सबसे सरल स्टैटिस्टिकल प्रायर को भी मात देने में विफल रहा।
बाउंड्री डिटेक्शन इश्यूज: एक्शन-जम्प ह्यूरिस्टिक स्किल्स को ओवर-स्प्लिट करता है (लो प्रिसिजन) और यह डोमेन-स्टेबल नहीं है। WebArena पर IW-डेरिव्ड थ्रेशोल्ड लागू करने से F1 स्कोर में भारी गिरावट (0.119) आती है, जो दर्शाता है कि बाउंड्री सिग्नल ट्रांसफर नहीं होता है।
रिप्रेजेंटेशन लिमिटेशन्स: "बैग-ऑफ-एक्शन्स" रिप्रेजेंटेशन (मीन/वेरेसिएंस) अनुक्रमिक क्रम को हटा देता है, जो GUI स्किल्स (जैसे पेस्ट करने से पहले कॉपी करना) के लिए महत्वपूर्ण है। यह संभवतः पॉलिसी की जटिल कंपोजिशन रूल्स सीखने की अक्षमता में योगदान देता है।

महत्व और दावे
लेखक इस कार्य को सफलता के दावे के बजाय स्पष्ट रूप से एक डायग्नोस्टिक स्टडी के रूप में फ्रेम करते हैं। इसका महत्व वर्तमान ट्राजेक्टरी-माइनिंग अप्रोच की सीमाओं को स्पष्ट करने में निहित है:

इन्स्पेक्टेबिलिटी बनाम यूटिलिटी: ट्राजेक्टरी माइनिंग सोर्स डोमेन में इन्स्पेक्टेबल स्किल स्ट्रक्चर को उजागर कर सकती है, लेकिन रीडेबिलिटी का अर्थ ट्रांसफरेबिलिटी नहीं है।
पाइपलाइन अपर्याप्तता: $\ell_2$ बाउंड्री डिटेक्टर, ऑर्डरलेस सेगमेंट रिप्रेजेंटेशन, और ऑफलाइन रिवॉर्ड मॉडल का वर्तमान संयोजन विश्वसनीय क्रॉस-डोमेन पॉलिसी सुधार के लिए अपर्याप्त है।
मजबूत कंट्रोल्स की आवश्यकता: पेपर तर्क देता है कि भविष्य के स्किल डिस्कवरी कार्य को यह सुनिश्चित करने के लिए फ्रीक्वेंसी और ट्रांजिशन प्रायर्स के विरुद्ध तुलना करनी चाहिए कि सुधार केवल डेटासेट असंतुलन या आउटपुट-फॉर्मेट अडैप्टेशन के आर्टिफैक्ट्स नहीं हैं।
कोई क्रॉस-डोमेन गेन नहीं: अध्ययन में क्रॉस-डोमेन सेटिंग में ट्रिवियल बेसलाइन्स या मैनुअल डिजाइन के मुकाबले सीखे गए घटकों के बेहतर होने का कोई प्रमाण नहीं मिला है।

पेपर निष्कर्ष निकालता है कि हालांकि माइन की गई स्किल्स उपयोगी इन्स्पेक्टेबल स्ट्रक्चर और रिवॉर्ड मॉडल्स के लिए ट्रेनिंग सिग्नल के रूप में काम करती हैं, लेकिन वे रोबस्ट कंप्यूटर-यूजिंग एजेंट बनाने के लिए स्टैटिस्टिकल बेसलाइन्स या मैनुअल डिजाइन के विश्वसनीय विकल्प नहीं हैं।

प्रयोग: एक रोबोट को अपनी खुद की कुकबुक लिखना सिखाना

परिणाम: एक मिला-जुला अनुभव

मुख्य निष्कर्ष (The Bottom Line)

इसी तरह के और पेपर