💬 NLP

MMG2Skill: Can Agents Distill In-the-Wild Guides into Self-Evolving Skills?

यह शोध पत्र MMG2Skill प्रस्तुत करता है, जो एक क्लोज्ड-लूप फ्रेमवर्क और संबंधित बेंचमार्क (MMG2Skill-Bench) है जो AI एजेंटों को संरचित संकलन (structured compilation) और प्रक्षेपवक्र-संचालित संशोधन (trajectory-driven revision) के माध्यम से शोरयुक्त, मल्टीमॉडल वेब गाइड्स को स्व-विकसित निष्पादन योग्य कौशलों में परिष्कृत करने में सक्षम बनाता है, जो विविध डोमेन में बेसलाइन एजेंटों की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Xinyu Che, Junqi Xiong, Yunfei Ge, Xinping Lei, Shihao Li, Hang Yan, Han Li, Yuanxing Zhang, Zhiqi Bai, Jinhua Hao, Ming Sun, Han Li, Jiaheng Liu

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinyu Che, Junqi Xiong, Yunfei Ge, Xinping Lei, Shihao Li, Hang Yan, Han Li, Yuanxing Zhang, Zhiqi Bai, Jinhua Hao, Ming Sun, Han Li, Jiaheng Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ा भोला रोबोट सहायक है। आप चाहते हैं कि वह फोटो एडिट करने, वीडियो गेम में घर बनाने या रणनीतिक कार्ड गेम खेलने जैसे जटिल कार्य करे। आपके पास इंटरनेट पर मानव-लिखित गाइड, ट्यूटोरियल और विकी का एक विशाल पुस्तकालय है जो ये चीजें करना समझाते हैं।

समस्या यह है कि ये गाइड इंसानों के लिए लिखी गई हैं, रोबोट के लिए नहीं। वे अव्यवस्थित हैं, यह मान लेती हैं कि आपको वे चीजें पता हैं जो रोबोट को नहीं पता, और यदि रोबोट छोटी सी गलती करता है तो वे भ्रमित हो सकती हैं। यदि आप बस रोबोट को "घर कैसे बनाएं" लेख का एक कच्चा लिंक दे देते हैं, तो वह टेक्स्ट से अभिभूत हो सकता है, महत्वपूर्ण चरणों को छोड़ सकता है, या गलत क्रम में चीजें करने की कोशिश कर सकता है।

यह पेपर MMG2Skill पेश करता है, जो इन अव्यवस्थित मानव गाइडों का उपयोग करके रोबोट को सिखाने का एक नया तरीका है। इसे एक "अनुवादक और कोच" (Translator and Coach) प्रणाली के रूप में समझें जो मानव निर्देशों को रोबोट की व्यक्तिगत खेल पुस्तिका (playbook) में बदल देती है।

यह इस प्रकार काम करता है, जिसे तीन सरल चरणों में विभाजित किया गया है:

1. अनुवादक (The Translator): "मानव भाषा" को "रोबोट प्लेबुक" में बदलना

पूरे अव्यवस्थित लेख को देने के बजाय, सिस्टम पहले गाइड को पढ़ता है और मुख्य चरणों को निकालता है। यह लेख को एक साफ, संरचित चेकलिस्ट में बदल देता है जिसे स्किल (Skill) कहा जाता है।

उपमा: कल्पना कीजिए कि एक मानव शेफ एक जटिल रेसिपी ब्लॉग पोस्ट पढ़ रहा है। पूरे ब्लॉग को सहायक शेफ को सौंपने के बजाय, मुख्य शेफ एक संक्षिप्त, बुलेटेड "SOP" (मानक संचालन प्रक्रिया) कार्ड लिखता है: "चरण 1: प्याज काटें। चरण 2: पैन गरम करें। चरण 3: तेल डालें।"
परिणाम: अब रोबोट के पास एक भ्रमित करने वाली टेक्स्ट की दीवार के बजाय एक स्पष्ट, संपादन योग्य निर्देश कार्ड (SKILL.md फ़ाइल) है।

2. कोच (The Coach): वास्तविक समय में गलतियों से सीखना

रोबोट इस नई चेकलिस्ट का उपयोग करके कार्य करने का प्रयास करता है। यदि वह विफल होता है, तो सिस्टम केवल यह नहीं कहता कि "फिर से प्रयास करें।" यह एक जासूस की तरह कार्य करता है।

जासूस: यह देखता है कि रोबोट ने वास्तव में क्या किया, लक्ष्य के साथ तुलना करता है, और यह पता लगाता है कि वह क्यों विफल हुआ। क्या रोबोट फाइल सेव होने का इंतज़ार करना भूल गया? क्या उसने गलत बटन दबा दिया?
सुधार: सिस्टम फिर चेकलिस्ट को संपादित (edit) करता है। यह एक नोट जोड़ता है जैसे, " 'Done' पर क्लिक करने से पहले फाइल सेव होने के लिए 5 सेकंड प्रतीक्षा करें।"
उपमा: यह एक ड्राइविंग इंस्ट्रक्टर की तरह है जो छात्र को पैरलल पार्किंग टेस्ट में विफल होते हुए देखता है। केवल यह कहने के बजाय कि "आप विफल रहे," इंस्ट्रक्टर छात्र के अभ्यास पत्र पर एक नोट लिखता है: "रिवर्स करने से पहले रियरव्यू मिरर देखना याद रखें।" अगली बार, छात्र उस अपडेटेड शीट का उपयोग करता है।

3. स्मार्ट स्टॉपर (The Smart Stopper): यह जानना कि कब रुकना है

कभी-कभी, एक रोबोट तब भी प्रयास करता रहता है जब वह सफलतापूर्वक कार्य पूरा कर चुका होता है, या वह एक लूप में विफल होता रहता है। सिस्टम में एक "स्मार्ट स्टॉपर" शामिल है।

उपमा: कल्पना कीजिए कि एक GPS यह महसूस करता है कि आप पहले ही अपने गंतव्य पर पहुँच चुके हैं। आपको अपने गंतव्य तक पहुँचने के लिए ब्लॉक के चक्कर लगाने के लिए मजबूर करने के बजाय, यह कहता है, "आप यहाँ हैं। इंजन बंद करें।"
लाभ: यह स्पष्ट सफलता के संकेत देखते ही रोबोट को रोकने के लिए समय और पैसा (कंप्यूटिंग पावर) बचाता है, बजाय इसके कि उसे निश्चित संख्या में प्रयासों के लिए मजबूर किया जाए।

उन्होंने क्या पाया?

शोधकर्ताओं ने इसका परीक्षण तीन बहुत अलग दुनियाओं में किया:

डेस्कटॉप कंप्यूटर: Word या Photoshop जैसे सॉफ़्टवेयर को नियंत्रित करना।
वीडियो गेम्स: संसाधन इकट्ठा करने और आइटम बनाने के लिए Minecraft खेलना।
कार्ड गेम्स: Doudizhu या Mahjong जैसे रणनीतिक खेल खेलना।

परिणाम:

कच्ची गाइड नुकसानदेह थीं: जब उन्होंने केवल रोबोट को कच्चे, अव्यवस्थित मानव गाइड दिए, तो रोबोट वास्तव में कार्यों में बदतर हो गया। अतिरिक्त शोर ने उसे भ्रमित कर दिया।
प्लेबुक की जीत: जब उन्होंने उन गाइडों को साफ, संपादन योग्य स्किल्स में बदलने के लिए "अनुवादक और कोच" सिस्टम (MMG2Skill) का उपयोग किया, तो रोबोटों में उल्लेखनीय सुधार हुआ। उनमें हर क्षेत्र में 12% से 25% का सुधार हुआ।
संपादन का जादू: सबसे बड़ी बढ़त अपनी गलतियों के बाद चेकलिस्ट को ठीक करने की प्रणाली की क्षमता से आई। केवल एक बार का अनुवाद पर्याप्त नहीं था; रोबोट को अपनी विफलताओं से सीखने और अपनी खुद की प्लेबुक को अपडेट करने की आवश्यकता थी।

निष्कर्ष

यह पेपर दिखाता है कि हमें हर रोबोट कार्य के लिए एकदम सटीक कोड लिखने की आवश्यकता नहीं है। हम इंटरनेट पर मौजूद लाखों मानव गाइडों का उपयोग कर सकते हैं, लेकिन हमें उन्हें एक ऐसे प्रारूप में अनुवादित करना होगा जिसे रोबोट समझ सके और उन्हें सीखते समय स्वयं संपादित करने देना होगा। यह एक अव्यवस्थित मानव मैनुअल को एक स्व-सुधारने वाली रोबोट प्लेबुक में बदल देता है।

तकनीकी सारांश: MMG2Skill

समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज मॉडल (VLM) एजेंटों को इंटरैक्टिव वातावरण, जैसे कि डेस्कटॉप GUI नियंत्रण, ओपन-वर्ल्ड गेमिंग और रणनीतिक कार्ड खेल में लंबे समय तक चलने वाले प्रक्रियात्मक कार्यों (long-horizon procedural work) के लिए तेजी से नियुक्त किया जा रहा है। इन डोमेन में सफलता के लिए एक प्राथमिक बाधा कमजोर प्रक्रियात्मक ग्राउंडिंग (weak procedural grounding) है: एजेंट की रनटाइम स्टेट में पुन: प्रयोज्य प्रक्रियाओं को एंकर करने में असमर्थता। जबकि वेब पर प्रचुर मात्रा में मल्टीमॉडल प्रक्रियात्मक ज्ञान (गाइड्स, ट्यूटोरियल, डॉक्यूमेंटेशन) मौजूद है, यह सामग्री मानव निष्पादकों के लिए डिज़ाइन की गई है। यह अक्सर मल्टीमॉडल, विषम (heterogeneous), शोरपूर्ण (noisy) होती है और इसमें एक मानव संदर्भ (जैसे, सिबलिंग प्रोसीजर, पूर्व शर्त धारणाएं, नेविगेशन टेक्स्ट) निहित होता है।

एजेंटों को कच्चे गाइड्स (raw guides) के साथ सीधे प्रॉम्प्ट करना अक्सर विफल रहता है क्योंकि एजेंट प्रासंगिक चरणों को अप्रासंगिक सामग्री से आसानी से अलग नहीं कर पाता या एजेंट द्वारा नाममात्र पथ (nominal path) से विचलित होने पर गाइड को अनुकूलित नहीं कर पाता। इसके विपरीत, हर कार्य के लिए कौशल (skills) को हाथ से लिखना श्रमसाध्य है, और केवल एजेंट के अन्वेषण (exploration) के माध्यम से खोजे गए कौशल एजेंट की अपनी विफलताओं तक सीमित होते हैं। इस कार्य द्वारा संबोधित केंद्रीय प्रश्न यह है: क्या VLM एजेंट इन-द-वाइल्ड मल्टीमॉडल गाइड्स को निष्पादन-आधारित (execution-grounded) कौशलों में संकुचित (distill) कर सकते हैं जो अपने स्वयं के रोलआउट के माध्यम से बेहतर होते हैं?

कार्यप्रणाली: MMG2Skill फ्रेमवर्क (Methodology: MMG2Skill Framework)

लेखक MMG2Skill का प्रस्ताव करते हैं, जो एक क्लोज्ड-लूप फ्रेमवर्क है जिसे मल्टीमॉडल गाइड्स को संपादन योग्य, निष्पादन योग्य कौशलों में बदलने और बिना बेंचमार्क स्कोर पर निर्भर हुए निरंतर सुधार करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क तीन चरणों में कार्य करता है:

मल्टीमॉडल स्किल कंस्ट्रक्शन (ट्यूटोरियल-टू-स्किल):
सिस्टम कच्चे मल्टीमॉडल गाइड्स (HTML, इमेज, स्क्रीनशॉट) को एक संपादन योग्य SKILL.md प्रतिनिधित्व में सामान्य करता है। एक VLM स्किल एक्सट्रैक्टर गाइड को संरचित कौशलों के एक सेट $S = \{z_i\}$ में परिवर्तित करता है, जहाँ प्रत्येक कौशल $z_i$ में शामिल है:
- $u_i$ : एक पुन: प्रयोज्य प्रक्रिया (reusable procedure)।
- $c_i$ : प्रयोज्यता की शर्तें (applicability conditions)।
- $v_i$ : अपेक्षित-स्टेट संकेत (expected-state cues)।
- $q_i$ : रिकवरी ज्ञान (recovery knowledge)।
  यह चरण असंरचित मानव आर्टिफ़ैक्ट्स को एक सुरक्षित प्रक्रियात्मक प्रायोर (procedural prior) में बदल देता है।
स्किल-कंडीशन्ड एक्जीक्यूशन (Skill-Conditioned Execution):
एक एजेंट रोलआउट (प्रयास $k$ ) के दौरान, वर्तमान स्किल सेट $S_k$ को टास्क इंस्ट्रक्शन और हालिया हिस्ट्री के साथ एजेंट के कॉन्टेक्स्ट में इंजेक्ट किया जाता है। एजेंट की पॉलिसी $\pi_\theta$ स्थिर रहती है; यह टास्क, हिस्ट्री और वर्तमान स्किल्स पर आधारित अपने एक्शन को कंडीशन करती है: $a_t \sim \pi_\theta(a_t | h_t, I, S_k)$ । स्किल सेट डोमेन-विशिष्ट एक्शन इंटरफेस को बदले बिना प्रक्रियात्मक संदर्भ (procedural context) के रूप में कार्य करता है।
ट्रैजेक्टरी-ड्रिवन स्किल रिवीज़न (Trajectory-Driven Skill Revision):
एक प्रयास के बाद, एक एनालाइज़र (Analyzer) केवल टास्क इंस्ट्रक्शन और एजेंट-दृश्यमान ट्रैजेक्टरी को पढ़ता है (कोई बेंचमार्क स्कोर या हिडन स्टेट नहीं)। यह एक डायग्नोसिस $\rho_k = (e_k, r_k)$ उत्पन्न करता है, जहाँ $e_k$ क्या काम कर गया या विफल रहा इसके प्रमाण है, और $r_k$ एक परिणाम मूल्यांकन (जैसे, likely_success) है।
इसके बाद एक रिफाइनर (Refiner) मूल गाइड, वर्तमान स्किल्स और संचित डायग्नोसिस का उपयोग करके स्किल सेट को अपडेट करता है: $S_{k+1} = \text{REFINE}(G, I, S_k, \rho_{1:k})$ । रिफाइनर SKILL.md फाइलों को नए चेक जोड़ने, स्टेट संकेतों को तेज करने या भ्रामक सलाह को हटाने के लिए एडिट करता है, जिससे पिछले प्रयासों से मान्य व्यवहार सुरक्षित रहते हैं।

फ्रेमवर्क में एनालाइज़र के likely_success सिग्नल पर आधारित एक अर्ली-स्टॉपिंग मैकेनिज्म (early-stopping mechanism) शामिल है, जो तब लूप को रोकता है जब ट्रैजेक्टरी प्रतीत होती है कि कार्य को संतुष्ट करती है, जिससे अंतिम चरण के प्रदर्शन ह्रास (performance regressions) को रोका जा सके।

बेंचमार्क: MMG2Skill-Bench

इस क्षमता का मूल्यांकन करने के लिए, लेखक MMG2Skill-Bench पेश करते हैं, जो विशेष रूप से गाइड-टू-स्किल लर्निंग के लिए डिज़ाइन किया गया पहला बेंचमार्क है।

स्कोप (Scope): यह तीन इंटरेक्शन रिजीम को कवर करता है: GUI (OSWorld), Game (OpenHA Minecraft), और Strategy (RLCard के माध्यम से Doudizhu और Mahjong)।
संरचना (Composition): इसमें 130 सफलता-अनुमानित (success-inferable) कार्य शामिल हैं जो टास्क-प्रासंगिक सार्वजनिक मल्टीमॉडल गाइड्स के साथ जोड़े गए हैं।
प्रतिबंध (Constraints): कार्यों का चयन इस तरह किया गया है कि परिणामों को एजेंट-दृश्यमान ट्रैजेक्टरी या सार्वजनिक अंतिम स्टेट से निकाला जा सके। यह बेंचमार्क उन कार्यों को बाहर करता है जहाँ उत्तर गाइड्स से सीधे कॉपी किए जा सकते हैं, यह सुनिश्चित करते हुए कि मूल्यांकन रिट्रीवल के बजाय प्रक्रियात्मक ग्राउंडिंग को मापता है।

मुख्य परिणाम (Key Results)

फ्रेमवर्क का मूल्यांकन छह VLM बैकबोन (Claude-Opus, GPT-5.5, Kimi, Gemini, और Qwen सहित) पर MMG2Skill-Bench पर किया गया।

समग्र प्रदर्शन (Overall Performance): MMG2Skill ने हर मॉडल-डोमेन सेटिंग में वैनिला बेसलाइन एजेंटों (बिना स्किल्स के) और "रॉ गाइड" (direct guide injection) बेसलाइन्स की तुलना में लगातार बेहतर प्रदर्शन किया। बैकबोन केAcross मैक्रो-एवरेज लाभ +12.8 से +25.3 प्रतिशत अंक के बीच रहा।
मैकेनिज्म एब्लेशन (Mechanism Ablation):
- रॉ गाइड इंजेक्शन (Raw Guide Injection): कच्चे गाइड्स के साथ सीधे प्रॉम्प्ट करना अविश्वसनीय था और अक्सर प्रदर्शन को कम कर देता था (उदाहरण के लिए, Game पर -1.67 pp) क्योंकि गाइड-एनवायरनमेंट ग्राउंडिंग में मिसमैच था।
- स्ट्रक्चर्ड एक्सट्रैक्शन (Structured Extraction): गाइड्स को संरचित स्किल्स में बदलना (रिवीजन के बिना) एक सुरक्षित प्रक्रियात्मक प्रायोर प्रदान करता है, जो वैनिला एजेंटों की तुलना में प्रदर्शन में सुधार करता है।
- ट्रैजेक्टरी-ड्रिवन रिवीज़न (Trajectory-Driven Revision): रिवीज़न घटक ने गेम और स्ट्रैटेजी डोमेन में अधिकांश लाभ (कुल लाभ का 90% से अधिक) दिया, जो गाइड और रनटाइम निष्पादन के बीच के अंतराल को ठीक करता है।
दक्षता (Efficiency): MMG2Skill ने स्कोर में सुधार करते हुए प्रदर्शित-प्रयास स्टेप्स (displayed-attempt steps) की औसत संख्या को कम किया, जो कम खोजपूर्ण भटकाव (exploratory detours) का संकेत देता है।
अर्ली स्टॉपिंग (Early Stopping): एनालाइज़र-आधारित अर्ली स्टॉपिंग ने प्रदर्शन में गैर-मोनोटोनिक गिरावट (non-monotonicity) को रोका और सफलता-अनुमानित कार्यों पर 25%–53% प्रयास बचाए, जबकि उच्च परिशुद्धता (>74%) और रिकॉल (>95% on GUI/Game) बनाए रखा।

महत्व और दावे (Significance and Claims)

पेपर दो प्राथमिक योगदानों का दावा करता है:

MMG2Skill-Bench: एक नया बेंचमार्क जो सफलता-अनुमानित इंटरैक्टिव कार्यों को इन-द-वाइल्ड मल्टीमॉडल गाइड्स के साथ जोड़ता है, जो गाइड-टू-स्किल लर्निंग के मूल्यांकन के लिए एक मानक स्थापित करता है।
MMG2Skill Framework: एक क्लोज्ड-लूप सिस्टम जो प्रदर्शित करता है कि सार्वजनिक गाइड्स को बिना बेंचमार्क स्कोर की आवश्यकता के, एजेंट रोलआउट के माध्यम से सुधारा जाने वाला, निष्पादन-आधारित कौशल में बदला जा सकता है।

लेखक इस बात पर जोर देते हैं कि केवल गाइड्स तक पहुंच पर्याप्त नहीं है। रॉ गाइड प्रॉम्प्टिंग प्रदर्शन को नुकसान पहुँचा सकती है, जबकि संरचित स्किल कंस्ट्रक्शन एक सुरक्षित प्रायोर प्रदान करता है, और ट्रैजेक्टरी-ड्रिवन रिवीज़न ग्राउंडिंग गैप्स को ठीक करने के लिए आवश्यक है। इसके अलावा, वे बताते हैं कि रिवीज़न के लाभ नॉन-मोनोटोनिक (non-monotonic) होते हैं, जिससे कैलिब्रेटेड अर्ली स्टॉपिंग अनिवार्य हो जाती है। यह कार्य प्रक्रियात्मक सामग्री को निष्पादन योग्य कौशल में बदलने की समस्या को अलग करता है, जो गाइड डिस्कवरी की अपस्ट्रीम समस्या से भिन्न है।