🤖 machine learning

GROW: Aligning GRPO with State-Action Modeling for Open-World VLM Agents

यह शोध पत्र GROW को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो संदर्भ लंबाई की सीमाओं को दूर करने के लिए पूर्ण प्रक्षेप पथों (trajectories) को अवस्था-क्रिया नमूनों (state-action samples) में विघटित करके ओपन-वर्ल्ड विजन-लैंग्वेज मॉडल एजेंटों के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) को अनुकूलित करता है, जिससे 800 से अधिक माइनक्राफ्ट कार्यों पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Xiongbin Wu, Zhihao Luo, Shanzhe Lei, Lechao Zhang, Xuhong Wang, Jie Yang, Zhonglong Zheng, Yuanjie Zheng, Xin Tan, Wei Liu

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiongbin Wu, Zhihao Luo, Shanzhe Lei, Lechao Zhang, Xuhong Wang, Jie Yang, Zhonglong Zheng, Yuanjie Zheng, Xin Tan, Wei Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को Minecraft जैसा जटिल वीडियो गेम खेलना सिखा रहे हैं। रोबोट के पास एक कैमरा (उसकी आँखें) है और वह कीबोर्ड पर टाइप कर सकता है और माउस चला सकता है (उसके हाथ)। उसका लक्ष्य "घर बनाना," "सोना खदान से निकालना," या "किसी राक्षस को हराना" जैसे कार्य पूरे करना है।

लंबे समय तक, रोबोट को सिखाने का सबसे अच्छा तरीका सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) था। इसे ऐसे समझें जैसे आप रोबोट को एक मानव विशेषज्ञ के गेम खेलने का वीडियो दिखा रहे हैं और कह रहे हैं, "ठीक वैसा ही करो जैसा उन्होंने किया।" समस्या यह है कि घंटों तक मानव के बेहतरीन गेमप्ले के वीडियो ढूंढना महंगा है, और यदि रोबोट केवल उस वीडियो को रट लेता है, तो गेम में थोड़ा सा बदलाव होने पर वह भ्रमित हो जाता है।

फिर, शोधकर्ताओं ने रीइन्फोर्समेंट लर्निंग (RL) का उपयोग किया, विशेष रूप से GRPO नामक एक एल्गोरिदम। यह ऐसा है जैसे आप रोबोट को गेम खेलने देते हैं, उसे असफल होते देखते हैं, सफल होते देखते हैं, और परिणामों से सीखता है। हालाँकि, मानक GRPO में ओपन-वर्ल्ड गेम्स के लिए एक बड़ी खामी थी: इसने पूरे गेम सेशन को एक ही एकल पाठ (lesson) के रूप में माना।

समस्या: "बहुत लंबा" पाठ

कल्पना कीजिए कि आप केक बनाना सीख रहे हैं।

मानक GRPO आपको एक 500 पन्नों की किताब देने जैसा है जिसमें आपके बचपन की कहानी, तीन दिन पहले का मौसम का विवरण, रेसिपी, और आपके पड़ोसी के कुत्ते की कहानी भी शामिल है, जो सब कुछ आपस में मिला हुआ है। यह कहता है, "आपने अंत में एक अच्छा केक बनाया, इसलिए इस पूरे 500 पन्नों के अध्याय में जो कुछ भी था, वह अच्छा था।"
पेपर में, इसे "फुल ट्राजेक्टरी" (full trajectory) कहा गया है। जैसे-जैसे रोबोट Minecraft खेलता है, उसके देखे गए और किए गए कार्यों का इतिहास लंबा और लंबा होता जाता है। अंततः, "किताब" बहुत विशाल हो जाती है और उसमें अप्रासंगिक शोर (जैसे किसी ब्लॉक को खोजने से पहले 10 मिनट तक इधर-उधर घूमना) भर जाता है, जिससे रोबोट अभिभूत हो जाता है और यह समझ नहीं पाता कि वास्तव में किस विशिष्ट चाल ने सफलता दिलाई।

समाधान: GROW (द "रेसिपी कार्ड" अप्रोच)

लेखकों ने GROW (अलाइनिंग GRPO विद स्टेट-एक्शन मॉडलिंग) नामक एक नया फ्रेमवर्क प्रस्तावित किया है।

रोबोट को पूरी 500 पन्नों की किताब देने के बजाय, GROW गेम सेशन को छोटे, समझने योग्य रेसिपी कार्डों में काट देता है।

स्टेट-एक्शन डिकंपोजिशन (State-Action Decomposition): GROW लंबे गेम सेशन को व्यक्तिगत क्षणों में तोड़ देता है: "ब्लॉक को देखना" + "माउस क्लिक करना" + "पिकैक्स का प्रहार।"
स्मार्ट फीडबैक: यदि रोबोट अंत में सफल होता है, तो GROW यह नहीं कहता कि "पूरा गेम बहुत अच्छा था।" इसके बजाय, यह उन विशिष्ट कार्डों को देखता है जो जीत की ओर ले गए। यह कहता है, "आपने सोना खोजने से 5 सेकंड पहले जो चाल चली वह बहुत अच्छी थी। 20 मिनट पहले जब आप बस इधर-उधर घूम रहे थे, वह चाल? वह बस ठीक-ठाक थी।"

यह कैसे काम करता है (उपमा)

एक कोच की कल्पना करें जो एक सॉकर खिलाड़ी को प्रशिक्षित कर रहा है।

पुराना तरीका (मानक GRPO): कोच पूरा 90 मिनट का मैच देखता है, खिलाड़ी को गोल करते हुए देखता है, और फिर चिल्लाता है, "बहुत बढ़िया! आपने पहले मिनट से लेकर आखिरी मिनट तक सब कुछ सही किया!" खिलाड़ी भ्रमित है क्योंकि उसने 10वें मिनट में एक बहुत खराब पास दिया था जिससे लगभग खेल हार जाता।
GROW का तरीका: कोच गेम को छोटे हिस्सों में तोड़ देता है। "10वें मिनट में दिया गया वह पास ढीला था। लेकिन 80वें मिनट में आपने जो दौड़ लगाई? एकदम सटीक। और 89वें मिनट में किक? शानदार।" खिलाड़ी ठीक से समझ पाता है कि किन विशिष्ट कार्यों को दोहराना है।

"मैजिक" गणित

पेपर में हमें आश्वस्त करने के लिए एक गणितीय प्रमाण (सरोगेट एनालिसिस) शामिल है कि यह "पाठ को काटने" वाला दृष्टिकोण अभी भी वैध है।

चिंता: इस प्रकार के सीखने के लिए मानक गणित आमतौर पर ठीक उसी शुरुआती बिंदु पर अलग-अलग प्रयासों की तुलना करने की आवश्यकता रखता है। GROW समय के विभिन्न क्षणों की तुलना करता है, जो सभी अलग-अलग हैं।
परिणाम: लेखकों ने सिद्ध किया कि भले ही शुरुआती बिंदु अलग-अलग हों, रोबोट को मिलने वाला "स्कोर" अभी भी सटीक रूप से दर्शाता है कि उसकी रणनीति कितनी अच्छी है। यह एक छात्र को गणित के टेस्ट पर ग्रेड देने जैसा है: भले ही प्रश्न अलग-अलग हों, अंतिम स्कोर फिर भी बताता है कि वे गणित में बेहतर हो रहे हैं या नहीं।

परिणाम: गेम को जीतना

टीम ने 800 से अधिक विभिन्न Minecraft कार्यों पर GROW का परीक्षण किया, जिसमें गुफाओं में नेविगेट करने से लेकर आइटम बनाने और राक्षसों से लड़ने तक के कार्य शामिल थे।

सफलता दर: GROW ने पिछले तरीकों की तुलना में काफी बेहतर प्रदर्शन किया। उदाहरण के लिए, "GUI कार्यों" में (आइटम बनाने के लिए गेम के मेनू का उपयोग करना), सफलता लगभग 39% से बढ़कर 68% हो गई।
दक्षता (Efficiency): रोबोट केवल अधिक बार जीता ही नहीं; वह तेजी से जीता। कार्य पूरा करने के लिए उसे कम कदम उठाने पड़े क्योंकि उसने "शोर" को अनदेखा करना और उन चालों पर ध्यान केंद्रित करना सीख लिया जो वास्तव में मायने रखती थीं।
सामान्यीकरण (Generalization): रोबोट ने केवल उन विशिष्ट खेलों को याद नहीं किया जिनका उसने अभ्यास किया था। उसने सामान्य कौशल सीखे (जैसे लक्ष्य को कैसे खोजें या मेनू का उपयोग कैसे करें) जिसने उसे उन नए, अनदेखे कार्यों में सफल होने में सक्षम बनाया जिन्हें उसने पहले कभी नहीं देखा था।

सारांश में

GROW एआई एजेंटों को ओपन-वर्ल्ड गेम खेलने के लिए सिखाने का एक स्मार्ट तरीका है। उन्हें उनके पूरे गेम सेशन के लंबे, अव्यवस्थित इतिहास से अभिभूत करने के बजाय, यह गेम को छोटे, स्पष्ट चरणों में तोड़ देता है। यह एआई को यह समझने में मदद करता है कि कौन से विशिष्ट कार्य सफलता की ओर ले जाते हैं, जिससे वह तेजी से सीख सकता है, बेहतर खेल सकता है, और भ्रमित हुए बिना नई चुनौतियों का सामना कर सकता है।

तकनीकी सारांश: GROW – ओपन-वर्ल्ड VLM एजेंटों के लिए स्टेट-एक्शन मॉडलिंग के साथ GRPO को संरेखित करना

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज मॉडल (VLM) एजेंटों ने ओपन-वर्ल्ड कार्यों (जैसे, Minecraft) में क्षमता प्रदर्शित की है, जिनमें मल्टी-टर्न विज़ुअल परसेप्शन और एक्शन निष्पादन की आवश्यकता होती है। जबकि विशेषज्ञ प्रदर्शनों (expert demonstrations) पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) प्रमुख प्रशिक्षण प्रतिमान है, यह उच्च डेटा संग्रह लागत और सीमित स्केलेबिलिटी से ग्रस्त है। इसके अलावा, SFT अक्सर प्रदर्शन में सुदृढीकरण शिक्षण (Reinforcement Learning - RL) विधियों से पीछे रह जाता है।

यद्यपि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) फाउंडेशन मॉडल्स के लिए एक प्रभावी RL एल्गोरिदम के रूप में उभरा है—जो सैम्पल किए गए आउटपुट्स के समूहों में एडवांटेज कंप्यूट करके एक अलग वैल्यू मॉडल की आवश्यकता को समाप्त करता है—ओपन-वर्ल्ड कार्यों में मानक GRPO को सीधे लागू करने में महत्वपूर्ण चुनौतियाँ आती हैं:

कॉन्टेक्स्ट लेंथ (Context Length): मानक GRPO एक पूर्ण इंटरेक्शन ट्राजेक्टरी को एक एकल प्रशिक्षण नमूने के रूप में मानता है। ओपन-वर्ल्ड वातावरण में, ये ट्राजेक्टरीज अत्यधिक कॉन्टेक्स्ट लेंथ जमा करती हैं, जो अक्सर टोकन सीमाओं से अधिक हो जाती है।
शोर (Noise): पूर्ण ट्राजेक्टरीज में काफी अप्रासंगिक जानकारी और शोर होता है, जो पॉलिसी ग्रेडिएंट एस्टीमेशन की गुणवत्ता को कम कर देता है।
सैद्धांतिक बेमेल (Theoretical Mismatch): मानक GRPO यह मानता है कि समूहीकृत (grouped) नमूने एक ही प्रॉम्प्ट के विभिन्न रिस्पॉन्स हैं। ओपन-वर्ल्ड कार्यों में, ट्राजेक्टरीज को डीकंपोज़ करने का अर्थ है कि समूहीकृत नमूने विभिन्न स्थानीय अवस्थाओं (local states) पर आधारित हैं, जो इस धारणा का उल्लंघन करता है।

2. कार्यप्रणाली: GROW फ्रेमवर्क (Methodology: The GROW Framework)

लेखक GROW (GRPO for Open-World VLM agents) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो ट्राजेक्टरीज को सूक्ष्म-स्तरीय (fine-grained) स्टेट-एक्शन सैंपल्स में डीकंपोज़ करके GRPO को ओपन-वर्ल्ड सेटिंग्स के अनुकूल बनाता है।

2.1 ट्राजेक्टरी डीकंपोज़िशन (Trajectory Decomposition)

पूर्ण ट्राजेक्टरीज को ऑप्टिमाइज़ करने के बजाय, GROW एकत्रित रोलआउट ट्राजेक्टरीज $\tau = \{(s_1, a_1), \dots, (s_H, a_H)\}$ को व्यक्तिगत स्टेट-एक्शन पेयर्स में डीकंपोज़ करता है।

रिवॉर्ड प्रोपेगेशन (Reward Propagation): चूंकि इन वातावरणों में रिवॉर्ड स्पार्स (sparse) होते हैं और केवल कार्य पूरा होने पर ही सत्यापन योग्य होते हैं ( $R(\tau)=1$ सफलता के लिए, $0 $अन्यथा), रिवॉर्ड को एक डिस्काउंट फैक्टर$ \gamma$ का उपयोग करके ट्राजेक्टरी के साथ बैकवर्ड प्रोपेगेट किया जाता है:
$r_{i,t} = \gamma^{H_i - t} R(\tau_i)$
यह सुनिश्चित करता है कि सफल परिणाम के करीब वाले स्टेट-एक्शन सैंपल्स को मजबूत लर्निंग सिग्नल प्राप्त हों।

2.2 स्टेट-एक्शन एडवांटेज कंप्यूटेशन (State-Action Advantage Computation)

$G$ समानांतर वातावरणों के एक रोलआउट समूह के भीतर, GROW पूर्ण ट्राजेक्टरीज के बजाय डीकंपोज़ किए गए स्टेट-एक्शन सैंपल्स पर सापेक्ष एडवांटेज कंप्यूट करता है।

एडवांटेज $A_{i,t}$ की गणना समूह के भीतर डिस्काउंटेड रिवार्ड्स को नॉर्मलाइज़ करके की जाती है:
$A_{i,t} = \frac{r_{i,t} - \mu}{\sigma}$
जहाँ $\mu$ और $\sigma$ समूह के भीतर रिवॉर्ड सेट का माध्य (mean) और मानक विचलन (standard deviation) हैं।
प्रशिक्षण उद्देश्य मानक PPO-शैली के क्लिप्ड ऑब्जेक्टिव का अनुसरण करता है लेकिन इन स्टेट-एक्शन यूनिट्स पर संचालित होता है:
$J = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{H_i} \sum_{t=1}^{H_i} \min(\rho_{i,t}(\theta) A_{i,t}, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_{i,t}) \right]$

2.3 सरोगेट विश्लेषण (Surrogate Analysis)

लेखक इस सैद्धांतिक चिंता को संबोधित करते हैं कि GROW में समूहीकृत नमूने एक समान प्रॉम्प्ट के बजाय विभिन्न स्थानीय अवस्थाओं ( $s_{i,t}$ ) पर आधारित हैं। सरलीकृत धारणाओं (समान ट्राजेक्टरी लंबाई $H$ और सुसंगत इंटरेक्शन स्टेप्स) के तहत, वे एक सरोगेट विश्लेषण प्रस्तुत करते हैं जो दिखाता है कि ऑब्जेक्टिव दो टर्म्स में डीकंपोज़ होता है:

$J_{traj}$ : ट्राजेक्टरी-स्तर के सापेक्ष वरीयता (relative preference) को सुरक्षित रखता है, जो समूह औसत $S$ के विरुद्ध ट्राजेक्टरी रिवार्ड्स $R(\tau_i)$ की तुलना करता है।
$J_{step}$ : टेम्पोरल डिस्काउंटिंग प्रभावों को कैप्चर करता है, जो सफल ट्राजेक्टरीज के भीतर क्रेडिट असाइनमेंट को रिफाइन करता है ताकि उन निर्णयों पर जोर दिया जा सके जो सीधे अंतिम सफलता से संबंधित हैं।
विश्लेषण निष्कर्ष निकालता है कि समान-प्रॉम्प्ट धारणा से विचलन के बावजूद, ऑब्जेक्टिव एक वैध और प्रभावी सापेक्ष पॉलिसी ऑप्टिमाइज़ेशन सिग्नल बनाए रखता है।

3. मुख्य योगदान (Key Contributions)

फ्रेमवर्क प्रस्ताव: GROW का परिचय, जो स्टेट-एक्शन सैंपल्स पर कोल्ड-स्टार्ट ट्रेनिंग को ट्राजेक्टरी डीकंपोज़िशन के माध्यम से GRPO-आधारित पॉलिसी रिफाइनमेंट के साथ जोड़ता है।
सैद्धांतिक औचित्य: एक सरोगेट विश्लेषण प्रदान करना जो यह दर्शाता है कि सापेक्ष पॉलिसी ऑप्टिमाइज़ेशन तब भी प्रभावी रहता है जब समूहीकृत नमूने अलग-अलग स्थानीय अवस्थाओं पर आधारित होते हैं, बशर्ते उचित ट्रैक्टेबिलिटी अनुमान लागू हों।
अनुभवजन्य सत्यापन (Empirical Validation): 800 से अधिक Minecraft कार्यों पर व्यापक परीक्षण, जो सफलता दर और निष्पादन दक्षता दोनों में फ्रेमवर्क द्वारा SOTA प्रदर्शन हासिल करने का प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग MCU बेंचमार्क का उपयोग करके Minecraft (Java Edition) में किए गए थे, जिसमें तीन श्रेणियां शामिल थीं: एम्बोडीड टास्क (नेविगेशन/माइनिंग), GUI टास्क (क्राफ्टिंग/स्मेलट), और कॉम्बैट टास्क। बेस मॉडल Qwen2-VL-7B-Instruct था।

प्रदर्शन लाभ (Performance Gains): GROW ने सभी श्रेणियों में SOTA परिणाम प्राप्त किए:
- Embodied: ASR पिछले सर्वश्रेष्ठ 50.4% से सुधरकर 59.6% हो गया।
- GUI: ASR 39.1% से सुधरकर 68.4% हो गया।
- Combat: ASR 39.2% से सुधरकर 49.0% हो गया।
दक्षता (Efficiency): कार्यों को पूरा करने के लिए आवश्यक औसत स्टेप्स में उल्लेखनीय कमी आई (उदाहरण के लिए, एम्बोडीड कार्यों में 263 से 128 स्टेप्स)।
सामान्यीकरण (Generalization): GROW ने अनदेखे कार्यों (RL-unseen) के लिए मजबूत सामान्यीकरण दिखाया, जो ट्रेनिंग सेट पर ओवरफिट हुए बिना सफलता दर में महत्वपूर्ण सुधार करता है।
एब्लेशन स्टडीज (Ablation Studies):
- बनाम PPO: GROW ने सफलता दर और कन्वर्जेंस स्पीड दोनों में PPO को पछाड़ दिया।
- डिस्काउंट फैक्टर ( $\gamma$ ): $\gamma=0.995$ के मान ने लॉन्ग-होराइजन क्रेडिट असाइनमेंट और लोकल एफिशिएंसी के बीच सबसे अच्छा संतुलन प्रदान किया।
व्यवहार संबंधी विश्लेषण (Behavioral Analysis): डायग्नोस्टिक कार्यों ने खुलासा किया कि GROW ने स्थिर टारगेट फिक्सेशन, सक्रिय टारगेट री-एक्विजिशन (खोए हुए लक्ष्यों को खोजना), और डिस्ट्रैक्टर-रोबस्ट GUI ऑपरेशन जैसे विशिष्ट कौशल में सुधार किया।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि GROW ओपन-वर्ल्ड वातावरण की विशिष्ट बाधाओं (लंबे, शोर वाले ट्राजेक्टरीज) और उन्नत RL एल्गोरिदम (GRPO) के बीच के अंतर को प्रभावी ढंग से पाटकर ओपन-वर्ल्ड VLM एजेंटों के लिए एक नया SOTA स्थापित करता है।

मुख्य उपलब्धि: फ्रेमवर्क सफलतापूर्वक पूर्ण-ट्राजेक्टरी RL में निहित अत्यधिक कॉन्टेक्स्ट संचय और शोर की समस्याओं को कम करता है, जबकि GRPO के मूल सापेक्ष ऑप्टिमाइज़ेशन सिग्नल को सुरक्षित रखता है।
कौशल प्राप्ति (Skill Acquisition): परिणाम बताते हैं कि GROW केवल ट्राजेक्टरी मेमोरी के बजाय पुन: प्रयोज्य इंटरेक्शन रणनीतियों (जैसे, सक्रिय खोज, रोबस्ट GUI हैंडलिंग) को बढ़ावा देता है।
स्केलेबिलिटी: ट्राजेक्टरीज को डीकंपोज़ करके, यह विधि जटिल, मल्टी-टर्न वातावरण में VLM एजेंटों को प्रशिक्षित करने के लिए एक स्केलेबल रास्ता प्रदान करती है जहाँ वैल्यू एस्टीमेशन महंगा और अस्थिर होता है।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें बहुत लंबे समय तक चलने वाले कार्यों के लिए वर्तमान में मेमोरी मॉड्यूल की कमी और विशिष्ट सिम्युलेटर (Minecraft) पर निर्भरता शामिल है, जो सुझाव देते हैं कि भविष्य के कार्य इतिहास को सारांशित करने और विविध ओपन-वर्ल्ड वातावरणों में विस्तार करने का पता लगा सकते हैं।