Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL
यह शोध पत्र मास्कड डिफ्यूजन लैंग्वेज मॉडल्स (MDLMs) को एजेंटिक सुदृढीकरण शिक्षण (reinforcement learning) के लिए श्रेष्ठ, स्टीयरेबल टेक्स्ट-आधारित वर्ल्ड मॉडल्स के रूप में प्रस्तुत करता है जो बड़े LLMs की तुलना में काफी अधिक रोलआउट विविधता और ज़ीरो-शॉट ट्रांसफर प्रदर्शन प्राप्त करने के लिए ऑटोरेग्रेसिव पूर्वाग्रहों को दूर करते हैं, जिसे एक बड़े पैमाने के डेटासेट और एक नवीन GRPO प्रशिक्षण ढांचे द्वारा समर्थित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक जटिल वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं, जैसे कि एक विशाल, बदलते हुए शहर में रास्ता खोजना या एक व्यस्त कॉफी शॉप का प्रबंधन करना। सीखने के लिए, रोबोट को लाखों बार अभ्यास करने की आवश्यकता होगी। वास्तविक दुनिया में, आपको हर एक अभ्यास रन के लिए एक भौतिक कॉफी शॉप बनानी होगी, जो असंभव है। इसलिए, वैज्ञानिक "सिम्युलेटर" (simulators) का उपयोग करते हैं—डिजिटल दुनिया जहाँ रोबोट बिना कुछ तोड़े, प्रयास कर सकता है, विफल हो सकता है और सीख सकता है। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) का मूल है: एक AI जो एक सैंडबॉक्स में परीक्षण और त्रुटि (trial and error) के माध्यम से सीखता है।
लेकिन यहाँ एक पेंच है: इन सैंडबॉक्सों को बनाना कठिन है। आमतौर पर, मनुष्यों को हर नियम और परिदृश्य को हाथ से तैयार करना पड़ता है, जो धीमा है और उन विभिन्न स्थितियों की संख्या को सीमित करता है जिन्हें रोबोट देख सकता है। यदि रोबोट एक विशिष्ट परिदृश्य में बहुत अच्छा हो जाता है, तो वह वास्तव में सोचने के बजाय सटीक चरणों को याद करने के माध्यम से "चीटिंग" करने लगता है। यह उस छात्र की तरह है जिसने अभ्यास परीक्षा के उत्तर तो रट लिए लेकिन वास्तविक परीक्षा में असफल हो गया क्योंकि प्रश्न थोड़े अलग थे। इसे ठीक करने के लिए, शोधकर्ता "वर्ल्ड मॉडल्स" (World Models) बनाने की कोशिश कर रहे हैं—ऐसे AI सिस्टम जो अपने आप इन डिजिटल दुनियाओं की कल्पना और सिमुलेशन कर सकते हैं, जिससे अनंत, विविध अभ्यास परिदृश्य बन सकें। बड़ा सवाल यह है: क्या ये AI सिम्युलेटर जटिल, नियम-प्रधान वातावरण में यह अनुमान लगाने के लिए पर्याप्त स्मार्ट हो सकते हैं कि आगे क्या होगा, बिना भ्रमित हुए?
यह पेपर एक नए प्रकार के AI सिम्युलेटर को पेश करता है जिसे मास्क्ड डिफ्यूजन लैंग्वेज मॉडल (Masked Diffusion Language Model - MDLM) कहा जाता है और तर्क देता है कि यह सामान्य AI मॉडल जो हम आमतौर पर उपयोग करते हैं, की तुलना में एक बहुत बेहतर "गेम मास्टर" है।
समस्या: एकतरफा रास्ता बनाम दोतरफा रास्ता
यह समझने के लिए कि यह क्यों मायने रखता है, एक मानक AI (जिसे ऑटोरिग्रेसिव (Autoregressive - AR) मॉडल कहा जाता है) के सोचने के तरीके की कल्पना करें। यह एक व्यक्ति की तरह है जो एक बार में एक शब्द लिखता है, सख्ती से बाएं से दाएं। एक बार जब वे एक शब्द लिख देते हैं, तो वे पीछे जाकर उसे बदल नहीं सकते। यदि वे लिखते हैं "बैंक ने कार्ड अस्वीकार कर दिया," तो वे उस वाक्य में बंधे हुए हैं। यदि उन्हें बाद में एहसास होता है कि उन्हें "बैंक ने कार्ड स्वीकृत कर दिया" लिखना चाहिए था, तो बहुत देर हो चुकी है; कहानी पहले ही टूट चुकी है। एक जटिल सिमुलेशन में, यह ग्लोबल इनकोहेरेंस (global incoherence) नामक समस्या पैदा करता है। AI एक आदर्श शुरुआत लिख सकता है, लेकिन जब तक वह अंत तक पहुँचता है, विवरण दुनिया के नियमों से मेल नहीं खाते। यह एक जासूस की तरह है जो अपराध को सुलझाता तो है लेकिन संदिग्ध का नाम भूल जाता है, या एक शेफ की तरह जो भोजन तो पकाता है लेकिन चूल्हा बंद करना भूल जाता है।
लेखक सुझाव देते हैं कि मानक "बाएं-से-दाएं" सोचने का तरीका एक बाधा है। वे एक अलग दृष्टिकोण प्रस्तावित करते हैं: मास्क्ड डिफ्यूशन (Masked Diffusion)। कल्पना कीजिए कि कहानी को शुरू से अंत तक लिखने के बजाय, आपके पास टेक्स्ट का एक पेज है जहाँ कुछ शब्द काले बक्सों (मास्क) के पीछे छिपे हुए हैं। आपका काम उन छिपे हुए शब्दों का अनुमान लगाना है, लेकिन यहाँ एक ट्रिक है: आप बॉक्स से पहले के शब्दों और बॉक्स के बाद के शब्दों दोनों को अपना अनुमान लगाने के लिए देख सकते हैं। आप पूरे चित्र का उपयोग करके बीच में, अंत में या शुरुआत में एक साथ भर सकते हैं। यह AI को यह जांच करने की अनुमति देता है कि क्या शुरुआत अंत से मेल खाती है, जिससे यह सुनिश्चित होता है कि पूरी कहानी एक साथ समझ में आए।
प्रयोग: एक बेहतर सैंडबॉक्स बनाना
शोधकर्ताओं ने केवल इस बारे में बात नहीं की; उन्होंने इसे बनाया। उन्होंने कोडिंग टूल्स से लेकर ग्राहक सेवा परिदृश्यों तक, नौ अलग-अलग वातावरणों में 239,403 अलग-अलग "अभ्यास रन" (ट्रैजेक्टरीज) का एक विशाल डेटासेट बनाया। उन्होंने अपने नए मास्क्ड डिफ्यूजन मॉडल को इस डेटा पर प्रशिक्षित किया और फिर उन्हें उपलब्ध सर्वश्रेष्ठ मानक "बाएं-से-दाएं" वाले मॉडलों के खिलाफ टेस्ट किया।
उन्होंने पाया कि नए मॉडल आश्चर्यजनक रूप से शक्तिशाली थे। भले ही मास्क्ड डिफ्यूजन मॉडल बहुत छोटे थे (कुछ केवल 8 बिलियन पैरामीटर्स के थे, जबकि मानक मॉडल जिन्हें उन्होंने हराया वे 30 बिलियन से अधिक के थे), उन्होंने बहुत अधिक सुसंगत और यथार्थवादी सिमुलेशन बनाए।
इसे ऐसे सोचें: मानक विशाल मॉडल एक बहुत तेज़ टाइपिस्ट की तरह है जो एक बार में एक अक्षर टाइप करता है। यदि वे शुरुआत में कोई गलती करते हैं, तो पूरा वाक्य बर्बाद हो जाता है। नया मास्क्स्ड डिफ्यूजन मॉडल एक मूर्तिकार की तरह है जो एक साथ मिट्टी के पूरे ब्लॉक को देखता है, अलग-अलग जगहों पर एक साथ तराशता है ताकि यह सुनिश्चित हो सके कि अंतिम मूर्ति हर कोण से सही दिखे।
परिणाम: स्मार्ट अभ्यास, बेहतर खिलाड़ी
असली परीक्षण तब आया जब उन्होंने इन सिम्युलेटर्स का उपयोग वास्तविक AI एजेंटों (उन "रोबोटों" को प्रशिक्षित करने के लिए जो कार्यों को सीखने की कोशिश कर रहे हैं) को प्रशिक्षित करने के लिए किया। उन्होंने इन एजेंटों को मास्क्स्ड डिफ्यूजन मॉडल द्वारा बनाए गए संसारों में अभ्यास करने दिया और फिर उन्हें पूरी तरह से नए, अनदेखे वातावरणों (जैसे ScienceWorld, ALFWorld, और AppWorld) में टेस्ट किया।
परिणाम चौंकाने वाले थे। मास्क्स्ड डिफ्यूजन सिम्युलेटर के साथ प्रशिक्षित एजेंटों ने पुराने मानक मॉडलों के साथ प्रशिक्षित एजेंटों की तुलना में सफलता दर में 47% तक सुधार किया। यह बिना किसी शोधकर्ता द्वारा उन नए वातावरणों के बारे में कुछ भी विशिष्ट सिखाए हुआ हुआ; एजेंटों ने केवल बेहतर सामान्य कौशल सीखे क्योंकि अभ्यास जगत अधिक विविध और तार्किक थे।
उदाहरण के लिए, एक छोटा AI एजेंट जिसके 1.2 बिलियन पैरामीटर्स हैं, जो आमतौर पर एक जटिल कार्य में सफल होने के लिए संघर्ष करता है (केवल 5.7% सफलता), नए सिम्युलेटर के साथ प्रशिक्षण के बाद 53.6% सफलता तक पहुँच गया। यह एक बड़ी छलांग है, जो बताती है कि सिम्युलेटर ने बहुत अधिक समृद्ध, विविध सेट प्रदान किया जिसने एजेंट को अनुकूलन करना सीखने में मदद की।
यह क्यों महत्वपूर्ण है
पेपर सुझाव देता है कि हमें AI सिम्युलेटर बनाने के तरीके को बदलने की आवश्यकता है। पुराना "बाएं से दाएं लिखें" वाला तरीका एक दीवार से टकरा रहा है, जिससे AI दोहराव वाले लूप में फंस जाता है या तार्किक त्रुटियां करता है जो सिमुलेशन को तोड़ देती हैं। पूरे चित्र को एक साथ देखने के तरीके (द्विदिश डिनोइजिंग - bidirectional denoising) में स्विच करके, हम ऐसे सिम्युलेटर बना सकते हैं जो न केवल स्मार्ट हैं बल्कि अधिक कुशल भी हैं।
लेखकों ने एक "मानव चेक" भी चलाया, जिसमें विशेषज्ञों से सिमुलेशन को रेट करने के लिए कहा गया। मास्क्ड डिफ्यूजन मॉडल ने यथार्थवाद (realism) (5 में से 4.75) और सटीकता (correctness) (5 में से 4.25) पर बहुत उच्च स्कोर किया, जिसका अर्थ है कि मनुष्यों को सिम्युलेटेड दुनिया विश्वसनीय और उपयोगी लगी।
हालाँकि, पेपर सावधानीपूर्वक नोट करता है कि यह अभी तक एक पूर्ण, तैयार उत्पाद नहीं है। नए मॉडल अभी भी विशिष्ट विवरणों के साथ संघर्ष करते हैं, जैसे कि सही API कुंजियाँ (keys) उत्पन्न करना या बिना भ्रमित हुए बहुत लंबी वस्तुओं की सूचियों को संभालना। लेकिन मुख्य निष्कर्ष स्पष्ट है: भविष्य के बारे में AI के सोचने के तरीके को बदलकर—एकतरफा सड़क से दोतरफा सड़क में बदलकर—हम बेहतर प्रशिक्षण मैदान बना सकते हैं। इसका मतलब है कि अगली पीढ़ी के AI एजेंटों को प्रशिक्षित करने के लिए बेहतर, स्मार्ट रोबोट जो वास्तविक दुनिया में जटिल काम संभाल सकते हैं, सॉफ्टवेयर बग ठीक करने से लेकर ग्राहक सेवा प्रबंधित करने तक, केवल इसलिए क्योंकि उन्होंने एक ऐसी दुनिया में अभ्यास किया जो अधिक समझ में आने वाली थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।