Diffusion-State Policy Optimization for Masked Diffusion Language Models
यह शोध पत्र डिफ्यूजन-स्टेट पॉलिसी ऑप्टिमाइज़ेशन (DiSPO) का प्रस्ताव करता है, जो एक प्लग-इन विधि है जो ब्रांचिंग और स्कोरिंग तंत्र के माध्यम से मध्यवर्ती टोकन-फिलिंग निर्णयों को सीधे अनुकूलित करके मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स को बेहतर बनाती है, जिससे बिना किसी अतिरिक्त कंप्यूट या ऑप्टिमाइज़र स्टेप की आवश्यकता के गणित और प्लानिंग जैसे जटिल कार्यों पर प्रदर्शन में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: AI प्रशिक्षण में "ब्लाइंड स्पॉट" को ठीक करना
कल्पना कीजिए कि आप एक छात्र को एक जटिल पहेली हल करना सिखा रहे हैं, जैसे कि सुडोकू या गणित की कोई समस्या।
- पुराना तरीका (टर्मिनल-फीडबैक): आप छात्र को पूरी पहेली हल करने देते हैं। जब वे पूरी कर लेते हैं, तो आप अंतिम उत्तर देखते हैं। यदि वह गलत है, तो आप कहते हैं, "बुरा काम किया," और उन्हें यह अनुमान लगाने के लिए कहना पड़ता है कि 10 कदम पहले उन्होंने कौन सा विशिष्ट नंबर गलत भरा था। यदि वह सही है, तो आप कहते हैं, "अच्छा काम किया," लेकिन उन्हें यह पता नहीं चलता कि किस विशिष्ट चाल ने अंतर पैदा किया। यह एक छात्र को सेमेस्टर के अंत में ग्रेड देने जैसा है बिना यह बताए कि किस होमवर्क असाइनमेंट ने उन्हें सीखने में मदद की थी।
- नया तरीका (DISPO): यह पेपर DISPO (डिफ्यूजन-स्टेट पॉलिसी ऑप्टिमाइज़ेशन) नामक एक विधि पेश करता है। अंत तक प्रतीक्षा करने के बजाय, DISPO छात्र को पहेली के दौरान विशिष्ट क्षणों पर रोकता है। यह पूछता है, "यदि आपने ठीक इसी जगह एक अलग नंबर चुना होता, तो क्या अंतिम परिणाम बेहतर होता?" यह तुरंत कुछ "क्या-होता-यदि" (what-if) परिदृश्यों का परीक्षण करता है और उस विशिष्ट चाल पर फीडबैक देता है।
समस्या: "कोर्स क्रेडिट असाइनमेंट" (Coarse Credit Assignment)
यह पेपर तर्क देता है कि वर्तमान AI मॉडल (विशेष रूप से मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स) एक-एक करके गायब शब्दों या नंबरों को भरने में बहुत अच्छे हैं। हालाँकि, जब हम उन्हें रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करके प्रशिक्षित करते हैं, तो हम आमतौर पर उन्हें केवल अंतिम पूर्ण टेक्स्ट के लिए इनाम (एक स्कोर) देते हैं।
इससे एक "क्रेडिट असामेंट" की समस्या पैदा होती है। AI उस अंतिम टेक्स्ट तक पहुँचने के लिए सैकड़ों छोटे निर्णय लेता है। यदि अंतिम टेक्स्ट अच्छा है, तो कौन सा निर्णय नायक था? यदि यह बुरा है, तो कौन सा निर्णय खलनायक था? पुराना तरीका पूरे अनुक्रम (sequence) को एक बड़े ब्लॉक के रूप में मानता है, जिससे AI के लिए यह सीखना कठिन हो जाता है कि कदम-दर-कदम कैसे सोचा जाए।
समाधान: DISPO (एक "क्या-होता-यदि" सिम्युलेटर)
DISPO इसे AI की जनरेशन प्रक्रिया को छोटी, परीक्षण योग्य निर्णयों की एक श्रृंखला में बदलकर हल करता है। यह कैसे काम करता है, यहाँ पेपर के अपने तर्क के अनुसार दिया गया है:
- स्टेट (एक स्नैपशॉट): कल्पना कीजिए कि AI एक कहानी लिख रहा है या गणित की समस्या हल कर रहा है। उसने कुछ शब्द भर दिए हैं, लेकिन कई अभी भी मास्क्ड (छिपे हुए) हैं। यह "आधा-बना हुआ" स्टेट ही स्टेट है।
- एक्शन (भरना): AI को छिपे हुए स्थानों को भरने की आवश्यकता है।
- ब्रांचिंग (सिमुलेशन): केवल एक बार भरने और आगे बढ़ने के बजाय, DISPO रुक जाता है। यह वर्तमान "आधा-बना हुआ" स्टेट लेता है और कहता है, "आइए अभी इन खाली जगहों को 2 या 3 अलग तरीकों से भरने की कोशिश करें।"
- उपमा: कल्पना कीजिए कि एक शेफ सूप चख रहा है। केवल नमक डालने और परोसने के बजाय, शेफ एक चम्मच लेता है, नमक डालता है, और चखता है। फिर, वे उसी बर्तन से एक और चम्मच लेते हैं, काली मिर्च डालते हैं, और चखते हैं। वे तुरंत दोनों चम्मचों की तुलना करते हैं।
- रिवॉर्ड (स्कोर): इनमें से प्रत्येक "क्या-होटा-यदि" वाला संस्करण तेजी से पूरा किया जाता है (कैश्ड डेटा का उपयोग करके, ताकि यह तेज़ हो), और अंतिम लक्ष्य (जैसे, "क्या इस संस्करण ने गणित की समस्या हल की?") के आधार पर स्कोर किया जाता है।
- अपडेट (सबक): AI सीखता है: "जब मैं इस विशिष्ट स्टेट में था, तो खाली जगह को 'नमक' से भरना 'काली मिर्च' से भरने से बेहतर था।" यह उस विशिष्ट स्थिति के लिए बेहतर विकल्प को प्राथमिकता देने के लिए अपने मस्तिष्क को अपडेट करता है।
यह क्यों विशेष है: कोई अतिरिक्त भारी काम नहीं
पेपर एक महत्वपूर्ण दक्षता ट्रिक पर जोर देता है। आमतौर पर, "क्या-होता-यदि" परिदृश्यों का परीक्षण करने के लिए, एक AI को पूरी प्रक्रिया को शुरू से शुरू करना होगा या एक लंबा सिमुलेशन चलाना होगा, जो धीमा और महंगा है।
DISPO चतुर है क्योंकि यह कैश्ड लॉजिट्स (वह डेटा जो AI ने अपनी सामान्य सोच प्रक्रिया के दौरान पहले ही कैलकुलेट कर लिया है) का उपयोग करता है।
- उपमा: यह एक ऐसे मानचित्र की तरह है जहाँ AI ने पहले ही सभी संभावित सड़कें बना ली हैं। हर सड़क पर चलकर यह देखने के बजाय कि वह कहाँ ले जाती है, DISPO बस मानचित्र को देखता है, कुछ मार्ग चुनता है, और तुरंत जान जाता है कि कौन सा मार्ग मंजिल तक ले जाता है।
- परिणाम: AI को अतिरिक्त कंप्यूटर पावर के बिना अधिक स्मार्ट फीडबैक मिलता है। यह एक "प्लग-इन" की तरह है जो मौजूदा प्रशिक्षण विधियों को बिना बहुत अधिक धीमा किए बेहतर बनाता है।
परिणाम: गणित और प्लानिंग में बेहतर
लेखकों ने इसे LLaDA-8B-Instruct नामक मॉडल पर परखा। उन्होंने मानक प्रशिक्षण विधियों के मुकाबले निम्नलिखित पर DISPO की तुलना की:
- गणित: ग्रेड-स्कूल वर्ड प्रॉब्लम्स (GSM8K) और कठिन प्रतियोगिता गणित (MATH500) को हल करना।
- प्लानिंग: सुडोकू पहेलियाँ और "काउंटडाउन" नंबर गेम को हल करना।
निष्कर्ष:
- DISPO ने लगातार मानक तरीकों को हराया।
- यह सुडोकू और काउंटडाउन में विशेष रूप से अच्छा था।
- क्यों? पेपर ने पाया कि DISPO AI को "समयपूर्व प्रतिबद्धता" (premature commitments) से बचने में मदद करता है।
- उपमा: सुडोकू में, एक मानक AI शुरुआत में एक ऐसा नंबर भर सकता है जो दिखने में ठीक लगता है लेकिन बाद में एक नियम तोड़ देता है। DISPO, उस विशिष्ट क्षण पर विकल्पों का परीक्षण करके, यह महसूस करता है, "रुको, यदि मैं यहाँ 5 रखता हूँ, तो मैं स्टेप 10 में फंस जाऊँगा। चलिए इसके बजाय 3 आज़माते हैं।" यह जानकारी अधिक होने तक बुरे निर्णयों को टाल देता है।
सारांश
DISPO एक नया प्रशिक्षण तकनीक है उन AI मॉडल्स के लिए जो खाली जगहों को भरकर टेक्स्ट जनरेट करते हैं। अंत तक प्रतीक्षा करने के बजाय कि "अच्छा काम किया" या "बुरा काम किया" कहा जाए, यह मध्यवर्ती चरणों (intermediate steps) पर रुकता है, तुरंत कुछ अलग "क्या-होता-यदि" विकल्पों का परीक्षण करता है, और AI को सिखाता है कि किस विशिष्ट चाल ने सबसे अच्छा परिणाम दिया।
यह एक छात्र को टेस्ट के दौरान ही क्विज़ देने जैसा है ताकि उनके सोचने के तरीके को वास्तविक समय में सुधारा जा सके, बजाय इसके कि केवल अंतिम पेपर को ग्रेड किया जाए। पेपर साबित करता है कि यह AI को गणित और तर्क पहेलियों में स्मार्ट बनाता है बिना परीक्षण चलाने के लिए अतिरिक्त कंप्यूटर समय की आवश्यकता के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।