💬 NLP

SPG: Sandwiched Policy Gradient for Masked Diffusion Language Models

यह शोध पत्र सैंडविचड पॉलिसी ग्रेडिएंट (SPG) प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो डिफ्यूजन लैंग्वेज मॉडल्स की जटिलता को दूर करने के लिए लॉग-लाइक्लीहुड के ऊपरी और निचले दोनों बाउंड्स का उपयोग करती है, और गणितीय एवं तार्किक तर्क संबंधी बेंचमार्क पर मौजूदा बेसलाइन्स से काफी बेहतर प्रदर्शन करती है।

मूल लेखक: Chenyu Wang, Paria Rashidinejad, DiJia Su, Song Jiang, Sid Wang, Siyan Zhao, Cai Zhou, Shannon Zejiang Shen, Feiyu Chen, Tommi Jaakkola, Yuandong Tian, Bo Liu

प्रकाशित 2026-04-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenyu Wang, Paria Rashidinejad, DiJia Su, Song Jiang, Sid Wang, Siyan Zhao, Cai Zhou, Shannon Zejiang Shen, Feiyu Chen, Tommi Jaakkola, Yuandong Tian, Bo Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: AI को सोचने का सिखाने का एक नया तरीका

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (AI) है जो कहानियाँ लिखने में माहिर है, लेकिन वह उन्हें एक-एक शब्द करके लिखता है, जैसे कोई टाइप करने वाला। आज के अधिकांश AI मॉडल इसी तरह काम करते हैं (जिसे Autoregressive कहा जाता है)।

हाल ही में, एक नए प्रकार के छात्र का उदय हुआ है जिसे Diffusion Model कहा जाता है। शब्द-दर-शब्द टाइप करने के बजाय, यह छात्र बिखराव (शोर/noise) से भरी एक खाली पन्ने को देखता है और पूरी कहानी को प्रकट करने के लिए उसे एक साथ "साफ" करने की कोशिश करता है। यह बहुत तेज़ है क्योंकि वे एक साथ कई शब्दों को ठीक कर सकते हैं।

हालाँकि, एक समस्या है: हम इस "सफाई करने वाले" छात्र को गणित या तर्क (logic) में बेहतर होने के लिए कैसे सिखाएं?

अतीत में, हमने एक विधि का उपयोग किया था जिसे Reinforcement Learning (RL) कहा जाता है। इसे एक शिक्षक के रूप में सोचें जो छात्र को टेस्ट पूरा करने के बाद एक ग्रेड (पुरस्कार/reward) देता है।

यदि उत्तर सही है, तो शिक्षक कहता है, "बहुत बढ़िया! ऐसा ही करते रहो!"
यदि उत्तर गलत है, तो शिक्षक कहता है, "बुरा काम! ऐसा करना बंद करो!"

Diffusion Models के साथ समस्या यह है कि शिक्षक छात्र के उत्तर की "ग्रेडिंग" उस समय आसानी से नहीं कर सकता जब छात्र अभी भी शोर (noise) को "साफ" कर रहा होता है। यह एक पेंटिंग को ग्रेड करने की कोशिश करने जैसा है जबकि कलाकार अभी भी कैनवास पर रंग मिला रहा हो। क्योंकि शिक्षक सटीक स्कोर नहीं देख सकता, इसलिए उसे अनुमान लगाना पड़ता है। पिछली विधियों ने एक "सर्वश्रेष्ठ अनुमान" लगाया जो अक्सर गलत होता था, जिससे छात्र गलत सबक सीख जाते थे।

समाधान: "सैंडविच" रणनीति

इस शोध पत्र के लेखक एक नई शिक्षण विधि प्रस्तावित करते हैं जिसे SPG (Sandwiched Policy Gradient) कहा जाता है।

कल्पना कीजिए कि शिक्षक छात्र के उत्तर की "वास्तविक गुणवत्ता" का अनुमान लगाने की कोशिश कर रहा है, लेकिन वह इसे सीधे नहीं देख सकता। इसके बजाय, वे एक सैंडविच का उपयोग करते हैं:

निचला बन (Lower Bound - निचली सीमा): जब छात्र एक अच्छा उत्तर (उच्च पुरस्कार) देता है, तो शिक्षक एक "सुरक्षित, रूढ़िवादी अनुमान" (Lower Bound) का उपयोग करता है। वे कहते हैं, "हम जानते हैं कि यह कम से कम इतना अच्छा है। आइए इसे प्रोत्साहित करें!"
ऊपरी बन (Upper Bound - ऊपरी सीमा): जब छात्र एक बुरा उत्तर (कम पुरस्कार) देता है, तो शिक्षक एक "सख्त, निराशावादी अनुमान" (Upper Bound) का उपयोग करता है। वे कहते हैं, "हम जानते हैं कि यह निश्चित रूप से इससे बेहतर नहीं है। आइए इसे हतोत्साहित करें!"

वास्तविक, अदृश्य गुणवत्ता को एक सुरक्षित फर्श (floor) और एक सख्त छत (ceiling) के बीच "सैंडविच" करके, शिक्षक छात्र को पहले की तुलना में बहुत अधिक सटीकता से मार्गदर्शन कर सकता है।

पुरानी विधि: शिक्षक सब कुछ के लिए केवल निचले बन (lower bun) को देखता था। इसका मतलब था कि वे बुरे उत्तरों के प्रति बहुत उदार थे और उन्हें पर्याप्त दंड नहीं दे पा रहे थे।
SPG विधि: शिक्षक अच्छे उत्तरों के लिए निचले बन का उपयोग करता है और बुरे उत्तरों के लिए सैंडविच को पलटकर ऊपरी बन (upper bun) का उपयोग करता है। यह एक आदर्श संतुलन बनाता है।

गुप्त नुस्खा: ब्लॉक-वाइज मास्किंग (Block-Wise Masking)

एक और समस्या थी। जब शिक्षक छात्र के उत्तर की गुणवत्ता का अनुमान लगाने की कोशिश करता था, तो वह छात्र के काम को एक अराजक, यादृच्छिक (random) तरीके से देख रहा होता था। यह छात्र को एक वाक्य को ठीक करने के लिए कहने जैसा था जहाँ शब्दों को बेतरतीब ढंग से मिटाया जा रहा हो, जिससे छात्र भ्रमित हो जाता था।

लेखकों ने एक Block-Wise Masking रणनीति पेश की।

उपमा: कल्पना कीजिए कि छात्र एक कहानी लिख रहा है। पूरे पन्ने से रैंडम शब्द मिटाने के बजाय, शिक्षक उनसे एक समय में एक पैराग्राफ पर ध्यान केंद्रित करने के लिए कहता है।
शिक्षक कहानी की शुरुआत को साफ रखता है, बीच के पैराग्राफ (ब्लॉक) को मिटा देता है, और अंत को साफ रखता है।
यह छात्र को संदर्भ (context) को बेहतर ढंग से समझने में मदद करता है। यह संगीत के एक पूरे पन्ने पर बिखरे हुए रैंडम नोट्स के बजाय, संगीत के एक विशिष्ट माप (measure) पर ध्यान केंद्रित करके अभ्यास करने जैसा है। यह सीखने की प्रक्रिया को बहुत अधिक स्थिर और कुशल बनाता है।

परिणाम: स्मार्ट, तेज़ और अधिक सटीक

पेपर ने इस नए "सैंडविच" शिक्षक का परीक्षण चार कठिन चुनौतियों पर किया:

GSM8K और MATH500: जटिल गणितीय शब्द समस्याएं।
Countdown: एक खेल जहाँ आपको लक्ष्य तक पहुँचने के लिए संख्याओं का उपयोग करना होता है।
Sudoku: क्लासिक संख्या पहेली।

परिणाम:
SPG विधि ने प्रतियोगिता को पछाड़ दिया।

Sudoku पर, इसने पिछले सर्वश्रेष्ठ तरीके की तुलना में भारी 27% सुधार किया।
Countdown पर, यह 18% ऊपर उछल गया।
गणित की समस्याओं पर, इसमें 3-4% का सुधार हुआ।

AI की दुनिया में, गणित की समस्याओं पर 3% का सुधार बहुत बड़ा है। इसका मतलब है कि AI अचानक तर्क पहेलियों को हल करने में बहुत अधिक विश्वसनीय हो गया है।

सारांश

समस्या: Diffusion AI मॉडल तेज़ हैं लेकिन पुरस्कारों (rewards) के साथ उन्हें प्रशिक्षित करना कठिन है क्योंकि हम आसानी से उनका "स्कोर" नहीं निकाल सकते।
समाधान: SPG सैंडविच। हम अच्छे उत्तरों को प्रोत्साहित करने के लिए एक "सुरक्षित फर्श" का उपयोग करते हैं और बुरे उत्तरों को दंडित करने के लिए एक "सख्त छत" का उपयोग करते हैं, जिससे AI को सुधारने के लिए एक स्पष्ट संकेत मिलता है।
तरीका: हम AI को रैंडम टुकड़ों के बजाय ब्लॉक्स (हिस्सों) में सिखाते हैं, जिससे प्रशिक्षण प्रक्रिया अधिक सुचारू हो जाती है।
परिणाम: AI गणित और तर्क में काफी स्मार्ट हो जाता है, जो यह साबित करता है कि यह नई "सैंडविच" दृष्टिकोण तेज़, समानांतर (parallel) AI मॉडल को प्रशिक्षित करने का भविष्य है।

संक्षेप में, लेखकों ने पाया कि एक तेज़-लेकिन-भ्रमित AI छात्र को स्पष्ट निर्देश देने का एक तरीका है, जो उसे गणित और तर्क का जीनियस बना देता है।

यहाँ पेपर "SPG: Sandwiched Policy Gradient for Masked Diffusion Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs), विशेष रूप से मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स (MDLMs), पैरेलल टोकन डिकोडिंग को सक्षम करके इंफरेंस लेटेंसी (inference latency) को कम करने के माध्यम से ऑटोरिग्रेसिव (AR) मॉडल्स के एक आशाजनक विकल्प के रूप में उभर रहे हैं। हालाँकि, मानव प्राथमिकताओं या कार्य-विशिष्ट पुरस्कारों (rewards) के साथ dLLMs को रीइन्फोर्समेंट लर्निंग (RL) के माध्यम से संरेखित (align) करना एक महत्वपूर्ण चुनौती बनी हुई है।

मुख्य कठिनाई डिफ्यूजन मॉडल्स के लिए लॉग-लाइक्लिहुड (log-likelihood) ( $\log \pi_\theta(x|c)$ ) की गणना करने में निहित है, जो कि 'इंट्रैक्टेबल' (intractable) है। मानक पॉलिसी ग्रेडिएंट विधियाँ (जैसे PPO, GRX0) पॉलिसी को अपडेट करने के लिए इस लॉग-लाइक्लिहुड की गणना करने पर निर्भर करती हैं।

वर्तमान सीमाएँ: पूर्ववर्ती कार्य वास्तविक लॉग-लाइक्लिहुड को एविडेंस लोअर बाउंड (ELBO) या वन-स्टेप एस्टीमेशन का उपयोग करके अनुमानित करते हैं।
दोष: ELBO एक लोअर बाउंड है ( $ELBO \leq \log \pi_\theta$ $E L B O \leq lo g π_{θ}$ )।
- सकारात्मक पुरस्कारों (positive rewards) (अच्छे आउटपुट) के लिए, ELBO को मैक्सिमाइज करना वास्तविक लाइक्लिहुड को मैक्सिमाइज करने के लिए एक वैध प्रॉक्सी है।
- नकारात्मक पुरस्कारों (negative rewards) (बुरे आउटपुट) के लिए, ELBO को मिनिमाइज करना वास्तविक लॉग-लाइक्लिहुड को मिनिमाइज करने की गारंटी नहीं देता है। यह बायस्ड (biased) पॉलिसी ग्रेडिएंट्स की ओर ले जाता है, जिससे मॉडल नकारात्मक फीडबैक से प्रभावी ढंग से सीखने में विफल रहता है और सब-ऑप्टिमल प्रदर्शन होता है।

2. कार्यप्रणाली: सैंडविच्ड पॉलिसी ग्रेडिएंट (Sandwiched Policy Gradient - SPG)

लेखक SPG का प्रस्ताव करते हैं, जो एक नया RL एल्गोरिदम है जो वास्तविक लॉग-लाइक्लिहुड को रिवॉर्ड सिग्नल के आधार पर एक सुलभ लोअर बाउंड और एक सुलभ अपर बाउंड के बीच "सैंडविच" करके इस इंट्रैक्टेबिलिटी की समस्या को हल करता है।

A. सैंडविच्ड ऑब्जेक्टिव (The Sandwiched Objective)

सभी सैंपल्स के लिए एक ही सरोगेट का उपयोग करने के बजाय, SPG जनरेट किए गए सीक्वेंस के एडवांटेज ( $A_j$ ) के आधार पर ऑप्टिमाइजेशन दिशा को अनुकूलित करता है:

सकारात्मक एडवांटेज ( $A_j \geq 0$ ): मॉडल एविडेंस लोअर बाउंड (ELBO) को मैक्सिमाइज करता है। यह उच्च-पुरस्कार वाले सीक्वेंस उत्पन्न करने के लिए प्रोत्साहित करता है।
नकारात्मक एडवांटेज ( $A_j < 0$ ): मॉडल एक सुलभ एविडेंस अपर बाउंड (EUBO) को मिनिमाइज करता है। यह सुनिश्चित करता है कि कम-पुरस्कार वाले सीक्वेंस वास्तविक लॉग-लाइक्लिहुड को कम करके प्रभावी ढंग से दंडित (penalize) किए जाएं, जिसे करने में ELBO विफल रहता है।

ऑब्जेक्टिव फंक्शन को इस प्रकार स्वरूपित किया गया है:
$J_{SPG}(\theta) = \mathbb{E} \left[ \frac{1}{g} \sum_{j=1}^g \left( \mathbb{1}_{A_j \geq 0} \cdot A_j \mathcal{L}_{ELBO}(x_j) + \mathbb{1}_{A_j < 0} \cdot A_j \mathcal{L}_{EUBO}(x_j) \right) \right]$

B. एविडेंस अपर बाउंड (EUBO) का व्युत्पत्ति (Derivation)

पेपर में रेनी वेरिएशन बाउंड (Rényi variational bound) के आधार पर मास्क्ड डिफ्यूजन मॉडल्स के लिए एक सुलभ EUBO व्युत्पन्न किया गया है।

इस बाउंड में एक हाइपरपैरामीटर $\beta \geq 1$ शामिल है जो टाइटनेस (tightness) को नियंत्रित करता है।
इसका फॉर्मूलेशन एक्सपेक्टेशन के बाहर लॉग (logarithm) रखता है, जो मोंटे कार्लो एस्टीमेशन में थोड़ा बायस (bias) तो लाता है लेकिन अनबायस्ड लूज़ अल्टरनेटिव्स की तुलना में एक टाइट बाउंड प्रदान करता है।
EUBO का ग्रेडिएंट स्वाभाविक रूप से अनिश्चित टोकन को डाउन-वेट (down-weight) करता है और कॉन्फिडेंट टोकन को अप-वेट (up-weight) करता है, जो नकारात्मक ट्रेसेस के लिए एक मजबूत करेक्शन सिग्नल के रूप में कार्य करता है।

C. स्थिरता के लिए मिश्रण रणनीति (Mixture Strategy for Stability)

ELBO की स्थिरता (जो अनुमान लगाने में आसान है) और EUBO की प्रभावशीलता (जो दंडित करने के लिए बेहतर है) के बीच संतुलन बनाने के लिए, SPG नकारात्मक एडवांटेज ट्रेसेस के लिए एक मिक्सचर लॉस (Mixture Loss) पेश करता है:
$\tilde{\mathcal{L}}_{Mix} = \omega \cdot \tilde{\mathcal{L}}_{EUBO} + (1-\omega) \cdot \mathcal{L}_{ELBO}$

सैद्धांतिक लाभ: प्रपोजिशन 1 सिद्ध करता है कि यह मिश्रण अकेले किसी भी बाउंड का उपयोग करने की तुलना में पॉलिसी ग्रेडिएंट के वेरिएंस (variance) को सख्ती से कम करता है।
तंत्र (Mechanism): यह मिश्रण एक "कॉन्फिडेंस-अवेयर" वेटिंग बनाता है जो वैनिशिंग ग्रेडिएंट्स (जो अकेले EUBO के साथ एक जोखिम है) को रोकता है, जबकि अकेले ELBO के व्यवस्थित बायस (systematic bias) से भी बचता है।

D. ब्लॉक-वाइज मास्किंग रणनीति (Block-Wise Masking Strategy)

इन बाउंड्स के लिए आवश्यक मोंटे कार्लो एस्टीमेशन की स्थिरता में सुधार करने के लिए, लेखक ट्रेनिंग के दौरान परटर्बड (perturbed) सैंपल्स जेनरेट करने के लिए एक ब्लॉक-वाइज मास्किंग रणनीति का प्रस्ताव करते हैं:

पूरे सीक्वेंस में रैंडम मास्किंग के बजाय, सीक्वेंस को ब्लॉक्स में विभाजित किया जाता है।
एक रैंडम ब्लॉक को आंशिक रूप से मास्क किया जाता है, जबकि पिछले ब्लॉक्स क्लीन रहते हैं और बाद के ब्लॉक्स पूरी तरह से मास्क किए जाते हैं।
यह पॉलिसी रोलआउट (जो अक्सर ब्लॉक-वाइज सेमी-ऑटोरिग्रेसिव डिकोडिंग का उपयोग करता है) के दौरान डेटा डिस्ट्रीब्यूशन को लाइक्लिहुड एस्टीमेशन के लिए उपयोग किए जाने वाले डिस्ट्रीब्यूशन के साथ संरेखित करता है, जिससे ट्रेनिंग स्थिरता में काफी सुधार होता है।

3. मुख्य योगदान (Key Contributions)

SPG एल्गोरिदम: एक नया पॉलिसी ग्रेडिएंट एल्गोरिदम जो पॉजिटिव रिवॉर्ड के लिए लोअर बाउंड और नेगेटिव रिवॉर्ड के लिए अपर बाउंड का उपयोग करके dLLM RL में बायस को हल करता है।
सैद्धांतिक व्युत्पत्ति: मास्क्ड डिफ्यूजन मॉडल्स के लिए एविडेंस अपर बाउंड (EUBO) का एक कठोर व्युत्पत्ति और एक प्रमाण कि EUBO और ELBO को मिक्स करने से ग्रेडिएंट वेरिएंस कम होता है।
ब्लॉक-वाइज मास्किंग: ट्रेनिंग और इंफरेंस डिस्ट्रीबशंस को संरेखित करने के लिए एक व्यावहारिक तकनीक, जो ऑप्टिमाइजेशन स्थिरता को बढ़ाती है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: गणितीय तर्क (mathematical reasoning), तार्किक तर्क (logical reasoning) और कोडिंग बेंचमार्क पर उत्कृष्ट परिणाम प्रदर्शित किए गए।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LLaDA-8B-Instruct पर चार रीजनिंग बेंचमार्क और दो कोडिंग बेंचमार्क पर SPG का मूल्यांकन किया, जिसकी तुलना D1, WD1, UniGRPO, और LLaDA-1.5 जैसे बेसलाइन से की गई।

मुख्य प्रदर्शन लाभ (256 सीक्वेंस लेंथ पर):

GSM8K (Math): पिछले SOTA (UniGRPO) से सटीकता में 3.6% का सुधार।
MATH500 (Math): 2.6% का सुधार।
Countdown (Logic): 18.4% का सुधार।
Sudoku (Logic): 27.0% का सुधार (एक विशाल लाभ, जो पिछले तरीकों के लिए कार्य की कठिनाई को दर्शाता है)।
Coding (HumanEval/MBPP): क्रमशः 1.9% और 4.7% का सुधार।

एब्लेशन स्टडीज (Ablation Studies):

मिक्सचर बनाम प्योर बाउंड्स: मिश्रण दृष्टिकोण ( $\omega \in (0,1)$ ) लगातार केवल EUBO या केवल ELBO का उपयोग करने की तुलना में बेहतर प्रदर्शन करता है, जो वेरिएंस रिडक्शन थ्योरी की पुष्टि करता है।
मास्किंग रणनीति: ब्लॉक-वाइज मास्किंग ने रैंडम मास्किंग की तुलना में काफी बेहतर प्रदर्शन किया, विशेष रूप से Countdown कार्य पर (+23.9% लाभ)।
मजबूती (Robustness): SPG ने विभिन्न इंफरेंस रणनीतियों (अलग-अलग ब्लॉक साइज, रैंडम बनाम कॉन्फिडेंस-बेस्ड अनमास्किंग) में बेहतर प्रदर्शन बनाए रखा, जो मजबूत सामान्यीकरण (generalization) को प्रदर्शित करता है।

5. महत्व (Significance)

यह पेपर डिफ्यूजन लैंग्वेज मॉडल्स के विकास में एक महत्वपूर्ण कदम है।

RL की बाधा को हल करना: यह dLLM रीइन्फोर्समेंट लर्निंग में इंट्रैक्टेबल लॉग-लाइक्लिहुड समस्या के लिए पहला सिद्धांत-आधारित समाधान प्रदान करता है, जिससे सकारात्मक और नकारात्मक दोनों फीडबैक से प्रभावी शिक्षण संभव होता है।
ऑटोरिग्रेसिव मॉडल्स के बराबर लाना: जटिल रीजनिंग कार्यों पर SOTA परिणाम प्राप्त करके, SPG यह सिद्ध करता है कि यदि सही ढंग से संरेखित किया जाए, तो dLLMs जटिल तार्किक कार्यों में ऑटोरिग्रेसिव मॉडल्स के प्रतिस्पर्धी या उनसे बेहतर हो सकते हैं।
दक्षता (Efficiency): यह विधि बिना ट्रजेक्टरी-लेवल बैकप्रोपैगेशन (जो कम्प्यूटेशनल रूप से महंगा है) की आवश्यकता के इन लाभों को प्राप्त करती है, जिससे यह बड़े मॉडल्स के लिए स्केलेबल बनती है।

संक्षेप में, SPG डिफ्यूजन-आधारित LLMs को प्रशिक्षित करने के लिए एक नया मानक स्थापित करता है, यह साबित करता है कि सही सैद्धांतिक बाउंड्स और एस्टीमेशन रणनीतियों के साथ, इन मॉडल्स को जटिल रीजनिंग और अलाइनमेंट कार्यों के लिए प्रभावी ढंग से ऑप्टिमाइज़ किया जा सकता है।