🤖 machine learning

Enhancing Reasoning for Diffusion LLMs via Distribution Matching Policy Optimization

यह शोध पत्र डिस्ट्रीब्यूशन मैचिंग पॉलिसी ऑप्टिमाइज़ेशन (DMPO) को प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो उनके नीति वितरण (policy distribution) को एक इष्टतम रिवॉर्ड-टिल्टेड लक्ष्य के साथ संरेखित करके डिफ्यूजन लार्ज लैंग्वेज मॉडल्स की तर्क क्षमताओं को महत्वपूर्ण रूप से बढ़ाता है, जिससे सुपरवाइज्ड फाइन-ट्यूनिंग के बिना मौजूदा बेसलाइन की तुलना में पर्याप्त सटीकता सुधार प्राप्त होता है।

मूल लेखक: Yuchen Zhu, Wei Guo, Jaemoo Choi, Petr Molodyk, Bo Yuan, Molei Tao, Yongxin Chen

प्रकाशित 2026-07-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuchen Zhu, Wei Guo, Jaemoo Choi, Petr Molodyk, Bo Yuan, Molei Tao, Yongxin Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो कहानियाँ लिखता है, गणित की समस्याओं को हल करता है और खेल खेलता है। आज के अधिकांश रोबोट एक व्यक्ति की तरह काम करते हैं जो एक समय में एक शब्द पढ़ता है, बाएँ से दाएँ। वे आगे नहीं देख सकते या पीछे नहीं मुड़ सकते; उन्हें बस पिछले शब्दों के आधार पर अगले शब्द का अनुमान लगाना होता है। यह धीमा है, जैसे कि केवल सामने वाले टुकड़े को देखकर एक विशाल पहेली को भरने की कोशिश करना।

यहाँ प्रवेश होता है डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs) का। ये इस क्षेत्र के नए खिलाड़ी हैं। शब्द-दर-शब्द लिखने के बजाय, ये "रहस्यमय टोकन" (जैसे एक पहेली जहाँ हर टुकड़ा धुंध से ढका हुआ है) के एक बिखरे हुए ढेर से शुरुआत करते हैं और धीरे-धीरे उसे साफ करते हैं, जिससे उत्तर एक साथ या किसी भी क्रम में प्रकट होता है। यह उन्हें संभावित रूप से सोचने में बहुत तेज़ बनाता है।

लेकिन यहाँ एक पेच है: जबकि ये डिफ्यूजन रोबोट तेज़ हैं, वे हमेशा उन्नत गणित या तर्क पहेलियों जैसे कठिन कार्यों में सबसे स्मार्ट नहीं होते हैं। उन्हें स्मार्ट बनाने के लिए, वैज्ञानिक आमतौर पर एक तकनीक का उपयोग करते हैं जिसे रीइन्फोर्समेंट लर्निंग (RL) कहा जाता है। इसे एक वीडियो गेम की तरह समझें जहाँ रोबोट को एक अच्छे उत्तर के लिए अंक मिलते हैं और एक बुरे उत्तर के लिए अंक खोने पड़ते हैं।

समस्या: "मोड-सीकिंग" (Mode-Seeking) का जाल

इन रोबोटों को प्रशिक्षित करने का पुराना तरीका (GRPO जैसी विधियों का उपयोग करके) एक ऐसे छात्र की तरह था जो केवल उसी एक उत्तर का अध्ययन करता है जिसे वह सही समझता है। यदि रोबोट को अंक प्राप्त करने का कोई ऐसा तरीका मिल जाता है जो "सुरक्षित" महसूस होता है, तो वह अन्वेषण करना बंद कर देता है। वह एक ही ढर्रे में फंस जाता है, और उन अन्य चतुर समाधानों को अनदेखा कर देता है जो उतने ही अच्छे हो सकते हैं। शोध में, लेखक इसे "मोड-सीकिंग" कहते हैं। यह एक ऐसे रोबोट जैसा है जो केवल एक विशिष्ट तरीके से गणित की समस्या को हल करना सीखता है, और यदि वह तरीका बाधित हो जाता है, तो वह घबरा जाता है। यह उन "अव्यवस्थित" लेकिन सही उत्तरों को भी अनदेखा करता है जो पहले मिले उत्तर से अलग दिखते हैं।

शोध का तर्क है कि केवल उच्चतम स्कोर के पीछे भागने का यह पुराना तरीका डिफ्यूजन मॉडल के लिए त्रुटिपूर्ण है। यह सुझाव देता है कि केवल सबसे अच्छे पथ पर ध्यान केंद्रित करके, हम रोबोट की एक साथ कई अलग-अलग पथों का पता लगाने की अनूठी क्षमता को खो देते हैं।

समाधान: DMPO (द "मैप-मैचिंग" रोबोट)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे डिस्ट्रीब्यूशन मैचिंग पॉलिसी ऑप्टिमाइज़ेशन (DMPO) कहा जाता है।

रोबोट को यह बताने के बजाय कि, "बस उच्चतम स्कोर खोजो," DMPO कहता है, "यहाँ उन सभी अच्छे उत्तरों का पूरा नक्शा है जो तुम दे सकते हो। तुम्हारा काम उस पूरे नक्शे से मेल खाना सीखना है।"

कल्पना कीजिए कि आप एक कुत्ते को गेंद लाना सिखा रहे हैं।

पुराना तरीका: आप एक गेंद फेंकते हैं, और कुत्ता उस एक स्थान पर दौड़ता है जहाँ गेंद गिरी थी। यदि गेंद एक झाड़ी में गिरती है, तो कुत्ता केवल झाड़ियों से ही गेंद लाना सीखता है।
DMPO तरीका: आप कुत्ते को हर उस संभावित स्थान का नक्शा दिखाते हैं जहाँ गेंद गिर सकती है (झाड़ियाँ, घास, रेत, पानी) और कहते हैं, "किसी भी जगह से गेंद लाना सीखो, इस आधार पर कि वह स्थान कितना अच्छा है।" कुत्ता पूरे आँगन को एक्सप्लोर करना सीखता है, न कि केवल एक कोने को।

तकनीकी शब्दों में, DM्लो वेटेड डिनोइजिंग क्रॉस-एंट्रॉपी (WDCE) नामक एक विशेष गणितीय ट्रिक का उपयोग करता है। यह रोबोट को अपने पिछले प्रयासों से सीखने की अनुमति देता है (भले ही वे पूर्ण न हों) बिना हर बार सब कुछ फिर से शुरू किए। यह एक "रीप्ले बफर" की तरह है जहाँ रोबोट अपने पुराने खेलों का बार-बार अध्ययन कर सकता है, बिना भ्रमित हुए अच्छे और बुरे मूव्स से सीख सकता है।

गुप्त मंत्र: "वेट बेसलाइन" (The Weight Baseline)

लेखकों ने छोटे समूहों के उदाहरणों (छोटे "बैच साइज") के साथ प्रशिक्षण के दौरान एक कठिन समस्या पाई। कभी-कभी, रोबोट भ्रमित हो जाता था और केवल इसलिए बुरे उत्तरों को पुरस्कृत करने लगता था क्योंकि वे ही एकमात्र उत्तर थे जो उसने देखे थे।

इसे ठीक करने के लिए, उन्होंने वेट बेसलाइन सबट्रैक्शन नामक एक चतुर ट्रिक का आविष्कार किया।
इसे एक शिक्षक द्वारा टेस्ट ग्रेड करने की तरह समझें। यदि एक छात्र प्रश्न का सही उत्तर देता है, तो उसे एक गोल्ड स्टार मिलता है। लेकिन यदि शिक्षक ने केवल वही एक प्रश्न देखा है, तो वे सोच सकते हैं कि छात्र ने जो कुछ भी किया वह बहुत बढ़िया था। "बेसलाइन" औसत के एक "मानक" की तरह है। शिक्षक छात्र के स्कोर से "औसत" स्कोर को घटा देते हैं।

यदि छात्र ने औसत से बेहतर प्रदर्शन किया, तो उसे एक बड़ा गोल्ड स्टार मिलता है।
यदि उन्होंने औसत से कम प्रदर्शन किया, तो उन्हें एक "पेनल्टी" (नेगेटिव वेट) मिलती है, भले ही उन्हें तकनीकी रूप से कुछ अंक मिले हों।

यह सुनिश्चित करता है कि रोबोट औसत दर्जे के उत्तरों के बारे में बहुत उत्साहित न हो और वास्तव में उत्कृष्ट उत्तरों के लिए प्रयास जारी रखे।

परिणाम: कितना बेहतर?

लेखकों ने कुछ बहुत कठिन रीजनिंग बेंचमार्क पर इस नई विधि का परीक्षण किया। उन्होंने दो अलग-अलग तरीकों से प्रीट्रेन्ड मॉडल्स (जैसे LLaDA-Instruct और Dream-Instruct) पर DMPO लागू किया:

डायरेक्ट एप्लीकेशन: उन्होंने बिना किसी पूर्व "होमवर्क" (सुपरवाइज्ड फाइन-ट्यूनिंग या SFT) के बेस मॉडल्स पर सीधे DMPO लागू किया। इस "R1-Zero-like" दृष्टिकोण का उपयोग DMPO की कच्ची क्षमता को स्पष्ट रूप से प्रदर्शित करने के लिए किया गया था।
एन्हांस्ड एप्लीकेशन: उन्होंने DMPO को उन मॉडल्स पर भी लागू किया जो पहले से ही SFT से गुजर चुके थे, यह दिखाने के लिए कि यह पहले से प्रशिक्षित मॉडल्स के लिए एक शक्तिशाली अपग्रेड के रूप में काम करता है।

दोनों सेटअपों में परिणाम काफी प्रभावशाली थे:

एक गणितीय पहेली GSM8K पर, प्रीट्रेन्ड बेस मॉडल पर सीधे लागू किए गए मॉडल ने भारी सुधार दिखाया। विशेष रूप से, DMPO ने पिछले नॉन-DMPO RL बेसलाइन्स की तुलना में 39.63 प्रतिशत अंक का सुधार दिखाया, और बेस मॉडल की तुलना में 67.97 प्रतिशत अंक का जबरदस्त सुधार दिखाया।
एक लॉजिक पहेली सुडोकू (Sudoku) पर, उन्होंने भारी बढ़त देखी, जहाँ उनके मॉडल के एक संस्करण ने 16.41% सफलता दर से 80.86% तक की छलांग लगाई (64 अंकों से अधिक का अंतर!)।
महत्वपूर्ण रूप से, DMPO ने उन मॉडल्स पर भी महत्वपूर्ण प्रदर्शन लाभ प्रदान करना जारी रखा जो पहले से ही SFT से गुजर चुके थे, जिससे साबित हुआ कि यह एक मजबूत विधि है जो चाहे आप शून्य से शुरू करें या मौजूदा प्रशिक्षण पर निर्माण करें, दोनों स्थितियों में काम करती है।

शोध का सुझाव है कि DMPO केवल एक छोटा सा बदलाव नहीं बल्कि एक मौलिक बदलाव है। यह रोबोट को ऑफ-पॉलिसी होने की अनुमति देता है, जिसका अर्थ है कि यह पुराने डेटा से कुशलतापूर्वक सीख सकता है, और फॉरवर्ड-ओनली होने की अनुमति देता है, जिसका अर्थ है कि इसे अन्य रोबोटों को धीमा करने वाली महंगी बैकवर्ड गणनाओं की आवश्यकता नहीं है।

निष्कर्ष

लेखक आश्वस्त हैं कि यह विधि उनके द्वारा परीक्षण किए गए विशिष्ट मॉडल्स (जैसे LLaDA और Dream) के लिए इन विशिष्ट रीजनिंग कार्यों पर अच्छी तरह से काम करती है। उन्होंने मानक डेटासेट्स पर कठोर प्रयोगों के माध्यम से इन सुधारों को मापा है, जिससे पता चलता है कि DMPO प्रदर्शन को बढ़ा सकता है चाहे इसे अभी-अभी प्रीट्रेन्ड किए गए मॉडल पर लागू किया गया हो या पहले से ही सुपरवाइज्ड फाइन-ट्यूनिंग किए गए मॉडल पर। हालाँकि, वे स्वीकार करते हैं कि उन्होंने अभी तक हर संभव प्रकार के मॉडल या कार्य पर इसका परीक्षण नहीं किया है, इसलिए जबकि परिणाम मजबूत हैं, इसकी पूरी क्षमता अभी भी खोजी जा रही है।

संक्षेप में, DMPO डिफ्यूजन रोबोट को एक एकल "परफेक्ट" उत्तर पर ध्यान केंद्रित करने के बजाय, अच्छे समाधानों के पूरे परिदृश्य को समझने और उससे सीखने में सक्षम बनाता है, जिससे वे अधिक स्मार्ट, तेज़ और रचनात्मक समस्या समाधानकर्ता बनते हैं।

तकनीकी सारांश: डिफ़्यूज़न LLMs के लिए डिस्ट्रीब्यूशन मैचिंग पॉलिसी ऑप्टिमाइज़ेशन के माध्यम से तर्क क्षमता में सुधार

समस्या विवरण

डिफ्यूज़न लार्ज लैंग्वेज मॉडल्स (dLLMs) ऑटो-रेग्रेसिव LLMs (AR-LLMs) का एक आशाजनक विकल्प प्रदान करते हैं क्योंकि ये किसी भी क्रम में जनरेशन (any-order generation) और संभावित रूप से उच्च इन्फरेंस थ्रूपुट सक्षम करते हैं। हालाँकि, dLLMs को AR-LLMs की तर्क क्षमताओं (reasoning capabilities) के बराबर स्केल करना एक महत्वपूर्ण चुनौती बनी हुई है। मौजूदा रीइन्फोर्समेंट लर्निंग (RL) फाइन-ट्यूनिंग विधियाँ, जैसे कि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO), दो प्राथमिक कारकों के कारण dLLMs के लिए अनुपयुक्त हैं:

कंप्यूटेशनल बेमेल (Computational Mismatch): dLLMs द्विदिश प्रसंस्करण (bidirectional processing) पर निर्भर करते हैं, जिससे सीक्वेंस लॉग-प्रोबेबिलिटी का अनुमान लगाना (जो मानक पॉलिसी ग्रेडिएंट विधियों के लिए आवश्यक है) AR मॉडल्स की तुलना में कम्प्यूटेशनल रूप से महंगा और अक्सर कठिन हो जाता है।
एल्गोरिद्मिक सीमाएँ: dLLMs के लिए वर्तमान RL दृष्टिकोण अक्सर ह्यूरिस्टिक सन्निकटन (जैसे कि मीन-फील्ड डिकम्पोजिशन) पर निर्भर करते हैं जो टोकन पोजीशन्स के बीच सहसंबंधों (correlations) की अनदेखी करते हैं। इसके अलावा, वे आमतौर पर रिवॉर्ड मैक्सिमाइजेशन पर ध्यान केंद्रित करते हैं, जो एक एकल रिवॉर्ड मोड के लिए अनुकूलित करने की प्रवृत्ति रखता है। यह "मोड-सीकिंग" व्यवहार रिवॉर्ड हैकिंग की ओर ले जा सकता है और उन विविध, उच्च-गुणवत्ता वाले तर्क पथों (reasoning paths) की खोज करने में विफल हो सकता है जिन्हें dLLMs सैद्धांतिक रूप से उत्पन्न करने में सक्षम हैं।

कार्यप्रणाली: डिस्ट्रीब्यूशन मैचिंग पॉलिसी ऑप्टिमाइज़ेशन (DMPO)

यह शोध पत्र डिस्ट्रीब्यूशन मैचिंग पॉलिसी ऑप्टिमाइज़ेशन (DMPO) का प्रस्ताव करता है, जो स्टोकेस्टिक ऑप्टिमल कंट्रोल (SOC) पर आधारित एक सिद्धांतगत RL फाइन-ट्यूनिंग फ्रेमवर्क है। पारंपरिक रिवॉर्ड मैक्सिमाइजेशन के विपरीत, DMPO का लक्ष्य मॉडल के पॉलिसी डिस्ट्रीब्यूशन को एक इष्टतम, रिवॉर्ड-टिल्टेड टारगेट डिस्ट्रीब्यूशन से मिलाना है।

मुख्य ढांचा (Core Framework)

लक्ष्य एक ऐसी पॉलिसी $\pi_\theta$ सीखना है जिससे प्रेरित सीक्वेंस डिस्ट्रीब्यूशन $p_\theta(o|q)$ , इष्टतम डिस्ट्रीब्यूशन $p^*(o|q)$ से मेल खाए, जिसे इस प्रकार परिभाषित किया गया है:
$p^*(o|q) = \frac{1}{Z(q)} p_{ref}(o|q) e^{r(q,o)/\alpha}$
जहाँ $p_{ref}$ प्री-ट्रेन्ड पॉलिसी है, $r$ रिवॉर्ड फंक्शन है, और $\alpha$ एक टेम्परेचर पैरामीटर है।

इसे प्राप्त करने के लिए, लेखक समस्या को टारगेट और वर्तमान पॉलिसी के बीच फॉरवर्ड कुलबैक-लीब्लर (KL) डायवर्जेंस (क्रॉस-एन्ट्रॉपी के समान) को कम करने के रूप में तैयार करते हैं:
$\min_\theta \mathbb{E}_{q \sim D} \mathbb{E}_{p^*(o|q)} \left[ \log \frac{p^*(o|q)}{p_\theta(o|q)} \right]$
यह "मास-कवरिंग" ऑब्जेक्टिव मॉडल को एक एकल मोड में ढहने के बजाय विविध उच्च-रिवॉर्ड वाली ट्रैजेक्टरीज को खोजने के लिए प्रोत्साहित करता है।

प्रमुख तकनीकी घटक

वेटेड डिनोइजिंग क्रॉस-एन्ट्रॉपी (WDCE):
चूंकि $p^*$ एक ट्रैक्टेबल (intractable) वस्तु है (अज्ञात पार्टिशन फंक्शन $Z(q)$ और सीधे नमूना लेने की अक्षमता के कारण), DMPO इंपॉर्टेंस सैंपलिंग का उपयोग करता है। यह एक रेफरेंस पॉलिसी $p_v$ (मॉडल की एक स्टॉप-ग्रेडिएंट कॉपी) से नमूनों को $p^*$ से वेटेड सैंपल के रूप में मानता है।
परिणामी लॉस फंक्शन, WDCE, dLLMs की अद्वितीय फॉरवर्ड (नोइसिंग) प्रक्रिया का लाभ उठाता है। यह लॉस को केवल अंतिम क्लीन सैंपल्स और उनके संबंधित इंपोर्टेंस वेट्स का उपयोग करके कंप्यूट करता है, मध्यवर्ती रोलआउट ट्रैजेक्टरीज को हटा देता है। यह इसे एक ऑफ-पॉलिसी और फॉरवर्ड-ओनली ऑब्जेक्टिव बनाता है।
वेट बेसलाइन सबट्रैक्शन (Weight Baseline Subtraction):
एक महत्वपूर्ण कार्यान्वयन चुनौती जो छोटे ट्रेनिंग बैच साइज के साथ WDCE की अस्थिरता के रूप में पहचानी गई है। छोटे बैचों में, "बुरे" रिस्पॉन्स (जिनका $p^*$ के तहत गैर-शून्य प्रोबेबिलिटी अभी भी होता है) के लिए पॉजिटिव वेट्स हावी हो सकते हैं, जिससे गलत ग्रेडिएंट अपडेट हो सकते हैं।
इसे संबोधित करने के लिए, लेखक वेट बेसलाइन सबट्रैक्शन का प्रस्ताव करते हैं, जहाँ एक बेसलाइन वेट $w_{base}$ को इंपोर्टेंस वेट से घटाया जाता है:
$w_{real} = w - w_{base}$
$w_{base}$ के लिए तीन रणनीतियाँ प्रस्तावित हैं:

ग्रुप वेट बेसलाइन: कन्वर्जेंस को प्रोत्साहित करने के लिए एक स्थिर मान (1)।
इंडिविजुअल वेट बेसलाइन: एक नेगेटिव रिवॉर्ड टिल्ट पर आधारित।
मॉडल वेट बेसलाइन: मॉडल के अपने स्वयं के इंपोर्टेंस वेट्स पर आधारित।
यह तकनीक प्रभावी रूप से लो-रिवॉर्ड वाले नमूनों के लिए नेगेटिव ग्रेडिएंट्स इंजेक्ट करती है, जिससे लो-बैच परिदृश्यों में बुरे रिस्पॉन्स को प्रमोट करने से रोका जा जाता है।

वेटेड डायरेक्ट डिस्क्रिमिनेटिव ऑप्टिमाइज़ेशन (WDDO):
क्रॉस-एन्ट्रॉपी के विकल्प के रूप में, पेपर एक GAN-प्रेरित ऑब्जेक्टिव का अन्वेषण करता है जो स्वाभाविक रूप से बुरे नमूनों के लिए नेगेटिव ग्रेडिएंट्स को शामिल करता है, जिससे डिस्ट्रीब्यूशन मैचिंग और बेहतर होती है।

प्रमुख योगदान

नया RL फ्रेमवर्क: DMPO का प्रस्ताव, जो एक डिस्ट्रीब्यूशन-मैचिंग फ्रेमवर्क है जिसे विशेष रूप से dLLMs के लिए डिज़ाइन किया गया है, जो रिवॉर्ड मैक्सिमाइजेशन से पूरे रिवॉर्ड-टिल्टेड पॉलिसी डिस्ट्रीब्यूशन को मैच करने की ओर शिफ्ट करता है।
सैद्धांतिक आधार: इंपोर्टेंस सैंपलिंग और स्टोकेस्टिक ऑप्टिमल कंट्रोल का उपयोग करके WDCE लॉस का व्युत्पन्न, जो महंगे सीक्वेंस लॉग-प्रोबेबिलिटी अनुमानों की आवश्यकता के बिना ऑफ-पॉलिसी ट्रेनिंग के लिए एक सैद्धांतिक रूप से सुदृढ़ तरीका प्रदान करता है।
व्यावहारिक समाधान: फॉरवर्ड KL ऑब्जेक्टिव में छोटे-बैच विफलता मोड की पहचान और प्रशिक्षण को स्थिर करने तथा सैंपल एफिशिएंसी में सुधार करने के लिए वेट बेसलाइन सबट्रैक्शन और WDDO का परिचय।
दक्षता: यह प्रदर्शन करना कि WDCE केवल फॉरवर्ड प्रोसेस के माध्यम से प्रशिक्षण सक्षम करता है, जिससे रोलआउट का पुन: उपयोग (ऑफ-पॉलिसी) संभव होता है और फास्ट इन्फरेंस तकनीकों (जैसे KV-कैश) के साथ संगतता मिलती है, जो ट्रैजेक्टरी-आधारित विधियों की तुलना में प्रशिक्षण को काफी तेज कर देता है।

प्रयोगात्मक परिणाम

लेखकों ने चार रीजनिंग बेंचमार्क्स: GSM8K, MATH500, Countdown, और Sudoku पर LLaDA-8B-Instruct और Dream-7B मॉडल्स पर DMPO का मूल्यांकन किया।

प्रदर्शन लाभ: DMPO ने बेस मॉडल्स और मौजूदा RL बेसलाइन्स (diffu-GRPO, cGRPO, और d1 सहित) को लगातार पछाड़ दिया।
- Sudoku पर, DMPO-LLaDA ने सर्वश्रेष्ठ नॉन-DMPO RL बेसलाइन की तुलना में 39.63 प्रतिशत अंक का सुधार और बेस मॉडल की तुलना में 67.97 प्रतिशत अंक का सुधार किया।
- Countdown पर, मजबूत बेसलाइन्स पर 16.40 प्रतिशत अंक तक के सुधार देखे गए।
SFT की आवश्यकता नहीं: इस पद्धति ने क्यूरेटेड डेटासेट्स पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के बिना ये परिणाम प्राप्त किए, जो प्री-ट्रेन्ड मॉडल्स से सीधे रीजनिंग क्षमताओं को स्केल करने की इसकी क्षमता को प्रदर्शित करता है।
प्रशिक्षण दक्षता: अपने ऑफ-पॉलिसी स्वभाव और फॉरवर्ड-ओनली कंप्यूटेशन के कारण, DMPO ने GRPO-प्रकार की विधियों की तुलना में 2–3x उच्च सैंपल एफिशिएंसी और 8x तेज़ रोलआउट सैंपलिंग (फास्ट-dLLM इन्फरेंस के साथ संयोजन में) हासिल की। इसने केवल 31% ट्रेनिंग कंप्यूट बजट के साथ d1 के रिवॉर्ड स्तर तक पहुँच प्राप्त की।
स्थिरता: विधि अत्यधिक पुराने (stale) डेटा (उसी रोलआउट बैच का 24x पुन: उपयोग) के साथ भी स्थिर रही, जिसका श्रेय DMPO द्वारा उपयोग किए जाने वाले सीक्वेंस-लेवल इंपोर्टेंस वेट्स की स्थिरता को दिया जाता है।

महत्व और दावे

पेपर का दावा है कि DMPO, रीजनिंग कार्यों के लिए dLLMs को स्केल करने की दिशा में एक महत्वपूर्ण कदम है। रिवॉर्ड-मैक्सिमाइजेशन प्रतिमान और ट्रैजेक्टरी-आधारित RL की कम्प्यूटेशनल बाधाओं से दूर जाकर, DMPO डिफ्यूज़न मॉडल्स की अनूठी विशेषताओं का पूरा लाभ उठाता है:

विविधता (Diversity): फॉरवर्ड KL ऑब्जेक्टिव मोड कोलैप्स को रोकता है, जिससे dLLMs विविध तर्क पथों की खोज कर सकते हैं।
दक्षता (Efficiency): WDCE का फॉरवर्ड-ओनली, ऑफ-पॉलिसी स्वभाव dLLMs की हाई-थ्रूपुट इन्फरेंस क्षमताओं के साथ संरेखित है, जो एक स्केलेबल RL फाइन-ट्यूनिंग का मार्ग प्रशस्त करता है जो बड़े मॉडल्स के लिए कम्प्यूटेशनल रूप से व्यवहार्य है।
सामान्यीकरण (Generalizability): इस फ्रेमवर्क को एक सिद्धांतगत दृष्टिकोण के रूप में प्रस्तुत किया गया है जिसे विभिन्न dLLM बैकबोन पर लागू किया जा सकता है, जैसा कि LLaDA और Dream आर्किटेक्चर दोनों पर इसकी सफलता से सिद्ध होता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान कार्य विशिष्ट मॉडल्स और बेंचमार्क्स पर केंद्रित है, डिस्ट्रीब्यूशन-मैचिंग फ्रेमवर्क जेनरेटिव मॉडल्स को बेहतर बनाने और भविष्य के अनुसंधान के लिए अधिक प्रभावी वेट-बेसलाइन तकनीकों को डिजाइन करने के लिए नए रास्ते खोलता है।