🤖 machine learning

DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models

DACA-GRRO, डैनोइजिंग प्रोग्रेस स्कोर्स (Denoising Progress Scores) और स्ट्रैटिफाइड मास्किंग लाइकलीहुड (Stratified Masking Likelihood) को पेश करके डिफ्यूजन लैंग्वेज मॉडल्स के लिए मौजूदा सुदृढीकरण शिक्षण (reinforcement learning) विधियों की सीमाओं को संबोधित करता है ताकि टेम्पोरल क्रेडिट असाइनमेंट को सक्षम किया जा सके और मीन-फील्ड बायस (mean-field bias) को कम किया जा सके, जिसके परिणामस्वरूप विविध रीजनिंग और जनरेशन बेंचमार्क में महत्वपूर्ण प्रदर्शन सुधार प्राप्त होते हैं।

मूल लेखक: Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Lokesh Boominathan, Manuel R. Ciosici, Yizhe Zhang, Irina Belousova

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Lokesh Boominathan, Manuel R. Ciosici, Yizhe Zhang, Irina Belousova

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को कहानी लिखना सिखा रहे हैं, लेकिन एक सामान्य व्यक्ति की तरह बाएं से दाएं एक-एक शब्द लिखने के बजाय, छात्र खाली स्थानों से भरा हुआ एक पन्ना लेकर शुरू करता है और धीरे-धीरे एक-एक करके उन्हें भरता जाता है, जब तक कि कहानी पूरी नहीं हो जाती। डिफ्यूजन लैंग्वेज मॉडल्स (Diffusion Language Models) इसी तरह काम करते हैं। वे टेक्स्ट लिखने का एक नया तरीका हैं और वे बहुत तेज़ हैं क्योंकि वे एक साथ कई खाली स्थानों को भर सकते हैं।

हालाँकि, जब शोधकर्ताओं ने इन मॉडल्स को रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) (एक ऐसी विधि जहाँ AI को अच्छे उत्तरों के लिए "अंक" मिलते हैं और बुरे उत्तरों के लिए "नाराजगी") का उपयोग करके बेहतर बनाने की कोशिश की, तो उन्हें दो बड़ी समस्याओं का सामना करना पड़ा। यह पेपर, DACA-GRPO, इन दो समस्याओं को दो चतुर तरीकों से ठीक करता है।

यहाँ समस्या और समाधान का विवरण, सरल उपमाओं (analogies) का उपयोग करके दिया गया है।

दो बड़ी समस्याएँ

1. "अंधा ग्रेडिंग" की समस्या (No Temporal Credit Assignment)
कल्पना कीजिए कि एक छात्र गणित का टेस्ट दे रहा है। वह एक ही संख्या को बार-बार मिटाने और फिर से लिखने में 90% समय बिताता है, लेकिन वह एक क्षण जब वह अंततः सही फॉर्मूला लिख देता है, वही सबसे महत्वपूर्ण हिस्सा होता है।

पुराना तरीका: शिक्षक (AI ट्रेनर) पूरे टेस्ट को देखता है और एक ही ग्रेड देता है। वे छात्र के काम के हर सेकंड को समान रूप से महत्वपूर्ण मानते हैं। वे यह नहीं समझ पाते कि जिस क्षण छात्र ने फॉर्मूला खोज लिया था, वह "जादुई क्षण" था जो मायने रखता था, जबकि बाकी सब केवल व्यस्त कार्य (busy work) था।
परिणाम: AI धीरे सीखता है क्योंकि उसे एक खाली स्थान भरने के लिए उतना ही "क्रेडिट" मिलता है जितना कि एक कठिन तर्क पहेली (logic puzzle) को हल करने के लिए। वह आसान चीजों पर ऊर्जा बर्बाद करता है और महत्वपूर्ण सबक चूक जाता है।

2. "अलग-थलग अनुमान" की समस्या (Biased Likelihood Estimates)
कल्पना कीजिए कि आप वाक्य में अगला शब्द अनुमान लगाने की कोशिश कर रहे हैं।

पुराना तरीका: AI से अगले शब्द का अनुमान लगाने के लिए कहा जाता है, लेकिन उसे यह दिखाने के लिए मजबूर किया जाता है कि उसे वाक्य के अन्य शब्दों के बारे में कोई जानकारी नहीं है। उसे "The cat sat on the..." का अनुमान लगाना पड़ता है बिना यह जाने कि "The cat" क्या है। यह अनुमान को बहुत कठिन और बहुत गलत बना देता है, जिससे खराब ट्रेनिंग डेटा मिलता है।
परिणाम: AI एक ऐसे टेस्ट पर ग्रेड प्राप्त कर रहा है जो उसके खिलाफ रचा गया है। वह शून्य संदर्भ (context) के साथ एक शब्द की भविष्यवाणी करने की कोशिश कर रहा है, जो सीखने की प्रक्रिया को भ्रमित करने वाला एक "बायस" (bias) पैदा करता है।

समाधान: DACA-GRPO

लेखक एक "प्लग-एंड-प्ले" अपग्रेड प्रस्तावित करते हैं जिसे DACA-GRPO कहा जाता है। इसे एक स्मार्ट कोच के रूप में समझें जो छात्र की पूरी लेखन प्रक्रिया को देखता है और उन्हें बहुत निष्पक्षता से ग्रेड देता है। यह दो मुख्य उपकरणों का उपयोग करता है:

टूल 1: डीनॉइजिंग प्रोग्रेस स्कोर्स (DPS) – "'Aha!' मोमेंट डिटेक्टर"

लेखन प्रक्रिया के हर सेकंड को एक ही ग्रेड देने के बजाय, DPS यह देखता है कि प्रत्येक चरण में छात्र की समझ कितनी बदली।

यह कैसे काम करता है: जैसे-जैसे AI खाली स्थानों को भरता है, वह इस बारे में भविष्यवाणियाँ करता है कि वहाँ कौन से शब्द हो सकते हैं। कभी-कभी, AI बहुत अनिश्चित होता है। फिर, अचानक, वह एक शब्द प्रकट करता है, और वाक्य के बाकी हिस्से के प्रति उसका आत्मविश्वास बढ़ जाता है।
उपमा: एक जासूस की कल्पना करें जो रहस्य सुलझा रहा है। अधिकांश समय, वे केवल सुराग देख रहे होते हैं (रूटीन)। लेकिन फिर, वे एक विशिष्ट उंगलियों के निशान पाते हैं जो अचानक पूरे मामले को स्पष्ट कर देते हैं।
समाधान: DPS इन "Aha!" क्षणों की पहचान करता है। यह कहता है, "हे, यह विशिष्ट चरण जहाँ मॉडल ने संरचना को समझा था, बहुत महत्वपूर्ण था! आइए उस चरण को अतिरिक्त क्रेडिट दें।" यह उबाऊ, रूटीन चरणों को अनदेखा कर देता है।
बोनस: यह मुफ्त में होता है! AI काम करते समय पहले से ही ये भविष्यवाणियाँ कर रहा था; पुराने तरीके बस उन्हें फेंक देते थे। यह तरीका उन्हें ग्रेडिंग टूल के रूप में उपयोग करने के लिए सहेज लेता है।

टूल 2: स्ट्रैटिफाइड मास्किंग लाइकलीहुड (SML) – "'संदर्भ-समृद्ध' ग्रेडर"

यह टूल "अलग-थलग अनुमान" की समस्या को ठीक करता है।

यह कैसे काम करता है: AI से केवल एक शब्द का अनुमान लगाने के लिए कहने के बजाय, SML उसे वाक्य के अधिकांश अन्य शब्दों को दिखाते हुए एक शब्द का अनुमान लगाने के लिए कहता है।
उपमा: कल्पना कीजिए कि आप "मैड लिब्स" (खाली स्थान भरना) का खेल खेल रहे हैं।
- पुराना तरीका: आपको वाक्य देखे बिना गायब शब्द का अनुमान लगाना होगा। (कठिन! आप "The cat sat on the..." के लिए "केला" (banana) का अनुमान लगा सकते हैं)।
- नया तरीका (SML): आपको वाक्य का 75% देखने की अनुमति है। आप "The cat sat on the..." देखते हैं और आपको आखिरी शब्द का अनुमान लगाना है। अब, "mat" या "sofa" एक बहुत बेहतर अनुमान है।
समाधान: AI को ग्रेड दिए जाने के दौरान उसे वाक्य का बेहतर दृश्य देने से, उसका "स्कोर" बहुत अधिक सटीक हो जाता है। यह संदर्भ की कमी से भ्रमित होना बंद कर देता है।

परिणाम: क्या हुआ?

शोधकर्ताओं ने इस नए कोच (DACA-GRPO) का परीक्षण तीन अलग-अलग प्रकार के AI ट्रेनर्स और सात अलग-अलग प्रकार के कार्यों पर किया। परिणाम ऐसे थे जैसे किसी छात्र को एक बेहतर पाठ्यपुस्तक और एक स्मार्ट शिक्षक मिल गया हो:

गणित और तर्क (Sudoku, Countdown): AI नाटकीय रूप से बेहतर हुआ। सुडोकू के लिए, सटीकता बहुत बड़े पैमाने पर बढ़ गई (कुछ मामलों में 90% तक सुधार)। यह समझ में आता है क्योंकि सुडोकू उन "Aha!" क्षणों के बारे में है जहाँ एक संख्या बाकी ग्रिड को व्यवस्थित होने के लिए मजबूर करती है।
कोडिंग: AI ने बेहतर कोड लिखा, विशेष रूप से लंबे प्रोग्रामों के लिए।
गणित की समस्याएं: AI ने जटिल गणितीय समस्याओं को अधिक सटीकता से हल किया।
JSON (संरचित डेटा): AI सख्त फॉर्मेटिंग नियमों का पालन करने में बहुत बेहतर हो गया, जो आमतौर पर AI के लिए बहुत कठिन होता है।

सारांश

यह पेपर तर्क देता है कि वर्तमान AI ट्रेनर्स लेखन प्रक्रिया के सबसे महत्वपूर्ण क्षणों के प्रति "अंधे" हैं और खराब परीक्षण विधियों द्वारा "रैग्ड" (rigged) हैं। DACA-GRPO इसे दो तरीकों से ठीक करता है:

"Aha!" क्षणों को पहचानना (DPS) और उन्हें अतिरिक्त क्रेडिट देना।
AI को एक निष्पक्ष परीक्षण देना (SML) उसे सीखते समय अधिक संदर्भ देखने की अनुमति देकर।

परिणाम एक ऐसा AI है जो तेजी से सीखता है, कम गलतियाँ करता है, और गणित, कोडिंग और तर्क पहेलियों जैसे जटिल कार्यों में बहुत बेहतर होता है। सबसे अच्छी बात? यह एक हल्का अपग्रेड है जिसे बिना किसी चीज़ को फिर से बनाए (rebuild) किए लगभग किसी भी मौजूदा AI प्रशिक्षण प्रणाली में जोड़ा जा सकता है।

तकनीकी सारांश: DACA-GRPO

समस्या विवरण

डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs) ऑटोरिग्रेसिव मॉडल्स की तुलना में एक आकर्षक विकल्प प्रदान करते हैं क्योंकि वे उच्च-थ्रूपुट, समानांतर टेक्स्ट जनरेशन को सक्षम करते हैं। हालाँकि, dLLMs पर रीइन्फोर्समेंट लर्निंग (RL), विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) को लागू करने में दो मौलिक कमजोरियाँ आती हैं जिन्हें वर्तमान विधियाँ संबोधित करने में विफल रहती हैं:

टेम्पोरल क्रेडिट असाइनमेंट का अभाव: ऑटोरिग्रेसिव मॉडल्स के विपरीत, जहाँ टोकन क्रमिक रूप से जेनरेट किए जाते हैं, dLLMs प्रत्येक डिनोइजिंग स्टेप (denoising step) पर सभी मास्क किए गए स्थानों की भविष्यवाणी एक साथ करते हैं। मौजूदा RL विधियाँ पूरी पूर्णता (completion) को एक समान स्केलर एडवांटेज असाइन करती हैं, जिससे डिनोइजिंग प्रक्षेपवक्र (trajectory) की अनदेखी होती है। यह सभी स्टेप्स को समान रूप से महत्वपूर्ण मानती है, जिससे "निर्णायक" स्टेप्स (जहाँ मॉडल प्रमुख संरचनात्मक विकल्पों, जैसे कि गणित में ऑपरेटर्स या कोड में कंट्रोल फ्लो, के लिए प्रतिबद्ध होता है) और "रूटीन" स्टेप्स (साधारण फिल-इन) के बीच अंतर करने में विफल रहती है। फलस्वरूप, मध्यवर्ती भविष्यवाणियाँ—जो मॉडल की विकसित होती समझ को एनकोड करती हैं—को त्याग दिया जाता है, जिससे अक्षम ग्रेडिएंट अपडेट होते हैं।
बायस्ड और हाई-वेरिएंस लाइकलीहुड एस्टीमेट्स: dLLMs में मानक पॉलिसी ऑप्टिमाइजेशन एक पूर्णता के लॉग-लाइकेलीहुड (log-likelihood) के अनुमान पर निर्भर करता है। प्रचलित दृष्टिकोण सभी पूर्णता टोकन्स को मास्क कर देता है और उन्हें शून्य इंटर-टोकन कॉन्टेक्स्ट (मीन-फील्ड सन्निकटन/mean-field approximation) से प्रेडिक्ट करता है। यह व्यवस्थित पूर्वाग्रह (bias) पेश करता है (बिना कॉन्टेक्स्ट के भविष्यवाणी करना कठिन है) और उच्च विचलन (variance) लाता है (एक रैंडम मास्किंग पैटर्न विशिष्ट कठिनाई का प्रतिनिधित्व नहीं कर सकता), जिससे पॉलिसी ग्रेडिएंट दूषित हो जाता है।

कार्यप्रणाली: DACA-GRPO

लेखक DACA-GRPO (Denoising-Aware Credit Assignment for GRPO) का प्रस्ताव करते हैं, जो एक हल्का, प्लग-एंड-प्ले फ्रेमवर्क है जो इन पहचानी गई कमजोरियों को दूर करने के लिए दो पूरक तंत्रों को एकीकृत करता है।

1. डिनोइजिंग प्रोग्रेस स्कोर्स (DPS)

DPS अतिरिक्त फॉरवर्ड पासेस की आवश्यकता के बिना, डिनोइजिंग स्टेप्स के माध्यम से मॉडल के विश्वास के विकास (belief evolution) को मापने के लिए टेम्पोरल क्रेडिट असाइनमेंट की कमी को संबोधित करता है।

तंत्र: प्रत्येक डिनोइजिंग स्टेप $k$ पर, मॉडल सभी मास्क किए गए स्थानों के लिए डिस्ट्रीब्यूशन प्रेडिक्ट करता है। DPS एक "प्रोग्रेस डेल्टा" ( $\delta_k$ ) की गणना करके प्रोग्रेस को मापता है, जो अगले स्टेप ( $k+1$ ) में मास्क रहने वाले स्थानों पर मॉडल के औसत लॉग-प्रोबेबिलिटी में परिवर्तन को मापता है। विशेष रूप से, $\delta_k = S(k+1, k+1) - S(k, k+1)$ , जहाँ $S$ उन स्थानों पर औसत लॉग-प्रोबेबिलिटी है जो स्टेप $k+1$ पर अभी भी मास्क हैं।
व्याख्या: एक बड़ा सकारात्मक $\delta_k$ इंग दर्शाता है कि स्टेप $k$ पर टोकन्स को प्रकट करने से मॉडल की समझ में महत्वपूर्ण सुधार हुआ (एक निर्णायक स्टेप)। एक छोटा या नकारात्मक $\delta_k$ रूटीन प्रोग्रेस या भ्रम का संकेत देता है।
कार्यान्वयन: इन रॉ डेल्टा को बैच के प्रति-स्टेप (per-step) नॉर्मलाइज किया जाता है (z-score), ताकि नॉन-स्टेशनरी स्केल्स को संभाला जा सके। यह नॉर्मलाइज्ड स्कोर RL लॉस में प्रति-टोकन एडवांटेज को मॉड्युलेट करता है: $\tilde{A}_i = A \cdot (1 + \lambda \cdot \bar{\delta}_{\text{birth}(i)})$ । यह निर्णायक ट्रांजिशन के दौरान पैदा हुए टोकन्स के लिए लर्निंग सिग्नल को बढ़ाता है और रूटीन स्टेप्स के लिए उन्हें कम करता है।
लागत: शून्य अतिरिक्त फॉरवर्ड पासेस, क्योंकि यह जनरेशन के दौरान स्वाभाविक रूप से कंप्यूट किए गए लॉजिट्स (logits) का पुन: उपयोग करता है।

2. स्ट्रैटिफाइड मास्किंग लाइकलीहुड (SML)

SML मीन-फील्ड बायस को संबोधित करने के लिए सुनिश्चित करता है कि टोकन्स पर्याप्त कॉन्टेक्स्ट के साथ प्रेडिक्ट किए जाएं।

तंत्र: सभी टोकन्स को मास्क करने (0% कॉन्टेक्स्ट) के बजाय, SML आउटपुट टोकन पोजीशन को $K$ विलगित स्ट्रेटा (disjoint strata) में विभाजित करता है। प्रत्येक स्ट्रैटम $S_k$ के लिए, मॉडल $S_k$ में टोकन्स को प्रेडिक्ट करता है जबकि अन्य सभी स्ट्रेटा दृश्यमान रहते हैं।
अनुमान: सीक्वेंस-लेवल लाइकलीहुड सभी स्ट्रेटा के लॉग-प्रोबेबिलिटी का योग है: $\log p_{\text{SML}} = \sum_{k=1}^K \sum_{n \in S_k} \log p_\theta(o_n | o_{\setminus S_k}, q)$ ।
प्रभाव: प्रत्येक टोकन $(K-1)/K$ कॉन्टेक्स्ट के साथ प्रेडिक्ट किया जाता है (उदाहरण के लिए, $K=4$ के लिए 75% कॉन्टेक्स्ट), जो जीरो-कॉन्टेक्स्ट धारणा से उत्पन्न पूर्वाग्रह को काफी कम कर देता है।
एकीकरण:
- रेशियो-फ्री मेथड्स (जैसे wd1) के लिए, SML को एक ऑक्जिलरी लॉस टर्म के रूप में जोड़ा जाता है।
- रेशियो-आधारित मेथड्स (जैसे Diffu-GRPO, GDPO) के लिए, SML को इम्पोर्टेंस रेश्यो में एकीकृत किया जाता है, जिसमें जनरेशन रिजीम के साथ संरेखण बनाए रखने के लिए पूरी तरह से मास्क किए गए प्रेडिक्शन को स्ट्रैटिफाइड प्रेडिक्शन के साथ औसत किया जाता है, जिससे बायस कम होता है।

मुख्य योगदान

कमजोरियों की पहचान: पेपर औपचारिक रूप से पहचानता है कि टेम्पोरल क्रेडिट असाइनमेंट का अभाव और मीन-फील्ड लाइकलीहुड एस्टीमेट्स का व्यवस्थित पूर्वाग्रह वर्तमान dLLM RL मेथड्स में प्राथमिक बाधाएं हैं।
डिनोइजिंग प्रोग्रेस स्कोर्स (DPS): बिना किसी अतिरिक्त कम्प्यूटेशनल लागत के मध्यवर्ती भविष्यवाणियों से प्रति-टोकन महत्व भार (importance weights) निकालने के लिए एक नवीन तंत्र, जो स्टेप-लेवल क्रेडिट असाइनमेंट को सक्षम बनाता है।
स्ट्रैटिफाइड मास्किंग लाइकलीहुड (SML): एक पोजीशन-स्ट्रैटिफाइड एस्टीमेटर जो समृद्ध कॉन्टेक्ट के साथ टोकन्स का मूल्यांकन करके मीन-फील्ड बायस को कम करता है, जो मौजूदा वेरिएंस-रिडक्शन तकनीकों का पूरक है।
एकीकृत ढांचा: विभिन्न GRPO वेरिएंट्स (Diffu-GRPO, wd1, GDPO) के साथ संगत एक प्लग-एंड-प्ले फ्रेमवर्क (DACA-GRPO) के रूप में DPS और SML का एकीकरण।

प्रयोगात्मक परिणाम

लेखकों ने सात बेंचमार्क पर LLaDA-8B-Instruct बेस मॉडल पर DACA-GRPO का मूल्यांकन किया:

गणितीय तर्क (Mathematical Reasoning): MATH-500, GSM8K।
कोड जनरेशन (Code Generation): MBPP, HumanEval।
कन्स्ट्रेंट सेटिस्फैक्शन (Constraint Satisfaction): Countdown, Sudoku।
कन्स्ट्रेंड जनरेशन (Constrained Generation): JSON स्कीमा एडहेरेंस।

मुख्य निष्कर्ष:

निरंतर सुधार: DACA-GRPO ने सभी बेंचमार्क और बेस मेथड्स में निरंतर लाभ प्राप्त किया।
- मैथ रीजनिंग: 5.6 प्रतिशत अंक (pp) तक का सुधार।
- कोड जनरेशन: 7.4 pp तक का सुधार।
- कन्स्ट्रेंट सेटिस्फैक्शन: 36.3 pp तक का सुधार (विशेष रूप से Sudoku पर, जहाँ प्रति-सेल सटीकता ~34% से बढ़कर ~70% हो गई - wd1 + DPS के लिए)।
- JSON एडहेरेंस: 5.9 pp तक का सुधार।
पूरकता: DPS और SML एक-दूसरे के पूरक हैं। DPS संरचित, लघु-जनरेशन कार्यों (जैसे Sudoku, Countdown) पर सबसे बड़े लाभ प्रदान करता है क्योंकि यह निर्णायक स्टेप्स की पहचान करता है। SML उन लंबे कार्यों (जैसे Math, Code) पर सबसे बड़े लाभ प्रदान करता है जहाँ इंटर-टोकन डिपेंडेंसी मजबूत होती है और मीन-फील्ड बायस गंभीर होता है।
उपयोगिता सीमाएँ: SML लंबे आउटपुट के लिए प्रभावी है लेकिन छोटे, कड़े प्रतिबंधों वाले कार्यों (जैसे Sudoku) पर मोड कोलैप्स का कारण बनता है जहाँ आंशिक कॉन्टेक्स्ट ही उत्तर निर्धारित कर देता है। इन मामलों में, केवल DPS ही पर्याप्त और अत्यधिक प्रभावी है।

महत्व और दावे

पेपर का दावा है कि डिफ्यूजन जनरेशन में "बर्बाद" होने वाली मध्यवर्ती भविष्यवाणियाँ पर्याप्त सिग्नल रखती हैं जिन्हें उचित रूप से उपयोग करने पर प्रशिक्षण में सार्थक सुधार किया जा सकता है। DACA-GRPO का प्राथमिक महत्व यहाँ है:

दक्षता: यह महत्वपूर्ण ओवरहेड के बिना क्रेडिट असाइनमेंट में सुधार करने के लिए मौजूदा गणनाओं (लॉगिट्स) का लाभ उठाता है (DPS <1% वॉल-क्लॉक टाइम जोड़ता है; SML $K$ के आनुपातिक मामूली लागत जोड़ता है)।
सामान्यीकरण (Generalizability): गायब क्रेडिट-असाइनमेंट संरचना विभिन्न लॉस फॉर्मुलेशन (रेशियो-आधारित बनाम रेशियो-फ्री) और डोमेन (मैथ, कोड, कंस्ट्रेंट्स) में एक साझा बाधा प्रतीत होती है।
व्यावहारिक प्रभाव: Sudoku जैसे स्ट्रक्चर्ड कार्यों पर नाटकीय सुधार यह सुझाव देते हैं कि वर्तमान यूनिफॉर्म क्रेडिट असाइनमेंट टाइट इंटर-टोकन डिपेंडेंसी वाले कार्यों की गंभीर रूप से उपेक्षा करता है।

लेखक निष्कर्ष निकालते हैं कि जबकि DPS एक यूनिवर्सल एड-ऑन है, SML को उन मेथड्स और कार्यों के लिए प्राथमिकता दी जानी चाहिए जहाँ लाइकलीहुड की गुणवत्ता बाध्यकारी (binding) बाधा है, विशेष रूप से लंबे प्रारूप के जनरेशन के लिए। वे छोटे, प्रतिबंधित आउटपुट के लिए SML की प्रयोज्यता के संबंध में सीमाओं को स्वीकार करते हैं और एडैप्टिव स्ट्राइड चयन पर भविष्य के कार्य और स्ट्रैटिफाइड एस्टीमेशन को प्री-ट्रेनिंग ऑब्जेक्टिव्स तक विस्तारित करने का सुझाव देते हैं।