💬 NLP

Improving Discrete Diffusion Unmasking Policies Beyond Explicit Reference Policies

यह शोध पत्र डिस्क्रीट डिफ्यूजन मॉडल्स के लिए एक लर्नड अनमास्किंग शेड्यूलर प्रस्तावित करता है, जिसे एक स्पष्ट रेफरेंस पॉलिसी के साथ KL-रेगुलराइज्ड मार्कोव डिसीजन प्रोसेस के रूप में तैयार किया गया है, जो सैद्धांतिक और अनुभवजन्य रूप से मौजूदा ह्यूरिस्टिक शेड्यूल्स से बेहतर प्रदर्शन करता है क्योंकि यह ऐसे सैंपल्स उत्पन्न करता है जो डेटा वितरण से बेहतर मेल खाते हैं।

मूल लेखक: Chunsan Hong, Seonho An, Min-Soo Kim, Jong Chul Ye

प्रकाशित 2026-02-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chunsan Hong, Seonho An, Min-Soo Kim, Jong Chul Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बड़ी और जटिल पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि सुडोकू या कोई कठिन गणितीय समस्या, लेकिन आप इसे आंखों पर पट्टी बांधकर कर रहे हैं। आपके पास एक बहुत ही बुद्धिमान सहायक (AI मॉडल) है जो यह अनुमान लगा सकता है कि छूटे हुए हिस्से क्या होने चाहिए, लेकिन वह एक बार में केवल एक ही हिस्सा अनुमानित कर सकता है।

बड़ा सवाल यह है: आपको अपने सहायक से सबसे पहले किस हिस्से का अनुमान लगाने के लिए कहना चाहिए?

यदि आप पहले गलत हिस्सा चुन लेते हैं, तो हो सकता है कि आपको उस विशेष स्थान के लिए सही उत्तर मिल जाए, लेकिन यह पूरी पहेली को बिगाड़ सकता है, जिससे आप एक गलत रास्ते पर जा सकते हैं। यदि आप सबसे "आसान" या सबसे स्पष्ट हिस्सा पहले चुनते हैं, तो आप बाद में फंस सकते हैं क्योंकि उस हिस्से ने आपको कठिन हिस्सों को हल करने के लिए पर्याप्त संकेत नहीं दिए होंगे।

यह शोध पत्र AI को यह सिखाने के बारे में है कि खाली जगहों को भरने का सबसे अच्छा क्रम (order) क्या होना चाहिए, न कि केवल रैंडम तरीके से या किसी कठोर नियम का पालन करना।

समस्या: "नियम पुस्तिका" बहुत सरल है

वर्तमान में, अधिकांश AI मॉडल खाली जगह को भरने के लिए एक साधारण नियम पुस्तिका का उपयोग करते हैं। सबसे आम नियम है "मैक्स-कॉन्फिडेंस" (Max-Confidence)।

यह कैसे काम करता है: AI सभी खाली स्थानों को देखता है और पूछता है, "मैं किस बारे में सबसे अधिक आश्वस्त हूँ?" वह पहले उसे ही भर देता है।
दोष: कभी-कभी, जिस हिस्से के बारे में AI सबसे अधिक आश्वस्त होता है, वह वह हिस्सा नहीं होता जो पहेली को सुलझाने में मदद करे। यह एक भूलभुलैया को हल करने जैसा है जहाँ आप हमेशा दाईं ओर मुड़ते हैं क्योंकि आपको यकीन है कि आप तुरंत दीवार से नहीं टकराएंगे, लेकिन बाद में आपको एहसास होता है कि आप एक घेरे में घूम रहे थे।

समाधान: एक "स्मार्ट कोच"

लेखकों ने एक स्थिर नियम पुस्तिका का उपयोग करना बंद करने का निर्णय लिया। इसके बजाय, उन्होंने एक स्मार्ट कोच (एक सीखा हुआ पॉलिसी) को प्रशिक्षित किया जो AI को देखता रहे और उसे ठीक से बताए कि बेहतर परिणाम पाने के लिए अगला कौन सा खाली हिस्सा भरना है।

उन्होंने पहेली सुलझाने की प्रक्रिया को एक वीडियो गेम की तरह माना जहाँ लक्ष्य उच्चतम स्कोर के साथ फिनिश लाइन (सही उत्तर) तक पहुँचना है।

खेल: AI "खाली जगहों को भरने" का खेल खेल रहा है।
कोच: स्मार्ट कोच खेल को देखता है और अगले कदम का निर्णय लेता है।
पुरस्कार (Reward): यदि AI पहेली को सही ढंग से हल करता है, तो कोच को उच्च स्कोर मिलता है। यदि वह विफल रहता है, तो स्कोर कम होता है।
प्रशिक्षण: कोच अपनी गलतियों से सीखता है। वह खाली जगहों को भरने के विभिन्न क्रमों को आजमाता है। यदि कोई विशिष्ट क्रम जीत की ओर ले जाता है, तो कोच याद रखता है, "अरे, इस तरह से करना काम करता है!" यदि यह हार की ओर ले जाता है, तो वह सीखता है, "ऐसा फिर कभी न करें।"

गुप्त मंत्र: "सुरक्षा जाल" (The Safety Net)

कोच को अपने स्वयं के निर्णय लेने के लिए प्रशिक्षित करना जोखिम भरा हो सकता है। यदि कोच बहुत ज्यादा अजीब या अलग रणनीतियाँ आज़माने लगे, तो वह पहेली को हल करना ही भूल सकता है।

इससे बचने के लिए, लेखकों ने एक चतुर तकनीक का उपयोग किया जिसे KL-रेगुलराइजेशन (KL-Regularization) कहा जाता है। इसे एक सुरक्षा जाल या ट्रेनिंग व्हील के रूप में सोचें।

कोच को रचनात्मक होने और नए, बेहतर तरीके खोजने की अनुमति है।
हालांकि, वह पुराने, भरोसेमंद "मैक्स-कॉन्फिडेंस" नियम से बंधा हुआ है। वह बुनियादी बातों से बहुत दूर नहीं जा सकता।
यह सुनिश्चित करता है कि AI शॉर्टकट खोजने के प्रयास में रास्ता न भटक जाए। वह नए रास्तों की खोज करता है लेकिन उसके पास सुरक्षा की ओर ले जाने वाली एक रस्सी भी होती है।

परिणाम: यह क्यों मायने रखता है

टीम ने इस नए "स्मार्ट कोच" का परीक्षण चार अलग-अलग प्रकार की चुनौतियों पर किया:

सुडोकू (Sudoku): एक तर्क आधारित पहेली जहाँ संख्याओं को भरने का क्रम महत्वपूर्ण है।
जेब्रा पहेली (Zebra Puzzle): एक तर्क आधारित पहेली कि जेब्रा का मालिक कौन है।
GSM8K: गणित के शब्द समस्याएँ।
MATH500: कठिन गणित की समस्याएँ।

परिणाम प्रभावशाली थे:

सुडोकू पर, नया तरीका पुराने "मैक्स-कॉन्फिडेंस" नियम से 11.2% बेहतर था। AI की दुनिया में यह एक बहुत बड़ी छलांग है।
इसने गणित की समस्याओं पर भी पुराने नियमों को लगातार मात दी।
सबसे महत्वपूर्ण बात यह है कि इसने उन पहेलियों को भी हल किया जहाँ पुराने नियम अटक गए थे।

उपमा: जासूस

कल्पना कीजिए कि एक जासूस अपराध को सुलझाने की कोशिश कर रहा है।

पुराना तरीका (मैक्स-कॉन्फिडेंस): जासूस हमेशा पहले उस गवाह से पूछता है जो सबसे अधिक घबराया हुआ लगता है। कभी-कभी यह काम करता है, लेकिन अक्सर घबराया हुआ गवाह एक भटकाव (red herring) होता है, और जासूस असली सुराग मिस कर देता है।
नया तरीका (स्मार्ट कोच): जासूस का एक साथी है जो पूरे अपराध स्थल का अध्ययन करता है। साथी कहता है, "अभी उस घबराए हुए आदमी से मत पूछो। पहले उस आदमी से पूछो जो पिछले दरवाजे के पास था। वह सुराग बाकी मामले को सुलझाने की कुंजी बनेगा।"

संक्षेप में

यह शोध पत्र यह सिखाने का एक तरीका पेश करता है कि AI मॉडल को केवल प्रतिक्रियाशील (reactive) होने के बजाय रणनीतिक (strategic) कैसे बनाया जाए। केवल "सबसे संभावित चीज़ का अनुमान लगाने" जैसे नियम का आँख मूँदकर पालन करने के बजाय, AI यह सीखने के लिए एक रणनीति विकसित करता है कि चरण-दर-चरण समस्या के माध्यम से कैसे सोचा जाए। एक "सुरक्षा जाल" के साथ "स्मार्ट कोच" का उपयोग करके, AI पहले की तुलना में बहुत तेज़ी से और अधिक सटीकता के साथ जटिल तर्क और गणित की पहेलियों को हल कर सकता है।

यह एक ऐसे GPS से अपग्रेड करने जैसा है जो केवल आपको अगला मोड़ बताता है, और एक ऐसे को-पायलट जैसा जो पूरे मानचित्र को जानता है और ट्रैफिक जाम से बचने के लिए आपको सबसे अच्छा रास्ता बताता है।

यहाँ शोध पत्र "Improving Discrete Diffusion Unmasking Policies Beyond Explicit Reference Policies" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मास्क्ड डिफ्यूजन मॉडल्स (MDMs) भाषा मॉडलिंग के लिए ऑटोरेग्रेसिव मॉडल्स (ARMs) के एक शक्तिशाली विकल्प के रूप में उभरे हैं। MDMs एक अनुक्रम (sequence) को पुनरावृत्ति से डीनोइज़ करके टेक्स्ट जनरेट करते हैं, जिसमें [MASK] टोकन को अनुमानित टोकन से बदला जाता है। हालाँकि MDMs "किसी भी क्रम में" (any-order) सैंपलिंग का समर्थन करते हैं (किसी भी क्रम में टोकन को अनमास्क करना), लेकिन अगला कौन सा स्थान अनमास्क किया जाए, यह प्रदर्शन के लिए अत्यंत महत्वपूर्ण है।

बाधा (The Bottleneck): वर्तमान अत्याधुनिक MDMs अनुमानी अनमास्किंग शेड्यूल्स (जैसे, Max-Confidence, Max-Margin, या Random) पर निर्भर करते हैं। ये नियम मनमाने (ad hoc) हैं और अक्सर उप-इष्टतम (suboptimal) होते हैं।
सैद्धांतिक सीमा (Theoretical Limit): किम एट अल. (2025) ने सिद्ध किया है कि कोई भी बहुपद-समय (polynomial-time) एल्गोरिदम सभी मास्क्ड वाक्यों के लिए डेटा वितरण को पूरी तरह से रिकवर नहीं कर सकता (अर्थात "Any-Order" जनरेशन की समस्या कठिन है)। हालाँकि, Max-Confidence जैसे अनुमानी नियम "कठिन" उदाहरणों को बायपास कर सकते हैं।
अंतराल (The Gap): यह स्पष्ट नहीं है कि क्या अनुमानी नियम (heuristics) इष्टतम रणनीति हैं या क्या एक सीखा हुआ पॉलिसी (learned policy) उन उच्च-पुरस्कार वाले अनमास्किंग पथों (unmasking paths) की खोज कर सकता है जिन्हें अनुमानी नियम चूक जाते हैं। इसके अलावा, MDMs के लिए मौजूदा सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दृष्टिकोण अक्सर बेस मॉडल को फाइन-ट्यून करने पर ध्यान केंद्रित करते हैं या सैंपलिंग वितरण के संबंध में पर्याप्त सैद्धांतिक अभिसरण (convergence) गारंटी की कमी रखते हैं।

2. कार्यप्रणाली (Methodology)

लेखक अनमास्किंग पॉलिसी ऑप्टिमाइज़ेशन (UPO) प्रस्तावित करते हैं, जो अनमास्किंग प्रक्रिया को एक KL-रेगुलराइज्ड मार्कोव निर्णय प्रक्रिया (MDP) के रूप में मानता है और एक सीखे हुए शेड्यूलर को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके अनुकूलित करता है।

A. MDP के रूप में निरूपण (Formulation as an MDP)

अवस्था (State $x_n$ ): $n$ मास्क्ड टोकन वाला अनुक्रम।
क्रिया (Action $a_n$ ): अनमास्क करने के लिए $n$ मास्क्ड इंडेक्स में से एक का चयन करना।
संक्रमण (Transition): वातावरण (फ्रीज किया गया MDM $\pi_\theta$ ) चयनित इंडेक्स के लिए टोकन वितरण की भविष्यवाणी करता है। एजेंट यह नियंत्रित करता है कि कहाँ अनमास्क करना है, जबकि MDM यह नियंत्रित करता है कि कौन सा टोकन जनरेट किया जाए।
पुरस्कार (Reward $r$ ): एक सत्यापन योग्य टर्मिनल पुरस्कार (जैसे, यदि अंतिम उत्तर सही है तो 1, अन्यथा 0, या सटीकता/लॉग-प्रोबेबिलिटी पर आधारित डेंस रिवॉर्ड)।

B. सैद्धांतिक ढांचा: KL-रेगुलराइज्ड GRPO

मानक पॉलिसी ग्रेडिएंट के बजाय, लेखक एक मजबूत संदर्भ नीति ( $g_{ref}$ , जैसे, Max-Confidence या Top-K) के सापेक्ष एक KL-रेगुलराइज्ड ऑब्जेक्टिव को अनुकूलित करते हैं:

$\max_\phi \mathbb{E} \left[ \frac{g_\phi(x_0|q)}{g_{\phi_{old}}(x_0|q)} A(q, x_0) \right] - \beta D_{KL}(g_\phi(x_0|q) \parallel g_{ref}(x_0|q))$

संदर्भ नीति (Reference Policy $g_{ref}$ ): प्रशिक्षण को स्थिर करने और एक मजबूत आधार प्रदान करने के लिए एक "ट्रस्ट रीजन" के रूप में कार्य करती है।
अभिसरण गारंटी (Convergence Guarantee): शोध पत्र सिद्ध करता है (थ्योरम 1 और 2) कि मानक धारणाओं के तहत, अनुकूलित नीति $g_\phi$ एक निश्चित बिंदु (fixed point) पर अभिसरित होती है जिसका अपेक्षित पुरस्कार $g_{ref}$ से अधिक होता है और जो वास्तविक डेटा वितरण ( $P_{data}$ ) के साथ कम KL डाइवर्जेंस उत्पन्न करती है।

C. व्यावहारिक कार्यान्वयन (Tractable Surrogates)

चूंकि आउटपुट-स्तर का वितरण $g_\phi(x_0|q)$ अग्रगण्य (intractable) है (जिसके लिए सभी ट्राजेक्टरीज पर मार्जिनलाइजेशन की आवश्यकता होती है), लेखक सुगम सरोगेट लॉस (tractable surrogate losses) प्राप्त करते हैं:

टोकन-स्तरीय ग्रेडिएंट अलाइनमेंट: वे सिद्ध करते हैं कि एक टोकन-वाइज लॉस (ट्राजेक्टरी पर एडवांटेज को जोड़ना) आउटपुट-लेवल ऑब्जेक्टिव का अनुमान लगाता है।
संदर्भ यथार्थ (Reference Realizations): वे $g_{ref}$ $g_{r e f}$ के चयन के आधार पर तीन विशिष्ट कार्यान्वयन प्रस्तावित करते हैं:
- Max-Confidence ( $g_{conf}$ ): चूंकि $g_{conf}$ नियत (deterministic) है, इसलिए क्रॉस-एन्ट्रॉपी (CE) को रेगुलराइजेशन टर्म के रूप में उपयोग करता है।
- Softmax ( $g_{conf}^\tau$ ): ट्राजेक्टरी प्रोबेबिलिटीज पर आधारित एक सुगम KL सरोगेट ( $L_{KL}$ ) का उपयोग करता है।
- Top-K ( $g_{Top-K}$ ): नीति को केवल Top-K उम्मीदवारों से सैंपल करने के लिए पुनर्रूपित (reparameterize) करता है, जिससे शून्य-संभावना (zero-probability) समस्याओं के बिना $L_{KL}$ का उपयोग संभव हो पाता है।

D. आर्किटेक्चर और दक्षता (Architecture & Efficiency)

मॉडल संरचना: एक हल्का पॉलिसी मॉडल (1-लेयर ट्रांसफार्मर + 3-लेयर MLP) जो फ्रीज किए गए बेस MDM और उसके Top-K टोकन प्रोबेबिलिटीज से फीचर्स लेता है।
मेमोरी दक्षता: बेस MDM फ्रीज रहता है। पॉलिसी मॉडल छोटा है (उदाहरण के लिए, 8B बेस मॉडल के मुकाबले 134M पैरामीटर्स), जिससे इसे सिंगल GPU पर प्रशिक्षित करना संभव होता है। एल्गोरिदम मेमोरी उपयोग को कम करने के लिए सैंपलिंग (फीचर्स एकत्र करना) और ग्रेडिएंट अपडेट को अलग करता है।

3. मुख्य योगदान (Key Contributions)

सीखा हुआ अनमास्किंग पॉलिसी: अनुमानी अनमास्किंग शेड्यूल्स को RL के माध्यम से अनुकूलित एक सीखी हुई पॉलिसी से बदलने वाला पहला कार्य, जो यह दर्शाता है कि नियत अनुमानी (deterministic heuristics) से बेहतर अनमास्किंग पथ मौजूद हैं।
सैद्धांतिक गारंटी: यह सिद्ध करता है कि KL-रेगुलराइज्ड GRPO फ्रेमवर्क एक ऐसी नीति की ओर अभिसरण की गारंटी देता है जो संदर्भ नीति की तुलना में बेहतर पुरस्कार देती है और वास्तविक डेटा वितरण के प्रति कम KL डाइवर्जेंस उत्पन्न करती है।
सुगम सरोगेट लॉस: टोकन-लेवल ग्रेडिएंट्स और ट्राजेक्टरी प्रोबेबिलिटीज का उपयोग करके अग्रगण्य आउटपुट-लेवल ऑब्जेक्टिव का अनुमान लगाने वाले व्यावहारिक प्रशिक्षण उद्देश्यों ( $L_{UPO}$ ) को व्युत्पन्न करता है।
मेमोरी-कुशल प्रशिक्षण: एक ऐसा प्रशिक्षण तरीका प्रस्तावित करता है जो बड़े MDM को फ्रीज रखता है और केवल एक छोटे शेड्यूलर को अनुकूलित करता है, जिससे बड़े पैमाने के मॉडल्स (जैसे, LLaDA-8B) पर इसे लागू करना संभव हो जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन LLaDA-8B-INSTRUCT मॉडल का उपयोग करके चार बेंचमार्क पर किया गया:

लॉजिक पजल्स: SUDOKU, ZEBRA।
मैथ रीजनिंग: GSM8K, MATH500।

मुख्य निष्कर्ष:

SUDOKU: सीखी हुई पॉलिसी ने 81.7% सटीकता प्राप्त की, जो Max-Confidence (70.5%) और Random (61.6%) की तुलना में एक बड़ा सुधार है। यह बाधा-प्रधान कार्यों (constraint-heavy tasks) में अनमास्किंग ऑर्डर के महत्वपूर्ण महत्व को रेखांकित करता है।
GSM8K: 70.3% सटीकता प्राप्त की, जो Max-Confidence (68.4%) और अन्य बेसलाइन्स से बेहतर है।
ZEBRA & MATH500: लगातार सभी अनुमानी बेसलाइन्स के बराबर या उनसे बेहतर प्रदर्शन किया।
एब्लेशन स्टडीज (Ablation Studies):
- रेगुलराइजेशन: KL डाइवर्जेंस टर्म को हटाने से समय से पहले अभिसरण (premature convergence) और कम अंतिम सटीकता हुई।
- अनुकूलता (Compatibility): यह विधि Diffu-GRPO (जो स्वयं MDM को फाइन-ट्यून करता है) के पूरक के रूप में कार्य करती है। दोनों को मिलाने से उच्चतम प्रदर्शन मिला (GSM8K पर Max-Confidence से +1.3% अधिक)।
- रिवॉर्ड प्रकार: विधि डेंस रिवॉर्ड (तेज़ अभिसरण) और बाइनरी रिवॉर्ड (सैद्धांतिक रूप से संरेखित) दोनों के साथ काम करती है।

5. महत्व (Significance)

यह शोध पत्र MDM इन्फरेंस के प्रतिमान को नियम-आधारित शेड्यूलिंग से सीखी हुई शेड्यूलिंग की ओर मौलिक रूप से बदल देता है।

अनुमानी से परे: यह प्रदर्शित करता है कि हाथ से बनाए गए नियम जैसे Max-Confidence, MDM प्रदर्शन की ऊपरी सीमा (ceiling) नहीं हैं; एक सीखी हुई पॉलिसी संरचनात्मक रूप से बेहतर अनमास्किंग क्रम खोज सकती है।
सैद्धांतिक कठोरता: समस्या को KL-रेगुलराइज्ड MDP के रूप में फ्रेम करके, लेखक यह गारंटी देते हैं कि सीखी गई नीति संदर्भ नीति में सुधार करती है, जो "Any-Order" जनरेशन की कठिनाई को संबोधित करती है।
स्केलेबिलिटी: यह दृष्टिकोण बेस मॉडल को पुन: प्रशिक्षित करने की कम्प्यूटेशनल लागत के बिना विशाल मॉडल्स (8B+) के लिए इन्फरेंस रणनीतियों को अनुकूलित करने की अनुमति देता है, जिससे उन्नत डिफ्यूजन रणनीतियाँ बड़े पैमाने के भाषाई कार्यों के लिए सुलभ हो जाती हैं।

संक्षेप में, यह शोध पत्र स्थापित करता है कि डिस्क्रीट डिफ्यूजन में "क्या" (टोकन प्रेडिक्शन) जितना ही "कब" (अनमास्किंग ऑर्डर) को अनुकूलित करना भी महत्वपूर्ण है, और यह इस अनुकूलन को सीखने के लिए एक मजबूत, सैद्धांतिक रूप से आधारित ढांचा प्रदान करता है।