🤖 AI

Primal-Dual Guided Decoding for Constrained Discrete Diffusion

यह शोध पत्र प्रिमल-डुअल गाइडेड डिकोडिंग (Primal-Dual Guided Decoding) प्रस्तुत करता है, जो एक रिट्रेनिंग-मुक्त इन्फरेंस-टाइम विधि है जो ऑनलाइन लैग्रेंजियन मल्टीप्लायर्स के माध्यम से टोकन लॉजिट्स को अनुकूल रूप से समायोजित करके डिस्क्रीट डिफ्यूजन मॉडल्स पर वैश्विक बाधाओं को लागू करती है, जिससे टेक्स्ट, मॉलिक्यूलर और म्यूजिक डोमेन में जनरेशन की गुणवत्ता को बनाए रखते हुए विविध बाधाओं को संतुष्ट किया जा सकता है।

मूल लेखक: Federico Tomasi, Dmitrii Moor, Alice Wang, Mounia Lalmas

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Federico Tomasi, Dmitrii Moor, Alice Wang, Mounia Lalmas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "अंधे मूर्तिकार" की समस्या

कल्पना कीजिए कि आपके पास एक अंधा मूर्तिकार (AI मॉडल) है जो पत्थर के ब्लॉक से मूर्तियाँ बनाने में बहुत माहिर है। मूर्तिकार ने पहले लाखों मूर्तियाँ देखी हैं और वह जानता है कि एक सुंदर, वास्तविक मानव आकृति बनाने के लिए पत्थर को कैसे तराशना है। डिस्क्रीट डिफ्यूजन मॉडल्स (Discrete Diffusion Models) इसी तरह काम करते हैं: वे "शोर" (एक पूरी तरह से मास्क किया गया अनुक्रम) के ब्लॉक से शुरू होते हैं और एक-एक करके टोकन को "अनमास्क" (reveal) करके अंतिम छवि या टेक्स्ट को प्रकट करते हैं।

समस्या:
कभी-कभी, आप केवल कोई भी मूर्ति नहीं चाहते; आप एक ऐसी मूर्ति चाहते हैं जिसमें एक विशिष्ट वस्तु हो, जैसे कि सेब की एक टोकरी।

यदि आप मूर्तिकार को बस अपना काम करने देते हैं, तो वे एक सुंदर मूर्ति बना सकते हैं जिसमें तलवार या किताब हो, लेकिन सेब होने की संभावना बहुत कम होती है।
यदि आप उन्हें "सेब! सेब!" चिल्लाकर बहुत ज़ोर से मजबूर करने की कोशिश करते हैं, तो वे भ्रमित हो सकते हैं और एक अजीब, विकृत राक्षस बना सकते हैं जो इंसान जैसा बिल्कुल नहीं दिखता।

इसे ठीक करने के मौजूदा तरीकों में दो मुख्य खामियां हैं:

"किराए का विशेषज्ञ" विधि: आप मूर्तिकार के बगल में खड़े होने के लिए एक अलग विशेषज्ञ को काम पर रखते हैं जो उसे सुधार के सुझाव फुसफुसाता है। यह धीमा और महंगा है क्योंकि आपको हर एक बाधा (constraint) के लिए एक नए विशेषज्ञ की आवश्यकता होती है (एक सेब के लिए, एक तलवार के लिए, एक टोपी के लिए)।
"आगे-पीछे" (Back-and-Forth) विधि: आप मूर्तिकार से एक हिस्सा तराशने को कहते हैं, देखते हैं कि क्या उसमें सेब हैं, उसे मिटाते हैं, और फिर से कोशिश करते हैं। इसमें एक बार तराशने की तुलना में 5 से 20 गुना अधिक समय लगता है।

समाधान: "स्मार्ट कंपास" (प्राइमल-डुअल गाइडेड डिकोडिंग)

लेखक प्राइमल-ड्यूल गाइडेड डिकोडिंग (Primal-Dual Guided Decoding) नामक एक नई विधि प्रस्तावित करते हैं। मूर्तिकार को नया विशेषज्ञ रखने या मूर्तिकार को फिर से शुरू करने के बजाय, वे मूर्तिकार को एक स्मार्ट, स्व-समायोजित (self-adjusting) कंपास देते हैं।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "ऐड-ऑन" बायस (कंपास)

प्रत्येक चरण में जहाँ मूर्तिकार मूर्ति का एक नया हिस्सा प्रकट करता है, कंपास एक छोटा, अदृश्य धक्का (nudge) देता है।

यदि मूर्तिकार "तलवार" तराशने वाला है, तो कंपास उसे "सेब" की ओर धीरे से धकेलता है।
यदि वह पहले से ही "सेब" तराश रहा है, तो कंपास ढीला हो जाता है और उसे स्वाभाविक रूप से जारी रखने देता है।

यह धक्का गणितीय रूप से इस तरह से गणना किया गया है कि यह नियम को पूरा करने के लिए आवश्यक न्यूनतम संभव परिवर्तन हो। यह कार के स्टीयरिंग व्हील को ठीक उतना ही एडजस्ट करने जैसा है जिससे आप लेन में बने रहें, न कि अचानक मुड़ जाएँ।

2. "स्व-सुधारने वाला" मल्टीप्लायर (फीडबैक लूप)

यही "प्राइमल-ड्यूल" वाला हिस्सा है। कंपास में एक डायल (जिसे लैग्रेंजियन मल्टीप्लायर कहा जाता है) होता है जो यह नियंत्रित करता है कि धक्का कितना मजबूत है।

परिदृश्य: कल्पना कीजिए कि आपको मूर्ति में ठीक 10 सेब चाहिए।
प्रक्रिया के शुरुआती चरण में: मूर्तिकार ने अभी तक कोई सेब नहीं तराशा है। कंपास इस "कमी" को देखता है और डायल को ऊपर घुमा देता है, जिससे "सेब" वाले टोकन की ओर धक्का बहुत मजबूत हो जाता है।
प्रक्रिया के बाद के चरणों में: मूर्तिकार पहले ही 8 सेब तराश चुका है। कंपास देखता है कि कमी कम हो रही है, इसलिए वह डायल को नीचे घुमा देता है, जिससे मूर्तिकार फिर से रचनात्मक हो सकता है।
परिणाम: सिस्टम स्वचालित रूप से दबाव को संतुलित करता है। जब आप लक्ष्य से पीछे होते हैं तो यह ज़ोर लगाता है और जब आप सही रास्ते पर होते हैं तो यह दबाव कम कर देता है।

3. यह क्यों विशेष है?

पुनः प्रशिक्षण की आवश्यकता नहीं (No Retraining): आपको मूर्तिकार को कुछ भी नया सिखाने की आवश्यकता नहीं है। आप बस तराशने की प्रक्रिया के दौरान कंपास का उपयोग करते हैं।
कोई अतिरिक्त मॉडल नहीं: आपको एक अलग "सेब विशेषज्ञ" की आवश्यकता नहीं है। कंपास खुद तराशने की प्रक्रिया के गणित में बना हुआ है।
गति: इसमें उतना ही समय लगता है जितना एक सामान्य मूर्ति तराशने में लगता है। इसके लिए धीमी "कोशिश-और-मिटाओ" लूप की आवश्यकता नहीं है।

पेपर से वास्तविक दुनिया के उदाहरण

लेखकों ने इस "स्मार्ट कंपास" का परीक्षण तीन अलग-अलग प्रकार की "मूर्तियों" पर किया:

कहानियाँ लिखना (टेक्स्ट):
- लक्ष्य: एक बच्चों की कहानी लिखें जिसमें समुद्र से संबंधित कम से कम 10 शब्द (जैसे, "व्हेल," "लहर," "रेत") शामिल हों।
- परिणाम: AI ने ऐसी धाराप्रवाह कहानियाँ लिखीं जिनमें समुद्र के शब्दों को स्वाभाविक रूप से शामिल किया गया था, बिना जबरदस्ती या दोहराव के। अन्य विधियों ने या तो पर्याप्त शब्द शामिल करने में विफलता दिखाई या कहानी को रोबोटिक बना दिया।
अणुओं को डिजाइन करना (रसायन विज्ञान):
- लक्ष्य: एक ऐसा रासायनिक अणु बनाना जो एक संभावित दवा होने के लिए पर्याप्त भारी हो (आणविक भार ≥ 350), लेकिन फिर भी रासायनिक रूप से वैध हो।
- परिणाम: AI ने वैध रासायनिक संरचनाएं बनाईं जो सामान्य से अधिक भारी थीं, जबकि अन्य विधियों ने या तो अमान्य रसायन बनाए या वजन के लक्ष्य तक नहीं पहुँच सके।
प्लेलिस्ट बनाना (संगीत):
- लक्ष्य: एक ऐसा संगीत प्लेलिस्ट बनाना जहाँ एक विशिष्ट शैली (जैसे "K-Pop" या "Synthwave") एक निश्चित प्रतिशत गानों का प्रतिनिधित्व करती है।
- परिणाम: AI ने लक्ष्य को प्राप्त करते हुए विविध संगीत प्लेलिस्ट बनाई। अन्य विधियों ने अक्सर लक्ष्य को पूरा करने के लिए एक ही तरह के गाने वाली प्लेलिस्ट बनाई (कम विविधता)।

ट्रेड-ऑफ: "डायल"

पेपर में एक सिंगल नॉब पेश किया गया है जिसे $\eta$ (एटा) कहा जाता है।

इसे कम करने पर: AI अपनी प्राकृतिक शैली के बहुत करीब रहता है (उच्च गुणवत्ता, लेकिन शायद बाधा को थोड़ा मिस कर दे)।
इसे बढ़ाने पर: AI आक्रामक रूप से बाधा को लागू करता है (लक्ष्य को पूरी तरह से प्राप्त करता है, लेकिन आउटपुट थोड़ा "जबरदस्ती" या कम प्राकृतिक लग सकता है)।

उपयोगकर्ता चुन सकता है कि वे इस स्पेक्ट्रम पर कहाँ रहना चाहते हैं, और इसके लिए मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है।

सारांश

यह पेपर एक चतुर, हल्का तरीका प्रस्तुत करता है जिससे AI मॉडल को विशिष्ट नियमों (जैसे "10 समुद्री शब्द शामिल करें" या "भारी अणु बनाएं") का पालन करने के लिए मजबूर किया जा सके, बिना उनकी गति कम किए या अतिरिक्त प्रशिक्षण की आवश्यकता के। यह एक स्व-समायोजित GPS की तरह काम करता है जो यात्रा को सहज और प्राकृतिक रखते हुए AI को मंजिल की ओर धीरे से निर्देशित करता है।

तकनीकी सारांश: प्रिमल-डुअल गाइडेड डिकोडिंग फॉर कंस्ट्रेंड डिस्क्रीट डिफ्यूजन

समस्या विवरण (Problem Statement)

डिस्क्रीट डिफ्यूजन मॉडल (Discrete diffusion models) संरचित अनुक्रमों (जैसे पाठ, अणु, संगीत प्लेलिस्ट) को धीरे-धीरे अनमास्किंग (unmasking) के माध्यम से उत्पन्न करने के लिए ऑटोरेग्रेसिव (AR) मॉडल के एक शक्तिशाली विकल्प के रूप में उभरे हैं। हालाँकि, एक महत्वपूर्ण चुनौती बनी हुई है: जनरेशन के दौरान मॉडल के सीखे हुए डेटा वितरण (data distribution) से समझौता किए बिना वैश्विक गुण बाधाओं (global property constraints) (जैसे विशिष्ट शब्दावली गणना, लक्षित आणविक भार, या शैली संरचना) को लागू करना।

मौजूदा दृष्टिकोणों को बाधा संतुष्टि (constraint satisfaction) और वितरण निष्ठा (distributional fidelity) के बीच एक समझौते का सामना करना पड़ता है:

प्रेडिक्टर/क्लासिफायर गाइडेंस (Predictor/Classifier Guidance): इसके लिए प्रत्येक गुण के लिए एक सहायक मॉडल की आवश्यकता होती है और यह अक्सर निरंतर स्थानों (continuous spaces) में कार्य करता है जो सीधे डिस्क्रीट टोकन पर लागू नहीं होते हैं।
कंस्ट्रेंड डिस्क्रीट डिफ्यूजन (CDD): यह सहायक प्रशिक्षण से बचता है लेकिन हर डिनोइजिंग स्टेप पर आंतरिक अनुकूलन लूप (जैसे Gumbel-softmax) पर निर्भर करता है, जिससे 5–20× कम्प्यूटेशनल ओवरहेड होता है।
स्टैटिक बायस (Static Bias): सरल योगात्मक बायस (additive biases) जनरेशन प्रक्रिया के विकसित होते संदर्भ के अनुकूल होने में विफल रहते हैं, जिससे ओवरशूटिंग या अपर्याप्त बाधा संतुष्टि होती है।

मुख्य समस्या यह है कि बाधाओं को एक अनुकूलन समस्या (optimization problem) के रूप में कैसे तैयार किया जाए जिसे डिनोइजिंग प्रक्रिया के दौरान ऑनलाइन हल किया जा सके, जिससे मानक सैंपलिंग की कम्प्यूटेशनल दक्षता बनी रहे और बाधा उल्लंघन (constraint violation) पर औपचारिक गारंटी भी मिल सके।

कार्यप्रणाली: प्रिमल-डुअल गाइडेड डिकोडिंग (Methodology: Primal-Dual Guided Decoding)

लेखक प्रिमल-डुअल गाइडेड डिकोडिंग (SPDD) का प्रस्ताव करते हैं, जो एक इंफरेंस-टाइम विधि है जो बाधित जनरेशन को KL-रेगुलराइज्ड ऑप्टिमाइज़ेशन समस्या के रूप में तैयार करती है। यह विधि मिरर डिसेंट (mirror descent) के माध्यम से अपडेट किए गए एडेप्टिव लैग्रेंजियन मल्टीप्लायर्स (Lagrangian multipliers) का उपयोग करके इस समस्या को ऑनलाइन हल करती है।

1. अनुकूलन सूत्रीकरण (Optimization Formulation)

लक्ष्य एक ऐसी सैंपलिंग वितरण $r(x_0)$ खोजना है जो एक रैखिक बाधा (जैसे अपेक्षित कुल योगदान $\ge R$ ) को संतुष्ट करे, जबकि मूल मॉडल वितरण $p_\theta(x_0)$ से KL-डाइवर्जेंस को कम करे।
$\min_{r} D_{KL}(r(x_0) \| p_\theta(x_0)) \quad \text{subject to} \quad \sum b_{\ell j} r(x_0^\ell = j) \ge R$
जहाँ $b_{\ell j}$ बाधा के प्रति टोकन $j$ के स्थिति $\ell$ पर योगदान का प्रतिनिधित्व करता है।

2. ऑनलाइन प्रिमल-डुअल सन्निकटन (Online Primal-Dual Approximation)

पूरी प्रक्षेपवक्र (trajectory) को ऑफलाइन हल करने के बजाय, यह विधि प्रत्येक डिनोइजिंग स्टेप $t$ पर टोकन-स्तरीय सैंपलिंग निर्णयों पर एक ऑनलाइन ऑप्टिमाइज़ेशन के रूप में कार्य करती है।

प्रिमल अपडेट (सैंपलिंग): प्रत्येक चरण पर, टोकन संभावनाओं को लैग्रेंजियन मल्टीप्लायर $\lambda$ से प्राप्त एक योगात्मक, बाधा-निर्भर बायस द्वारा संशोधित किया जाता है। इष्टतम सैंपलिंग वितरण है:
$a_{\ell j}^t = \frac{p_\theta(x_\ell^t = j | x_{t+1}) e^{\lambda_{t+1} b_{\ell j}}}{\sum_i p_\theta(x_\ell^t = i | x_{t+1}) e^{\lambda_{t+1} b_{\ell i}}}$
यह प्रभावी रूप से मॉडल के लॉजिट्स (logits) को पुन: भारित (re-weights) करता है, जिससे उन टोकन को अधिक महत्व मिलता है जो बाधा में योगदान देते हैं।
डुअल अपडेट (मल्टीप्लायर): लैग्रेंजियन मल्टीप्लायर $\lambda_t$ को जनरेशन के दौरान देखे गए संचयी बाधा उल्लंघन (slack) के आधार पर मिरर डिसेंट का उपयोग करके अपडेट किया जाता है:
$\lambda_t = \lambda_T \exp\left\{ -\eta \sum_{\tau=t}^{T-1} \sum_{\ell, j} \left(b_{\ell j} - \frac{R}{L}\right) a_{\ell j}^\tau \right\}$
यहाँ, $\eta$ एक स्टेप-साइज़ पैरामीटर है। यदि बाधा कम संतुष्ट है, तो $\lambda$ बढ़ता है, जिससे बायस मजबूत होता है; यदि संतुष्ट है, तो $\lambda$ घटता है, जिससे मूल वितरण के साथ हस्तक्षेप कम होता है।

3. वेरिएंट्स (Variants)

पेपर $\lambda$ को अपडेट करने के लिए विभिन्न "स्लैक" (slack) परिभाषाओं का अन्वेषण करता है:

एक्युमुलेटेड स्लैक (Accumulated Slack): समय के साथ योगदान को एकत्रित करता है (मुख्य प्रयोगों में उपयोग किया गया)।
इंस्टेंटेनियस स्लैक (Instantaneous Slack): वर्तमान संचय की सीधे वैश्विक लक्ष्य से तुलना करता है।
ऑप्टिमिस्टिक स्लैक (Optimistic Slack): भविष्य की बाधा संतुष्टि के अनुमान को शामिल करता है (Optimistic Mirror Descent)।

मुख्य योगदान (Key Contributions)

इंफरेंस-टाइम दक्षता: इसके लिए कोई रिट्रेनिंग नहीं और कोई सहायक मॉडल नहीं चाहिए। यह मानक सैंपलिंग लूप में केवल कांस्टेंट-टाइम ऑपरेशन्स जोड़ता है, जिससे बेस मॉडल का कम्प्यूटेशनल प्रोफाइल (1× लागत) बना रहता है।
सैद्धांतिक गारंटी: लेखक अपेक्षित बाधा उल्लंघन पर औपचारिक सीमाएं (formal bounds) प्राप्त करते हैं, जो दिखाते हैं कि उल्लंघन $O(1/\eta \log(\dots))$ द्वारा ऊपरी रूप से सीमित है। वे रेजिग्रेट बाउंड्स (regret bounds) भी प्रदान करते हैं जो बाधा संतुष्टि और सन्निकटन त्रुटि के बीच के ट्रेड-ऑफ को स्पष्ट करते हैं।
बहु-बाधा समर्थन (Multi-Constraint Support): प्रिमल-डुअल सूत्रीकरण कई लैग्रेंजियन मल्टीप्लायर्स के योगात्मक लॉजिट बायस को जोड़कर कई एक साथ आने वाली बाधाओं तक स्वाभाविक रूप से विस्तार करता है।
नियंत्रणीय ट्रेड-ऑफ: पैरामीटर $\eta$ एक एकल "नॉब" (knob) के रूप में कार्य करता है जो अभ्यासकर्ताओं को बाधा संतुष्टि और वितरण निष्ठा (KL डाइवर्जेंस द्वारा मापा गया) के बीच एक सुचारू फ्रंटियर को ट्रेस करने की अनुमति देता है।

प्रायोगिक परिणाम (Experimental Results)

विधि का मूल्यांकन डोमेन-विशिष्ट स्कोरिंग फंक्शनों के साथ एक ही एल्गोरिदम का उपयोग करके तीन अलग-अलग डोमेन पर किया गया था:

टोपिकल टेक्स्ट जनरेशन (TinyStories):
- कार्य: कम से कम 10 महासागर-संबंधित टोकन के साथ कहानियाँ बनाना।
- परिणाम: SPDD ने 0.420 के KL डाइवर्जेंस के साथ 92.1% Pass% (संतुष्टि) प्राप्त किया। इसने CDD (38.0% Pass%) और Static Bias (81.9% Pass%) को काफी बेहतर प्रदर्शन किया, जबकि Static Bias की तुलना में कम KL बनाए रखा। D-CBG स्पार्स बाधा को संतुष्ट करने में विफल रहा।
आणविक जनरेशन (ZINC20):
- कार्य: आणविक भार (MW) $\ge 350$ वाले अणु बनाना।
- परिणाम: SPDD ने 49.9% वैधता के साथ 48.5% Pass% (350 MW से ऊपर) प्राप्त किया, जिसने सभी बेसलाइन को पीछे छोड़ दिया। इसने CDD या D-CBG की तुलना में MW वितरण के ऊपरी टेल (upper tail) में वितरण को और आगे बढ़ाया, जबकि रासायनिक वैधता बनाए रखी।
संगीत प्लेलिस्ट जनरेशन:
- कार्य: एक लक्षित सब-जॉनर संरचना के साथ प्लेलिस्ट बनाना।
- परिणाम: SPDD ने CDD की ट्रैक-स्तरीय संतुष्टि (9.28% बनाम 9.18%) से मेल खाया, लेकिन आधे से भी कम KL डाइवर्जेंस (0.355 बनाम 0.779) के साथ और काफी अधिक टोकन विविधता के साथ।

सभी डोमेन में, SPDD ने उच्चतम बाधा संतुष्टि प्राप्त की जबकि अनकन्स्ट्रेंड मॉडल वितरण के सबसे करीब रहा।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि प्रिमल-डुअल गाइडेड डिकोडिंग, कंस्ट्रेंड डिस्क्रीट डिफ्यूजन के लिए एक हल्का, सैद्धांतिक रूप से आधारित समाधान प्रदान करता है।

दक्षता: CDD के विपरीत, यह महंगे आंतरिक अनुकूलन लूपों से बचता है। D-CBG के विपरीत, इसे प्रत्येक बाधा के लिए अलग क्लासिफायर प्रशिक्षित करने की आवश्यकता नहीं होती है।
लचीलापन: यह कई बाधाओं का समर्थन करता है और लैग्रेंजियन मल्टीप्लायर के माध्यम से जनरेशन के संदर्भ के अनुसार गतिशील रूप से अनुकूलित होता है।
मजबूती: सैद्धांतिक विश्लेषण बाधा उल्लंघन पर सीमाएं प्रदान करता है, और प्रायोगिक परिणाम दिखाते हैं कि विधि एक ही एल्गोरिथम फ्रेमवर्क के साथ विविध डेटा प्रकारों (टेक्स्ट, केमिस्ट्री, ऑडियो एम्बेडिंग) पर प्रभावी ढंग से काम करती है।
सीमाएँ: लेखक स्वीकार करते हैं कि एब्जॉर्बिंग-स्टेट डिफ्यूजन में, शुरुआती टोकन प्रतिबद्धताएं अपरिवर्तनीय होती हैं, जिससे स्लैक अपडेट का डिज़ाइन महत्वपूर्ण हो जाता है। वे यह भी नोट करते हैं कि अत्यधिक संरचित डोमेन (जैसे अणु) के लिए, स्वतंत्र टोकन लॉजिट ड्रिफ्ट की सैद्धांतिक धारणा एक सन्निकटन है, हालांकि विधि अनुभवजन्य रूप से प्रभावी रहती है।

यह कार्य उन अभ्यासकर्ताओं के लिए एक व्यावहारिक उपकरण के रूप में स्थापित होता है जिन्हें रिट्रेनिंग या जटिल इंफरेंस-टाइम ऑप्टिमाइज़ेशन के ओवरहेड के बिना अपने जेनेरेटिव मॉडल को विशिष्ट गुणों की ओर निर्देशित करने की आवश्यकता होती है।