🤖 machine learning

Continuous Diffusion Models Can Obey Formal Syntax

यह शोध पत्र Diffinity को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त मार्गदर्शन विधि है जो एक विश्लेषणात्मक स्कोर का उपयोग करके सैंपलिंग को निर्देशित करके निरंतर डिफ्यूजन लैंग्वेज मॉडल्स को औपचारिक सिंटैक्टिक बाधाओं (जैसे कि रेगुलर एक्सप्रेशंस) को संतुष्ट करने में सक्षम बनाती है, जिससे बिना किसी सहायक क्लासिफायर या पुन: प्रशिक्षण के उच्च बाधा संतुष्टि और आउटपुट गुणवत्ता प्राप्त होती है।

मूल लेखक: Jinwoo Kim, Taylor Berg-Kirkpatrick, Loris D'Antoni

प्रकाशित 2026-05-28

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Jinwoo Kim, Taylor Berg-Kirkpatrick, Loris D'Antoni

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बेहतरीन केक बनाने की कोशिश कर रहे हैं, लेकिन आपके पास एक बहुत ही सख्त रेसिपी (एक "औपचारिक सिंटैक्स") है जिसका पालन केक को करना ही होगा। यदि आप एक भी सामग्री भूल जाते हैं या चरणों को गलत क्रम में मिलाते हैं, तो केक खराब हो जाएगा।

समस्या: "धुंधला" बेकर (The "Blurry" Baker)
आज के अधिकांश AI भाषा मॉडल एक ऐसे बेकर की तरह काम करते हैं जो एक-एक करके, बाएं से दाएं सामग्री जोड़ता है। यदि उन्हें बीच में पता चलता है कि वे चीनी डालना भूल गए हैं, तो वे बिना दोबारा शुरू किए इसे आसानी से ठीक नहीं कर सकते। इसे "ऑटोरिग्रेसिव" (autoregressive) जनरेशन कहा जाता है।

हालाँकि, एक नए प्रकार का AI, जिसे डिफ्यूजन मॉडल (Diffusion Model) कहा जाता है, अलग तरह से काम करता है। कल्पना कीजिए कि यह मॉडल शुद्ध, अराजक शोर (जैसे कि आटा, अंडे और चीनी का एक रैंडम मिश्रण) के एक कटोरे से शुरू होता है। समय के साथ, यह धीरे-धीरे इस मिश्रण को "डी-नॉइज़" (denoise) करता है, यानी इसे चरण-दर-चरण परिष्कृत करता है, जब तक कि एक स्पष्ट केक उभर न आए। समस्या यह है कि क्योंकि यह एक "धुंधले", निरंतर मिश्रण के साथ काम कर रहा है न कि अलग-अलग सामग्रियों के साथ, इसलिए इसे यह बताना बहुत कठिन है कि "यह केक एक JSON फ़ाइल होना चाहिए" या "इसे इस विशिष्ट पैटर्न का पालन करना ही होगा।" AI स्वाभाविक रूप से इन सख्त नियमों को नहीं समझता क्योंकि इसका उपयोग केवल "अच्छे दिखने वाले" टेक्स्ट बनाने के लिए किया जाता है।

समाधान: डिफिनिटी (DIFFINITY - द रेसिपी गाइड)
लेखकों ने DIFFINITY नामक एक टूल बनाया है। DIFFINITY को एक अत्यंत बुद्धिमान रेसिपी गाइड की तरह समझें जो धुंधले बेकर के बगल में खड़ा है।

बेकर को अपनी सामग्री बदलने के लिए मजबूर करने के बजाय (जिससे केक का स्वाद बिगड़ सकता है), DIFFINITY मिश्रण करते समय धीरे से बेकर के हाथ को दिशा देता है। यह कहता है, "हे, वर्तमान मिश्रण ऐसा दिख रहा है जैसे यह एक वैध JSON फ़ाइल बनने की ओर बढ़ रहा है, इसी दिशा में चलते रहो!" या "ओह, यह रास्ता एक टूटे हुए वाक्य की ओर ले जाता है, थोड़ा बाईं ओर मुड़ जाओ।"

यह कैसे काम करता है (जादुई ट्रिक)
आमतौर पर, AI को किसी नियम का पालन करने के लिए कहने के लिए, आपको एक अलग "जज" (क्लासिफायर) को प्रशिक्षित करना पड़ता है जो काम को देखकर "पास" या "फेल" कह सके। इसमें बहुत अधिक समय और कंप्यूटिंग शक्ति लगती है।

DIFFINITY विशेष है क्योंकि यह ट्रेनिंग-फ्री (training-free) है। इसे एक नए जज की आवश्यकता नहीं है। इसके बजाय, यह गणित का उपयोग करके तुरंत इस बात की संभावना की गणना करता है कि वर्तमान "धुंधला" मिश्रण अंततः एक वैध केक में बदल जाएगा।

यह सख्त नियमों (जैसे कि रेगुलर एक्सप्रेशन) को एक मानचित्र (फाइनाइट ऑटोमेटन) में अनुवादित करता है।
यह AI के वर्तमान "शोर" (noise) को देखता है और गणना करता है: "यदि हम इस दिशा में आगे बढ़ते हैं, तो फिनिश लाइन तक पहुँचने की कितनी संभावना है?"
यह उस गणना का उपयोग AI को "वैध" पथ की ओर धीरे से धकेलने के लिए करता है।

परिणाम: बेहतर केक, कम गलतियाँ
लेखकों ने दो प्रकार के कार्यों पर इसका परीक्षण किया:

JSON फ़ाइलें: सख्त, संरचित डेटा प्रारूप (जैसे कि एक डिजिटल इनवॉइस)।
प्राकृतिक भाषा (Natural Language): विशिष्ट पैटर्न वाले वाक्य (जैसे कि "Hello से शुरू करें, World पर समाप्त करें")।

उन्होंने पाया कि DIFFINITY नियमों का पालन करने में अविश्वसनीय रूप से अच्छा था:

उच्च सफलता दर: इसने 68% से 96% बार सख्त नियमों को पूरा किया।
बेहतर गुणवत्ता: अन्य तरीकों के विपरीत जो AI को नियमों का पालन करने के लिए मजबूर करते हैं और अंत में अर्थहीन टेक्स्ट बना देते हैं, DIFFINITY ने टेक्स्ट को स्वाभाविक और उच्च-गुणवत्ता वाला बनाए रखा।
प्रतिस्पर्धा को पछाड़ना: इसने जटिल नियमों का पालन करने में मानक "बाएं-से-दाएं" बेकरों (ऑटोरिग्रेसिव मॉडल) से बेहतर प्रदर्शन किया, बिना लूप में फंसे या गलतियाँ किए।

चुनौती (कीमत)
एकमात्र कमी गति है। क्योंकि DIFFINITY को हर चरण में कुछ भारी गणितीय गणनाएँ (मिश्रण के विरुद्ध मानचित्र की जाँच करना) करनी पड़ती हैं, इसलिए इसे एक वाक्य उत्पन्न करने में AI की अपनी सामान्य गति से लगभग 2 से 3 गुना अधिक समय लगता है। हालाँकि, लेखक तर्क देते हैं कि एक सटीक, नियम-अनुपालक परिणाम प्राप्त करना इस अतिरिक्त प्रतीक्षा के लायक है।

सारांश में
DIFFINITY एक "धुंधले", निरंतर AI को सख्त, डिस्क्रीट नियमों (जैसे कोड या विशिष्ट वाक्य संरचनाओं) का पालन करना सिखाता है, और इसके लिए AI को फिर से प्रशिक्षित करने या टेक्स्ट की गुणवत्ता से समझौता करने की आवश्यकता नहीं होती है। यह एक गणितीय "कंपास" का उपयोग करके AI की जनरेशन प्रक्रिया को वैध परिणामों की ओर निर्देशित करता है।

तकनीकी सारांश: निरंतर डिफ्यूजन मॉडल औपचारिक सिंटैक्स का पालन कर सकते हैं

समस्या विवरण

डिफ्यूजन लैंग्वेज मॉडल (Diffusion language models) ऑटोरिग्रेसिव मॉडलों (autoregressive models) का एक सम्मोहक विकल्प प्रदान करते हैं क्योंकि वे वैश्विक, गैर-कारण (non-causal) जनरेशन प्रक्रियाओं को सक्षम करते हैं, जो उन कार्यों के लिए फायदेमंद होते हैं जिनमें द्विदिश संदर्भ (bidirectional context) या वैश्विक संशोधन (जैसे इन्फिलिंग, लॉन्ग-होरिज़न प्लानिंग) की आवश्यकता होती है। हालांकि, एक महत्वपूर्ण सीमा बनी हुई है: इन मॉडलों की निरंतर लेटेंट डायनेमिक्स (continuous latent dynamics) के कारण इन पर असतत सिंटैक्टिक बाधाएं (discrete syntactic constraints) लागू करना कठिन हो जाता है, जैसे कि यह सुनिश्चित करना कि आउटपुट एक JSON स्कीमा या एक विशिष्ट रेगुलर एक्सप्रेशन (regex) के अनुरूप हो।

ऑटोरिग्रेसिव मॉडलों में, सिंटैक्टिक वैधता को आमतौर पर 'कंस्ट्रेंड डिकोडिंग' (constrained decoding) के माध्यम से लागू किया जाता है, जो अगले टोकन के विकल्पों को फ़िल्टर करता है ताकि यह सुनिश्चित हो सके कि अंतिम आउटपुट सुव्यवस्थित है। यह तंत्र एक स्पष्ट असतत प्रीफिक्स (discrete prefix) बनाए रखने पर निर्भर करता है। इसके विपरीत, निरंतर डिफ्यूजन मॉडल प्रत्येक टाइमस्टेप पर पूरी अनुक्रम (sequence) के लिए निरंतर लेटेंट रिप्रजेंटेशन पर काम करते हैं, जिसमें कोई स्पष्ट असतत प्रीफिक्स नहीं होता। फलस्वरूप, कंस्ट्रेंड डिकोडिंग का मुख्य सिद्धांत—अगले टोकन के उन विकल्पों को मास्क करना जो एक प्रीफिक्स को अपूर्ण बनाते हैं—सीधे तौर पर यहाँ लागू नहीं होता है। मौजूदा अनुकूलन अक्सर विशेष असतत वेरिएंट्स को लक्षित करते हैं या 'क्लासिफायर गाइडेंस' (classifier guidance) पर निर्भर करते हैं, जिसके लिए प्रत्येक विशिष्ट बाधा के लिए एक सहायक मॉडल को प्रशिक्षित करने की आवश्यकता होती है, जो कि एक संसाधन-गहन और अव्यावहारिक दृष्टिकोण है।

कार्यप्रणाली: DIFFINITY

लेखक DIFFINITY पेश करते हैं, जो एक ट्रेनिंग-फ्री गाइडेंस विधि है जिसे निरंतर डिफ्यूजन लैंग्वेज मॉडलों को रेगुलर एक्सप्रेशन द्वारा व्यक्त औपचारिक सिंटैक्टिक बाधाओं को संतुष्ट करने के लिए निर्देशित करने हेतु डिज़ाइन किया गया है। यह दृष्टिकोण 'क्लासिफायर गाइडेंस' के सिद्धांत को दर्शाता है लेकिन एक प्रशिक्षित सहायक क्लासिफायर की आवश्यकता को एक विश्लेषणात्मक रूप से गणना किए गए स्कोर से बदल देता है।

मुख्य तंत्र

यह विधि डिफ्यूजन प्रक्रिया के डिनोइजिंग स्टेप (denoising step) को संशोधित करके कार्य करती है। बेस मॉडल के अनुमानित वितरण से नमूना लेने के बजाय, सैंपलिंग ट्राजेक्टरी को सिंटैक्टिक वैधता की संभावना से प्राप्त ग्रेडिएंट टर्म का उपयोग करके शिफ्ट किया जाता है।

एनालिटिक स्कोर कंप्यूटेशन (Analytic Score Computation):
यह विधि एक एनालिटिक अनुमान का निर्माण करती है कि एक लेटेंट स्टेट $x_t$ एक दिए गए रेगुलर लैंग्वेज $L$ द्वारा स्वीकृत वैध स्ट्रिंग को कैसे डिकोड करेगा।
- डिकोडर $Dec(x_t)$ को प्रत्येक टोकन पोजीशन के लिए वोकैबुलरी पर एक यूनिग्राम वितरण (unigram distribution) उत्सर्जित करने वाला माना जाता है।
- रेगुलर लैंग्वेज $L$ को एक डिटरमिनिस्टिक फाइट ऑटोमेटा (DFA) के रूप में दर्शाया जाता है।
- कैरेक्टर-लेवल regex परिभाषाओं और टोकन-लेवल मॉडल वोकैबुलरी के बीच विसंगति को संभालने के लिए, लेखक एक वोकैबुलरी-अलाइन्ड ऑटोमेटा (vocabulary-aligned automaton) निर्माण पेश करते हैं। यह DFA को मॉडल के टोकेनाइज़र के साथ संरेखित करता है, जिससे यह सुनिश्चित होता है कि एक स्ट्रिंग के सभी वैध टोकेनाइजेशन को ध्यान में रखा गया है।
- डायनेमिक प्रोग्रामिंग का उपयोग करते हुए, यह विधि वर्तमान यूनिग्राम वितरण के आधार पर वेटेड ट्रांजिशन मैट्रिसेस ( $M_1, \dots, M_l$ ) का निर्माण करती है। अपेक्षित संभावना $E_{s \sim Dec(x_t)}[s \in L]$ को इन मैट्रिसेस के माध्यम से प्रारंभिक स्टेट डिस्ट्रीब्यूशन को प्रोपेगेट करके और एक्सेप्टिंग स्टेट्स तक पहुँचने की संभावनाओं को जोड़कर गणना की जाती है।
गाइडेड सैंपलिंग (Guided Sampling):
डिनोइजिंग स्टेप को इस प्रकार संशोधित किया गया है:
$x_{t-1} = \mu_\theta(x_t, t) + \gamma \sigma_t^2 \nabla_{x_t} \log E_{s \sim Dec(x_t)}[s \in L] + \sigma_t \epsilon$
यहाँ, $\mu_\theta(x_t, t)$ बेस मॉडल का प्रेडिक्शन है, और ग्रेडिएंट टर्म $\nabla_{x_t} \log E_{s \sim Dec(x_t)}[s \in L]$ एक स्टीयरिंग फोर्स के रूप में कार्य करता है। यह ग्रेडिएंट लेटेंट ट्राजेक्टरी को उन क्षेत्रों की ओर धकेलता है जो सिंटैक्टिक रूप से वैध स्ट्रिंग्स को डिकोड करते हैं। हाइपरपैरामीटर $\gamma$ इस बाधा की शक्ति को नियंत्रित करता है।
सैद्धांतिक औचित्य (Theoretical Justification):
लेखक यह प्रदर्शित करते हैं कि यह दृष्टिकोण डिफ्यूजन सैंपलर को सिंटैक्टिक वैधता पर कंडीशन करने का अनुमान लगाता है। एक प्रशिक्षित प्रॉक्सी के बजाय सटीक एनालिटिकल एक्सपेक्टेशन का उपयोग करके, यह विधि बिना किसी अस्थिरता या लागत के कंडीशनल डिस्ट्रीब्यूशन $Pr(x_0 | L)$ को लक्षित करती है।

मुख्य योगदान

ट्रेनिंग-फ्री गाइडेंस: यह पेपर निरंतर डिफ्यूजन मॉडलों को सहायक क्लासिफायर को प्रशिक्षित किए बिना असतत regex बाधाओं को संतुष्ट करने के लिए निर्देशित करने की एक विधि प्रस्तावित करता है। गाइडेंस स्कोर को बाधा से विश्लेषणात्मक रूप से कंप्यूट किया जाता है।
सैद्धांतिक ढांचा: लेखक एक औपचारिक औचित्य प्रदान करते हैं जो यह दिखाता है कि परिणामी सैंपलर सिंटैक्टिक वैधता पर आधारित बेस मॉडल को लक्षित करता है, जो इस दृष्टिकोण को मानक स्कोर-बेस्ड कंडीशनल जनरेशन थ्योरी से जोड़ता है।
कार्यान्वयन और मूल्यांकन: इसे PLAID डिफिफ्यूजन मॉडल पर DIFFINITY के रूप में लागू किया गया है। इसका मूल्यांकन JSON स्कीमा और नेचुरल लैंग्वेज पैटर्न को कवर करने वाले 180 रेगुलर-एक्सप्रेशन बाधाओं पर किया गया है।

परिणाम

मूल्यांकन DIFFINITY की तुलना ऑटोरिग्रेसिव कंस्ट्रेंड डिकोडिंग (GPT-2 वेरिएंट्स और गाइडेंस लाइब्रेरी का उपयोग करके) और डिस्क्रीट डिफ्यूजन मॉडल्स के कंस्ट्रेंड डिकोडिंग (LLaDA + DINGO) से करता है।

बाधा संतुष्टि (Constraint Satisfaction): DIFFINTY विभिन्न बेंचमार्क पर 68% से 96% की उच्च बाधा संतुष्टि दर प्राप्त करता है।
- JSON स्कीमा बेंचमार्क पर, यह 68.4% संतुष्टि (GPT-2 Large के ~77% की तुलना में, लेकिन अलग पैडिंग बाधाओं के साथ) और 91.4% Pass@10 प्राप्त करता है।
- नेचुरल लैंग्वेज बेंचमार्क पर, यह 92.9% की औसत संतुष्टि दर प्राप्त करता है, जो GPT-2 Large (20.5%) से काफी बेहतर है और LLaDA+DINGO (निकट 100%) के तुलनीय है।
गुणवत्ता और परप्लेक्सिटी (Quality and Perplexity):
- ऑटोरिग्रेसिव कंस्ट्रेंड डिकोडिंग के विपरीत, जो अक्सर "इनफिनिट रिपिटेशन ट्रैप" (लो-प्रोबेबिलिटी क्षेत्रों में फंसना) से ग्रस्त होता है और मॉडल डिस्ट्रीब्यूशन को विकृत कर देता है, DIFFINITY उच्च टेक्स्ट क्वालिटी बनाए रखता है।
- DIFFINITY अनकन्स्ट्रेंड सैंपलिंग की तुलना में केवल मामूली परप्लेक्सिटी लागत वहन करता है। नेचुरल लैंग्वेज बेंचमार्क के लिए, DIFFINITY (60.0) की परप्लेक्सिटी अनकन्स्ट्रेंड बेस मॉडल (61.6) के तुलनीय है, जबकि कंस्ट्रेंड ऑटोरिग्रेसिव मॉडल अक्सर उच्च परप्लेक्सिटी या कम फ्लुएंसी दिखाते हैं।
- फ्लुएंसी के मामले में, DIFFINITY (35.8) GPT-2 Small और Medium से बेहतर है और GPT-2 Large के तुलनीय है।
क्लासिफायर गाइडेंस के साथ तुलना: स्टैंडर्ड क्लासिफायर गाइडेंस (नॉइजी लेटेंट्स पर प्रशिक्षित) खराब प्रदर्शन करता है, जो JSON बेंचमार्क पर 0% संतुष्टि और नेचुरल लैंग्वेज टास्क पर बहुत कम दर प्राप्त करता है, जो इन असतत बाधाओं को सहायक क्लासिफायर के माध्यम से सीखने की कठिनाई को उजागर करता है।
कंप्यूटेशनल ओवरहेड: DIFFINITY में अनकन्डिशनल जनरेशन की तुलना में लगभग 2-3 गुना विलंबता (latency) आती है, जो मुख्य रूप से ऑटोमेटन ट्रांजिशन पर डेंस सम्स (dense sums) की गणना के कारण है। मेमोरी का उपयोग ऑटोमेटन में ट्रांजिशन और स्टेट्स की संख्या के साथ स्केल करता है।

महत्व और दावे

यह पेपर दावा करता है कि निरंतर डिफ्यूजन मॉडलों को बिना किसी प्रशिक्षण या ऑटोरिग्रेसिव मॉडलों में कंस्ट्रेंड डिकोडिंग से जुड़ी वितरण संबंधी विकृति के, औपचारिक सिंटैक्स का पालन करने के लिए प्रभावी ढंग से निर्देशित किया जा सकता है।

मजबूती (Robustness): DIFFINITY को ऑटोरिग्रेसिव कंस्ट्रेंड डिकोडिंग की तुलना में अधिक विश्वसनीय दिखाया गया है, विशेष रूप से सीमित टोकन बजट के तहत जहाँ ऑटोरिग्रेसिव मॉडल वैध अनुक्रमों को पूरा करने में विफल हो सकते हैं।
डिस्ट्रीब्यूशन प्रिजर्वेशन: विधि बाधाओं को सफलतापूर्वक लागू करती है और बेस मॉडल के अंतर्निहित संभाव्यता वितरण को भी सुरक्षित रखती है, जिससे अन्य कंस्ट्रेंड जनरेशन विधियों में होने वाली "एड-हॉक" ह्यूरिस्टिक्स से बचा जा रहा है।
सामान्यीकरण (Generalizability): हालांकि वर्तमान में रेगुलर बाधाओं तक सीमित है, यह ढांचा निरंतर डिफ्यूजन मॉडलों को निर्देशित करने के लिए एक व्यवस्थित, ट्रेनिंग-फ्री तंत्र प्रदान करता है, जो क्लासिफायर्स के संसाधन-गहन प्रशिक्षण या डिस्क्रीट डिफ्यूजन कंस्ट्रेंड डिकोडिंग की संरचनात्मक सीमाओं के लिए एक व्यवहार्य विकल्प पेश करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान कंप्यूटेशनल ओवरहेड गैर-मामूली है, लेकिन उच्च निष्ठा (fidelity) के साथ सिंटैक्टिक रूप से वैध स्ट्रक्चर्ड आउटपुट उत्पन्न करने की क्षमता स्ट्रक्चर्ड जनरेशन के लिए एक आशाजनक दिशा का सुझाव देती है। भविष्य के कार्य के लिए विलंबता को कम करने के लिए मेमोरी-एफिशिएंट डेटा स्ट्रक्चर और कर्नेल ऑप्टिमाइजेशन पर ध्यान केंद्रित करने का सुझाव दिया गया है।