🤖 machine learning

Discrete Tilt Matching

यह शोध पत्र डिस्क्रीट टिल्ट मैचिंग (DTM) प्रस्तुत करता है, जो एक लाइकलीहुड-फ्री सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो रिवॉर्ड टिल्टिंग के तहत स्टेट-लेवल लोकल अनमास्किंग पोस्टीरियर्स को मैच करके मास्कड डिफ्यूजन लार्ज लैंग्वेज मॉडल्स को फाइन-ट्यून करती है, जो सुडोकू और काउंटडाउन जैसे रीजनिंग कार्यों पर बेहतर प्रशिक्षण स्थिरता और मजबूत प्रदर्शन प्रदर्शित करती है।

मूल लेखक: Yuyuan Chen, Shiyi Wang, Peter Potaptchik, Jaeyeon Kim, Michael S. Albergo

प्रकाशित 2026-04-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuyuan Chen, Shiyi Wang, Peter Potaptchik, Jaeyeon Kim, Michael S. Albergo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन थोड़े भ्रमित कलाकार को एक उत्कृष्ट कृति (masterpiece) पेंट करना सिखा रहे हैं। कलाकार को पेंट करना आता है, लेकिन उसे यह सीखना होगा कि विशेष रूप से वही कैसे पेंट किया जाए जो आप चाहते हैं (जैसे कि तूफान के बजाय सूर्यास्त)।

यह शोध पत्र इस कलाकार को सिखाने का एक नया, अधिक स्मार्ट तरीका पेश करता है, जो विशेष रूप से Masked Diffusion Model नामक AI के प्रकार के लिए है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "पूरी तस्वीर" का जाल (The "Whole Picture" Trap)

अधिकांश आधुनिक AI मॉडल (जैसे वे जो निबंध लिखते हैं) एक व्यक्ति की तरह काम करते हैं जो एक बार में एक शब्द लिखकर वाक्य लिखता है। यदि आप उन्हें बेहतर लिखना सिखाना चाहते हैं, तो आप पूरे वाक्य को देख सकते हैं, उसे ग्रेड दे सकते हैं, और कह सकते हैं, "अच्छा काम किया!" या "फिर से कोशिश करें।" यह आसान है क्योंकि आप सटीक रूप से गणना कर सकते हैं कि उस विशिष्ट वाक्य को लिखने की उनकी संभावना कितनी थी।

हालाँकि, Masked Diffusion Models अलग तरह से काम करते हैं। कल्पना कीजिए कि उन्हें एक खाली कैनवास दिया गया है जिसमें कुछ जगहों पर काला पेंट लगा हुआ है (मास्क)। उन्हें काले पेंट के नीचे क्या है, इसका अनुमान लगाना है। वे चित्र को किसी भी क्रम में खोल सकते हैं—बाएं से दाएं, दाएं से बाएं, या एक अराजक टेढ़े-मेढ़े तरीके से।

चुनौती: क्योंकि वे चित्र को लाखों अलग-अलग क्रमों में खोल सकते हैं, इसलिए एक विशिष्ट अंतिम छवि बनाने की सटीक "प्रायिकता" (probability) की गणना करना गणितीय रूप से असंभव है। पारंपरिक शिक्षण विधियाँ (Reinforcement Learning) उस सटीक प्रायिकता को जानने पर निर्भर करती हैं। चूंकि हम इसे जान नहीं सकते, इसलिए पुरानी शिक्षण विधियाँ एक ऐसे छात्र के निबंध को ग्रेड देने की तरह हैं जिसे आप एक साथ पूरा नहीं पढ़ सकते।

2. समाधान: "डिस्क्रीट टिल्ट मैचिंग" (Discrete Tilt Matching - DTM)

लेखक, युयुआन चेन और उनकी टीम, एक चतुर समाधान लेकर आए। पूरी पेंटिंग को ग्रेड देने के बजाय (जो बहुत कठिन है), उन्होंने तय किया कि वे कलाकार को पेंट को उजागर करते समय चरण-दर चरण ग्रेड देंगे।

वे अपने इस तरीके को Discrete Tilt Matching (DTM) कहते हैं। यह कैसे काम करता है, यहाँ देखें:

"टिल्ट" (झुकाव) की उपमा

कल्पना कीजिए कि कलाकार में स्वाभाविक रूप से "सुरक्षित" चित्र (जैसे एक धूप वाला घास का मैदान) बनाने की प्रवृत्ति है। आप चाहते हैं कि वह कुछ रोमांचक, जैसे कि एक ज्वालामुखी, पेंट करे।

पुराना तरीका: उन्हें एक ही बार में ज्वालामुखी पेंट करने के लिए मजबूर करना। इससे वे अक्सर भ्रमित हो जाते हैं, और वे या तो पेंटिंग करना बंद कर देते हैं या बार-बार एक ही उबाऊ घास का मैदान पेंट करते रहते हैं (इसे "मोड कोलैप्स" कहा जाता है)।
DTM तरीका: आप उनकी पसंद को धीरे से "टिल्ट" (झुकाते) हैं।
1. पहले, आप उनसे एक ऐसा घास का मैदान पेंट करने को कहते हैं जो थोड़ा अधिक ज्वालामुखी जैसा दिखता हो।
2. फिर, आप थोड़ा और अधिक ज्वालामुखी जैसा दिखने वाला घास का मैदान मांगते हैं।
3. आप छोटे-छोटे, कोमल झुकावों को तब तक जारी रखते हैं जब जब तक कि वे एक पूर्ण विकसित ज्वालामुखी पेंट न करने लगें।

इन छोटे, क्रमिक चरणों को लेकर, कलाकार कभी भी अभिभूत (overwhelmed) नहीं होता है।

"लोकल चेक" (स्टेट-लेवल मैचिंग)

पेंटिंग पूरी होने तक फीडबैक का इंतजार करने के बजाय, DTM हर बार फीडबैक देता है जब कलाकार एक सिंगल स्पॉट को उजागर करता है।

प्रश्न: "आपने अभी यह स्थान उजागर किया है। पहले से पेंट किए गए चित्र के आधार पर, क्या आपके द्वारा चुना गया रंग ज्वालामुखी के लिए सबसे अच्छा है?"
जादू: गणित यह सिद्ध करता है कि यदि आप हर एक छोटे कदम को सही कर लेते हैं, तो अंतिम चित्र वही ज्वालामुखी होगा जो आप चाहते थे। आपको पूरी पेंटिंग की प्रायिकता जानने की आवश्यकता नहीं है; आपको बस अगले स्थान की प्रायिकता जानने की आवश्यकता है।

3. गुप्त नुस्खा: "कंट्रोल वेरिएट" (The "Control Variate")

कलाकार को सिखाते समय, इस बात का जोखिम रहता है कि वे रैंडम शोर (noise) से भ्रमित हो जाएं। यह पेपर एक "कंट्रोल वेरिएट" पेश करता है, जो एक सुरक्षा जाल (safety net) की तरह है।

कल्पना कीजिए कि आप एक कलाकार को ज्वालामुखी पेंट करना सिखा रहे हैं।

सुरक्षा जाल के बिना: आप कह सकते हैं, "एक ज्वालामुखी पेंट करो!" और वे डर जाते हैं और कुछ भी पेंट नहीं करते।
सुरक्षा जाल के साथ: आप कहते हैं, "एक ज्वालामुखी पेंट करो, लेकिन याद रखो, तुम घास के मैदान पेंट करने में पहले से ही अच्छे हो। बस अपने घास के मैदान की शैली में थोड़ा सा लावा जोड़ दो।"

यह प्रशिक्षण को स्थिर रखता है। पेपर दिखाता है कि बिना इस सुरक्षा जाल के, AI "कोलैप्स" हो जाता है और केवल एक ही प्रकार के दोहराव वाले ज्वालामुखी को ही सीख पाता है। सुरक्षा जाल के साथ, यह कई अलग-अलग, उच्च-गुणवत्ता वाले ज्वालामुखी बनाना सीख जाता है।

4. परिणाम: भूलभुलैया से गणित तक

टीम ने दो प्रकार के कार्यों पर इसका परीक्षण किया:

मेज़ प्लानिंग (Maze Planning): उन्होंने AI को भूलभुलैया के रास्ते खोजने के लिए प्रशिक्षित किया। उन्होंने पाया कि उनके "जेंटल टिल्ट" तरीके और "सुरक्षा जाल" के उपयोग ने AI को डेड एंड में फंसने या हर बार एक ही उबाऊ रास्ता खोजने से रोका।
कठिन गणित और पहेलियाँ: उन्होंने इसे LLaDA-8B नामक एक बड़े मॉडल पर लागू किया।
- सुडोकू (Sudoku): AI सुडोकू में बहुत खराब होने से बदलकर एक ग्रैंडमास्टर (99% सटीकता) बन गया।
- काउंटडाउन (गणित का खेल): यह संख्या पहेलियों को हल करने में सर्वश्रेष्ठ बन गया।
- जटिल गणित: इसमें महत्वपूर्ण सुधार हुआ, हालांकि सबसे कठिन समस्याओं के लिए अभी भी सुधार की गुंजाइश है।

सारांश

Discrete Tilt Matching AI को प्रशिक्षित करने का एक नया तरीका है जो निम्न कार्य करता है:

असंभव को अनदेखा करना: यह पूरे उत्तर की प्रायिकता की गणना करने की कोशिश करना बंद कर देता है।
छोटे पर ध्यान केंद्रित करना: यह केवल अगले छोटे कदम को सही करने पर ध्यान देता है।
धीरे-धीरे आगे बढ़ना: यह AI को एक बड़ी छलांग लगाने के लिए मजबूर करने के बजाय, छोटे कदमों में धीरे-धीरे लक्ष्य की ओर धकेलता है।
सुरक्षा जाल का उपयोग करना: यह प्रशिक्षण को स्थिर रखने के लिए एक गणितीय ट्रिक का उपयोग करता है ताकि AI अपनी रचनात्मकता न खो दे।

यह एक बच्चे को हाथ पकड़कर छोटे कदम उठाने के लिए सिखाने जैसा है, बजाय इसके कि उन्हें दौड़ की रेस में झोंक दिया जाए और उम्मीद की जाए कि वे तुरंत सब कुछ समझ लेंगे। परिणाम एक स्मार्ट, अधिक स्थिर और अधिक सक्षम AI है।

यहाँ शोध पत्र "डिस्क्रीट टिल्ट मैचिंग" (Discrete Tilt Matching - DTM) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ: मास्कड डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs) ऑटोरिग्रेसिव मॉडल्स के एक शक्तिशाली विकल्प के रूप में उभर रहे हैं, जो समानांतर (parallel) और लचीली 'नी-ऑर्डर' (any-order) इन्फरेंस की सुविधा देते हैं। हालाँकि, dLLMs को रीइन्फोर्समेंट लर्निंग (RL) या प्रेफरेंस ऑप्टिइज़ेशन का उपयोग करके फाइन-ट्यून करने में एक मौलिक संरचनात्मक बाधा आती है।

मुख्य चुनौती:

असाध्य संभावना (Intractable Likelihoods): मानक RL ऑब्जेक्टिव्स (जैसे PPO, GRPO) सीक्वेंस-लेवल मार्जिनल लाइकलिहुड ( $\log p(x)$ ) पर निर्भर करते हैं। dLLMs में, एक एकल टर्मिनल सीक्वेंस को घातीय संख्या में अनमास्किंग ट्राजेक्टरीज (टोकन प्रकट करने के विभिन्न क्रमों) के माध्यम से जनरेट किया जा सकता है। सटीक मार्जिनल लाइकलिहुड की गणना करने के लिए इन सभी ट्राजेक्टरीज का योग करना आवश्यक है, जो कम्प्यूटेशनल रूप से असाध्य (intractable) है।
वर्तमान समाधानों की सीमाएँ: dLLMs को अनुकूलित करने के प्रयास अक्सर पक्षपाती (biased) लाइकलिहुड सरोगेट्स या उच्च-वैरिएंस एस्टिमेटर्स पर निर्भर करते हैं, जिससे प्रशिक्षण अस्थिर हो जाता है और प्रदर्शन उप-इष्टतम (suboptimal) रहता है।

लक्ष्य: एक ऐसा फाइन-ट्यूनिंग मेथड विकसित करना जो dLLMs के लिए सीक्वेंस-लेवल लाइकलिहुड मूल्यांकन की आवश्यकता को समाप्त कर दे, और इसके बजाय स्टेट-लेवल मात्राओं (state-level quantities) पर निर्भर करे।

2. कार्यप्रणाली: डिस्क्रीट टिल्ट मैचिंग (DTM)

लेखक डिस्क्रीट टिल्ट मैचिंग (DTM) प्रस्तावित करते हैं, जो एक लाइकलिहुड-मुक्त फाइन-ट्यूनिंग फ्रेमवर्क है, जो इस समस्या को रिवॉर्ड टिल्टिंग के तहत स्टेट-लेवल पोस्टीरियर मैचिंग के रूप में पुनर्गठित करता है।

A. सैद्धांतिक आधार (Theoretical Foundation)

रिवॉर्ड टिल्टिंग (Reward Tilting): सीधे पॉलिसी को ऑप्टिमाइज़ करने के बजाय, DTM का लक्ष्य मॉडल के टर्मिनल डिस्ट्रीब्यूशन $\rho_1$ को रिवॉर्ड-टिल्टेड डिस्ट्रीब्यूशन $\rho_{1,A}(x) \propto \rho_1(x)e^{Ar(x)}$ की ओर स्थानांतरित करना है, जहाँ $A$ एक स्केलिंग फैक्टर है और $r(x)$ रिवॉर्ड है।
इन्क्रीमेंटल एनीलिंग (Incremental Annealing): सिंगल-स्टेप टिल्ट (जो हाई-वैरिएंस और मोड कोलैप्स का कारण बनता है) करने के बजाय, DTM टिल्ट पैरामीटर $a$ को $0 $से$ A$ तक क्रमिक रूप से एनील (anneal) करता है। प्रत्येक चरण में लक्ष्य $\rho_{1,a}$ को $\rho_{1,a+h}$ में बदलना है।
कंटीन्यूअस-टाइम मार्कोव चेन्स (CTMC): लेखक dLLM जनरेशन प्रक्रिया को डिस्क्रीट सीक्वेंस पर एक CTMC के रूप में मॉडल करते हैं। "अनमास्किंग" प्रक्रिया स्थानीय अनमास्किंग पोस्टीरियर्स से प्राप्त रेट मैट्रिसेस द्वारा नियंत्रित होती है।

B. DTM ऑब्जेक्टिव (The DTM Objective)

मुख्य नवाचार यह है कि एक सुलभ (tractable) ऑब्जेक्टिव फंक्शन व्युत्पन्न करना जो पूर्ण सीक्वेंस लाइकलिहुड की गणना किए बिना, वर्तमान मॉडल के लोकल अनमास्किंग पोस्टीरियर को टिल्टेड पोस्टीरियर के साथ मैच करता है।

एस्चर ट्रांसफॉर्म और कंडीशनल रीवेटिंग (Esscher Transform & Conditional Reweighting):
एस्चर ट्रांसफॉर्म के गुणों का उपयोग करते हुए, लेखक दिखाते हैं कि टिल्टेड पोस्टीरियर $\pi_{a+h}(v | x_t, i)$ को वर्तमान (अन-टिल्टेड) मेजर $P_a$ के तहत एक वेटेड एक्सपेक्टेशन द्वारा अभिलक्षित किया जा सकता है:
$\pi_{a+h}(v | x_t, i) \propto \mathbb{E}_a \left[ e^{hr(x_1)} \mathbb{I}(x_1^i = v) \mid x_t \right]$
यह रिवॉर्ड द्वारा भारित (weighted) सैंपल्स का उपयोग करके लक्ष्य का अनुमान लगाने की अनुमति देता है।
कंट्रोल वेरिएट्स (Control Variates - वैरिएंस रिडक्शन):
सीधे वन-हॉट इंडिकेटर $\mathbb{I}(x_1^i = v)$ का उपयोग लक्ष्य के रूप में करने से हाई-वैरिएंस होता है। DTM प्रशिक्षण को स्थिर करने के लिए एक कंट्रोल वेरिएट $T_c$ पेश करता है:
$T_c(v | x_t, i, x_1) = c \cdot \pi_a(v | x_t, i) + \frac{e^{hr(x_1)} - c}{e^{hr(x_1)}} \mathbb{I}(x_1^i = v)$

जब $c=1$ होता है, तो लक्ष्य वर्तमान मॉडल के प्रेडिक्शन और रिवॉर्ड-वेटेड ग्राउंड ट्रुथ का एक लो-वैरिएंस मिश्रण बन जाता है।
लेखक सिद्ध करते हैं कि $c=1$ मानक इम्पोर्टेंस वेटिंग ( $c=0$ ) की तुलना में ग्रेडिएंट वैरिएंस को काफी कम कर देता है।

लॉस फंक्शन (The Loss Function):
अंतिम ऑब्जेक्टिव एक वेटेड क्रॉस-एन्ट्रॉपी लॉस है:
$\mathcal{L}_{c\text{-DTM}} = \int_0^1 \lambda(t) \mathbb{E}_a \left[ \sum_{i: x_t^i=m} e^{hr(x_1)} \cdot \text{CE}\left( T_c(\cdot | x_t, i, x_1) \parallel \pi_\theta(\cdot | x_t, i) \right) \right] dt$
इस ऑब्जेक्टिव का एक यूनिक मिनिमाइज़र है जो वास्तविक टिल्टेड पोस्टीरियर के अनुरूप है, जो एक सैद्धांतिक गारंटी प्रदान करता है जो कई RL-आधारित एप्रोक्सिमेशन्स में अनुपस्थित है।

C. व्यावहारिक अनुकूलन (Practical Adaptations)

सेमी-ऑटोरिग्रेसिव (SAR) अलाइनमेंट: आधुनिक dLLMs अक्सर SAR डिकोडिंग (टोकन ब्लॉक्स जनरेट करना) का उपयोग करते हैं। लेखक एक SAR-संगत स्टोकेस्टिक इंटरपोलेट और हेज़र्ड रेट व्युत्पन्न करते हैं, यह सुनिश्चित करते हुए कि ट्रेनिंग डिस्ट्रीब्यूशन इन्फरेंस डिस्ट्रीब्यूशन से मेल खाए ताकि 'ट्रेन-टेस्ट मिसमैच' से बचा जा सके।
रिप्ले बफर (Replay Buffer): चूंकि DTM केवल टर्मिनल स्टेट्स के बजाय इंटरमीडिएट स्टेट्स ( $x_t$ ) को ऑप्टिमाइज़ करता है, इसलिए एक सिंगल रोलआउट का उपयोग कई ट्रेनिंग सैंपल्स बनाने के लिए किया जा सकता है, जिससे महंगे रिवॉर्ड इवैल्यूएशन की लागत कम हो जाती है।

3. मुख्य योगदान (Key Contributions)

DTM का व्युत्पन्न: dLLMs के लिए एक नया, लाइकलिहुड-मुक्त फाइन-ट्यूनिंग एल्गोरिदम जो पोस्ट-ट्रेनिंग को स्टेट-लेवल पोस्टीरियर मैचिंग के रूप में स्वरूपित करता है। यह एक क्रॉस-एन्ट्रॉपी ऑब्जेक्टिव प्रदान करता है जिसकी एक अद्वितीय मिनिमाइज़र की सैद्धांतिक गारंटी है।
वैरिएंस रिडक्शन: एक कंट्रोल वेरिएट मैकेनिज्म का परिचय जो प्रशिक्षण को स्थिर करता है और मोड कोलैप्स को रोकता है, जो RL फाइन-ट्यूनिंग का एक सामान्य फेलियर मोड है।
SAR कम्पैटिबिलिटी: ट्रेनिंग इंटरपोलेट को सेमी-ऑटोरिग्रेसिव डिकोडिंग रणनीतियों के साथ अलाइन करने के लिए एक औपचारिक ढांचा, जो व्यावहारिक प्रदर्शन में सुधार करता है।
सैद्धांतिक गारंटी: यह प्रमाण कि DTM लॉस को मिनिमाइज़ करने से मॉडल के टर्मिनल डिस्ट्रीब्यूशन और वांछित रिवॉर्ड-टिल्टेड डिस्ट्रीब्यूशन के बीच KL डाइवर्जेंस बाउंड होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LLaDA-8B-Instruct मॉडल पर कई बेंचमार्क पर DTM का मूल्यांकन किया।

सिंथेटिक मेज़ प्लानिंग (Synthetic Maze Planning):
- दिखाया गया कि कंट्रोल वेरिएट ( $c=1$ ) और एक मध्यम एनीलिंग स्टेप साइज ( $h$ ) का उपयोग करने से मोड कोलैप्स को रोका जा सकता है।
- कंट्रोल वेरिएट को हटाने या बड़े $h$ का उपयोग करने से मॉडल एक ही पथ पर अभिसरित (converge) हो गया (मोड कोलैप्स), जबकि DTM विविध, उच्च-रिवॉर्ड समाधानों को बनाए रखता है।
रीज़निंग और प्लानिंग बेंचमार्क (Reasoning and Planning Benchmarks):
- सुडोकू (Sudoku): DTM ने 99.2% सटीकता (लंबाई 256) और 99.4% (लंबाई 512) प्राप्त की, जो बेस मॉडल (27.7%) और मजबूत बेसलाइन जैसे SPG (94.0%) से काफी बेहतर है।
- काउंटडाउन (Countdown): DTM ने सर्वश्रेष्ठ प्रदर्शन (लंबाई 256 पर 81.6%) किया, जो UniGRTP और SPG से आगे निकल गया।
- मैथ रीज़निंग (MATH500, GSM8K): DTM ने बेस मॉडल की तुलना में मजबूत लाभ दिखाया और शीर्ष बेसलाइन्स के साथ प्रतिस्पर्धी बना रहा, हालांकि स्ट्रक्चर्ड प्लानिंग कार्यों की तुलना में अंतर कम था। लेखक इसका श्रेय लोकल पोस्टीरियर सुधारों को ग्लोबल लॉन्ग-होरिज़न रीज़निंग कोहेरेंस में अनुवाद करने की कठिनाई को देते हैं।
दक्षता (Efficiency): 8 H100 GPUs पर सुडोकू पर वॉल-क्लॉक तुलनाओं ने दिखाया कि DTM, SPG की तुलना में तेजी से और उच्च रिवॉर्ड तक अभिसरित होता है।

5. महत्व और प्रभाव (Significance and Impact)

पैराडाइम शिफ्ट: DTM इस धारणा को चुनौती देता है कि RL-शैली की पोस्ट-ट्रेनिंग (सीक्वेंस लाइकलिहुड्स पर आधारित) dLLMs के लिए एकमात्र या सबसे अच्छा रास्ता है। यह प्रदर्शित करता है कि स्टेट-लेवल मैचिंग, डिफ्यूजन-आधारित मॉडल्स के लिए अधिक स्वाभाविक और सुलभ ढांचा है।
स्थिरता (Stability): असाध्य लाइकलिहुड्स और उच्च-वैरिएंस एस्टिमेटर्स से बचकर, DTM एक अधिक स्थिर प्रशिक्षण डायनेमिक प्रदान करता है, जो डिफ्यूजन लैंग्वेज मॉडल्स को स्केल करने के लिए महत्वपूर्ण है।
स्केलेबिलिटी (Scalability): जटिल रीजनिंग कार्यों पर 8B पैरामीटर मॉडल (LLaDA-8B) का सफल फाइन-ट्यूनिंग, विधि की बड़े पैमाने के मॉडल्स पर प्रयोज्यता को प्रमाणित करता है।
भविवीष्य की दिशाएं: यह कार्य डिफ्यूजन मॉडल्स के संरचनात्मक गुणों के लिए विशेष रूप से डिज़ाइन किए गए वैकल्पिक पोस्ट-ट्रेनिंग प्रतिमानों के द्वार खोलता है, जो संभावित रूप से स्ट्रक्चर्ड जनरेशन कार्यों (जैसे कोड, गणित और प्लानिंग) में बेहतर प्रदर्शन को अनलॉक कर सकता है जहाँ ऑटोरिग्रेसिव मॉडल्स समानांतरता और लचीलेपन में संघर्ष करते हैं।