🤖 machine learning

Recursive Scaling in Masked Diffusion Models

यह शोध पत्र रिकर्सिव मास्कड डिफ्यूजन मॉडल्स (R-MDMs) को प्रस्तुत करता है, जो पुनरावृत्ति (recursion) को एक तीसरे स्केलिंग अक्ष के रूप में जोड़कर पैरामीटर दक्षता और अनुमान गति (inference speed) को बढ़ाते हैं, जिससे एक एकल ट्रांसफॉर्मर आउटपुट को पुनरावृत्त रूप से परिष्कृत कर सकता है, और बहुत बड़े गैर-पुनरावर्ती मॉडलों के समान प्रदर्शन कम पैरामीटर और डिनोइजिंग स्टेप्स के साथ प्राप्त करता है।

मूल लेखक: Alba Carballo-Castro, Julianna Piskorz, Paulius Rauba, Mihaela van der Schaar, Pascal Frossard

प्रकाशित 2026-06-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alba Carballo-Castro, Julianna Piskorz, Paulius Rauba, Mihaela van der Schaar, Pascal Frossard

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Recursive Scaling in Masked Diffusion Models" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

मुख्य विचार: बड़ा दिमाग नहीं, बल्कि स्मार्ट लूप्स

कल्प Imagine कीजिए कि आप एक कठिन पहेली हल करने की कोशिश कर रहे हैं, जैसे सुडोकू या गणित का कोई सवाल। आमतौर पर, जब कंप्यूटर अटक जाते हैं, तो मानक सलाह यह होती है: "एक बड़ा दिमाग बनाओ।" AI की भाषा में, इसका अर्थ है अधिक पैरामीटर्स जोड़ना (मॉडल को बड़ा और जटिल बनाना) या इसे लंबे समय तक सोचने के लिए कहना (अधिक स्टेप्स)।

यह पेपर एक अलग दृष्टिकोण प्रस्तावित करता है। एक बड़ा दिमाग बनाने के बजाय, वे उसी दिमाग को एक ही समस्या के बारे में कई बार लगातार सोचने और हर बार अपने उत्तर को बेहतर बनाने के लिए सिखाते हैं। वे इसे रिकर्सिव स्केलिंग (Recursive Scaling) कहते हैं।

इसे इस तरह समझें:

पुराना तरीका (स्केलिंग अप): आप पहेली को एक बार देखने के लिए 30 अलग-अलग विशेषज्ञों की एक टीम को काम पर रखते हैं।
नया तरीका (रिकर्सन): आप एक विशेषज्ञ को काम पर रखते हैं, लेकिन आप उसे पहेली को देखने, एक अनुमान लगाने, फिर पीछे हटने, अपने ही अनुमान को देखने, उसे सुधारने, फिर से देखने और फिर से सुधारने की अनुमति देते हैं। वह ऐसा 5 या 10 बार करता है।

पेपर में पाया गया कि लूप में काम करने वाला वह एकल विशेषज्ञ अक्सर 30 विशेषज्ञों की टीम से बेहतर काम करता है, भले ही वह एकल विशेषज्ञ बहुत छोटा हो और उसे चलाना सस्ता हो।

यह कैसे काम करता है: "ड्राफ्ट और पॉलिश" का उदाहरण

तकनीक को समझने के लिए, आइए देखें कि ये AI मॉडल (जिन्हें मास्कड डिफ्यूजन मॉडल्स कहा जाता है) आमतौरв कैसे काम करते हैं:

मास्क्ड गेम: कल्पना कीजिए कि एक वाक्य है जिसमें कुछ शब्द छिपे हुए (मास्क्ड) हैं। AI का काम एक ही बार में उन गायब शब्दों का अनुमान लगाना है।
मानक प्रक्रिया: AI एक अनुमान लगाता है। फिर, वह कुछ शब्दों को अन-मास्क (दिखाता) करता है और फिर से अनुमान लगाता है। वह इस प्रक्रिया को कई बार दोहराता है (जैसे प्याज की एक-एक परत उतारना) जब तक कि पूरा वाक्य प्रकट न हो जाए।

नवाचार (Innovation):
लेखकों ने महसूस किया कि उन प्रत्येक परतों के भीतर, AI एक "त्वरित ड्राफ्ट और पॉलिश" सत्र कर सकता है।

मानक AI: एक अनुमान लगाता है $\rightarrow$ एक परत उतारता है $\rightarrow$ नया अनुमान लगाता है।
रिकर्सिव AI (R-MDM): एक अनुमान लगाता है $\rightarrow$ उस अनुमान को देखता है, उसकी आलोचना करता है, और उसे 5 बार बेहतर बनाता है $\rightarrow$ फिर परत उतारता है।

वे इसे रिकर्सिव डेप्थ (Recursive Depth) कहते हैं। यह AI को अपना जवाब देने से पहले एक "दूसरा विचार" या "तीसरा विचार" देने जैसा है।

यह गेम-चेंजर क्यों है

पेपर ने तीन प्रकार के कार्यों पर इसका परीक्षण किया: सुडोकू (तर्क पहेलियाँ), काउंटडाउन (गणित की पहेलियाँ), और Text8 (टेक्स्ट लिखना)। यहाँ उन्होंने क्या पाया:

1. तर्क (Logic) के मामले में "छोटा दिमाग" जीतता है

सुडोकू और काउंटडाउन जैसी संरचित पहेलियों पर, रिकर्सिव मॉडल एक सुपरस्टार रहा।

परिणाम: एक छोटा मॉडल जो 5 बार लूप करता है, उसने एक ऐसे विशाल मॉडल के बराबर या उससे बेहतर प्रदर्शन किया जो 5 गुना बड़ा है लेकिन केवल एक बार लूप करता है।
उदाहरण: यह एक ऐसे शतरंज खिलाड़ी की तरह है जो अपने दिमाग में 10 चालें आगे की सोचता है, बनाम एक ऐसे खिलाड़ी की तरह जो ग्रैंडमास्टर है लेकिन केवल 1 चाल आगे की सोचता है। "लूपिंग" ने छोटे मॉडल को पूरी बिसात देखने और अपनी गलतियों को सुधारने की अनुमति दी, जबकि बड़े मॉडल ने केवल एक, आत्मविश्वासी, लेकिन संभावित रूप से गलत अनुमान लगाया।

2. प्रक्रिया को तेज़ करना

आमतौर पर, एक सटीक उत्तर पाने के लिए, आपको कई "डिनोइजिंग स्टेप्स" (अनुमान लगाने के कई चरणों) से गुजरना पड़ता है।

परिणाम: रिकर्सिव मॉडल्स ने कम स्टेप्स में उच्च-गुणवत्ता वाले उत्तर प्राप्त किए।
उदाहरण: कल्पना कीजिए कि आप एक दस्तावेज़ को एडिट कर रहे हैं।
- सामान्य AI: एक पैराग्राफ लिखता है, रुकता है, एडिट करता है, रुकता है, फिर से एडिट करता है। इसे परफेक्ट होने के लिए 40 राउंड एडिटिंग की आवश्यकता होती है।
- रिकर्सिव AI: एक पैराग्राफ लिखता है, और फिर अगले वाक्य पर जाने से पहले तुरंत उसे 3 बार दोबारा पढ़ता है और एडिट करता है। यह केवल 15 राउंड में उसी परफेक्ट क्वालिटी तक पहुँच जाता है।
- लाभ: इससे कंप्यूटिंग पावर (समय और बिजली) की भारी बचत होती है।

3. सावधानी: यह कार्य पर निर्भर करता है

पेपर नोट करता है कि यह ट्रिक संरचित समस्याओं (जैसे गणित और तर्क पहेलियाँ) के लिए सबसे अच्छा काम करती है जहाँ स्पष्ट नियम और निर्भरताएं होती हैं।

Text8 का परिणाम: जब उन्होंने रैंडम टेक्स्ट (जैसे विकिपीडिया लेख) लिखने पर इसे आजमाया, तो रिकर्सिव मॉडल ने मानक गणित स्कोर पर बड़े मॉडल की तुलना में खराब प्रदर्शन किया।
निष्कर्ष: "लूपिंग" की सुपरपावर उन पहेलियों को सुलझाने के लिए बेहतरीन है जहाँ आपको नियमों के विरुद्ध अपने काम की जाँच करनी होती है। रचनात्मक लेखन के लिए, केवल मॉडल को बड़ा बनाना अभी भी बेहतर हो सकता है।

"जादू" का सारांश

यह पेपर AI को स्केल करने का एक नया तरीका पेश करता है जो केवल "इसे बड़ा बनाने" के बारे में नहीं है।

पुराना नियम: स्मार्ट होने के लिए, अधिक लेयर्स (अधिक पैरामीटर्स) जोड़ें।
नया नियम: स्मार्ट होने के लिए, अधिक लूप्स (मॉडल को अपने काम को रिफाइन करने दें) जोड़ें।

AI को अपने स्वयं के आउटपुट को फिर से प्रोसेस करके "कठिन परिश्रम" करने की अनुमति देकर, लेखकों ने निम्नलिखित हासिल किया:

तर्क पहेलियों पर बेहतर प्रदर्शन।
एक अच्छा उत्तर पाने के लिए आवश्यक कम स्टेप्स।
कम लागत, क्योंकि उन्हें विशाल, महंगे मॉडल बनाने की आवश्यकता नहीं पड़ी।

संक्षेप में: सिर्फ एक बड़ा दिमाग न बनाएं; दिमाग को अपना काम दोबारा चेक करना सिखाएं।

तकनीकी सारांश: मास्कड डिफ्यूजन मॉडल्स में रिकर्सिव स्केलिंग (Recursive Scaling in Masked Diffusion Models)

समस्या विवरण (Problem Statement)

मास्क्ड डिफ्यूजन मॉडल्स (MDMs) डिस्क्रीट सीक्वेंस जनरेशन के लिए एक आशाजनक प्रतिमान (paradigm) के रूप में उभरे हैं, जो ऑटोरिग्रेसिव (AR) मॉडल्स की क्रमिक प्रकृति के विपरीत पूर्णतः समानांतर जनरेशन क्षमता प्रदान करते हैं। हालाँकि, उच्च-गुणवत्ता वाले जनरेशन के लिए MDMs को स्केल करने के लिए पारंपरिक रूप से दो अक्षों (axes) पर निर्भरता रही है: पैरामीटर संख्या (चौड़ाई/गहराई) बढ़ाना या डिनोइजिंग स्टेप्स ( $T$ ) की संख्या बढ़ाना। यह दृष्टिकोण महत्वपूर्ण कम्प्यूटेशनल लागत (प्रशिक्षण में बड़े मॉडल और अनुमान/inference में अधिक फॉरवर्ड पासेस) का कारण बनता है। जबकि रिकर्सिव कंप्यूटेशन (एक ही ट्रांसफॉर्मेशन को कई बार लागू करना) ने AR मॉडल्स और सुपरवाइज्ड लर्निंग में पैरामीटर दक्षता सुधारने के लिए आशा दिखाया है, यह MDMs के संदर्भ में काफी हद तक अनछुआ रहा है। यहाँ मुख्य चुनौती यह है कि क्या रिकर्सिव गहराई (recursive depth) पैरामीटर संख्या बढ़ाए बिना जनरेशन की गुणवत्ता में सुधार करने के लिए एक तीसरे, ऑर्थोगोनल स्केलिंग अक्ष के रूप में कार्य कर सकती है, और क्या यह अतिरिक्त डिनोइजिंग स्टेप्स को कम करने के लिए अतिरिक्त 'इनफरेंस-टाइम कंप्यूट' का विकल्प बन सकती है।

कार्यप्रणाली (Methodology)

लेखक रिकर्सिव मास्कड डिफ्यूजन मॉडल्स (R-MDMs) पेश करते हैं, जो मानक MDM प्रशिक्षण प्रतिमान में एक रिकर्सिव लूपिंग तंत्र को शामिल करते हैं।

आर्किटेक्चर (Architecture)

एक एकल-पास $KL$-लेयर ट्रांसफार्मर लागू करने के बजाय, R-MDM एक साझा $K$ -लेयर ट्रांसफार्मर ब्लॉक $f_\theta$ का उपयोग करता है जिसे एक ही डिनोइजिंग स्टेप के भीतर $L$ बार अनुक्रमिक रूप से लागू किया जाता है।

पैरामीटर दक्षता (Parameter Efficiency): मॉडल में एक एकल-पास $K$ -लेयर मॉडल के समान ही पैरामीटर संख्या होती है, भले ही इसकी प्रभावी गहराई $K \times L$ हो।
फॉरवर्ड पास (Forward Pass): एक शोरयुक्त इनपुट $x_t$ के लिए, हिडन स्टेट को पुनरावृत्ति (iteratively) से अपडेट किया जाता है: $h^{(\ell)} = f_\theta(h^{(\ell-1)}, \ell, L)$ । लूप $\ell$ का आउटपुट लूप $\ell+1$ के लिए इनपुट के रूप में कार्य करता है।
स्टेप एम्बेडिंग (Step Embedding): रिकर्सन के विभिन्न चरणों के बीच अंतर करने में मॉडल की मदद करने के लिए, एक स्टेप एम्बेडिंग $v^{(\ell)}$ को हिडन स्टेट में जोड़ा जाता है। यह एम्बेडिंग नॉर्मलाइज्ड लूप प्रोग्रेस $s_\ell = (\ell-1)/(L-1)$ के माध्यम से एक छोटे MLP से प्राप्त की जाती है, जिससे मॉडल रिकर्सन की गहराई के आधार पर अपनी गणना को विशिष्ट बना पाता है।

प्रशिक्षण उद्देश्य (Training Objectives)

पेपर रिकर्सिव लूप्स के लिए चार सुपरविजन रणनीतियों का मूल्यांकन करता है:

ऑल-स्टेप्स (ALL): यह सभी $L$ लूप्स में क्रॉस-एन्ट्रॉपी लॉस का औसत निकालता है, जो घने ग्रेडिएंट सिग्नल प्रदान करता है (डीपली सुपरवाइज्ड लर्निंग से प्रेरित)।
फाइनल-स्टेप (FINAL): यह केवल अंतिम लूप के लॉजिट्स (logits) को सुपरवाइज करता है, जो मानक MDM उद्देश्यों का विस्तार है।
वेटेड (Weighted): यह विभिन्न लूप्स पर नॉन-यूनिफॉर्म वेट असाइन करता है।
ट्रंकेटेड (Truncated): यह केवल अंतिम $k$ लूप्स को सुपरवाइज करता है।

लेखक पाते हैं कि ऑल-स्टेप्स लॉस सबसे मजबूत प्रदर्शन देता है, विशेष रूप से लो-कंप्यूट रेजीम में।

अनुमान और शेड्यूलिंग (Inference and Scheduling)

अनुमान (Inference) के समय, मॉडल का मूल्यांकन प्रशिक्षण गहराई $L_t$ से भिन्न सैंपलिंग रिकर्सन डेप्थ $L_s$ के साथ किया जा सकता है। लेखक विभिन्न प्रशिक्षण शेड्यूल्स का पता लगाते हैं, जिनमें फिक्स्ड डेप्थ, स्टोकेस्टिक सैंपलिंग और करिकुलम-आधारित शेड्यूलिंग शामिल हैं। एक रिवर्स करिकुलम (उच्च रिकर्सन गहराई से शुरू होकर 1 तक कम होना) बेहतर पाया गया, जो मॉडल को प्रशिक्षण के शुरुआती चरणों में उच्च-क्षमता वाली इटरेटिव रिफाइनमेंट रणनीतियों को सीखने के लिए मजबूर करता है।

प्रमुख योगदान (Key Contributions)

रिकर्सिव गहराई को एक स्केलिंग अक्ष के रूप में पेश करना: पेपर MDMs में पैरामीटर संख्या बढ़ाए बिना प्रभावी मॉडल गहराई बढ़ाने के तंत्र के रूप में रिकर्सिव लूपिंग का प्रस्ताव करता है।
पैरामीटर दक्षता का प्रदर्शन: R-MDMs को स्ट्रक्चर्ड रीजनिंग कार्यों पर काफी बड़े नॉन-रिकर्सिव बेसलाइन्स (5x अधिक पैरामीटर) की तुलना में बेहतर या उनके बराबर प्रदर्शन करते हुए दिखाया गया है।
इनफरेंस-टाइम दक्षता: अध्ययन दर्शाता है कि रिकर्सिव रिफाइनमेंट, अतिरिक्त डिनोइजिंग स्टेप्स का आंशिक रूप से स्थान ले सकता है, जिससे मॉडल कम कुल फॉरवर्ड पासेस ( $T \times L$ ) के साथ उच्च-गुणवत्ता वाला जनरेशन प्राप्त कर सकते हैं।
कार्य-आधारित विश्लेषण: कार्य यह व्यवस्थित रूप से मूल्यांकन करता है कि स्ट्रक्चर्ड टास्क (Sudoku, Countdown) और अनस्ट्रक्चर्ड टास्क (Text8) के बीच रिकर्सन, पैरामीटर काउंट और डिनोइजिंग स्टेप्स के बीच ट्रेड-ऑफ क्या है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग तीन डेटासेट्स पर किए गए: Sudoku (9x9 और 25x25), Countdown (3, 4, और 5 ऑपरेंड के साथ अंकगणितीय योजना), और Text8 (कैरेक्टर-लेवल लैंग्वेज मॉडलिंग)।

स्ट्रक्चर्ड रीजनिंग टास्क (Sudoku & Countdown)

पैरामीटर प्रतिस्थापन (RQ1): एक रिकर्सिव मॉडल $(K \otimes L)$ $(K \otimes L)$ लगातार एक आइसो-FLOP सिंगल-पास बेसलाइन $(KL \otimes 1)$ $(K L \otimes 1)$ के बराबर या उससे बेहतर प्रदर्शन करता है।
- उदाहरण: Sudoku 9x9 पर, एक $(6 \otimes 5)$ मॉडल (10.6M पैरामीटर्स) $T=5$ पर 93.6% वैलिड पज़ल रेट (VPR) प्राप्त करता है, जो 30-लेयर सिंगल-पास मॉडल (53.1M पैरामीटर्स) के प्रदर्शन से मेल खाता है जो समान स्टेप काउंट पर केवल 77.8% प्राप्त करता है।
- उदाहरण: Countdown-4 पर, एक $(3 \otimes 5)$ मॉडल (5.5M पैरामीटर्स) $T=20$ पर 70.2% रीचेस टारगेट रेट (RTR) तक पहुँचता है, जो 15-लेयर बेसलाइन (26.7M पैरामीटर्स) को पछाड़ देता है जो 69.4% तक पहुँचता है।
स्टेप रिडक्शन (RQ2): रिकर्सिव मॉडल्स को लक्षित गुणवत्ता थ्रेशोल्ड तक पहुँचने के लिए कम डिनोइजिंग स्टेप्स की आवश्यकता होती है।
- एक लूप वाला मॉडल ( $L_s=3, T=5$ ) 15 टोटल फॉरवर्ड पासेस में 95% वैलिड पज़ल रेट प्राप्त करता है, जबकि एक तुलनीय सिंगल-पास मॉडल को 40 स्टेप्स की आवश्यकता होती है (कंप्यूट में 2.7x की कमी)।
- 80% मास्किंग के साथ Sudoku 25x25 पर, एक रिकर्सिव मॉडल ( $L=5$ ) $T=1$ पर 91.8% VPR प्राप्त करता है, जबकि बेसलाइन इस स्टेप काउंट पर लगभग पूरी तरह विफल हो जाता है।
लचीलापन (Flexibility): रिवर्स करिकुलम ( $L_t$ घटते हुए) के साथ प्रशिक्षित मॉडल को अलग-अलग सैंपलिंग डेप्थ ( $L_s$ ) के साथ प्रभावी ढंग से मूल्यांकित किया जा सकता है, जिससे अनुमान के समय लचीला कंप्यूट आवंटन संभव होता है।

अनस्ट्रक्चर्ड लैंग्वेज मॉडलिंग (Text8)

Text8 डेटासेट पर, रिकर्सिव मॉडल्स संभावना-आधारित मेट्रिक्स (NLL, Perplexity) के मामले में सिंगल-पास बेसलाइन्स से कम प्रदर्शन करते हैं।
हालाँकि, गुणात्मक विश्लेषण (qualitative analysis) से पता चलता है कि रिकर्सिव मॉडल्स खराब लाइक्लीहुड स्कोर के बावजूद अधिक सुसंगत (coherent) टेक्स्ट उत्पन्न करते हैं, जो यह संकेत देता है कि मानक मेट्रिक्स इस रेजीम में भ्रामक हो सकते हैं। लेखक नोट करते हैं कि रिकर्सन के लाभ स्पष्ट इटरेटिव स्ट्रक्चर वाले कार्यों में अधिक स्पष्ट होते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि रिकर्सिव गहराई MDMs के लिए एक व्यावहारिक रूप से उपयोगी स्केलिंग मैकेनिज्म है, विशेष रूप से स्ट्रक्चर्ड जनरेशन कार्यों के लिए। इसका महत्व दो मुख्य क्षेत्रों में है:

पैरामीटर दक्षता: R-MDMs बहुत कम पैरामीटर्स के साथ बहुत बड़े मॉडल्स का प्रदर्शन प्राप्त कर सकते हैं, जिससे संसाधन-सीमित सेटिंग्स में उच्च-गुणवत्ता वाला जनरेशन व्यवहार्य हो जाता है।
कंप्यूट दक्षता: अतिरिक्त डिनोइजिंग स्टेप्स के स्थान पर रिकर्सिव रिफाइनमेंट का उपयोग करके, R-MDMs अनुमान के समय आवश्यक कुल फॉरवर्ड पासेस को कम कर सकते हैं, जिससे जनरेशन की गुणवत्ता और लेटेंसी के बीच के ट्रेड-ऑफ में सुधार होता है।

लेखक निष्कर्ष निकालते हैं कि जबकि रिकर्सन स्ट्रक्चर्ड डोमेन में इटरेटिव कंस्ट्रेंट प्रोपेगेशन के लिए एक शक्तिशाली तंत्र के रूप में कार्य करता है, अनस्ट्रक्टर्ड लैंग्वेज मॉडलिंग में इसकी उपयोगिता आगे की जांच की आवश्यकता वाला एक खुला प्रश्न है। यह कार्य पारंपरिक पैरामीटर-काउंट-केंद्रित दृष्टिकोण से परे जनरेटिव मॉडल स्केलिंग की समझ को समृद्ध करता है।