🤖 machine learning

Tensor-Train Joint Modeling for Few-Step Discrete Diffusion

यह शोध पत्र एक टेंसर-ट्रैन जॉइंट मॉडलिंग (Tensor-Train Joint Modeling) ढांचे को प्रस्तुत करता है जो कंडीशनल क्लीन डिस्ट्रीब्यूशंस (conditional clean distributions) को लो-रैंक टेंसर के रूप में स्पष्ट रूप से प्रदर्शित करके वर्तमान डिस्क्रीट डिफ्यूजन मॉडल्स के व्यवस्थित पैरेललाइजेशन बायस (systematic parallelization bias) पर विजय प्राप्त करता है, जिससे लाइटवेट फाइन-ट्यूनिंग के माध्यम से अनुक्रमिक डेटा (sequential data) के लिए कुशल, उच्च-गुणवत्ता वाले कुछ-चरणों वाले जनरेशन (few-step generation) को सक्षम बनाया जा सके।

मूल लेखक: Byoungkwon Kim, Minhyuk Sung

प्रकाशित 2026-07-21

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Byoungkwon Kim, Minhyuk Sung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना या एक नया अणु (molecule) डिजाइन करना सिखाने की कोशिश कर रहे हैं। पुराने दिनों में, रोबोट यह काम एक बार में एक शब्द या एक परमाणु करके करते थे, जैसे कोई व्यक्ति एक-एक अक्षर करके वाक्य टाइप करता है। यह धीमा है, जैसे अगला स्ट्रोक लगाने से पहले पेंटब्रश के सूखने का इंतज़ार करना। हाल ही में, वैज्ञानिकों ने "डिफ्यूजन" (diffusion) नामक एक तेज़ तरीका खोजा है। शून्य से लिखने के बजाय, रोबोट खाली मास्क से भरे एक पन्ने के साथ शुरुआत करता है और अंदाज़ा लगाता है कि खाली जगहों में क्या होना चाहिए, ठीक वैसे ही जैसे एक क्रॉसवर्ड पहेली को भरना। यह बहुत तेज़ है क्योंकि यह एक साथ कई शब्दों का अंदाज़ा लगा सकता है। हालाँकि, इसमें एक पेच है: जब रोबोट सुपर फास्ट होने के लिए एक साथ बहुत सारे शब्दों का अंदाज़ा लगाने की कोशिश करता है, तो वह गलतियाँ करने लगता है। वह यह मान लेता है कि उसके द्वारा अंदाज़ा लगाया गया हर शब्द स्वतंत्र है, जैसे यह सोचना कि शब्द "बादल" का शब्द "आकाश" से कोई लेना-देना नहीं है, सिर्फ इसलिए क्योंकि उसने दोनों का अंदाज़ा एक ही समय में लगाया था। इससे अर्थहीन शब्द (gibberish) बनने लगते हैं। कंप्यूटर विज्ञान के इस कोने में बड़ा सवाल यह है: हम रोबोट को एक साथ कई शब्दों का अंदाज़ा लगाने के लिए कैसे तैयार कर सकते हैं बिना उनके बीच के संबंध को खोए, ताकि वह तेज़ भी हो सके और समझ में आने योग्य भी?

यह शोध पत्र इस सटीक समस्या को हल करने के लिए एक चतुर नया ढांचा पेश करता है। लेखक, ब्युंगक्वन किम और मिन्ह्यूक सुंग, "टेंसर-ट्रेन जॉइंट मॉडलिंग" (Tensor-Train Joint Modeling) नामक एक विधि प्रस्तावित करते हैं। सोचिए कि रोबोट का मस्तिष्क एक विशाल, बहु-आयामी पहेली बॉक्स है। सोचने का पुराना तरीका हर स्लॉट को बॉक्स के एक अलग, अलग-थलग दराज की तरह मानता था। नया तरीका यह महसूस करता है कि वे दराज वास्तव में धागों के एक छिपे हुए जाल से जुड़े हुए हैं। वे इस जाल को सुलझाने के लिए "टेंसर डिकंपोजिशन" (tensor decomposition) नामक गणितीय ट्रिक का उपयोग करते हैं। विशेष रूप से, उन्होंने पाया कि "टेंसर-ट्रेन" (TTD) नामक तकनीक आपस में जुड़ते हुए गियरों के एक विशेष सेट की तरह है जो स्वाभाविक रूप से यह समझता है कि पास के शब्द या परमाणु एक-दूसरे पर कैसे निर्भर हैं।

शोध पत्र सुझाव देता है कि इस TTD विधि का उपयोग करके, रोबोट अंततः गुणवत्ता गिरे बिना कुछ ही चरणों में कई टोकन (शब्द या परमाणु) का अंदाज़ा लगा सकता है। अपने प्रयोगों में, उन्होंने इसे टेक्स्ट लिखने और अणु डिजाइन करने के लिए टेस्ट किया। जब उन्होंने इसे VADD नामक एक मौजूदा मॉडल पर लागू किया, तो परिणाम चौंका देने वाले थे: 'ओपनवेबटेक्स्ट' (OpenWebText) नामक टेक्स्ट डेटासेट पर, मॉडल की उलझन (जिसे "जेनरेटिव पर्प्लेक्सिटी" के रूप में मापा जाता है) मानक संस्करण की तुलना में केवल 8 चरणों में 32.7% कम हो गई। इससे भी बेहतर, यह गति-वृद्धि एक बड़ी लागत के साथ नहीं आई; 128 चरणों के लिए चलने पर नया तरीका मूल मॉडल से केवल 1.7% धीमा था। लेखक तर्क देते हैं कि जबकि अन्य तरीकों ने अतिरिक्त, भारी मॉडल या छिपे हुए वेरिएबल्स जोड़कर इसे ठीक करने की कोशिश की, उनका दृष्टिकोण हल्का है क्योंकि यह "कनेक्शन वेब" को सीधे रोबोट की मौजूदा मस्तिष्क संरचना में ही बना देता है। उन्होंने पाया कि यह अनुक्रमिक डेटा (sequential data) जैसे भाषा के लिए सबसे अच्छा काम करता है, जहाँ जो आगे आता है वह इस बात से बहुत प्रभावित होता है कि उससे ठीक पहले क्या आया था—एक ऐसा पैटर्न जिसे उनके "टेंसर-ट्रेन" गियर पकड़ने के लिए पूरी तरह से डिज़ाइन किए गए हैं।

तकनीकी सारांश: फ्यू-स्टेप मास्कड डिफ्यूजन के लिए टेंसर-ट्रेन जॉइंट मॉडलिंग

समस्या विवरण
डिस्क्रीट डिफ्यूजन मॉडल, विशेष रूप से मास्कड डिफ्यूजन मॉडल्स (MDMs), अनुक्रमिक डिस्क्रीट डेटा (जैसे टेक्स्ट, अणु) उत्पन्न करने के लिए ऑटोरेग्रेसिव (AR) मॉडल के एक आशाजनक विकल्प के रूप में पेश किए जाते हैं क्योंकि वे समानांतर टोकन जनरेशन को सक्षम करते हैं। हालाँकि, उनकी कम-चरणों (few-step) में जनरेशन की क्षमता एक मौलिक संरचनात्मक सीमा के कारण अप्राप्त रह जाती है: कंडीशनल-इंडिपेंडेंस (सप्रतिबंध-स्वतंत्रता) धारणा। वर्तमान MDMs क्लीन डिस्ट्रीब्यूशन $p_\theta(x|x_t)$ को स्वतंत्र मार्जिनल्स के उत्पाद ( $\prod p_\theta(x_i|x_t)$ ) के रूप में मॉडल करते हैं। यह धारणा एक व्यवस्थित "पैरेललाइजेशन बायस" (समांतरकरण पूर्वाग्रह) पेश करती है जो प्रति चरण अनमास्क किए गए टोकनों की संख्या के साथ बढ़ता जाता है। कम-चरण वाले शासन (regimes) में, जहाँ कई टोकन एक साथ अनमास्क किए जाते हैं, यह बायस सैंपल क्वालिटी को गंभीर रूप से खराब कर देता है।

जॉइंट डिस्ट्रीब्यूशन $p_\theta(x|x_t)$ को स्पष्ट रूप से मॉडल करना इस बायस को हल करने के लिए सैद्धांतिक रूप से वांछनीय है, लेकिन यह कम्प्यूटेशनल रूप से अव्यवहार्य है, क्योंकि इसके लिए $V^N$ प्रविष्टियों वाले $N$ -आयामी टेंसर का प्रतिनिधित्व करना आवश्यक है (जहाँ $V$ वोकैबुलरी साइज है और $N$ सीक्वेंस लेंथ है)। मौजूदा दृष्टिकोण या तो सहायक AR मॉडल का उपयोग करते हैं या लेटेंट वेरिएबल्स का, लेकिन ये या तो बाहरी इन्फरेंस लागत विरासत में लेते हैं या स्पष्ट जॉइंट पैरामीट्राइजेशन के बजाय निहित सहसंबंधों (implicit correlations) पर निर्भर करते हैं।

कार्यप्रणाली (Methodology)
लेखक एक फ्रेमवर्क प्रस्तावित करते हैं जो टेंसर डिकंपोजिशन का उपयोग करके डिस्क्रीट डिफ्यूजन मॉडल के भीतर ही स्पष्ट रूप से जॉइंट डिस्ट्रीब्यूशन $p_\theta(x|x_t)$ को पैरामीटराइज करता है। मुख्य कार्यप्रणाली में दो मुख्य घटक शामिल हैं:

जॉइंट मॉडलिंग के लिए टेंसर डिकंपोजिशन:
फ्रेमवर्क कंडीशनल डिस्ट्रीब्यूशन को एक लो-रैंक टेंसर के रूप में प्रस्तुत करता है, जो दो विशिष्ट डिकंपोजिशन का समर्थन करता है:

कैनोनिकल पॉलीडिक डिकंपोजिशन (CPD): यह टेंसर को रैंक-1 टेंसरों के योग के रूप में अनुमानित करता है। हालांकि यह मानक MDMs (रैंक-1 केस) का सामान्यीकरण करता है, लेकिन यह सभी टोकन स्थितियों को सममित (symmetrically) मानता है।
टेंसर-ट्रेन डिकंपोजिशन (TTD): यह एक श्रृंखला में जुड़े कोर (मैट्रिक्स) के अनुक्रम के रूप में टेंसर का अनुमान लगाता है। लेखक TTD में एक महत्वपूर्ण संरचनात्मक पूर्वास (structural bias) की पहचान करते हैं: किसी भी स्प्लिट पॉइंट पर TT-रैंक, जॉइंट डिस्ट्रीब्यूशन के अनफोल्डिंग मैट्रिक्स के रैंक के अनुरूप होता है। स्थानीय निर्भरताओं (जैसे प्राकृतिक भाषा, आणविक लाइन नोटेशन) द्वारा संचालित अनुक्रमिक डेटा के लिए, ये अनफोल्डिंग रैंक छोटे रहते हैं, जिससे TTD कम रैंक के साथ पास के टोकनों के बीच निर्भरताओं को कुशलतापूर्वक कैप्चर कर सकता है। यह ओसेलेडेट्स (Oseledets) के प्रमेय द्वारा सैद्धांतिक रूप से समर्थित है।

इटरेटिव मार्जिनल इन्फरेंस के माध्यम से कुशल सैंपलिंग:
जॉइंट डिस्ट्रीब्यूशन से सीधा सैंपलिंग करना अव्यवहार्य है। लेखक एक चेन-रूल-आधारित सैंपलिंग प्रक्रिया प्रस्तुत करते हैं जो इटरेटिव मार्जिनल इन्फरेंस करता है।

सामान्य प्रक्रिया: यह विधि पहले से सैंपल किए गए पदों पर कंडीशन करके एक-एक करके (या बैचों में) टोकन को सैंपल करती है। यह पूर्ण जॉइंट डिस्ट्रीब्यूशन का मूल्यांकन किए बिना मार्जिनल प्रोबेबिलिटी को कुशलतापूर्वक कंप्यूट करने के लिए कैशिंग और पैरेलल प्रीफिक्स सरम्स का उपयोग करती है।
निर्धारित शेड्यूल्स (Predetermined Schedules): फिक्स्ड अनमास्किंग शेड्यूल्स के लिए, विधि अनकंडीशन्ड कोर्स को कॉन्ट्रैक्ट करके और सीधे कॉन्ट्रैक्टेड कोर्स की भविष्यवाणी करने के लिए एक ऑक्जिलरी हेड का उपयोग करके इन्फरेंस को ऑप्टिमाइज़ करती है, जिससे अनावश्यक गणनाओं से बचा जा सके।

एकीकरण और फाइन-ट्यूनिंग:
इस फ्रेमवर्क को प्रीट्रेन्ड MDMs में लाइटवेट फाइन-ट्यूनिंग के माध्यम से एकीकृत करने के लिए डिज़ाइन किया गया है। आर्किटेक्चरल संशोधनों में अंतिम आउटपुट हेड को टेंसर-डिकंपोज्ड स्ट्रक्चर से बदलना शामिल है। मॉडल के मार्जिनल प्रेडिक्शंस को बनाए रखने के लिए, वेट्स को मूल हेड की कॉपी (सिमेट्री तोड़ने के लिए छोटे नॉइज़ के साथ) के रूप में इनिशियलाइज़ किया जाता है, जिससे मॉडल स्क्रैच से ट्रेनिंग की तुलना में न्यूनतम लागत के साथ जॉइंट डिपेंडेंसी सीख पाता है।

प्रमुख योगदान

डिस्क्रीट डिफ्यूशन में पहला स्पष्ट जॉइंट मॉडलिंग: यह कार्य टेंसर डिकंपोजिशन के माध्यम से कंडीशनल क्लीन डिस्ट्रीब्यूशन को स्पष्ट रूप से पैरामीटराइज करने वाला पहला फ्रेमवर्क पेश करता है, जो मानक MDMs को रैंक-वन केस के रूप में सख्ती से सामान्यीकृत करता है।
अनुक्रमिक डेटा के लिए TTD का स्ट्रक्चरल बायस: लेखक अनुक्रमिक डेटा के लिए टेंसर-ट्रेन डिकंपोजिशन की उपयुक्तता को औपचारिक रूप देते हैं। वे प्रदर्शित करते हैं कि TTD की संरचना प्राकृतिक भाषा और आणविक नोटेशन की स्थानीय निर्भरताओं के साथ संरेखित होती है, जो इन डोमेन में CPD से बेहतर प्रदर्शन करती है।
कुशल सैंपलिंग एल्गोरिदम: एक नवीन इटरेटिव मार्जिनल इन्फरेंस प्रक्रिया प्रस्तुत की गई है, जो कैशिंग और पैरेलल प्रीफिक्स सरम्स के माध्यम से न्यूनतम ओवरहेड के साथ जॉइंट डिस्ट्रीब्यूशन से ट्रैक्टेबल सैंपलिंग को सक्षम बनाती है।
लाइटवेट फाइन-ट्यूनिंग: इस फ्रेमवर्क को प्रीट्रेन्ड मॉडल्स में एकीकृत करने के लिए एक रेसिपी प्रदान की गई है, जो स्क्रैच से ट्रेनिंग की तुलना में बहुत कम लागत पर पर्याप्त कम-चरण सुधार प्राप्त करती है।

प्रायोगिक परिणाम
फ्रेमवर्क का मूल्यांकन टेक्स्ट जनरेशन (OpenWebText, LM1B) और मॉलिक्यूल जनरेशन (QM9) के लिए बेस मॉडल्स MDLM और VADD पर किया गया।

टेक्स्ट जनरेशन: TDD-आधारित फाइन-ट्यूनिंग ने वैनिला मॉडल्स की तुलना में जेनेरेटिव पर्प्लेक्सिटी को काफी कम कर दिया, विशेष रूप से कम-चरण (few-step) शासन में। उदाहरण के लिए, OpenWebText पर, TDD ने वैनिला VADD पर 8-स्टेप पर्प्लेक्सिटी को 32.7% कम किया। CPD ने बेसलाइन की तुलना में मामूली या कोई सुधार नहीं दिखाया।
मॉलिक्यूल जनरेशन: QM9 पर, TDD दृष्टिकोण ने बेसलाइन की तुलना में लगातार उच्च वैधता (validity), विशिष्टता (uniqueness) और नवीनता (novelty) स्कोर प्राप्त किया, जिसमें सबसे बड़े लाभ लेफ्ट-टू-राइट जनरेशन में देखे गए जहाँ स्थानीय निर्भरताएँ महत्वपूर्ण हैं।
दक्षता (Efficiency): सैद्धांतिक जटिलता के बावजूद, सैंपलिंग ओवरहेड न्यूनतम था। OpenWebText पर, 128 टाइमस्टेप्स पर TDD-एन्हांस्ड VADD, मूल VADD की तुलना में केवल 1.7% धीमा था।

महत्व और दावे
पेपर का दावा है कि यह डिस्क्रीट डिफ्यूशन मॉडल्स के भीतर स्पष्ट जॉइंट प्रोबेबिलिटी मॉडलिंग के लिए टेंसर डिकंपोजिशन को सफलतापूर्वक पेश करने वाला पहला कार्य है। यह तर्क देता है कि कंडीशनल-इंडिपेंडेंस धारणा से आगे बढ़कर, एक ट्रैक्टेबल लो-रैंक पैरामीट्राइजेशन के माध्यम से, व्यवस्थित पैरेललाइजेशन बायस को कम किया जा सकता है। लेखक इस बात पर जोर देते हैं कि TTD अपने सैद्धांतिक संरेखण के कारण अनुक्रमिक डेटा के लिए विशेष रूप से उपयुक्त है, जो बाहरी ऑटोरेग्रेसिव मॉडल्स पर निर्भर किए बिना उच्च-गुणवत्ता वाले, कम-चरण जनरेशन के लिए एक व्यावहारिक मार्ग प्रदान करता है। यह कार्य प्रदर्शित करता है कि महत्वपूर्ण प्रदर्शन लाभ के लिए आवश्यक जॉइंट स्ट्रक्चर को कैप्चर करने के लिए लो-रैंक एप्रोक्सिमेशन भी पर्याप्त हैं।

इसी तरह के और पेपर