💻 computer science

Diffusion Models for Adaptive Sequential Data Generation

यह शोध पत्र एक नवीन अनुक्रमिक फॉरवर्ड-बैकवर्ड डिफ्यूजन फ्रेमवर्क प्रस्तावित करता है जो ऐतिहासिक डेटा पर आधारित होकर अनुकूलनशीलता सुनिश्चित करता है, जो कठोर सांख्यिकीय गारंटी प्रदान करता है और पोर्टफोलियो अनुकूलन जैसे अनुप्रयोगों के लिए यथार्थवादी अनुक्रमिक डेटा उत्पन्न करने में प्रभावशीलता प्रदर्शित करता है।

मूल लेखक: Haoyang Cao, Minshuo Chen, Yinbin Han, Renyuan Xu

प्रकाशित 2026-06-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoyang Cao, Minshuo Chen, Yinbin Han, Renyuan Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक वास्तविक कहानी लिखना सिखाने की कोशिश कर रहे हैं, जो वास्तविक घटनाओं के इतिहास पर आधारित हो, दिन-प्रतिदिन। रोबोट को यह जानना होगा कि कल क्या हुआ था और आज क्या हो रहा है ताकि वह तय कर सके कि कल क्या लिखना है। सबसे महत्वपूर्ण बात यह है कि रोबोट को कभी भी भविष्य में झाँकना नहीं चाहिए। यदि वह किसी ऐसे संकेत के आधार पर कल के प्लॉट ट्विस्ट का अनुमान लगा लेता है जो अगले सप्ताह तक आने वाला है, तो कहानी नकली लगेगी और वास्तविकता के नियमों को तोड़ देगी।

यह उस समस्या का मूल है जिसे यह शोध पत्र हल करता है: हम AI को वास्तविक समय-आधारित डेटा (जैसे स्टॉक की कीमतें, मौसम के पैटर्न, या हृदय गति) उत्पन्न करना कैसे सिखाएं, बिना उसे भविष्य देख लेने की अनुमति दिए?

यहाँ उनके समाधान का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए।

समस्या: "टाइम ट्रैवलर" की गलती

वर्तमान AI मॉडल (जिन्हें डिफ्यूजन मॉडल कहा जाता है) कुशल चित्रकारों की तरह हैं। वे स्थिर चित्र (जैसे बिल्ली की एक अकेली फोटो) बनाने में अद्भुत हैं। वे एक अस्त-व्यस्त, शोर भरे चित्र से शुरू करके और धीरे-धीरे उसे साफ करके एक स्पष्ट छवि बनाने का काम करते हैं।

हालाँकि, जब वैज्ञानिकों ने इन मॉडलों को अनुक्रमों (जैसे एक वीडियो या स्टॉक चार्ट) के लिए उपयोग करने की कोशिश की, तो उन्हें एक "टाइम ट्रैवलर" समस्या का सामना करना पड़ा।

पुराना तरीका: AI एक ही बार में पूरे अनुक्रम को देखता है। "मंगलवार" के लिए शोर को साफ करने के लिए, वह गलती से "शुक्रवार" की जानकारी का उपयोग कर सकता है ताकि अनुमान लगाया जा सके।
परिणाम: AI ऐसा डेटा उत्पन्न करता है जो औसतन सांख्यिकीय रूप से सही दिखता है, लेकिन यह समय के नियमों का उल्लंघन करता है। यह एक ऐसी फिल्म की तरह है जहाँ नायक को पहला दृश्य चलने से पहले ही अंत पता चल जाता है। वित्त या चिकित्सा के क्षेत्र में, यह खतरनाक है क्योंकि वास्तविक निर्णय केवल उसी जानकारी के आधार पर लिए जाने चाहिए जो अभी ज्ञात है।

समाधान: "एक-एक कदम पर चलने वाला" शेफ

लेखकों ने एक नया ढांचा प्रस्तावित किया है जिसे AD-Seq (सीक्वेंशियल डेटा के लिए एडेप्टिव डिफ्यूजन) कहा जाता है।

कल्पना कीजिए कि एक शेफ एक जटिल, बहु-कोर्स भोजन बना रहा है।

पुराना डिफ्यूजन मॉडल: शेफ ऐपेटाइज़र, मुख्य व्यंजन और मिठाई को एक ही बड़े बर्तन में एक साथ पकाने की कोशिश करता है, सबको मिला देता है। स्वाद भ्रमित हो जाते हैं, और मिठाई का स्वाद ऐपेटाइज़र जैसा हो सकता है।
AD-Seq मॉडल: शेफ कोर्स को सख्ती से क्रम में पकाता है।
1. वे ऐपेटाइज़र पकाते हैं।
2. वे ऐपेटाइज़र का स्वाद लेते हैं और मुख्य व्यंजन को कैसे सीजन करना है, यह तय करने के लिए केवल उसी स्वाद का उपयोग करते हैं।
3. वे मुख्य व्यंजन का स्वाद लेते हैं और मिठाई को सीजन करने के लिए केवल उसका उपयोग करते हैं।

शेफ ऐपेटाइज़र पकाते समय मिठाई की रेसिपी को कभी नहीं देखता। यह सुनिश्चित करता है कि भोजन स्वाभाविक रूप से प्रवाहित हो, ठीक वैसे ही जैसे वास्तविक दुनिया का टाइम सीरीज़ डेटा।

यह कैसे काम करता है (जादुई ट्रिक)

पेपर इस "शेफ" को प्रशिक्षित करने के लिए एक चतुर तरीका पेश करता है जिसे स्कोर मैचिंग नामक तकनीक कहा जाता है।

"स्कोर" को एक दिशा-सूचक (कंपास) के रूप में सोचें। AI सीखता है कि "वास्तविक डेटा" की दिशा में कैसे मुड़ना है और "रैंडम नॉइज़" से दूर कैसे रहना है।
आमतौर पर, कंपास पूरी तस्वीर के आधार पर दिशा दिखाता है। लेखकों ने कंपास को फिर से डिज़ाइन किया ताकि समय के हर चरण के लिए, यह अगली चाल निर्धारित करने हेतु केवल पिछले इतिहास को देखे।
उन्होंने एक प्रशिक्षण पद्धति भी विकसित की जो AI को इन सभी "कंपसों" को एक साथ (समानांतर में) सीखने की अनुमति देती है, जिससे यह तेज़ और कुशल हो जाता है, भले ही वास्तविक पीढ़ी (जेनरेशन) चरण-दर-चरण होती है।

प्रमाण: क्या यह वास्तव में काम करता है?

लेखकों ने केवल रोबोट नहीं बनाया; उन्होंने इसका कड़ाई से परीक्षण किया।

सिंथेटिक टेस्ट (ट्रेनिंग व्हील्स):
- उन्होंने AI को ज्ञात गणितीय नियमों (ARMA मॉडल और गॉसियन प्रोसेस) द्वारा उत्पन्न नकली डेटा दिया।
- परिणाम: AI ने केवल औसत संख्याओं को याद नहीं किया; इसने लय को सीखा। इसने सही ढंग से भविष्यवाणी की कि आज का मान कल के मान पर कैसे निर्भर करता है, जिससे "टेम्पोरल डिपेंडेंस" (सामयिक निर्भरता) को पूरी तरह से पकड़ा गया। डेटा की कमी होने पर यह कच्चे डेटा की तुलना में लय का अनुमान लगाने में और भी बेहतर था।
वास्तविक दुनिया का परीक्षण (स्टॉक मार्केट):
- उन्होंने इसे पोर्टफोलियो ऑप्टिमाइज़ेशन (S&P 500 में पैसा प्रबंधित करना) पर लागू किया।
- उन्होंने अपने AI का उपयोग ट्रेडिंग रोबोट को प्रशिक्षित करने के लिए नकली स्टॉक पथ उत्पन्न करने के लिए किया।
- परिणाम: उनके AI के "नकली" इतिहास पर प्रशिक्षित ट्रेडिंग रोबोट ने अन्य तरीकों पर प्रशिक्षित रोबोटों की तुलना में बेहतर निर्णय लिए। इसने उच्चतम शार्प रेशियो (जो जोखिम के लिए आपको कितना लाभ मिलता है, इसका एक माप) प्राप्त किया। यह साबित करता है कि "समय के प्रवाह" का सम्मान करने से स्मार्ट वित्तीय निर्णय लेने में मदद मिलती है।

निष्कर्ष

यह पेपर हमें वास्तविक समय-आधारित डेटा उत्पन्न करने के लिए एक नया उपकरण देता है जो कारण और प्रभाव के नियमों का सम्मान करता है। यह सुनिश्चित करता है कि AI भविष्य को केवल अतीत के आधार पर उत्पन्न करे, ठीक वास्तविक जीवन की तरह। यह वित्त, स्वास्थ्य सेवा और ऊर्जा जैसे क्षेत्रों के लिए एक बड़ी बात है, जहाँ "भविष्य के ज्ञान" के आधार पर निर्णय लेना असंभव और खतरनाक है।

संक्षेप में: उन्होंने AI को समय यात्रा करना बंद करने और एक-एक कदम करके वर्तमान में जीना सिखाया।

तकनीकी सारांश: अनुकूली अनुक्रमिक डेटा पीढ़ी के लिए डिफ्यूजन मॉडल (Diffusion Models for Adaptive Sequential Data Generation)

समस्या विवरण (Problem Statement)
यथार्थवादी सिंथेटिक अनुक्रमिक डेटा (sequential data) उत्पन्न करना ऑपरेशन्स रिसर्च, फाइनेंस, हेल्थकेयर और वैज्ञानिक कंप्यूटिंग जैसे अनुप्रयोगों के लिए महत्वपूर्ण है। जबकि डिफ्यूजन मॉडल ने स्थिर (static) डेटा उत्पन्न करने में सफलता प्राप्त की है, उनका अनुक्रमिक सेटिंग्स में सीधा विस्तार अक्सर टेम्पोरल डिपेंडेंस (temporal dependence) और अधिक महत्वपूर्ण रूप से, समय-श्रृंखला (time-series) डेटा में अंतर्निहित सूचना प्रवाह (information flow) (अनुकूलनशीलता/adaptiveness) को पकड़ने में विफल रहता है। मानक डिफ्यूजन मॉडल संपूर्ण प्रक्षेपवक्र (trajectory) को एक एकल वस्तु के रूप में देखते हैं, जिससे समय $t$ पर किसी मान का उत्पादन अप्रत्यक्ष रूप से भविष्य के अवलोकनों पर निर्भर हो जाता है, जो गैर-पूर्वानुमानित निर्णय लेने (non-anticipative decision-making) के लिए आवश्यक कारण क्रम (causal ordering) का उल्लंघन करता है। मौजूदा ऑटोरेग्रेसिव मॉडल (जैसे ट्रांसफॉर्मर) अनुक्रमिक डेटा को संभालते हैं लेकिन अक्सर निरंतर मोडैलिटीज (continuous modalities) के साथ संघर्ष करते हैं या ऐसे विविक्तीकरण (discretization) की आवश्यकता होती है जो अनुमान त्रुटियों (approximation errors) को जन्म देता है। केंद्रीय चुनौती एक ऐसा डिफ्यूजन फ्रेमवर्क डिजाइन करने की है जो अनुक्रमिक डेटा उत्पन्न करे और साथ ही सख्ती से 'एडेप्टेड स्ट्रक्चर' (adapted structure) को संरक्षित करे, जहाँ प्रत्येक उत्पन्न मान केवल पिछले और वर्तमान की जानकारी पर निर्भर हो।

कार्यप्रणाली: अनुक्रमिक डेटा के लिए एडेप्टिव डिफ्यूजन (AD-Seq)
लेखक AD-Seq का प्रस्ताव करते हैं, जो एक अनुक्रमिक फॉरवर्ड-बैकवर्ड डिफ्यूजन फ्रेमवर्क है जिसे डिफ्यूजन डायनेमिक्स को टेम्पोरल इंफॉर्मेशन फ्लो के साथ संरेखित करने के लिए डिज़ाइन किया गया है।

अनुक्रमिक फॉरवर्ड-बैकवर्ड निर्माण (Sequential Forward-Backward Construction):
क्लासिकल डिफ्यूजन मॉडल के विपरीत, जो पूरे टाइम सीरीज़ पर संयुक्त रूप से कार्य करते हैं, AD-Seq सैंपल पाथ को कोऑर्डिनेट-दर-कोऑर्डिनेट (टाइम-स्टेप-दर-टाइम-स्टेप) उत्पन्न करता है।

फॉरवर्ड प्रोसेस (Forward Process): प्रत्येक टाइमस्टैम्प $h$ के लिए, पिछले उत्पन्न इतिहास $X^{[1:h)}$ पर आधारित एक फॉरवर्ड स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) को परिभाषित किया जाता है। यह फॉरवर्ड नॉइज़ इंजेक्शन में टेम्पोरल डिपेंडेंस को सीधे शामिल करता है।
रिवर्स प्रोसेस (Reverse Process): सैंपलिंग प्रक्रिया क्रमिक रूप से आगे बढ़ती है। समय $h$ पर मान उत्पन्न करने के लिए, मॉडल पहले से उत्पन्न इतिहास $\bar{X}^{[1:h)}$ पर आधारित एक रिवर्स-टाइम SDE चलाता है। यह सुनिश्चित करता है कि $X_h$ का उत्पादन सख्ती से $X_{1}, \dots, X_{h-1}$ पर निर्भर है, जिससे निर्माण द्वारा ही अनुकूलनशीलता (adaptiveness) लागू होती है।

स्कोर मैचिंग ऑब्जेक्टिव (Score Matching Objective):
मॉडल को प्रशिक्षित करने के लिए, लेखक एक नया स्कोर-मैचिंग ऑब्जेक्टिव पेश करते हैं जो विभिन्न टाइम स्टेप्स के बीच लर्निंग समस्या को डीकपल (decouple) करता है।

ऑब्जेक्टिव प्रेडिक्टेड स्कोर और वास्तविक कंडीशनल स्कोर $\nabla_x \log \rho_h(t, x | \text{history})$ के बीच वेटेड क्वाड्रेटिक लॉस को कम करता है।
महत्वपूर्ण रूप से, यह ऑब्जेक्टिव सैंपलिंग की क्रमिक प्रकृति के बावजूद विभिन्न टाइम स्टेप्स के लिए स्कोर फंक्शन्स के पैरेलल ट्रेनिंग की अनुमति देता है।
लंबे होराइजन्स के लिए बढ़ती आयामीता (dimensionality) को संभालने के लिए, लेखक एक हिस्ट्री ट्रंकेशन मैकेनिज्म (history truncation mechanism) का उपयोग करते हैं, जो स्कोर को पूर्ण इतिहास के बजाय लंबाई $d_{\text{trunc}}$ के एक हालिया विंडो पर केंद्रित करता है, जिसे टेम्पोरल डिपेंडेंस के क्षय (decay) द्वारा न्यायसंगत ठहराया गया है।

एल्गोरिदम (Algorithm):
सैंपलिंग एल्गोरिदम (एल्गोरिदम 1) $h=1$ से $H$ तक पुनरावृत्ति करता है। प्रत्येक चरण के लिए, यह एक सीखा हुआ स्कोर नेटवर्क $\hat{s}_h$ का उपयोग करके एक बैकवर्ड SDE चलाता है, जो वर्तमान नॉइजी स्टेट और पिछले क्लीन हिस्ट्री को इनपुट के रूप में लेता है।

प्रमुख योगदान (Key Contributions)
यह शोध पत्र तीन प्राथमिक योगदान देता है:

अनुकूली पीढ़ी के लिए एक नया फ्रेमवर्क (A New Framework for Adapted Generation): AD-Seq पहला डिफ्यूजन फ्रेमवर्क है जिसे स्पष्ट रूप से एक फिल्ट्रेशन (filtration) के प्रति एडेप्टेड जनरेशन के लिए डिज़ाइन किया गया है। रिवर्स डिफ्यूजन स्टेप्स को उत्पन्न इतिहास पर कंडीशन करके, यह गारंटी देता है कि सिंथेटिक डेटा सूचना संरचना (causal information structure) का सम्मान करता है, जिससे यह प्रेडिक्टिव निर्णय लेने और स्ट्रेस टेस्टिंग जैसे कार्यों के लिए उपयुक्त बनता है जहाँ भविष्य की जानकारी का पूर्वानुमान नहीं लगाया जा सकता है।
कठोर सांख्यिकीय शिक्षण सिद्धांत (Rigorous Statistical Learning Theory): लेखक AD-Seq फ्रेमवर्क के लिए परिमित-नमूना गारंटी (finite-sample guarantees) स्थापित करते हैं, जिसमें शामिल हैं:
- स्कोर एप्रोक्सिमेशन (Score Approximation): यह सिद्ध करना कि न्यूरल नेटवर्क कंडीशनल स्कोर फंक्शन्स को बाउंडेड एरर के साथ अनुमानित कर सकते हैं, भले ही कंडीशनिंग वेरिएबल्स अनबाउंडेड हों (जो वित्तीय टाइम सीरीज़ के लिए विशिष्ट चुनौती है)।
- स्कोर एस्टीमेशन (Score Estimation): एम्पिरिकल स्कोर मिनिमाइज़र के सांख्यिकीय एरर पर बाउंड्स प्राप्त करना।
- डिस्ट्रीब्यूशन एस्टीमेशन (Distribution Estimation): उत्पन्न वितरण के लिए एक टोटल वेरिएशन (TV) बाउंड प्रदान करना। अभिसरण दर (convergence rate) $\tilde{O}(n^{-\frac{\beta}{4(d_{\text{trunc}}+\beta)}})$ के रूप में दिखाई गई है, जहाँ $n$ सैंपल साइज है, $\beta$ स्मूथनेस पैरामीटर है, और $d_{\text{trunc}}$ प्रभावी इतिहास की लंबाई है। यह दर स्टैटिक डिफ्यूजन मॉडल्स के सर्वोत्तम ज्ञात दरों से मेल खाती है, जो यह प्रदर्शित करती है कि अनुकूलनशीलता बाधाएं (adaptiveness constraints) सांख्यिकीय सुलभता को कम नहीं करती हैं यदि टेम्पोरल डिपेंडेंस घटता है।
अनुभवजन्य सत्यापन (Empirical Validation):
- सिंथेटिक डेटा: विधि ARMA मॉडल्स की ऑटोकोरिलेशन संरचना और गॉसियन प्रोसेस के कोवेरिएंस डिके पैटर्न को सटीक रूप से रिकवर करती है, जो छोटे-सैंपल रिजीम में एम्पिरिकल एस्टीमेट्स से बेहतर प्रदर्शन करती है।
- वास्तविक दुनिया का अनुप्रयोग: S&P 500 डेटा पर मीन-वेरिएंस पोर्टफोलियो ऑप्टिमाइजेशन कार्य में, AD-Seq-जेनरेटेड सैंपल्स का उपयोग करके प्रशिक्षित पॉलिसियों ने बेंचमार्क्स के बीच उच्चतम शार्प रेशियो (Sharpe ratios) प्राप्त किए, जो सूचना प्रवाह को बनाए रखने की उपयोगिता को प्रदर्शित करता है।

परिणाम और महत्व (Results and Significance)
शोध पत्र का दावा है कि AD-Seq सफलतापूर्वक डिफ्यूजन मॉडल्स के लचीलेपन और अनुक्रमिक डेटा की कारण संबंधी आवश्यकताओं (causal requirements) के बीच के अंतर को पाटता है।

सांख्यिकीय निष्ठा (Statistical Fidelity): विधि केवल स्टैटिक मार्जिनल्स के बजाय सार्थक अनुक्रमिक निर्भरता संरचनाओं को कैप्चर करती है।
निर्णय की गुणवत्ता (Decision Quality): पोर्टफोलियो ऑप्टिमाइजेशन प्रयोग में, एडेप्टिव जनरेशन ने उन तरीकों की तुलना में जो सूचना प्रवाह का सम्मान नहीं करते थे या अलग जेनेरेटिव दृष्टिकोणों का उपयोग करते थे, निर्णय की गुणवत्ता (शार्प रेशियो) में मापने योग्य सुधार दिखाया।
सैद्धांतिक नवीनता (Theoretical Novelty): यह कार्य सामान्य अनुक्रमिक डेटा पर लागू डिफ्यूजन मॉडल्स के लिए पहला कठोर सांख्यिकीय गारंटी प्रदान करता है, जो अनबाउंडेड कंडीशनिंग वेरिएबल्स और हिस्ट्री ट्रंकेशन की विशिष्ट चुनौती को संबोधित करता है।

लेखक इस कार्य को उन डोमेन में डिफ्यूजन मॉडल्स के उपयोग के लिए एक आधारभूत कदम के रूप में देखते हैं जहाँ सूचना का समय महत्वपूर्ण है, जिससे मल्टी-स्टेप प्रेडिक्शन, प्रेडिक्टिव कंट्रोल और इंफॉर्मेशन-फ्लो बाधाओं के तहत सांख्यिकीय अनुमान के लिए इसकी प्रयोज्यता का विस्तार होता है।

समस्या: "टाइम ट्रैवलर" की गलती

समाधान: "एक-एक कदम पर चलने वाला" शेफ

यह कैसे काम करता है (जादुई ट्रिक)

प्रमाण: क्या यह वास्तव में काम करता है?

निष्कर्ष

इसी तरह के और पेपर