🤖 machine learning

ABC: Any-Subset Autoregression via Non-Markovian Diffusion Bridges in Continuous Time and Space

यह शोध पत्र ABC प्रस्तुत करता है, जो एक नवीन ढांचा है जो वीडियो जनरेशन और मौसम पूर्वानुमान जैसे कार्यों में मौजूदा डिफ्यूजन मॉडलों की संरचनात्मक और गतिशील सीमाओं को दूर करने के लिए, गैर-मार्कोवियन डिफ्यूजन ब्रिजेस और निरंतर-समय SDEs का लाभ उठाते हुए, अवलोकनों के मनमाने उपसमुच्चयों पर आधारित स्टोकेस्टिक प्रक्रियाओं को उत्पन्न करता है।

मूल लेखक: Gabe Guo, Thanawat Sornwanee, Lutong Hao, Elon Litman, Stefano Ermon, Jose Blanchet

प्रकाशित 2026-05-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gabe Guo, Thanawat Sornwanee, Lutong Hao, Elon Litman, Stefano Ermon, Jose Blanchet

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसी फिल्म के गायब पन्नों को भरने की कोशिश कर रहे हैं जिसे एक टूटे हुए कैमरे से फिल्माया गया है। आपके पास पहला फ्रेम है, आखिरी फ्रेम है, और शायद बीच में कुछ यादृच्छिक (random) फ्रेम भी हैं, लेकिन बाकी सब खाली है। आपका लक्ष्य यह अनुमान लगाना है कि उन खाली जगहों में क्या होता है ताकि कहानी सुचारू रूप से आगे बढ़ सके।

यह वही समस्या है जिसे ABC (Any-Subset Autoregression via Non-Markovian Diffusion Bridges) नामक पेपर हल करने की कोशिश करता है। यह कंप्यूटर के लिए वीडियो या मौसम के पूर्वानुमान जैसी निरंतर चीजों को उत्पन्न करने का एक नया तरीका है, खासकर जब डेटा अव्यवस्थित, अनियमित या टुकड़ों में गायब हो।

यहाँ इस पेपर को सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:

समस्या: पुराना तरीका "कूदने" जैसा है

वर्तमान विधियाँ (जैसे मानक डिफ्यूजन मॉडल) एक अनाड़ी चित्रकार की तरह काम करती हैं।

"शोर-से-डेटा" का उछाल (The "Noise-to-Data" Jump): वीडियो का अगला फ्रेम बनाने के लिए, ये पुरानी विधियाँ अक्सर स्टैटिक (रैंडम शोर) से ढके एक खाली कैनवास से शुरुआत करती हैं और शून्य से नई छवि बनाने की कोशिश करती हैं।
- दोष: एक वास्तविक वीडियो में, फ्रेम 1 और फ्रेम 2 के बीच का अंतर बहुत कम होता है (एक व्यक्ति का हाथ थोड़ा सा हिलता है)। लेकिन रैंडम शोर से शुरुआत करना ऐसा है जैसे उस हाथ को दूसरे कमरे में टेलीपोर्ट करके उसे हिलाना। यह इस तथ्य को अनदेखा करता है कि नया फ्रेम पिछले फ्रेम के बहुत समान होना चाहिए। इससे वीडियो झटकेदार और फ्लिकरिंग वाला बनता है।
"एक ही आकार का" टाइमर (The "One-Size-Fits-All" Timer): ये पुरानी विधियाँ समय को एक सामान्य स्टॉपवॉच की तरह मानती हैं। वे मानती हैं कि अगला फ्रेम बनाने के लिए जोड़ा गया "शोर" (chaos) उतना ही होता है, चाहे आप 1 सेकंड भविष्य में देख रहे हों या 1 घंटा भविष्य में।
- दोष: वास्तव में, 1 सेकंड का वीडियो बहुत कम बदलता है, जबकि 1 घंटे का वीडियो बहुत अधिक बदल जाता है। यदि आप दोनों के लिए समान मात्रा में "शोर" का उपयोग करते हैं, तो अल्पकालिक वीडियो झटकेदार दिखता है, और दीर्घकालिक वीडियो अवास्तविक लगता है।
"सख्त क्रम" का नियम (The "Strict Order" Rule): अधिकांश मॉडल केवल आपको अतीत के आधार पर भविष्य की भविष्यवाणी करने की अनुमति देते हैं। वे एक "स्पॉइलर" (जैसे कि फिल्म का आखिरी फ्रेम) का उपयोग करके बीच के हिस्से को भरने में आसानी से सक्षम नहीं हैं।

समाधान: "ABC" विधि

लेखक ABC का प्रस्ताव देते हैं, जो एक कूदने वाले के बजाय एक स्मार्ट, निरंतर पुल निर्माता की तरह कार्य करता है।

1. "डेटा-से-डेटा" ब्रिज (The "Data-to-Data" Bridge)

रैंडम शोर से शुरू करने के बजाय, ABC ठीक वहीं से शुरू होता है जहाँ पिछला ज्ञात फ्रेम समाप्त हुआ था।

उपमा: कल्पना कीजिए कि आप एक कुत्ते को टहला रहे हैं। यदि आप जानना चाहते हैं कि कुत्ता 5 सेकंड में कहाँ होगा, तो आप पार्क में किसी यादृच्छिक स्थान से अनुमान नहीं लगाते; आप वहीं से शुरू करते हैं जहाँ अभी कुत्ते की नाक है। ABC यही करता है। यह जनरेशन प्रक्रिया को एक ज्ञात स्थिति से अगली स्थिति तक एक निरंतर यात्रा के रूप में देखता है, जो बड़े और झटकेदार बदलावों के बजाय छोटे, प्राकृतिक समायोजन करता है।

2. "भौतिक समय" की घड़ी (The "Physical Time" Clock)

ABC समझता है कि समय का एक भौतिक भार होता है।

उपमा: एक नदी के बारे में सोचें। यदि आप एक पत्ता गिराते हैं, तो वह कम दूरी (1 सेकंड) में धीरे चलता है लेकिन लंबी दूरी (1 घंटा) में बहुत दूर तक जाता है।
- पुराने तरीके नदी को ऐसे देखते हैं जैसे पानी की गति कितनी भी दूर देखने पर समान ही रहती है।
- ABC वास्तविक समय बीतने के आधार पर "पानी की गति" (volatility) को समायोजित करता है। यदि अंतराल छोटा है, तो यह बहुत कम "लहर" (wobble) जोड़ता है। यदि अंतराल बहुत बड़ा है, तो यह बड़े बदलावों को संभालने के लिए अधिक "लहर" जोड़ता है। यह गति को भौतिक रूप से वास्तविक बनाता है।

3. "किसी भी उपसमुच्चय" की शक्ति (The "Any-Subset" Superpower)

ABC अतीत, भविष्य या दोनों के मिश्रण को देखकर खाली जगहों को भर सकता है।

उपमा: कल्पना कीजिए कि आप एक क्रॉसवर्ड पहेली भर रहे हैं।
- पुराने मॉडल केवल खाली वर्ग के बाईं ओर के अक्षरों को देख सकते हैं।
- ABC बाईं ओर के अक्षरों, दाईं ओर के अक्षरों और यहाँ तक कि शब्द के बीच के उन अक्षरों को भी देख सकता है जिन्हें आपने पहले ही सुलझा लिया है। यह गायब हिस्सों का अनुमान लगाने के लिए सभी उपलब्ध सुरागों (टाइमलाइन के किसी भी उपसमुच्चय) का उपयोग करता है, चाहे वे अतीत के हों या भविष्य के।

यह कैसे काम करता है (जादुई ट्रिक)

पेपर कुछ कठिन गणित (Stochastic Differential Equations और "Change of Measure") का उपयोग करता है, लेकिन मूल विचार सरल है:
उन्होंने एक एकल, निरंतर गणितीय "सड़क" (एक SDE) बनाई है जो वास्तविक समय को ट्रैक करती है। हर कदम के लिए एक नया पुल बनाने के बजाय (जिससे "झटकेदार" समस्याएं होती हैं), उन्होंने एक लंबी, सुचारू सड़क बनाई है जो सभी ज्ञात बिंदुओं को जोड़ती है। फिर वे एक न्यूरल नेटवर्क का उपयोग करते हैं ताकि "ड्रिफ्ट" (दिशा) को सीखा जा सके, ताकि इस सड़क पर चलने वाली कार स्वाभाविक रूप से सभी विशिष्ट चेकपॉइंट्स (ज्ञात फ्रेम) से बिना टकराए गुजर सके।

परिणाम

लेखकों ने इनका परीक्षण किया:

वीडियो: चेहरों के वीडियो (CelebV-HQ) और आकाश के टाइम-लैप्स (Sky-Timelapse) में गायब फ्रेम भरना।
मौसम: तूफान के पैटर्न की भविष्यवाणी करना (SEVIR dataset)।

निर्णय:
अपने परीक्षणों में, ABC ने पिछले तरीकों की तुलना में अधिक सुचारू, अधिक यथार्थवादी वीडियो और मौसम के पूर्वानुमान बनाए।

इसमें फ्लिकरिंग कम हुई (बेहतर टेम्पोरल कंसिस्टेंसी)।
इसने अनियमित अंतराल (जैसे गायब फ्रेम) को बेहतर ढंग से संभाला।
यह अतीत को भरने के लिए "भविष्य" के फ्रेमों का उपयोग कर सका, जिसमें पुराने मॉडल संघर्ष करते थे।

सारांश

ABC एक "कूदने वाले रोबोट" से अपग्रेड करने जैसा है जो शून्य से अगले कदम का अनुमान लगाने की कोशिश करता है, और एक "सुचारू ग्लाइडर" की तरह है जो स्वाभाविक रूप से एक ज्ञात बिंदु से दूसरे तक बहता है, यह समायोजित करता है कि कितना समय बीत चुका है और सही रास्ते पर रहने के लिए हर उपलब्ध सुराग (अतीत या भविष्य) का उपयोग करता है। पेपर का दावा है कि इससे वीडियो और मौसम जैसे समय-आधारित डेटा का अधिक यथार्थवादी और लचीला निर्माण होता है।

यहाँ शोध पत्र "ABC: Any-Subset Autoregression via Non-Markovian Diffusion Bridges in Continuous Time and Space" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र निरंतर समय और निरंतर स्थान (continuous-time, continuous-space) वाले स्टोकेस्टिक प्रोसेस (जैसे वीडियो, मौसम का पूर्वानुमान, स्टॉक की कीमतें) को आंशिक अवलोकनों (partial observations) के आधार पर उत्पन्न करने की मौलिक चुनौती का समाधान करता है। ये अवलोकन निम्नलिखित हो सकते हैं:

अनियमित रूप से नमूना लिए गए (Irregularly sampled): डेटा बिंदु समय में समान अंतराल पर नहीं होते (जैसे, छिटपुट GPS रीडिंग)।
गैर-कारण (Non-causal): भविष्य की अवस्थाओं पर आधारित होना (जैसे, पहले और अंतिम फ्रेम दिए जाने पर एक वीडियो के बीच के हिस्से को भरना/infilling)।
कोई भी उपसमुच्चय (Arbitrary subsets): मॉडल को अतीत, वर्तमान और भविष्य के अवलोकनों के किसी भी संयोजन को संभालने में सक्षम होना चाहिए।

मौजूदा दृष्टिकोणों की सीमाएँ:

शोर-से-डेटा डिफ्यूजन (Noise-to-Data Diffusion): मानक डिफ्यूजन मॉडल (जैसे DDPM) गॉसियन शोर (Gaussian noise) को डेटा में मैप करते हैं। यह टाइम सीरीज़ की भौतिक निरंतरता (physical continuity) की अनदेखी करता है, जहाँ आस-पास की अवस्थाएँ अत्यधिक समान होती हैं। अनभिज्ञ शोर (uninformative noise) से शुरुआत करने से संरचनात्मक संरक्षण खराब होता है और भौतिक रूप से अवास्तविक संक्रमण (transitions) उत्पन्न होते हैं।
निश्चित अस्थिरता अनुसूचियाँ (Fixed Volatility Schedules): मौजूदा डिफिफ़्यूज़न ब्रिज अक्सर एक सहायक समय चर $\tau \in [0, 1]$ का उपयोग करते हैं जो भौतिक समय से स्वतंत्र होता है। वे भौतिक समय के बीतने के बावजूद समान मात्रा में शोर इंजेक्ट करते हैं। यह सही डायनेमिक्स को पकड़ने में विफल रहता है (उदाहरण के लिए, 1 सेकंड के अंतराल में 1 घंटे के अंतराल की तुलना में कम अस्थिरता होनी चाहिए)।
मार्कोवियन धारणाएँ (Markovian Assumptions): अधिकांश मॉडल यह मानते हैं कि अगली अवस्था केवल पिछली तत्काल अवस्था पर निर्भर करती है, जिससे दीर्घकालिक अस्थायी निर्भरताओं (long-range temporal dependencies) और पथ इतिहास (path history) की अनदेखी होती है।
विविक्त समय (Discrete Time): कई ऑटोरेग्रेसिव मॉडल निश्चित ग्रिड पर कार्य करते हैं, जो उन्हें अनियमित सैंपलिंग या निरंतर-समय अनुमान के लिए अनुपयुक्त बनाता है।

2. कार्यप्रणाली: ABC ढांचा (Methodology: The ABC Framework)

लेखक ABC (Any-Subset Autoregressive Models via Non-Markovian Diffusion Bridges) का प्रस्ताव करते हैं, जो निरंतर समय और स्थान में डिफ्यूजन मॉडल और ऑटोरेग्रेसिव जनरेशन को एकीकृत करता है।

मुख्य अंतर्दृष्टि (Core Insight)

कई छोटे ब्रिज को जोड़ने या शोर को डेटा में मैप करने के बजाय, ABC पूरे प्रोसेस को एक निरंतर स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) के रूप में मॉडल करता है जहाँ समय चर और मध्यवर्ती अवस्थाएँ सीधे भौतिक समय और प्रोसेस स्टेट्स के अनुरूप होती हैं।

मुख्य तकनीकी घटक (Key Technical Components)

A. परिवर्तन-माप (Change-of-Measure) के माध्यम से डेटा-जनरेटिंग डायनेमिक्स

आधार प्रक्रिया (Base Process): लेखक एक डेटा-स्वतंत्र आधार प्रक्रिया (एक ऑर्नस्टीन-उहलेनबेक प्रक्रिया) $dX_t = -a(t)X_t dt + \sigma(t)dB_t$ को परिभाषित करते हैं।
Doob $h$ -Transform: आधार प्रक्रिया को विशिष्ट समय बिंदुओं पर डेटा वितरण $p_{data}$ से मिलाने के लिए, वे एक परिवर्तन-माप (Doob $h$ -transform) लागू करते हैं। यह एक ड्रिफ्ट टर्म (drift term) पेश करता है जो SDE को निर्धारित समय पर डेटा के उच्च-घनत्व वाले क्षेत्रों की ओर "खींचता" है।
गैर-मार्कोवियन ड्रिफ्ट (Non-Markovian Drift): मानक डिफ्यूजन के विपरीत, ड्रिफ्ट $s(t, X_t; X_{0:i^*})$ पथ-निर्भर (path-dependent) है। यह देखे गए अवस्थाओं के संपूर्ण इतिहास $X_{0:i^*}$ (जहाँ $i^*$ समय $t$ से ठीक पहले का नवीनतम अवलोकन सूचकांक है) पर आधारित है। यह मॉडल को जटिल, गैर-मार्कोवियन सहसंबंधों को पकड़ने की अनुमति देता है।

B. समय-अनुकूल अस्थिरता (Time-Adaptive Volatility)

SDE में अस्थिरता $\sigma(t)$ भौतिक समय से जुड़ी हुई है।
Theorem 3 सिद्ध करता है कि अलग-अलग डिफ्यूजन ब्रिज को जोड़ने से (भले ही वे मार्जिनल डिस्ट्रीब्यूशन से मेल खाते हों) एक एकल निरंतर SDE की तुलना में गलत पथ माप (quadratic variations) प्राप्त होते हैं।
भौतिक समय के साथ एक एकल SDE का उपयोग करके, शोर का इंजेक्शन स्वाभाविक रूप से बीते हुए समय के साथ स्केल होता है, जिससे भौतिक रूप से प्रशंसनीय डायनेमिक्स सुनिश्चित होते हैं (जैसे, कम समय के अंतराल में कम परिवर्तन, लंबे अंतराल में अधिक परिवर्तन)।

C. पथ- और समय-निर्भर स्कोर मैचिंग (Path- and Time-Dependent Score Matching)

प्रशिक्षण उद्देश्य (Training Objective): लेखक एक लॉस फंक्शन निकालते हैं जो डिनॉइजिंग स्कोर मैचिंग (DSM) को गैर-मार्कोवियन, समय-निर्भर मामले में सामान्यीकृत करता है।
लक्ष्य (Target): नेटवर्क स्कोर $\nabla_{x_t} \log p_{base}(x_{t_{i^*+1}} | x_t)$ की भविष्यवाणी करना सीखता है, जो प्रभावी रूप से यह बताता है कि वर्तमान अवस्था $x_t$ को पूर्ण पथ इतिहास के आधार पर अगले देखे गए वेपॉइंट $x_{t_{i^*+1}}$ के साथ संरेखित करने के लिए कैसे समायोजित किया जाना चाहिए।
Any-Subset Conditioning: न्यूरल नेटवर्क (एक ट्रांसफार्मर क्रॉस-अटेंशन के साथ) इनपुट के रूप में लेता है:
- वर्तमान शोर वाली अवस्था $x_t$ ।
- वर्तमान भौतिक समय $t$ ।
- अगले लक्ष्य अवस्था का समय $t_{i^*+1}$ ।
- सभी देखे गए वेपॉइंट्स (अतीत और भविष्य) का सेट $K$ ।
  यह मॉडल को अवलोकनों के किसी भी उपसमुच्चय को संभालने की अनुमति देता है, जिसमें गैर-कारण भविष्य के फ्रेम भी शामिल हैं।

D. आर्किटेक्चर (Architecture)

Diffusion Transformer (DiT) पर आधारित है।
इसे कंडीशनिंग वेपॉइंट्स (अतीत और भविष्य) को प्रोसेस करने के लिए क्रॉस-अटेंशन (cross-attention) लेयर्स के साथ विस्तारित किया गया है।
इनपुट में शोर वाला लेटेंट, वर्तमान समय, अगले वेपॉइंट का समय और टाइमस्टैम्प के साथ कंडीशनिंग फ्रेम्स का सेट शामिल है।

3. प्रमुख योगदान (Key Contributions)

ABC मॉडल: एक नवीन SDE-आधारित जेनेरेटिव मॉडल जो ऑटोरेग्रेशन को निरंतर समय और स्थान में सामान्यीकृत करता है, विशेष रूप से Any-Subset मामले (अनियमित सैंपलिंग, गैर-कारण कंडीशनिंग) को संबोधित करता है।
सैद्धांतिक गारंटी (Theoretical Guarantees):
- सिद्ध करता है कि सही पथ माप (path measures) को पकड़ने के लिए भौतिक समय को ट्रैक करने वाला एक एकल निरंतर SDE आवश्यक है (Theorem 3)।
- दर्शाता है कि सटीक प्रक्रिया मॉडलिंग के लिए समय-अनुकूल अस्थिरता (time-adaptive volatility) अत्यंत महत्वपूर्ण है।
प्रशिक्षण उद्देश्य: एक स्केलेबल, सिम्युलेशन-मुक्त प्रशिक्षण उद्देश्य (Path-Dependent Bridge Score Matching) व्युत्पन्न करता है जो DSM को गैर-मार्कोवियन, समय-निर्भर परिदृश्यों तक विस्तारित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): वीडियो जनरेशन और मौसम के पूर्वानुमान पर अत्याधुनिक प्रदर्शन दिखाता है, जो चेन्ड डिफ्यूजन ब्रिज और नॉइज़-टू-डेटा डिफ्यूजन से बेहतर है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने CelebV-HQ (चेहरे के वीडियो), Sky-Timelapse (मौसम के वीडियो), और SEVIR (रडार मौसम डेटा) पर ABC का मूल्यांकन किया।

मेट्रिक्स: टेम्पोरल कंसिस्टेंसी के लिए FVD (Fréchet Video Distance) और फ्रेम क्वालिटी के लिए FID का उपयोग किया गया। मौसम के लिए, MAE, MSE और CSI (Critical Success Index) का उपयोग किया गया।
प्रदर्शन:
- वीडियो जनरेशन: ABC ने FVD में बेसलाइन (Conditional Diffusion Bridges और Noise-to-Data Diffusion) को काफी पीछे छोड़ दिया, विशेष रूप से गैर-कारण सेटिंग्स (मिसिंग फ्रेम्स को भरना) में। इसने FVD और FID दोनों में पारेटो ऑप्टिमलिटी (Pareto optimality) प्राप्त की।
- मौसम का पूर्वानुमान: ABC ने SEVIR पर सर्वश्रेष्ठ समग्र प्रदर्शन किया, जो बेसलाइन की तुलना में तूफान की घटनाओं की भविष्यवाणी करने में बेहतर सटीकता प्रदर्शित करता है।
- एब्लेशन स्टडीज (Ablation Studies):
  - अस्थिरता (Volatility): निश्चित अस्थिरता अनुसूची वाले मॉडलों की तुलना में समय-अनुकूल अस्थिरता (ABC) वाले मॉडल लगातार बेहतर रहे।
  - कंडीशनिंग: पथ-निर्भर कंडीशनिंग (पूर्ण इतिहास का उपयोग) ने मार्कोवियन (केवल अंतिम फ्रेम) या प्रीफिक्स-ओनली कंडीशनिंग की तुलना में बेहतर परिणाम दिए।
  - Data-to-Data बनाम Noise-to-Data: डेटा-टू-डेटा ब्रिज (ABC), नॉइज़-टू-डेटा डिफ्यूजन की तुलना में श्रेष्ठ थे, जो संख्यात्मक कठोरता (numerical stiffness) और असंगत डायनेमिक्स से ग्रस्त था।

5. महत्व और प्रभाव (Significance and Impact)

पैराडाइम शिफ्ट: टाइम सीरीज़ के लिए "नॉइज़-टू-डेटा" प्रतिमान से आगे बढ़कर, एक "डेटा-टू-डेटा" ब्रिज ढांचे की स्थापना करता है जो भौतिक समय की निरंतरता का सम्मान करता है।
लचीलापन: निरंतर समय में Any-Subset Autoregression की लंबे समय से चली आ रही समस्या को हल करता है, जिससे अनियमित फ्रेम दर वाले वीडियो इनपेंटिंग, स्पार्स सेंसर डेटा इम्प्यूटेशन और गैर-कारण फोरकास्टिंग जैसे अनुप्रयोग संभव होते हैं।
सैद्धांतिक कठोरता: मेजर थ्योरी और स्टोकेस्टिक कैलकुलस का उपयोग करके एक गणितीय रूप से सुदृढ़ व्युत्पत्ति प्रदान करता है, जो यह सिद्ध करता है कि पिछले "चेन्ड ब्रिज" दृष्टिकोण क्यों विफल होते हैं।
व्यावहारिक उपयोगिता: यह प्रदर्शित करता है कि भौतिक समय के विकास को सीधे मॉडल करने से मौसम और वीडियो जैसे जटिल डोमेन में अधिक यथार्थवादी और सुसंगत जनरेशन प्राप्त होता है।

संक्षेप में, ABC डिफ्यूजन ब्रिज, ऑटोरेग्रेशन और निरंतर-समय डायनेमिक्स को एक एकल, सैद्धांतिक रूप से सुदृढ़ ढांचे में एकीकृत करके टाइम सीरीज़ के लिए जेनेरेटिव मॉडलिंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।