🤖 machine learning

DeepLévy: Learning Heavy-Tailed Uncertainty in Highly Volatile Time Series

यह शोधपत्र DeepL'evy को पेश करता है, जो एक न्यूरल फ्रेमवर्क है जो विशेषता फलन (characteristic function) के विसंगतियों को न्यूनतम करके L'evy स्थिर वितरणों की जटिलता को दूर करता है ताकि भारी-पूंछ वाली अनिश्चितता (heavy-tailed uncertainty) को प्रभावी ढंग से मॉडल किया जा सके और अत्यधिक अस्थिर समय श्रृंखला पूर्वानुमान में मौजूदा विधियों से बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Yang Yang, Du Yin, Hao Xue, Flora Salim

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yang Yang, Du Yin, Hao Xue, Flora Salim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अगले एक सप्ताह के लिए मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। अधिकांश आधुनिक पूर्वानुमान उपकरण एक बहुत ही सावधान मौसम विज्ञानी की तरह होते हैं जो यह मान लेते हैं कि मौसम ज्यादातर "सामान्य" ही रहेगा। वे धूप वाले दिन, हल्की हवाएं और शायद हल्की बारिश की उम्मीद करते हैं। यदि कोई तूफान आता है, तो वे मानते हैं कि वह एक मानक, अनुमानित तूफान होगा।

यह 90% समय बहुत अच्छा काम करता है। लेकिन वास्तविक दुनिया में, कभी-कभी एक "ब्लैक स्वान" (Black Swan) घटना घटती है: एक विशाल तूफान, अचानक बाजार में गिरावट, या एक वायरल प्रकोप जो रातों-रात फैल जाता है। मानक उपकरण यहाँ अक्सर विफल हो जाते हैं क्योंकि उन्हें इस धारणा पर बनाया गया है कि चरम घटनाएं इतनी दुर्लभ हैं कि उन्हें अनदेखा किया जा सकता है। वे एक ऐसा सुरक्षा जाल खींचते हैं जो वास्तव में बड़ी, डरावनी आश्चर्यजनक घटनाओं को पकड़ने के लिए बहुत छोटा होता है।

मिलिए DeepLévy से: एक "तूफान-तैयार" पूर्वानुमान उपकरण के रूप में

यह शोध पत्र DeepLévy नामक एक नए AI सिस्टम का परिचय देता है। DeepLévy को एक ऐसे मौसम विज्ञानी के रूप में समझें जिसने आपदाओं से भरी इतिहास की किताबें पढ़ी हैं और जानता है कि दुनिया उतनी शांत नहीं है जितनी दिखती है। यह मानने के बजाय कि मौसम एक सौम्य 'बेल कर्व' (bell curve) का पालन करता है (जहाँ चरम घटनाएं लगभग असंभव होती हैं), DeepLévy यह मानता है कि मौसम एक "हेवी-टेल्ड" (heavy-tailed) पैटर्न का पालन करता है। इसका अर्थ यह है कि यह उम्मीद करता है कि हालांकि अधिकांश दिन सामान्य होंगे, लेकिन अन्य मॉडलों की तुलना में एक बड़े, अप्रत्याशित तूफान की संभावना बहुत अधिक है।

यह कैसे काम करता है, यहाँ सरल उपमाओं के माध्यम से समझाया गया है:

1. समस्या: "गौसियन" (Gaussian) अंध बिंदु

अधिकांश AI मॉडल जिसे गौसियन वितरण (घंटी के आकार का वक्र या बेल कर्व) कहा जाता है, उसका उपयोग करते हैं। बेल कर्व को एक चिकनी पहाड़ी के रूप में कल्पना करें। शीर्ष औसत दिन है, और किनारे धीरे-धीरे नीचे की ओर ढलते हैं। यदि आप किनारों पर बहुत दूर जाते हैं (यानी "टेल्स" या पूंछ), तो किसी घटना की संभावना इतनी तेजी से गिर जाती है कि वह व्यावहारिक रूप से शून्य हो जाती है।

दोष: वित्त या महामारी विज्ञान में, "टेल्स" चिकनी ढलान नहीं हैं; वे खड़ी चट्टानें हैं जो अचानक एक गहरी घाटी में गिर जाती हैं। एक गौसियन मॉडल सोचता है कि 100 साल में एक बार आने वाली बाढ़ असंभव है। DeepLévy जानता है कि इन प्रणालियों में, 100 साल में एक बार आने वाली बाढ़ अगले मंगलवार को भी आ सकती है।

2. समाधान: "लेवी" (Lévy) मिश्रण

DeepLévy Lévy Stable Distributions नामक एक गणितीय अवधारणा का उपयोग करता है।

उपमा: कल्पना कीजिए कि आप लोगों की भीड़ का वर्णन करने की कोशिश कर रहे हैं। एक मानक मॉडल कहता है, "हर कोई लगभग 5'10" का है, कुछ थोड़े लंबे या छोटे हैं।"
DeepLévy का दृष्टिकोण: यह कहता है, "अधिकांश लोग औसत ऊंचाई के हैं, लेकिन इस बात की वास्तविक संभावना है कि कोई 3 फीट का हो, और इस बात की भी वास्तविक संभावना है कि कोई 10 फीट का हो।" यह केवल औसत का अनुमान नहीं लगाता; यह चरम स्थितियों की संभावना को सक्रिय रूप से मॉडल करता है।
मिश्रण: DeepLévy केवल एक नियम का उपयोग नहीं करता; यह कई अलग-अलग "नियमों" को मिलाता है। यह विशेषज्ञों की एक टीम रखने जैसा है: एक जो शांत दिनों की भविष्यवाणी करता है, एक जो मध्यम तूफानों की भविष्यवाणी करता है, और एक जो विनाशकारी घटनाओं में विशेषज्ञता रखता है। AI वर्तमान स्थिति के आधार पर इन विशेषज्ञों के बीच स्विच करना सीख जाता है।

3. गुप्त नुस्खा: "घोस्ट सिग्नल" (Ghost Signal) को सुनना

यहाँ पेचीदा हिस्सा आता है। लेवी वितरण के पीछे का गणित इतना जटिल है कि आप आसानी से किसी घटना के होने की संभावना की गणना नहीं कर सकते (यह एक ऐसे पहेली को हल करने जैसा है जहाँ टुकड़े अपना आकार बदलते रहते हैं)। आमतौर पर, यह इन पर AI को प्रशिक्षित करना असंभव बना देता है।

DeepLky Characteristic Function Matching नामक एक चतुर तकनीक का उपयोग करके इस बाधा को पार करता है।

उपमा: कल्पना कीजिए कि आप एक गाना पहचानने की कोशिश कर रहे हैं, लेकिन आप उसकी धुन (प्रोबेबिलिटी डेनसिटी) नहीं सुन पा रहे हैं। हालाँकि, आप उस गाने की "फिंगरप्रिंट" या "गूँज" (कैरक्टेरिस्टिक फंक्शन) सुन सकते हैं।
यह कैसे काम करता है: डेटा के सटीक आकार का अनुमान लगाने के बजाय, DeepLévy डेटा की "गूँज" को सुनता है। यह अपनी भविष्यवाणी की गूँज की तुलना उस गूँज से करता है जो वास्तव में हुआ है। यदि गूँज मेल खाती है, तो मॉडल सही ढंग से सीख रहा है। यह इसे सीधे असंभव गणित को हल किए बिना "हेवी टेल्स" के बारे में सीखने की अनुमति देता है।

4. परिणाम: "ब्लैक स्वान" को पकड़ना

लेखकों ने DeepLévy का परीक्षण वास्तविक दुनिया के डेटा पर किया जो जंगली और अप्रत्याशित होने के लिए जाना जाता है:

बिटकॉइन की कीमतें: जहाँ कीमतें मिनटों में आसमान छू सकती हैं या गिर सकती हैं।
COVID-19 के मामले: जहाँ संक्रमण दर अचानक विस्फोट कर सकती है।

उन्होंने DeepLévy की तुलना मौजूदा सर्वश्रेष्ठ AI मॉडलों से की।

परिणाम: जबकि अन्य मॉडल आत्मविश्वासी लेकिन गलत थे (एक शांत दिन की भविष्यवाणी कर रहे थे जब तूफान आया), DeepLévy "टेल रिस्क" (tail risk) की भविष्यवाणी करने में बहुत बेहतर था।
रूपक: यदि अन्य मॉडलों ने एक ऐसा सुरक्षा जाल बनाया जो 95% गेंदों को पकड़ लेता है लेकिन 5% सबसे बड़ी गेंदों को गिरने देता है, तो DeepLévy ने एक ऐसा जाल बनाया जो 99.5% सबसे बड़ी गेंदों को पकड़ने के लिए पर्याप्त चौड़ा था। इसने जरूरी नहीं कि सामान्य दिन पर बिटकॉइन की सटीक कीमत बेहतर तरीके से बताई, लेकिन यह आपको यह बताने में कहीं अधिक श्रेष्ठ था कि, "हे, एक बड़े क्रैश के आने की वास्तविक संभावना है," जो जोखिम प्रबंधन के लिए बिल्कुल वही है जिसकी आपको आवश्यकता है।

सारांश

DeepLévy एक प्रकार का नया AI है जो यह मानने से इनकार करता है कि दुनिया शांत और अनुमानित है। अराजकता और चरम घटनाओं को अपनाने वाले एक विशेष गणितीय ढांचे का उपयोग करके, और डेटा से सीखने के लिए एक चतुर "इको-मैचिंग" (गूँज-मिलान) तकनीक का उपयोग करके, यह धन और सार्वजनिक स्वास्थ्य जैसी उच्च-जोखिम वाली स्थितियों के लिए बहुत सुरक्षित और अधिक यथार्थवादी पूर्वानुमान प्रदान करता है। यह केवल औसत की भविष्यवाणी नहीं करता; यह सबसे खराब स्थिति के लिए तैयार रहता है।

तकनीकी सारांश: DeepLévy

समस्या विवरण (Problem Statement)

डीप प्रोबेबिलिस्टिक फोरकास्टिंग मॉडल, जैसे कि DeepAR और DeepVAR, टेम्पोरल डिपेंडेंसी (temporal dependencies) को मॉडल करने में सफलता प्रदर्शित कर चुके हैं। हालाँकि, वे मुख्य रूप से इस धारणा पर निर्भर करते हैं कि शोर (noise) लाइट-टेल्ड डिस्ट्रीब्यूशन (जैसे कि Gaussian या Student's t) का अनुसरण करता है जिसमें परिमित विचरण (finite variance) होता है। यह धारणा हैवी-टेल्ड रिजीम्स (जैसे कि वित्तीय बाजार की गिरावट या महामारी के उछाल) में मौलिक रूप से विफल हो जाती है जहाँ विचरण अनंत हो सकता है और चरम विचलन (extreme deviations) घातांकीय (exponentially) के बजाय बहुपद (polynomially) रूप से घटते हैं।

मौजूदा तरीके "ब्लैक स्वान" (black swan) घटनाओं को कैप्चर करने में संघर्ष करते हैं क्योंकि मानक पैरामेट्रिक परिवार उन गैर-Gaussian व्यवहारों को व्यक्त नहीं कर सकते जिनमें अनंत विचरण और अत्यधिक विषमता (asymmetry) निहित होती है। फलस्वरूप, Gaussian-आधारित मॉडल विनाशकारी घटनाओं की संभावना को व्यवस्थित रूप से कम आंकते हैं, जिससे टेल रिस्क असेसमेंट (tail risk assessment) में गंभीर विफलताएं होती हैं। जबकि Lévy $\alpha$ -stable डिस्ट्रीब्यूशन इन गैर-Gaussian व्यवहारों को मॉडल करने के लिए एक कठोर ढांचा प्रदान करते हैं (जो स्थिरता सूचकांक $\alpha$ , विषमता $\beta$ , स्केल $\gamma$ , और लोकेशन $\delta$ द्वारा अभिलक्षित हैं), उनका डीप लर्निंग में सीधा अनुप्रयोग क्लोज्ड-फॉर्म प्रोबेबिलिटी डेंसिटी फंक्फन्स (PDFs) के अभाव के कारण बाधित है, जिससे पारंपरिक मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) अव्यवहार्य हो जाता है।

कार्यप्रणाली (Methodology): DeepLévy

लेखक DeepLévy पेश करते हैं, जो एक न्यूरल फ्रेमवर्क है जिसे बिना क्लोज्ड-फॉर्म PDFs की आवश्यकता के मल्टी-होराइजन प्रोबेबिलिस्टिक फोरकास्टिंग के लिए Lévy stable डिस्ट्रीबशन्स के मिश्रण (mixtures) को सीखने के लिए डिज़ाइन किया गया है।

मुख्य आर्किटेक्चर (Core Architecture)

DeepLévy एक एनकोडर-डिकोडर संरचना का उपयोग करता है:

सीक्वेंस एनकोडर (Sequence Encoder): ऐतिहासिक अवलोकनों $x_{1:T}$ को ट्रांसफॉर्मर्स या LSTMs जैसे आर्किटेक्चर का उपयोग करके एक कॉन्टेक्स्ट-अवेयर लेटेंट रिप्रेजेंटेशन $c$ में मैप करता है।
ऑटोरिग्रेसिव डिकोडर (Autoregressive Decoder): पिछले टाइम स्टेप्स से ऑटोरिग्रेसिव फीडबैक और लेटेंट कॉन्टेक्स्ट को शामिल करके होराइजन-विशिष्ट हिडन स्टेट्स $h^{(h)}$ उत्पन्न करता है।
कंस्ट्रेंड प्रोजेक्शन लेयर (Constrained Projection Layer): $K$ $K$ कंपोनेंट्स के लिए वैध मिश्रण मापदंडों (mixture parameters) में लेटेंट रिप्रेजेंटेशन को रूपांतरित करती है। गणितीय वैधता और संख्यात्मक स्थिरता सुनिश्चित करने के लिए, नेटवर्क आउटपुट को विशिष्ट बाधाओं के माध्यम से प्रोजेक्ट किया जाता है:
- मिक्सिंग वेट्स ( $\pi$ ): इसे 1 के योग के लिए Softmax के माध्यम से लागू किया गया है।
- स्टेबिलिटी इंडेक्स ( $\alpha$ ): इसे 0 और 2 के पास सिंगुलैरिटीज़ से बचने के लिए $[0.1, 1.95]$ तक प्रोजेक्ट किया गया है।
- स्केनेस ( $\beta$ ): इसे सीमाओं पर संख्यात्मक नाजुकता से बचने के लिए $(-0.98, 0.98)$ तक प्रोजेक्ट किया गया है।
- स्केल ( $\gamma$ ): इसे सख्ती से धनात्मक (positive) रहने के लिए प्रोजेक्ट किया गया है।
- लोकेशन ( $\delta$ ): अनकन्स्ट्रेंड रियल वैल्यूज।

कैरेक्टरिस्टिक फंक्शन मैचिंग के माध्यम से प्रशिक्षण (Training via Characteristic Function Matching)

चूंकि PDF अव्यवहार्य है, DeepLévy स्पेक्ट्रल डोमेन में कार्य करता है और टारगेट अवलोकनों के एम्पिरिकल CF (Characteristic Function) के साथ कैरेक्टरिस्टिक फंक्शन (CF) को मैच करता है।

उद्देश्य: मॉडल एक डिस्क्रीट फ्रीक्वेंसी ग्रिड पर प्रेडिक्टेड मिक्सचर CF और टारगेट ऑब्जर्वेशन के एम्पिरिकल CF के बीच वेटेड स्क्वेर्ड डिस्टेंस को कम करता है।
स्केल-एडेप्टिव फ्रीक्वेंसी वेटिंग: हाई फ्रीक्वेंसी पर एम्पिरिकल CFs में सिग्नल-टू-नॉइज़ रेशियो के तेजी से घटने को संबोधित करने के लिए, लेखक एक वेटिंग स्कीम पेश करते हैं जो प्रेडिक्टेड डिस्ट्रीब्यूशन के डिके रेट (decay rate) के अनुसार गतिशील रूप से अनुकूलित होती है। यह हाई-फ्रीक्वेंसी नॉइज़ पर ओवरफिटिंग को रोकता है।
पैरामीट्राइजेशन: फ्रेमवर्क Nolan's $S_0$ -parameterization का उपयोग करता है, जो $\alpha = 1$ पर कैरेक्टरिस्टिक फंक्शन की निरंतरता सुनिश्चित करता है, जिससे मानक पैरामीट्राइजेशन में सामान्य संख्यात्मक अस्थिरता की समस्याएं हल हो जाती हैं।
रेगुलराइजेशन: मोड कोलैप्स को रोकने और कई मिश्रण घटकों के उपयोग को प्रोत्साहित करने के लिए लॉस में एक एंट्रॉपी रेगुलराइजेशन टर्म जोड़ा गया है।

इन्फरेंस (Inference)

इन्फरेंस के दौरान, मॉडल Chambers-Mallows-Stuck (CMS) एल्गोरिदम का उपयोग करके प्रेडिक्टिव सैंपल्स जेनरेट करता है, जो सीखे गए मापदंडों द्वारा परिभाषित हेवी-टेल्ड प्रेडिक्टिव डिस्ट्रीब्यूशन से कुशल सैंपलिंग की अनुमति देता है।

प्रमुख योगदान (Key Contributions)

नवल फ्रेमवर्क: यह पेपर पहला डीप न्यूरल आर्किटेक्चर प्रस्तावित करता है जो वित्त-केंद्रित (finite-variance) धारणाओं से आगे बढ़कर, हेवी-टेल्ड अनसर्टेन्टी लर्निंग के लिए स्टेबल डिस्ट्रीबशंस के पूर्ण पैरामीटर स्पेस ( $\alpha, \beta, \gamma, \delta$ ) को डीप लर्निंग के साथ प्रभावी ढंग से एकीकृत करता है।
रोबस्ट ऑप्टिमाइजेशन स्ट्रैटेजी: लेखक निम्नलिखित माध्यमों से स्टेबल डिस्ट्रीबशंस की संख्यात्मक अस्थिरता को संबोधित करते हैं:
- एक स्केल-एडेप्टिव फ्रीक्वेंसी वेटिंग स्कीम।
- निरंतर $S_0$ -parameterization का उपयोग।
- गणितीय वैधता बनाए रखने के लिए कंस्ट्रेंड पैरामीटर प्रोजेक्शन।
स्पेक्ट्रल-डोमेन लर्निंग: अव्यवहार्य लाइकलीहुड्स को मैक्सिमाइज करने के बजाय कैरेक्टरिस्टिक फंक्शन्स को मैच करके, यह विधि स्टैंडर्ड ग्रेडिएंट डिसेंट के माध्यम से हेवी-टेल्ड मॉडल्स के एंड-टू-एंड ट्रेनिंग को सक्षम बनाती है।

प्रयोगात्मक परिणाम (Experimental Results)

DeepLévy का मूल्यांकन तीन डेटासेट्स पर किया गया: Bitcoin Returns, COVID-19 Cases, और Synthetic Lévy sequences।

टेल रिस्क परफॉरमेंस: DeepLévy टेल-रिस्क मेट्रिक्स में स्टेट-ऑफ-द-आर्ट बेसलाइन्स (जिसमें Gaussian, Laplace, Student's t और मिक्सचर वेरिएंट्स के साथ DeepAR, और DeepVAR एवं ProbTransformer शामिल हैं) को महत्वपूर्ण रूप से पछाड़ देता है।
- Bitcoin Returns पर, DeepLévy ने सर्वश्रेष्ठ बेसलाइन (Mixture Student's t) के 0.468 के मुकाबले 0.441 का Tail-CRPS प्राप्त किया।
- कवरेज: अत्यधिक 0.995 क्वांटाइल पर, DeepLévy ने 0.979 का कवरेज प्राप्त किया (विचलन 0.016), जबकि सर्वश्रेष्ठ बेसलाइन 0.968 तक ही पहुँच पाई।
एब्लेशन स्टडीज (Ablation Studies):
- स्केल-एडेप्टिव वेटिंग को हटाने से Tail-CRPS में महत्वपूर्ण गिरावट आई (जैसे कि Bitcoin पर 0.522 बनाम 0.441), जो फ्रीक्वेंसी री-वेटिंग की आवश्यकता की पुष्टि करता है।
- $S_0$ के बजाय डिस्कंटीन्यूअस $S_1$ पैरामीट्राइजेशन का उपयोग करने से प्रदर्शन खराब हुआ, विशेष रूप से अस्थिर (volatile) शासन में, जो संख्यात्मक स्थिरता के महत्व को रेखांकित करता है।
- पूर्ण मिक्सचर मॉडल ( $K>1$ ) सिंगल-कंपोनेंट वेरिएंट की तुलना में बेहतर प्रदर्शन करता है, जो मल्टी-मोडल टेल डायनेमिक्स को कैप्चर करने के मूल्य को दर्शाता है।
ट्रेड-ऑफ: परिणाम एक "सेंटर-टेल ट्रेड-ऑफ" का संकेत देते हैं। जबकि एसिमेट्रिक/मिक्सचर Student's t वेरिएंट अक्सर ग्लोबल मेट्रिक्स (जैसे कि स्टैंडर्ड CRPS) पर बेहतर प्रदर्शन करते हैं, DeepLévy अत्यधिक-टेल क्षेत्रों में बेहतर सटीकता प्रदान करता है, जो जोखिम मूल्यांकन के लिए महत्वपूर्ण है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि DeepLévy हेवी-टेल्ड अनसर्टेन्टी लर्निंग के लिए Lévy stable डिस्ट्रीबशंस को डीप न्यूरल नेटवर्क्स के साथ एकीकृत करने की व्यवहार्यता को प्रदर्शित करता है। फाइनाइट-वैरिएंस धारणा को शिथिल करके, यह फ्रेमवर्क वित्तीय जोखिम मूल्यांकन और महामारी विज्ञान संकट प्रबंधन जैसे उच्च-दांव वाले डोमेन में टेल रिस्क के सटीक मात्रा निर्धारण को सक्षम बनाता है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें एक पैरामेट्रिक स्टेबल-फैमिली धारणा पर निर्भरता और एम्पिरिकल CF एस्टीमेशन को स्थिर करने के लिए लाइकलीहुड-आधारित तरीकों की तुलना में बड़े बैच साइज की आवश्यकता शामिल है। हालांकि, वे तर्क देते हैं कि टेल कैलिब्रेशन में सुधार इन लागतों को उचित ठहराता है, विशेष रूप से उन अनुप्रयोगों के लिए जहाँ चरम घटनाओं को कम आंकना अस्वीकार्य है। यह कार्य सुझाव देता है कि भविष्य के शोध मल्टीवेरिएट स्टेबल डिस्ट्रीबशंस और टेल मापदंडों में टेम्पोरल डिपेंडेंसी की खोज कर सकते हैं।