📊 statistics

Semi-parametric bulk and tail regression using spline-based neural networks

यह शोध पत्र SPQRx प्रस्तुत करता है, जो एक नवीन अर्ध-पैरामीट्रिक क्वांटाइल रिग्रेशन ढांचा है जो लचीली, व्याख्या योग्य घनत्व मॉडलिंग को सक्षम करने के लिए स्प्लाइन-आधारित न्यूरल नेटवर्क को एक मिश्रित सामान्यीकृत पारेटो वितरण के साथ एकीकृत करता है, जो विश्वसनीय टेल एक्सट्रपलेशन के लिए एक्सट्रीम वैल्यू थ्योरी गारंटियों को संतुष्ट करता है।

मूल लेखक: Reetam Majumder, Jordan Richards

प्रकाशित 2026-02-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Reetam Majumder, Jordan Richards

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मौसम का पूर्वानुमान लगाने की कोशिश कर रहे हैं, लेकिन आपकी दिलचस्पी केवल दो चीजों में है: औसत (average) दिन और विनाशकारी (catastrophic) तूफान।

अधिकांश मानक मौसम मॉडल चश्मे की एक ऐसी जोड़ी की तरह हैं जो धूप वाले दिनों और हल्की बूंदाबांदी के लिए तो बिल्कुल सही काम करते हैं। लेकिन जब कोई विशाल तूफान आता है, तो वे चश्मे धुंधले हो जाते हैं और टूट जाते हैं। वे तूफान को स्पष्ट रूप से नहीं देख पाते क्योंकि उन्हें "चरम" (extreme) छोर को देखने के लिए डिज़ाइन ही नहीं किया गया था।

यह शोध पत्र एक नई, सुपर-पावर्ड चश्मे की जोड़ी पेश करता है जिसे SPQRx कहा जाता है। यह एक स्मार्ट सिस्टम है जो बोरिंग, औसत दिनों और भयानक, रिकॉर्ड तोड़ने वाले तूफानों, दोनों का एक साथ पूर्वानुमान लगा सकता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: "दो दुनियाओं" का द्वंद्व (The "Two-World" Dilemma)

सांख्यिकी (statistics) में, डेटा को देखने के दो मुख्य तरीके हैं:

द बल्क (The Bulk - औसत): यह डेटा का मध्य भाग है। अधिकांश जंगल की आग छोटी या मध्यम आकार की होती है। मानक AI मॉडल (जैसे न्यूरल नेटवर्क) इन पैटर्न को सीखने में माहिर होते हैं। वे लचीले होते हैं और किसी भी आकार के अनुकूल ढल सकते हैं।
द टेल (The Tail - चरम): यह दुर्लभ, खतरनाक चीजें हैं। "100 साल में एक बार" आने वाली आग। मानक AI मॉडल यहाँ विफल हो जाते हैं। यदि उन्होंने अपने प्रशिक्षण डेटा में 5,000 एकड़ से बड़ी आग नहीं देखी है, तो वे यह अनुमान नहीं लगा सकते कि 50,000 एकड़ की आग कैसी दिखेगी। वे बस अनुमान लगाना बंद कर देते हैं।

दूसरी ओर, पुराने जमाने के "एक्सट्रीम वैल्यू" (Extreme Value) सिद्धांत चरम स्थितियों की भविष्यवाणी करने में माहिर हैं, लेकिन वे कठोर (rigid) हैं। वे डेटा को एक विशिष्ट, उबाऊ आकार में फिट करने के लिए मजबूर करते हैं जो "औसत" दिनों की वास्तविक और बिखरी हुई वास्तविकता के अनुकूल नहीं होता।

उपमा (Analogy): कल्पना कीजिए कि आप एक देश का नक्शा बनाने की कोशिश कर रहे हैं।

विधि A (मानक AI): शहरों और सड़कों को पूरी तरह से चित्रित करता है, लेकिन जब आप मानचित्र के किनारे (महासागर) पर पहुँचते हैं, तो यह चित्र बनाना बंद कर देता है।
विधि B (पुरानी एक्सट्रीम थ्योरी): महासागर को एक सीधी रेखा के साथ सटीक रूप से चित्रित करती है, लेकिन बीच के शहर विकृत धब्बों (distorted blobs) की तरह दिखते हैं।

2. समाधान: "मिश्रित" दृष्टिकोण (The "Blended" Approach)

लेखकों ने एक नया तरीका बनाया है जिसे SPQRx (Semi-Parametric Quantile Regression for Extremes) कहा जाता है। उन्होंने इन दोनों तरीकों को आपस में "ब्लेंड" करके इस समस्या को हल किया, जैसे कि सही रंग पाने के लिए दो प्रकार के रंगों को मिलाना।

उन्होंने एक नया गणितीय आकार बनाया जिसे Blended Generalized Pareto (bGP) डिस्ट्रीब्यूशन कहा जाता है। इसे एक निर्बाध पुल (Seamless Bridge) के रूप में सोचें:

बायां हिस्सा (The Bulk): औसत आग का सटीक मॉडल बनाने के लिए एक लचीले, आकार बदलने वाले AI (जिसे SPQR कहा जाता है) का उपयोग करता है। यह सामान्य डेटा के जटिल, लहरदार पैटर्न को सीखता है।
दायां हिस्सा (The Tail): विशाल आग को मॉडल करने के लिए एक कठोर, गणितीय रूप से सिद्ध नियम (Extreme Value Theory से) का उपयोग करता है। यह सुनिश्चित करता है कि भले ही आग अब तक देखी गई किसी भी आग से बड़ी हो, मॉडल सही ढंग से अनुमान (extrapolate) लगा सके।
मध्य (The Blend): वे एक सुचारू, अदृश्य ट्रांजिशन ज़ोन का उपयोग करते हैं जहाँ लचीला AI धीरे से नियंत्रण को कठोर गणितीय नियम को सौंप देता है। यहाँ कोई तीखा कट-ऑफ नहीं है; यह "औसत" से "चरम" की ओर स्वाभाविक रूप से बहता है।

3. यह क्यों महत्वपूर्ण है: जंगल की आग का उदाहरण

लेखकों ने इसका परीक्षण 1990 से 2020 तक के अमेरिकी जंगल की आग (U.S. Wildfire) के डेटा पर किया।

चुनौती: जंगल की आग पेचीदा होती है। अधिकांश आग छोटी होती हैं, लेकिन कुछ बहुत बड़ी और विनाशकारी होती हैं। डेटा "हेवी-टेल्ड" (heavy-tailed) है, जिसका अर्थ है कि वितरण का "फैट टेल" (fat tail) खतरनाक आउटलेयर्स (outliers) से भरा हुआ है।
परिणाम:
- पुराने मॉडल: एक विशिष्ट आग के आकार की अच्छी भविष्यवाणी कर सकते थे, लेकिन सबसे बड़ी आग (जैसे 2017 या 2020 के रिकॉर्ड-ब्रेकर) के बारे में पूछे जाने पर, वे पूरी तरह से विफल रहे। वे एक संभावना (probability) भी नहीं दे सके क्योंकि वे आगएं "सीमा से बाहर" (out of bounds) थीं।
- SPQRx: इसने विशाल आग के आकार का सफलतापूर्वक पूर्वानुमान लगाया। इसने केवल अनुमान नहीं लगाया; इसने पूंछ (tail) के गणितीय नियमों का उपयोग करके यह कहा, "छोटी आग के पैटर्न के आधार पर, इस आकार की आग संभव है, और इसकी संभावना यह है।"

4. "एक्स-रे विजन" (व्याख्यात्मकता - Interpretability)

आमतौर पर, डीप लर्निंग मॉडल "ब्लैक बॉक्स" होते हैं। आप डेटा डालते हैं, और एक नंबर बाहर आता है, लेकिन आपको पता नहीं चलता कि वह क्यों आया।

SPQRx के पास एक्स-रे विजन है। यह आपको बता सकता है कि औसत आग बनाम विशाल आग के लिए कौन से कारक महत्वपूर्ण हैं।

निष्कर्ष: मॉडल ने पाया कि सूखापन (कम आर्द्रता/humidity) दोनों—छोटी और विशाल आग—के लिए सबसे महत्वपूर्ण कारक है।
ट्विस्ट: इसने यह भी दिखाया कि जबकि तापमान मायने रखता है, पिछले वर्ष की बारिश की कमी अत्यधिक (extreme) आग के लिए एक बहुत बड़ा चालक (driver) है। यह एक ऐसा सूक्ष्म अंतर है जिसे सरल मॉडल मिस कर सकते हैं।

सारांश

SPQRx को डेटा के लिए एक स्विस आर्मी नाइफ (Swiss Army Knife) के रूप में समझें:

इसमें रोजमर्रा के, औसत डेटा के लिए एक पेचकस (screwdriver) है (लचीला और अनुकूलनीय)।
इसमें दुर्लभ, चरम आपदाओं के लिए एक हथौड़ा (hammer) है (कठोर और गणितीय रूप से गारंटीकृत)।
और इसमें एक सुचारू हिंज (smooth hinge) है जो उन्हें जोड़ता है ताकि आपको कभी भी उपकरण बदलने की आवश्यकता न पड़े।

यह वैज्ञानिकों को न केवल "सामान्य" दुनिया को समझने की अनुमति देता है, बल्कि उच्च विश्वास के साथ "सबसे खराब स्थिति के परिदृश्यों" (worst-case scenarios) के लिए तैयार होने की अनुमति भी देता है, जो बीमा, आपदा नियोजन और जलवायु परिवर्तन अनुकूलन जैसे कार्यों के लिए अत्यंत महत्वपूर्ण है।

यहाँ रीतम मजूमदार और जॉर्डन रिचर्ड्स के शोध पत्र "Semi-parametric bulk and tail regression using spline-based neural networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र एक्सट्रीम क्वांटाइल रिग्रेशन (EQR) और कंडीशनल डेंसिटी एस्टीमेशन में एक महत्वपूर्ण अंतराल को संबोधित करता है।

मानक SPQR की सीमाएँ: सेमी-पैरामेट्रिक क्वांटाइल रिग्रेशन (SPQR) बिना किसी पैरामेट्रिक धारणा के कंडीशनल डेंसिटी को लचीले ढंग से मॉडल करने के लिए न्यूरल नेटवर्क और स्प्लाइन-आधारित निरूपणों का उपयोग करता है। हालांकि यह इन-सैंपल इंटरपोलेशन और डेटा के "बल्क" (bulk) को मॉडल करने के लिए उत्कृष्ट है, लेकिन यह एक सीमित सपोर्ट (finite support) मान लेता है। फलस्वरूप, यह देखे गए डेटा रेंज से परे एक्सट्रपलेशन (extrapolate) करने में विफल रहता है और उन एसिम्प्टोटिक गारंटियों (asymptotic guarantees) को पूरा नहीं कर पाता जो हेवी-टेल्ड डेटा (Extreme Value Theory, या EVT) के लिए आवश्यक हैं।
पैरामेट्रिक EVT मॉडल्स की सीमाएँ: पारंपरिक EVT दृष्टिकोण (जैसे, जनरलाइज्ड पैरेटो (GP) रिग्रेशन) टेल एक्ससेसेस (tail excesses) को मॉडल करने के लिए एक उच्च थ्रेशोल्ड $u(x)$ $u (x)$ पर निर्भर करते हैं। यह दो प्रमुख समस्याएँ उत्पन्न करता है:
1. थ्रेशोल्ड चयन: एक उपयुक्त थ्रेशोल्ड चुनना कठिन है और अनिश्चितता पैदा करता है।
2. बल्क मॉडलिंग: ये मॉडल आमतौर पर वितरण के "बल्क" (body) को अनदेखा करते हैं या इसे पैरामेट्रिक रूप से मॉडल करते हैं, जिससे डेटा के केंद्रीय भाग में जटिल, नॉन-लीनियर कोवेरिएट प्रभावों को कैप्चर करने की लचीलापन कम हो जाता है।
लक्ष्य: एक एकीकृत, लचीला ढांचा विकसित करना जो बिना किसी थ्रेशोल्ड चयन की आवश्यकता के, पूरे कंडीशनल डेटा रेंज (दोनों बल्क और टेल) को मॉडल कर सके, जबकि विश्वसनीय टेल एक्सट्रपलेशन के लिए EVT अनुपालन बनाए रखे।

2. कार्यप्रणाली: SPQRx और ब्लेंडेड GP (bGP)

लेखक SPQRx (एक्सट्रीम्स के लिए सेमी-पैरामेट्रिक क्वांटाइल रिग्रेशन) प्रस्तावित करते हैं, जो एक नए डिस्ट्रिब्यूशनल कंस्ट्रक्ट के माध्यम से SPQR की लचीलापन और EVT की सैद्धांतिक गारंटियों को जोड़ता है।

A. ब्लेंडेड जनरलाइज्ड पैरेटो (bGP) डिस्ट्रीब्यूशन

मुख्य नवाचार bGP डिस्ट्रीब्यूशन है, जो एक "बल्क" डिस्ट्रीब्यूशन को GP टेल के साथ सहजता से जोड़ता है।

निर्माण: यह एक घटक बल्क डिस्ट्रीब्यूशन $F(y|W)$ (जो $[0, 1]$ पर समर्थित है) को एक GP डिस्ट्रीब्यूशन $FGP(y|u, \sigma_u, \xi)$ के साथ जोड़ता है।
ब्लेंडिंग मैकेनिज्म: एक वेटिंग फंक्शन $p(y)$ $p (y)$ , जो बीटा डिस्ट्रीब्यूशन CDF पर आधारित है, $[a, b]$ $[a, b]$ अंतराल के दौरान बल्क और टेल के बीच सुचारू रूप से संक्रमण (transition) करता है।
- $a$ और $b$ को बल्क डिस्ट्रीब्यूशन के विशिष्ट क्वांटाइल्स ( $p_a$ और $p_b$ ) के रूप में परिभाषित किया गया है।
- GP पैरामीटर्स ( $\tilde{\sigma}_u$ और $\tilde{u}$ ) को सीमाओं $a$ और $b$ पर डिस्ट्रीब्यूशन फंक्शन और उसके पहले डेरिवेटिव की निरंतरता (continuity) सुनिश्चित करने के लिए विश्लेषणात्मक रूप से व्युत्पन्न किया गया है।
गुणधर्म:
- $y \leq a$ के लिए, वितरण शुद्ध बल्क मॉडल है।
- $y \geq b$ के लिए, यह सटीक रूप से GP डिस्ट्रीब्यूशन है (EVT अनुपालन सुनिश्चित करने के लिए)।
- इसमें मध्यवर्ती थ्रेशोल्ड एस्टीमेशन की आवश्यकता नहीं है; संक्रमण बल्क मॉडल के क्वांटाइल्स के माध्यम से डेटा-संचालित है।

B. SPQRx फ्रेमवर्क

SPQRx, डीप लर्निंग के साथ bGP को एकीकृत करता है:

बल्क मॉडलिंग: बल्क डिस्ट्रीब्यूशन $F(y|x)$ को SPQR फ्रेमवर्क का उपयोग करके मॉडल किया जाता है। यह M-स्प्लाइन बेसिस फंक्शन्स के कॉनवेक्स कॉम्बिनेशन के लिए वेट्स प्रेडिक्ट करने हेतु एक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) का उपयोग करता है। यह बल्क को मनमाना रूप से लचीला बना सकता है।
टेल मॉडलिंग: GP टेल का शेप पैरामीटर $\xi(x)$ उसी MLP का उपयोग करके बल्क वेट्स के साथ संयुक्त रूप से मॉडल किया जाता है।
आर्किटेक्चर: एक एकल न्यूरल नेटवर्क को कोवेरिएट्स $x$ $x$ इनपुट के रूप में मिलते हैं और वह आउटपुट देता है:
- बल्क के लिए स्प्लाइन वेट्स $W(x)$ का वेक्टर।
- टेल के लिए शेप पैरामीटर $\xi(x)$ ।
- एक सॉफ्टमैक्स एक्टिवेशन यह सुनिश्चित करता है कि वेट्स का योग 1 हो; एक विशिष्ट एक्टिवेशन (जैसे tanh या exp) $\xi(x)$ को नियंत्रित करता है।
इन्फरेंस (Inference):
- ट्रेनिंग: bGP डेंसिटी के नेगेटिव लॉग-लाइक्लीहुड को मिनिमाइज करने के लिए स्टोकेस्टिक ग्रेडिएंट डिसेंट (Adam) के माध्यम से अनुकूलित किया जाता है।
- प्री-ट्रेनिंग: स्थिरता में सुधार के लिए, मॉडल को पहले एक मानक SPQR (टेल को अनदेखा करते हुए) के रूप में प्रशिक्षित किया जाता है और फिर SPQRx के रूप में फाइन-ट्यून किया जाता है।
- एक्सट्रपलेशन: क्वांटाइल्स $\tau > p_b$ के लिए, क्वांटाइल फंक्शन को GP घटक से विश्लेषणात्मक रूप से प्राप्त किया जाता है, जिससे देखे गए डेटा रेंज के परे एक्सट्रपलेशन संभव होता है।

C. व्याख्यात्मकता (Interpretability)

लेखक वेरिएबल इम्पॉर्टेंस का आकलन करने के लिए एक्युमुलेटेड लोकल इफेक्ट्स (ALEs) का उपयोग करते हैं। महत्वपूर्ण रूप से, SPQRx निम्नलिखित के लिए अलग-अलग इम्पॉर्टेंस स्कोर प्रदान करने की अनुमति देता है:

बल्क (क्वांटाइल लेवल्स $\tau < p_a$ के माध्यम से)।
टेल (शेप पैरामीटर $\xi(x)$ या उच्च क्वांटाइल्स $\tau \to 1$ के माध्यम से)।

3. मुख्य योगदान

ब्लेंडेड GP (bGP) डिस्ट्रीब्यूशन: एक नया यूनिवेरिएट डिस्ट्रीब्यूशन जो बिना थ्रेशोल्ड चयन की आवश्यकता के पूर्ण डेटा रेंज को मॉडल करता है और सटीक GP अपर-टेल्स प्रदान करता है।
SPQRx फ्रेमवर्क: एक सेमी-पैरामेट्रिक डेंसिटी रिग्रेशन विधि जो डीप न्यूरल नेटवर्क को EVT के साथ जोड़ती है। यह नॉन-पैरामेट्रिक बल्क मॉडलिंग का लचीलापन और पैरामेट्रिक टेल मॉडलिंग की एक्सट्रपलेशन क्षमताएं प्रदान करती है।
वेरिएबल इम्पॉर्टेंस डिकंपोजिशन: एक विधि जो यह मात्रा निर्धारित करती है कि कोवेरिएट्स डिस्ट्रीब्यूशन के बॉडी बनाम टेल को कैसे अलग-अलग प्रभावित करते हैं, जो डीप लर्निंग के "ब्लैक बॉक्स" स्वभाव को संबोधित करती है।

4. परिणाम

सिमुलेशन अध्ययन

सेटअप: कोवेरिएट-डिपेंडेंट पैरामीटर्स के साथ लॉग-नॉर्मल डिस्ट्रीब्यूशन से उत्पन्न डेटा।
प्रदर्शन: SPQRx ने इंटीग्रेटेड कंडीशनल 1-वॉसरस्टीन डिस्टेंस (IWD) और टेल-कैलिब्रेटेड IWD (tIWD) के मामले में मानक SPQR और डीप GP रिग्रेशन मॉडल्स की तुलना में लगातार बेहतर प्रदर्शन किया।
एक्सट्रपलेशन: SPQR के विपरीत (जो $y > 1$ के लिए विफल रहता है) और डीप GP के विपरीत (जो बल्क को मॉडल नहीं कर सकता), SPQRx ने बल्क डेंसिटी और हेवी टेल्स दोनों को सटीक रूप से कैप्चर किया।
वेरिएबल इम्पॉर्टेंस: पद्धति ने सही ढंग से पहचाना कि विशिष्ट कोवेरिएट्स का डिस्ट्रीब्यूशन पर कोई प्रभाव नहीं था, जबकि अन्यों का सभी क्वांटाइल्स में समान प्रभाव था।

अनुप्रयोग: अमेरिकी वाइल्डफायर बर्न एरिया (1990–2020)

डेटा: मौसम संबंधी और स्थानिक कोवेरिएट्स के आधार पर 10,000 से अधिक वाइल्डफायर्स के जले हुए क्षेत्रों का डेटा।
निष्कर्ष:
- टेल व्यवहार: डेटा में अत्यधिक भारीपन (extreme heaviness, $\xi > 0,5$ ) देखा गया। SPQRx ने टेस्ट सेट की दो सबसे चरम आग (जो 2017 और 2020 में हुई थीं) को सफलतापूर्वक मॉडल किया, जो ट्रेनिंग डेटा की रेंज से बाहर थीं। मानक SPQR इन घटनाओं के लिए प्रोबेबिलिटी एस्टीमेट प्रदान करने में विफल रहा।
- वेरिएबल इम्पॉर्टेंस:
  - ड्रायनेस (न्यूनतम सापेक्ष आर्द्रता, $r_{min}$ ) बल्क और टेल दोनों के लिए प्रमुख चालक था।
  - वर्षा ( $pr_{curr}, pr_{prev}$ ) का महत्व समय के साथ बढ़ा, जिसने मैक्सिमम टेम्परेचर को पीछे छोड़ दिया।
  - टेम्पोरल ट्रेंड्स: शेप पैरामीटर $\xi(x)$ ने एक सकारात्मक टेम्पोरल ट्रेंड दिखाया, जो यह सुझाव देता है कि वाइल्डफायर्स अधिक चरम (हेवी-टेल्ड) होते जा रहे हैं।
- स्थानिक परिवर्तनशीलता: मॉडल ने मीडियन बनाम 0.999-क्वांटाइल के लिए विशिष्ट स्थानिक पैटर्न का खुलासा किया, जो पुष्टि करता है कि कोवेरिएट्स बल्क और टेल को अलग-अलग तरह से प्रभावित करते हैं।

5. महत्व और निष्कर्ष

सैद्धांतिक प्रगति: SPQRx लचीले नॉन-पैरामेट्रिक डेंसिटी एस्टीमेशन और कठोर एक्सट्रीम वैल्यू थ्योरी के बीच के अंतर को पाटता है। यह एक सुचारू और निरंतर संक्रमण (smooth transition) बनाकर "थ्रेशोल्ड समस्या" को हल करता है।
व्यावहारिक उपयोगिता: यह फ्रेमवर्क जोखिम मूल्यांकन (risk assessment) के क्षेत्रों जैसे बीमा, प्राकृतिक आपदाओं और वित्त में विशेष रूप से मूल्यवान है, जहाँ टेल में सटीक एक्सट्रपलेशन महत्वपूर्ण है, लेकिन बल्क का डेटा जटिल और नॉन-लीनियर होता है।
व्याख्यात्मकता: बल्क और टेल इम्पॉर्टेंस को अलग करके, SPQRx जोखिम चालकों (risk drivers) की गहरी अंतर्दृष्टि प्रदान करता है, यह प्रकट करते हुए कि औसत घटनाओं को चलाने वाले कारक विनाशकारी चरम घटनाओं (catastrophic extremes) को चलाने वाले कारकों से भिन्न हो सकते हैं।
भविष्य की दिशाएँ: लेखक कोपुलों (copulas) का उपयोग करके मॉडल को मल्टीवेरिएट सेटिंग्स में विस्तारित करने और ब्लेंडेड डिस्ट्रीब्यूशन के लिए सैद्धांतिक एप्रोक्सिमेशन बाउंड्स की जांच करने का सुझाव देते हैं।

संक्षेप में, SPQRx डीप एक्सट्रीम क्वांटाइल रिग्रेशन में एक महत्वपूर्ण कदम है, जो सेंट्रल टेंडेंसी से लेकर सबसे चरम आउटलेयर्स तक, संपूर्ण कंडीशनल डिस्ट्रीब्यूशन को मॉडल करने के लिए एक मजबूत, व्याख्यात्मक और लचीला उपकरण प्रदान करता है।