📊 statistics

Conformal Prediction for Hierarchical Data

यह शोध पत्र पदानुक्रमित डेटा (hierarchical data) के लिए एक स्प्लिट कॉन्फॉर्मल प्रेडिक्शन पद्धति प्रस्तावित करता है जो संरचनात्मक निर्भरताओं का लाभ उठाने के लिए एक प्रोजेक्शन (सुलह/reconciliation) चरण को शामिल करता है, जिससे संयुक्त और घटक-वार कवरेज गारंटी बनाए रखते हुए वैश्विक रूप से छोटे प्रेडिक्शन क्षेत्र प्राप्त होते हैं।

मूल लेखक: Guillaume Principato, Gilles Stoltz, Yvenn Amara-Ouali, Yannig Goude, Bachir Hamrouche, Jean-Michel Poggi

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guillaume Principato, Gilles Stoltz, Yvenn Amara-Ouali, Yannig Goude, Bachir Hamrouche, Jean-Michel Poggi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप पूरे देश के लिए मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास एक मॉडल है जो आपको हर शहर, कस्बे और गाँव के लिए पूर्वानुमान देता है। लेकिन यहाँ एक पेंच है: आपका मॉडल थोड़ा अस्त-व्यस्त हो सकता है। यह अनुमान लगा सकता है कि पूरे देश में कुल वर्षा 100 मिमी होगी, लेकिन यदि आप सभी कस्बों की वर्षा को जोड़ते हैं, तो कुल योग 120 मिमी आता है। संख्याएँ आपस में मेल नहीं खातीं। डेटा की दुनिया में, इसे सुसंगति (coherence) का अभाव कहा जाता है।

यह शोध पत्र उस गड़बड़ी को ठीक करने और आपकी भविष्यवाणियों के चारों ओर "सुरक्षा जाल" (safety net) को बिना कम सुरक्षित बनाए, उसे छोटा और अधिक सटीक बनाने के बारे में है।

यहाँ उनके कार्य का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: "अस्त-व्यस्त मानचित्र" (The Messy Map)

कल्पना कीजिए कि आपके पास एक देश का मानचित्र है जो क्षेत्रों में विभाजित है, और क्षेत्र शहरों में विभाजित हैं।

पदानुक्रम (The Hierarchy): देश की कुल वर्षा का योग उसके सभी क्षेत्रों की वर्षा के योग के बराबर होना चाहिए, जो कि उसके सभी शहरों की वर्षा के योग के बराबर होना चाहिए। यह "पदानुक्रमित संरचना" है।
भविस्यवाणी (The Prediction): आप हर शहर के लिए बारिश का अनुमान लगाने के लिए एक स्मार्ट कंप्यूटर मॉडल का उपयोग करते हैं।
समस्या (The Issue): कंप्यूटर अच्छा है, लेकिन पूर्ण नहीं है। यदि आप केवल इसके कच्चे अनुमानों (raw guesses) को लेते हैं, तो संख्याएँ आपस में नहीं मिलेंगी। "देश का कुल योग" "शहरों के योग" से मेल नहीं खाएगा।

2. सुरक्षा जाल: कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction)

जब हम भविष्यवाणियाँ करते हैं, तो हमें सटीक उत्तर कभी पता नहीं होता। इसलिए, केवल यह कहने के बजाय कि "5 मिमी बारिश होगी," हम एक बॉक्स (भविष्यवाणी क्षेत्र) बनाते हैं और कहते हैं, "बारिश 4 मिमी और 6 मिमी के बीच कहीं होगी।"

लक्ष्य: हम चाहते हैं कि यह बॉक्स छोटा (सटीक) हो लेकिन इतना बड़ा भी हो कि 90% बार वास्तविक उत्तर को पकड़ सके (विश्वसनीय)।
वर्तमान विधि: मानक विधियाँ हर शहर के लिए स्वतंत्र रूप से ये बॉक्स बनाती हैं। उन्हें इस बात की परवाह नहीं होती कि शहरों के बॉक्स देश के बॉक्स के योग के बराबर हैं या नहीं। यह अक्सर बहुत बड़े, बर्बादी वाले बॉक्स बना देता है क्योंकि यह विधि अत्यधिक सुरक्षित रहने के चक्कर में शहरों के बीच के संबंध को अनदेखा कर देती है।

3. समाधान: "समाधान/पुनर्मिलन" (Reconciliation - द प्रोजेक्टर)

लेखक दो विचारों को मिलाते हैं:

कॉन्फॉर्मल प्रेडिक्शन: सुरक्षा बॉक्स बनाने की विधि।
फोरकास्ट रिकॉन्सिलिएशन (Forecast Reconciliation): एक ऐसी तकनीक जिसका उपयोग "अस्त-व्यस्त मानचित्र" को ठीक करने के लिए किया जाता है ताकि संख्याएँ आपस में मिल सकें।

उपमा:
कल्पना कीजिए कि आप एक 3D वस्तु की छाया को 2D दीवार पर प्रोजेक्ट कर रहे हैं।

कच्चा पूर्वानुमान (The Raw Forecast): आपके पास एक 3D वस्तु (आपकी भविष्यवाणियाँ) है जो दीवार से थोड़ी तैर रही है। यह उस सतह को नहीं छूती है जहाँ इसे होना चाहिए।
प्रोजेक्शन चरण (The Projection Step): लेखक उस तैरती हुई वस्तु को लेते हैं और उसे सीधे दीवार पर "प्रोजेक्ट" करते हैं। यह वस्तु को सीधा रखने और दीवार के नियमों का पालन करने के लिए मजबूर करता है (पदानुक्रम)।
परिणाम: एक बार जब वस्तु दीवार पर सपाट हो जाती है, तो छाया (भविष्यवाणी बॉक्स) अधिक सुगठित और कुशल हो जाती है।

4. बड़ी खोज: छोटे बॉक्स, वही सुरक्षा

शोध पत्र दो मुख्य बातें सिद्ध करता है:

पूरी तस्वीर के लिए (Joint Coverage): यदि आप एक साथ पूरे देश के मौसम को कवर करने के लिए एक विशाल बॉक्स चाहते हैं, तो इस "प्रोजेक्शन" चरण का उपयोग करने से बॉक्स छोटा (अधिक सटीक) हो जाता है, जबकि समान 90% सुरक्षा गारंटी बनी रहती है। यह एक ढीले कंबल को बिस्तर के अनुसार बिल्कुल फिट करने के लिए सिकोड़ने जैसा है ताकि कोई गैप न रहे।
व्यक्तिगत भागों के लिए (Component-wise Coverage): यह कठिन हिस्सा है। वे यह सुनिश्चित करते हुए कि पूरा सिस्टम काम करे, वे प्रत्येक विशिष्ट शहर के लिए बॉक्स को छोटा बनाना चाहते थे।
- उन्होंने दक्षता को मापने का एक नया तरीका पेश किया।
- उन्होंने सिद्ध किया कि एक विशिष्ट प्रकार के "प्रोजेक्शन" (जिसे रिकॉन्सिलिएशन स्टेप कहा जाता है) का उपयोग करके जो पदानुक्रम का सम्मान करता है, प्रत्येक शहर के लिए व्यक्तिगत बॉक्स उन बॉक्सों की तुलना में छोटे होते हैं जो आपने केवल एक-एक करके अनुमान लगाए थे।
- सावधानी (The Catch): सबसे अच्छे, छोटे बॉक्स प्राप्त करने के लिए, आपको यह जानना आवश्यक है कि आपके मॉडल की त्रुटियाँ (errors) कैसे व्यवहार करती हैं (विशेष रूप से, उनका "कोवेरिएंस")। यदि आप इसे पूरी तरह से नहीं जानते हैं, तो आप अभी भी प्रोजेक्शन के "रोबस्ट" संस्करण का उपयोग करके बेहतर बॉक्स प्राप्त कर सकते हैं, हालांकि वे शायद पूर्णतः सबसे छोटे संभव बॉक्स न हों।

5. उन्होंने क्या परीक्षण किया

उन्होंने केवल कागज़ पर गणित नहीं किया; उन्होंने सिमुलेशन चलाए।

उन्होंने नकली डेटा बनाया जो एक जटिल पदानुक्रम (जैसे ऊर्जा उपयोग या बिक्री का पारिवारिक वृक्ष) जैसा दिखता था।
उन्होंने अपने नए "रिकॉन्सिल्ड" (Reconciled) तरीके की तुलना पुराने "रॉ" (Raw) तरीके से की।
परिणाम: नया तरीका लगातार अधिक सुगठित, कुशल भविष्यवाणी क्षेत्र (छोटे बॉक्स) प्रदान करता है, बिना किसी सुरक्षा गारंटी को खोए। कुछ मामलों में, सुधार बहुत बड़ा था (उनके परीक्षणों में भविष्यवाणी क्षेत्र के आकार को 65% तक कम करना)।

एक वाक्य में सारांश

लेखकों ने यह पता लगाया है कि भविष्यवाणियों के एक ऐसे अस्त-व्यस्त सेट को कैसे लिया जाए जो आपस में मेल नहीं खाते, उन्हें उनके पदानुक्रम (जैसे एक फैमिली ट्री) के नियमों का पालन करने के लिए मजबूर किया जाए, और उस संरचना का उपयोग करके भविष्यवाणियों के चारों ओर "सुरक्षा जाल" को सिकोड़ा जाए, जिससे वे कम विश्वसनीय बनाए बिना बहुत अधिक सटीक हो जाते हैं।

तकनीकी सारांश: पदानुक्रमित डेटा (Hierarchical Data) के लिए कॉन्फॉर्मल प्रेडिक्शन

समस्या विवरण
यह शोधपत्र बहुभिन्नरूपी (multivariate) डेटा के लिए वैध प्रेडिक्शन क्षेत्र (prediction regions) बनाने की चुनौती को संबोधित करता है, जिसमें डेटा एक पदानुक्रमित संरचना प्रदर्शित करता है, जहाँ कुछ घटक दूसरों के रैखिक संयोजन (linear combinations) होते हैं (जैसे, क्षेत्रीय योग जो राष्ट्रीय कुल योग को एकत्रित करते हैं)। जबकि मानक कॉन्फॉर्मल प्रेडिक्शन (CP) बहुभिन्नरूपी डेटा के लिए परिमित-नमूना कवरेज गारंटी (finite-sample coverage guarantees) प्रदान करता है, यह अक्सर पदानुक्रमित डेटा में अंतर्निहित संरचनात्मक बाधाओं की उपेक्षा करता है। इसके विपरीत, पूर्वानुमान मिलान (forecast reconciliation) तकनीकें इन रैखिक बाधाओं का लाभ उठाकर बिंदु पूर्वानुमान (point forecast) की सुसंगतता में सुधार करती हैं, लेकिन ऐतिहासिक रूप से उन्हें कठोर अनिश्चितता मात्रा निर्धारण (uncertainty quantification) के साथ संभावabilistic पूर्वानुमान का विस्तार करने में संघर्ष करना पड़ा है। मुख्य समस्या इन दोनों पोस्ट-हॉक प्रक्रियाओं को संयोजित करने की है ताकि ऐसे प्रेडिक्शन क्षेत्र बनाए जा सकें जो सांख्यिकीय रूप से वैध (कवरेज सुनिश्चित करते हुए) और कुशल (क्षेत्र के आकार को न्यूनतम करते हुए) हों, साथ ही पदानुक्रमित सुसंगतता बाधाओं का सम्मान भी करें।

कार्यप्रणाली (Methodology)
लेखक एक ढांचा प्रस्तावित करते हैं जो स्प्लिट कॉन्फॉर्मल प्रेडिक्शन (SCP) को एक प्रोजेक्शन चरण के माध्यम से पूर्वानुमान मिलान (Forecast Reconciliation) के साथ एकीकृत करता है। कार्यप्रणाली डेटा और नॉन-कन्फॉर्मिटी स्कोर के लिए i.i.d. धारणा के तहत कार्य करती है, जिसमें दक्षता विश्लेषण के लिए विशिष्ट वितरण संबंधी धारणाएं पेश की गई हैं।

पदानुक्रमित सेटिंग: डेटा $y \in \mathbb{R}^m$ इस प्रकार है कि $y = H y_{1:n}$ , जहाँ $H$ एक ज्ञात संरचनात्मक मैट्रिक्स है जो सबसे विकेंद्रीकृत स्तरों ( $n$ ) को एकत्रित स्तरों ( $m$ ) से जोड़ता है। वे वेक्टर जो $u = H u_{1:n}$ को संतुष्ट करते हैं, उन्हें "सुसंगत" (coherent) कहा जाता है।
दो कवरेज उद्देश्य:
- संयुक्त कवरेज (Joint Coverage): यह सुनिश्चित करना कि वास्तविक वेक्टर $y_{T+1}$ एक बहुभिन्नरूपी प्रेडिक्शन सेट $C(x_{T+1})$ के भीतर $1-\alpha$ प्रायिकता के साथ आता है।
- घटक-वार कवरेज (Component-wise Coverage): यह सुनिश्चित करना कि प्रत्येक व्यक्तिगत घटक $y_{T+1,i}$ अपने विशिष्ट अंतराल $C_i(x_{T+1})$ के भीतर $1-\alpha$ प्रायिकता के साथ आता है। इसे पदानुक्रमित डेटा के लिए एक अधिक स्वाभाविक उद्देश्य के रूप में पहचाना गया है जहाँ घटकों का अक्सर व्यक्तिगत रूप से विश्लेषण किया जाता है।
प्रस्तावित प्रक्रिया (Reconciled SCP):
- संयुक्त कवरेज के लिए: लेखक दीर्घवृत्तीय (ellipsoidal) SCP दृष्टिकोण (Johnstone & Cox, 2021; Messoudi et al., 2022) को अनुकूलित करते हैं। वे सुसंगत उप-स्थान (subspace) $\text{Im}(H)$ पर एक प्रोजेक्शन मैट्रिक्स $P_A$ (A-नॉर्म में ऑर्थोगोनल) पेश करते हैं। रिग्रेसर को संशोधित करके $\hat{\mu} = P_A \hat{\mu}_{base}$ बनाया जाता है, और नॉन-कन्फॉर्मिटी स्कोर इन अनुमानित (projected) पूर्वानुमानों और अवलोकनों के बीच की दूरी के आधार पर गणना किए जाते हैं।
- घटक-वार कवरेज के लिए: लेखक साइनेड नॉन-कन्फॉर्मिटी स्कोर ( $s_t = y_t - \hat{\mu}_t$ ) का उपयोग करते हैं। पूर्ण अवशेषों (absolute residuals) के विपरीत, साइनेड अवशेष रैखिक सुसंगतता गुण ( $s_t = P s_t$ यदि $\hat{\mu}_t$ प्रोजेक्ट किया गया हो) को संरक्षित करते हैं। यह प्रक्रिया बेस पूर्वानुमानों को सुसंगत उप-स्थान पर प्रोजेक्ट करने के बाद साइनेड स्कोर पर घटक-वार SCP लागू करती है।
दक्षता विश्लेषण (Efficiency Analysis):
- सैद्धांतिक दक्षता का विश्लेषण दीर्घवृत्तीय वितरण (elliptical distribution) की धारणा के तहत किया जाता है।
- एक निश्चित वेट वेक्टर $w$ के लिए, लेखक सिद्ध करते हैं कि एक विशिष्ट मैट्रिक्स $P_w$ (जो $H$ और $w$ से व्युत्पन्न है) का उपयोग करके पूर्वानुमानों को प्रोजेक्ट करने से अन-प्रोजेक्टेड पूर्वानुमानों की तुलना में वर्ग-लंबाई के अपेक्षित योग में कमी आती है।
- एक मजबूत "ओरेकल" परिणाम प्राप्त किया गया है, जो यह मानता है कि स्कोर का कोवेरियेंस मैट्रिक्स $\Sigma$ ज्ञात है। मिनिमम-ट्रेस (MinT) प्रोजेक्शन ( $P_{\Sigma^{-1}}$ ) का उपयोग करके, यह विधि किसी भी अन्य प्रोजेक्शन मैट्रिक्स की तुलना में समान दक्षता सुधार प्राप्त करती है।

प्रमुख योगदान

नवीन संश्लेषण: यह कार्य पदानुक्रमित डेटा के लिए वैध और कुशल प्रेडिक्शन क्षेत्र बनाने के लिए कॉन्फॉर्मल प्रेडिक्शन और पूर्वानुमान मिलान को औपचारिक रूप से संयोजित करने वाला पहला कार्य है।
घटक-वार कवरेज गारंटी: यह शोधपत्र एक घटक-वार कवरेज मानदंड पेश करता है और उसका विश्लेषण करता है, जो संयुक्त कवरेज की तुलना में पदानुक्रमित अनुप्रयोगों के लिए अधिक प्रासंगिक है। यह सिद्ध करता है कि प्रस्तावित रिकंसाइल्ड SCP (एल्गोरिदम 5) इन गारंटियों को बनाए रखता है।
दक्षता प्रमाण (Efficiency Proofs):
- संयुक्त कवरेज: लेखक सिद्ध करते हैं कि रिकंसाइल्ड दीर्घवृत्तीय प्रेडिक्शन क्षेत्र मानक दीर्घवृत्तीय क्षेत्रों की तुलना में (लेबेग माप में) समान रूप से छोटे हैं, बशर्ते कि प्रोजेक्शन मैट्रिक्स सही ढंग से चुना गया हो।
- घटक-वार कवरेज: दीर्घवृत्तीय वितरण धारणाओं के तहत, यह शोधपत्र स्थापित करता है कि रिकंसाइल्ड प्रेडिक्शन इंटरवल मानक घटक-वार इंटरवल्स की तुलना में अधिक कुशल (कम अपेक्षित वर्ग लंबाई) हैं। यह पूर्वानुमान मिलान साहित्य (विशेष रूप से MinT दृष्टिकोण) के केंद्रीय ट्रेस मिनिमाइजेशन समस्याओं से संबंधित होकर प्राप्त किया गया है।
तकनीकी नवाचार: लेखक पूर्वानुमान मिलान के लिए आवश्यक अनबायस्डनेस (unbiasedness) धारणाओं की कमी को संभालने के लिए साइनेड नॉन-कन्फॉर्मिटी स्कोर का उपयोग करके और कॉन्फॉर्मल सेटिंग में दक्षता लाभों को सिद्ध करने के लिए ट्रेस असमानताओं (trace inequalities) का लाभ उठाकर दोनों क्षेत्रों के बीच के अंतर को पाटते हैं।

परिणाम
सैद्धांतिक निष्कर्षों को विभिन्न जटिलताओं (1,801 नोड्स तक) वाले सिंथेटिक पदानुक्रमित डेटा पर व्यापक प्रयोगों के माध्यम से सत्यापित किया गया है।

कवरेज: सभी प्रस्तावित एल्गोरिदम सभी कॉन्फ़िगरेशन में संयुक्त और घटक-वार दोनों उद्देश्यों के लिए लक्षित कवरेज स्तर (90%) सफलतापूर्वक प्राप्त करते हैं।
दक्षता (संयुक्त): रिकंसाइल्ड दीर्घवृत्तीय विधि (एल्गोरिदम 2) लगातार बेसलाइन (एल्गोरिदम 1) की तुलना में छोटे प्रेडिक्शन वॉल्यूम बनाती है।
दक्षता (घटक-वार):
- वेटेड लीस्ट स्क्वायर्स (WLS) मिलान रणनीति (विकर्ण कोवेरियेंस अनुमानों का उपयोग करते हुए) लगातार बेसलाइन (डायरेक्ट) और अन्य विधियों (OLS, Combi) से बेहतर प्रदर्शन करती है, जिससे कुल अंतराल की लंबाई में 15% से 65% तक की कमी आती है।
- MinT रणनीति (पूर्ण कोवेरियेंस मैट्रिक्स का उपयोग करते हुए) छोटे पदानुक्रम के लिए सबसे अच्छा प्रदर्शन करती है, लेकिन बड़े पदानुक्रमों (कॉन्फ़िगरेशन 5 और 6) के लिए कोवेरियेंस मैट्रिक्स अनुमान में संभावित सिंगुलैरिटी (singularity) मुद्दों के कारण अविश्वसनीय हो जाती है।
- Combi और OLS विधियाँ मिश्रित प्रदर्शन दिखाती हैं, जहाँ OLS मजबूत है लेकिन WLS की तुलना में कम कुशल है।

महत्व और दावे
यह शोधपत्र पदानुक्रमित सेटिंग्स में अनिश्चितता मात्रा निर्धारण में सुधार के लिए एक सैद्धांतिक आधार प्रदान करने का दावा करता है। यह प्रदर्शित करके कि संरचनात्मक बाधाओं का उपयोग कवरेज से समझौता किए बिना प्रेडिक्शन क्षेत्रों को छोटा करने के लिए पोस्ट-हॉक किया जा सकता है, यह कार्य प्रशिक्षण चरण के दौरान कम्प्यूटेशनल रूप से महंगे पदानुक्रमित मॉडलिंग के लिए एक व्यावहारिक विकल्प प्रदान करता है।

लेखक अपने सैद्धांतिक गारंटियों के दायरे के संबंध में विनम्र हैं, यह नोट करते हुए कि उनका विश्लेषण एक i.i.d. ढांचे और दीर्घवृत्तीय वितरण धारणाओं पर निर्भर करता है। वे स्पष्ट रूप से कहते हैं कि वास्तविक दुनिया के पदानुक्रमित टाइम सीरीज़ अक्सर नॉन-कन्फॉर्मिटी स्कोर पर i.i.d. धारणा का उल्लंघन करते हैं। फलस्वरूप, यह शोधपत्र अपने परिणामों को एक आधारभूत कदम के रूप में प्रस्तुत करता है, जो यह सुझाव देता है कि भविष्य के कार्य गैर-विनिमेय (non-exchangeable) डेटा (जैसे, एडेप्टिव कॉन्फॉर्मल इन्फरेंस के माध्यम से) और गतिशील पदानुक्रमों तक इन सिद्धांतों का विस्तार करें। प्राथमिक महत्व इस बात में निहित है कि "मिलान" (reconciliation) केवल बिंदु पूर्वानुमानों के लिए एक उपकरण नहीं है, बल्कि वितरण-मुक्त प्रेडिक्शन सेट्स की दक्षता बढ़ाने के लिए एक वैध तंत्र है।