A Divergence-Based Method for Weighting and Averaging Model Predictions

तकनीकी सारांश: मॉडल भविष्यवाणियों के भारण और औसत के लिए एक विचलन-आधारित विधि (A Divergence-Based Method for Weighting and Averaging Model Predictions)

लेखक: ओलाव बेंजामिन वासेन्ड (Olav Benjamin Vassend)
स्थान: प्रोसीडिंग्स ऑफ द 29th इंटरनेशनल कॉन्फ्रेंस ऑन आर्टिफिशियल इंटेलिजेंस एंड स्टैटिस्टिक्स (AISTATS) 2026

---

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मॉडल औसत (model averaging) की मौलिक चुनौती को संबोधित करता है: $K$ विभिन्न भविष्य कहने वाले मॉडलों (सांख्यिकीय या मशीन लर्निंग) को कैसे अनुकूलतम भार (weights) दिए जाएं ताकि एक संयुक्त भविष्यवाणी बनाई जा सके जो भविष्य के, अनदेखे डेटा पर सटीकता को अधिकतम करे।

लेखक दो प्राथमिक मौजूदा प्रतिमानों (paradigms) की पहचान करते हैं, जिनमें से दोनों में महत्वपूर्ण कमियां हैं:

• नेगेटिव एक्सपोनेंशियलटेड वेटिंग (जैसे कि बेयसियन मॉडल एवरेजिंग, AIC-आधारित वेटिंग): ये विधियाँ व्यक्तिगत मॉडल स्कोर के आधार पर भार आवंटित करती हैं। एक प्रमुख दोष यह है कि जैसे-जैसे नमूना आकार (sample sizes) बढ़ता है, ये भार एक एकल "सर्वश्रेष्ठ" मॉडल पर केंद्रित होने लगते हैं, जिससे मॉडलों के उत्तल संयोजन (convex combination/ensemble) के लाभ प्राप्त करने में विफलता होती है।
• मॉडल स्टैकिंग (Model Stacking): यह विधि भविष्य कहने वाली सटीकता को अधिकतम करने के लिए क्रॉस-वैलिडेशन के माध्यम से भार को अनुकूलित करती है। हालांकि यह स्पर्शोन्मुख रूप से (asymptotically) प्रभावी है, लेकिन स्टैकिंग अक्सर छोटे नमूना आकारों (small sample sizes) के साथ काम करते समय स्थिरता और भविष्य कहने वाली सटीकता के मामले में संघर्ष करती है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक नया ढांचा प्रस्तावित करता जिसे विचलन-आधारित मॉडल भारण (Divergence-Based Model Weighting) कहा जाता है। यह विधि एक न्यूनतम-विचलन सिद्धांत (minimum-divergence principle) पर आधारित है, जिसका लक्ष्य एक "संशयवादी" (skeptical) पूर्व-संभाव्यता (prior) के करीब रहने और देखे गए डेटा को फिट करने के बीच संतुलन बनाना है।

A. आशावाद-दंडित करने वाला पूर्व-संभाव्यता (The Optimism-Penalizing Prior):
इस तथ्य को ध्यान में रखते हुए कि इन-सैंपल प्रदर्शन, आउट-ऑफ-सैंपल सटीकता को बढ़ा-चढ़ाकर दिखाता है, लेखक एक मॉडल के "आशावाद" (optimism - $op_k$) को मॉडल के इन-सैंपल लॉग-लाइक्लीहुड और इसके आउट-ऑफ-सैंपल लॉग-लाइक्लीहुड के अंतर के रूप में परिभाषित करते हैं। एक "प्रायर" भार ($w^{op}_k$) फिर इस आशावाद के नेगेटिव एक्सपोनेंटिएशन का उपयोग करके निर्मित किया जाता है:
$$w^{op}_k = \frac{e^{-op_k}}{\sum e^{-op_i}}$$
यह प्रायर अत्यधिक आशावादी मॉडलों को दंडित करता है और रूढ़िवादी मॉडलों को पुरस्कृत करता है।

B. अनुकूलन उद्देश्य (The Optimization Objective):
इस विधि का मूल एक उत्तल अनुकूलन (convex optimization) समस्या है। $K$ मॉडलों और $n$ डेटा बिंदुओं के दिए जाने पर, अनुकूलतम "पोस्टीरियर" भार $w^p$ को निम्न को न्यूनतम करके पाया जाता है:
$$\min_{w^p \in \mathcal{S}_K} \underbrace{\sum_{k} w^p_k \log \frac{w^p_k}{w^{op}_k}}_{\text{Prior से KL विचलन}} - \underbrace{\sum_{i} \log \left( \sum_{k} w^p_k p^p_k(y_i) \right)}_{\text{भविष्य कहने वाली सटीकता (Log Score)}}$$
यह उद्देश्य प्रायर से विचलन और डेटा से विचलन के बीच संतुलन बनाता है।

C. कार्यान्वयन (Implementation):
आशावाद ($op_k$) को विभिन्न विधियों द्वारा अनुमानित किया जा सकता है, विशेष रूप से $k$-फोल्ड क्रॉस-वैलिडेशन या AIC द्वारा। परिणामी अनुकूलन समस्या स्ट्रिक्टली कॉनवेक्स (strictly convex) है और इसे मानक नॉन-लीनियर ऑप्टिमाइज़र (जैसे R में RSolnp) का उपयोग करके कुशलतापूर्वक हल किया जा सकता है।

3. मुख्य योगदान और सैद्धांतिक औचित्य (Key Contributions & Theoretical Justifications)

शोध पत्र प्रस्तावित विधि के लिए तीन अलग-अलग सैद्धांतिक स्तंभ प्रदान करता है:

1. चरित्र चित्रण प्रमेय (Characterization Theorem): लेखक सिद्ध करते हैं कि यदि यह आवश्यक हो कि विधि सीमा (limit) में मानक आशावाद-आधारित मॉडल चयन के साथ संरेखित हो (बॉर्डर कंडीशन), तो एकमात्र वैध $f$-विचलन KL विचलन है और नियमितीकरण स्थिरांक (regularization constant) $c=1$ होना चाहिए।
2. PAC-Bayesian बाउंड्स: लेखक यह प्रदर्शित करते हैं कि इस विधि की व्याख्या PAC-Bayesian सिद्धांत के माध्यम से की जा सकती है। वह प्रमाण देते हैं कि यदि लॉग-स्कोर सब-गॉसियन (sub-Gaussian) हैं, तो विचलन-आधारित दृष्टिकोण प्रभावी रूप से अपेक्षित आउट-ऑफ-सैंपल त्रुटि को सीमित करता है।
3. स्पर्शोन्मुख अनुकूलता (Asymptotic Optimality): एक प्रमाण प्रदान किया गया है जो दिखाता है कि जैसे-जैसे नमूना आकार $n \to \infty$ होता है, एम्पिरिकल ऑब्जेक्टिव वास्तविक आउट-ऑफ-सैंपल भविष्य कहने वाली सटीकता को अधिकतम करने के आदर्श ऑब्जेक्टिव के अभिसरण (converge) होता है, जिससे यह स्टैकिंग के समान स्पर्शोन्मुख रूप से समतुल्य हो जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का परीक्षण लीनियर रिग्रेशन सिमुलेशन के माध्यम से और UCI रिपॉजिटरी से बारह वास्तविक दुनिया के डेटासेट पर किया गया।

• लघु नमूना प्रदर्शन (Small Sample Performance): सिमुलेशन में, विचलन-आधारित विधि ने छोटे-नमूना शासन (small-sample regimes) में स्टैकिंग से काफी बेहतर प्रदर्शन किया, और AIC-शैली के भारण के बराबर (या उससे बेहतर) प्रदर्शन किया।
• स्थिरता (Stability): विधि ने स्टैकिंग और नेगेटिव एक्सपोनेंटिएशन की तुलना में रन के दौरान काफी कम मानक विचलन वाले मॉडल भार उत्पन्न किए, जो उच्च संख्यात्मक और संरचनात्मक स्थिरता का संकेत देता है।
• मशीन लर्निंग बेंचमार्क: बारह विविध डेटासेट (चिकित्सा डेटा से लेकर क्रेडिट अप्रूवल तक) पर, विचलन-आधारित विधि ने सर्वश्रेष्ठ माध्य लॉग स्कोर प्राप्त किया, जिसने विभिन्न स्टैकिंग मेटा-लर्नर्स (लॉजिस्टिक्स रिग्रेशन, इलास्टिक नेट, ग्रेडिएंट बूस्टिंग) को पछाड़ दिया।
• मजबूती (Robustness): मजबूती की जाँचों ने पुष्टि की कि KL विचलन अन्य विचलनों (जैसे ब्रायर) की तुलना में श्रेष्ठ है और आशावाद-दंडित करने वाला प्रायर प्रदर्शन के लिए आवश्यक है।

5. महत्व (Significance)

यह शोध पत्र बेयसियन अनुमान (Bayesian inference), PAC-Bayesian सिद्धांत और एन्सेम्बल लर्निंग (Ensemble Learning) के बीच एक एकीकृत सेतु प्रदान करता है। इसका महत्व इसकी बहुमुखी प्रतिभा में निहित है: यह मॉडल-अज्ञेय (model-agnostic) है (यह फ्रीक्वेंटिस्ट, बेयसियन या ML मॉडलों के साथ काम करता है) और एक गणितीय रूप से कठोर तरीका प्रदान करता है जिससे मॉडल औसत करना संभव है जो छोटे नमूना आकारों (जहाँ यह स्टैकिंग की कमियों से बचता है) और बड़े नमूना आकारों (जहाँ यह "विजेता-लेता-है-सब" की समस्या से बचता है) दोनों के लिए मजबूत है।