🤖 machine learning

Beyond Mixtures and Products for Ensemble Aggregation: A Likelihood Perspective on Generalized Means

यह शोध पत्र यह प्रदर्शित करके घनत्व एकत्रीकरण (density aggregation) के लिए एक सिद्धांतिक ढांचा स्थापित करता है कि $r \in [0,1]$ क्रम वाले सामान्यीकृत माध्य (normalized generalized means) ही एकमात्र ऐसे नियम हैं जो व्यक्तिगत वितरणों की तुलना में लॉग-लाइक्लीहुड (log-likelihood) में व्यवस्थित सुधारों की गारंटी देते हैं, जिससे डीप एनसेम्बल्स (Deep Ensembles) में रैखिक और ज्यामितीय पूलिंग (linear and geometric pooling) के व्यापक उपयोग का एक एकीकृत औचित्य प्राप्त होता है।

मूल लेखक: Raphaël Razafindralambo, Rémy Sun, Frédéric Precioso, Damien Garreau, Pierre-Alexandre Mattei

प्रकाशित 2026-03-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Raphaël Razafindralambo, Rémy Sun, Frédéric Precioso, Damien Garreau, Pierre-Alexandre Mattei

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मौसम का पूर्वानुमान लगाने की कोशिश कर रहे हैं। आप पाँच अलग-अलग मौसम विज्ञानियों से उनके पूर्वानुमान पूछते हैं।

मौसम विज्ञानी A कहता है, "बारिश होगी।"
मौसम विज्ञानी B कहता है, "धूप खिली रहेगी।"
मौसम विज्ञानी C कहता है, "बादल छाए रहेंगे।"

आप इन पाँच अलग-अलग मतों को एक अंतिम, विश्वसनीय पूर्वानुमान में कैसे मिलाएंगे? यह मशीन लर्निंग में एन्सेम्बल एग्रीगेशन (Ensemble Aggregation) की मूल समस्या है।

यह शोध पत्र इस बात की जांच करता है कि इन अलग-अलग भविष्यवाणियों को "मिलाने" का सबसे अच्छा तरीका क्या है। यह पता चलता है कि इसका उत्तर केवल उन्हें औसत निकालने या सबसे लोकप्रिय को चुनने जितना सरल नहीं है। लेखकों ने मिश्रण के लिए एक "गोल्डिलॉक्स ज़ोन" (Goldilocks Zone) की खोज की है, जो जनरलाइज्ड मीन्स (Generalized Means) की अवधारणा का उपयोग करता है।

यहाँ सरल शब्दों में इसका विवरण दिया गया है:

1. दो पुराने तरीके (चरम सीमाएँ)

इस शोध पत्र से पहले, लोग भविष्यवाणियों को मिलाने के लिए मुख्य रूप से दो तरीकों का उपयोग करते थे:

"मतदान" विधि (लीनियर पूलिंग / अरिथमेटिक मीन): कल्पना कीजिए कि आप एक बाल्टी लेते हैं और पाँचों मौसम विज्ञानियों के पूर्वानुमानों को उसमें डाल देते हैं, फिर उन्हें मिला देते हैं। यदि एक कहता है "बारिश" और दूसरा कहता है "धूप", तो आपको "शायद बारिश, शायद धूप" का एक धुंधला मिश्रण प्राप्त होता है। यह विविधता को पकड़ने में अच्छा है, लेकिन यह बहुत अधिक अनिश्चित हो सकता है।
"आम सहमति" विधि (जियोमेट्रिक पूलिंग / प्रोडक्ट ऑफ एक्सपर्ट्स): कल्पना कीजिए कि आप केवल तभी मौसम पर विश्वास करते हैं जब सभी सहमत हों। यदि एक व्यक्ति कहता है "बारिश नहीं होगी," तो आप मान लेते हैं कि बारिश नहीं होगी। यह एक बहुत ही सटीक, आत्मविश्वासी पूर्वानुमान बनाता है, लेकिन यह नाजुक है। यदि एक विशेषज्ञ गलत है, तो पूरा समूह विफल हो जाता है।

2. नई खोज: "डायल" (The Dial)

लेखकों ने महसूस किया कि केवल "मतदान" या "आम सहमति" ही नहीं है। एक पूरा डायल (जिसे अक्षर $r$ द्वारा दर्शाया गया है) है जो आपको इन चरम सीमाओं के बीच स्लाइड करने और उनसे आगे भी जाने की अनुमति देता है।

बाईं ओर स्लाइड करें (ऋणात्मक संख्याएँ): आप एक निराशावादी (Pessimist) बन जाते हैं। आप केवल उस पूर्वानुमान पर भरोसा करते हैं जो सबसे कम आत्मविश्वासी है। यदि एक विशेषज्ञ अनिश्चित है, तो आप सबसे खराब स्थिति मान लेते हैं।
दाईं ओर स्लाइड करें (उच्च धनात्मक संख्याएँ): आप एक आशावादी (Optimist) बन जाते हैं। आप केवल उस भविष्यवाणी पर भरोसा करते हैं जो सबसे अधिक आत्मविश्वासी है। आप संशय करने वालों को अनदेखा करते हैं और सबसे तेज़ आवाज़ का अनुसरण करते हैं।
मध्य भाग (0 से 1): यह सबसे सटीक स्थान (sweet spot) है। यह दोनों के बीच एक संतुलित मिश्रण है।

3. "गोल्डिलॉक्स" निष्कर्ष

इस पत्र की सबसे बड़ी खोज यह है कि केवल मध्य श्रेणी (0 से 1) ही सुरक्षित है।

इसे स्टू (stew) बनाने जैसा समझें:

"सुरक्षित क्षेत्र" (0 से 1): चाहे आप "आम सहमति" विधि (0) का उपयोग करें या "मतदान" विधि (1) का, या इनके बीच कुछ भी, आपका स्टू (अंतिम पूर्वानुमान) लगभग हमेशा किसी भी अकेले घटक से बेहतर स्वाद देगा। समूह का ज्ञान काम करता है।
"खतरा क्षेत्र" (0 से बाहर):
- यदि आप बहुत अधिक निराशावादी (ऋणात्मक संख्याएँ) हो जाते हैं: तो आप सबसे खराब स्थिति पर इतने केंद्रित हो जाते हैं कि सच्चाई को अनदेखा कर देते हैं। यदि एक विशेषज्ञ छोटी सी गलती करता है, तो आपका पूरा पूर्वानुमान ढह जाता है।
- यदि आप बहुत अधिक आशावादी (1 से अधिक संख्याएँ) हो जाते हैं: तो आप केवल "सर्वश्रेष्ठ" राय पर इतने केंद्रित हो जाते हैं कि आप इस वास्तविकता को अनदेखा कर देते हैं कि समूह एक साथ गलत हो सकता है। आप अति-आत्मविश्वासी और गलत हो जाते हैं।

4. यह क्यों मायने रखता है?

वास्तविक दुनिया में, हम बीमारियों का निदान करने, कारों को चलाने और स्पैम को फ़िल्टर करने के लिए AI का उपयोग करते हैं। हम अक्सर अधिक सुरक्षित होने के लिए "एन्सेम्बल्स" (AI मॉडलों के समूह) का उपयोग करते हैं।

समस्या: कभी-कभी, लोग या तो बेतरतीब ढंग से मिश्रण विधि चुनते हैं या पुराने तरीकों पर टिके रहते हैं।
समाधान: यह शोध पत्र हमें एक नियम पुस्तिका देता है। यह कहता है, "यदि आप चाहते हैं कि आपका AI समूह किसी भी एकल AI से स्मार्ट हो, तो अत्यधिक आशावाद या अत्यधिक निराशावाद का उपयोग न करें। मध्य डायल (0 और 1 के बीच) पर टिके रहें।"

5. "भीड़ का ज्ञान" बनाम "भीड़ का उन्माद"

यह शोध पत्र "भीड़ के ज्ञान" (Wisdom of Crowds) की अवधारणा का उपयोग करता है। आमतौर पर, एक भीड़ एक व्यक्ति से अधिक समझदार होती है।

सुरक्षित क्षेत्र (0 से 1) में: भीड़ एक बुद्धिमान परिषद की तरह कार्य करती है। वे एक-दूसरे को संतुलित करते हैं।
खतरा क्षेत्र में: भीड़ एक उन्मादी भीड़ (mob) की तरह कार्य करती है।
- यदि वे बहुत अधिक निराशावादी हैं, तो वे मुसीबत के पहले संकेत पर घबरा जाते हैं।
- यदि वे बहुत अधिक आशावादी हैं, तो वे चेतावनी संकेतों को अनदेखा करते हैं और खाई में कूद पड़ते हैं।

सारांश उपमा

कल्पना कीजिए कि आप जंगल में एक खोए हुए हाइकर को खोजने की कोशिश कर रहे हैं।

विधि 0 (जियोमेट्रिक): आप केवल वहीं खोजते हैं जहाँ हर एक स्काउट कहता है कि हाइकर है। यदि एक स्काउट गलत है, तो आप हाइकर को चूक जाते हैं।
विधि 1 (अरिथमेटिक): आप हर उस जगह खोजते हैं जिसका उल्लेख किसी भी स्काउट ने किया है। आप बहुत अधिक क्षेत्र कवर करते हैं, लेकिन आप खाली क्षेत्रों में समय बर्बाद कर सकते हैं।
विधि 2 (शोध पत्र की सलाह): आप एक संतुलन पाते हैं। आप एक व्यक्ति के संदेह से पंगु हुए बिना या एक व्यक्ति के आत्मविश्वास से अंधे हुए बिना, समूह की सामान्य दिशा पर भरोसा करते हैं।

मुख्य बात: यह शोध पत्र गणितीय रूप से सिद्ध करता है कि AI के सर्वोत्तम कार्य करने के लिए, हमें "बीच के रास्ते" वाले दृष्टिकोण का उपयोग करके भविष्यवाणियों को मिलाना चाहिए। बहुत कठोर या बहुत आशावादी होने के चरमों पर जाना वास्तव में समूह को व्यक्तियों की तुलना में कम बुद्धिमान बना देता है।

यहाँ शोध पत्र "Beyond Mixtures and Products for Ensemble Aggregation: A Likelihood Perspective on Generalized Means" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक मशीन लर्निंग में, कई संभाव्यता वितरणों (probability distributions) को एक सुसंगत वितरण $\bar{p}$ में संयोजित करने के लिए एन्सेम्बल विधियों (Deep Ensembles) का व्यापक रूप से उपयोग किया जाता है। इस शोध पत्र में संबोधित मुख्य चुनौती घनत्व एकत्रीकरण (density aggregation) है: $k$ व्यक्तिगत घनत्वों $p^{(1)}, \dots, p^{(k)}$ को एक एकल सुसंगत वितरण में कैसे संयोजित किया जाए।

दो मानक दृष्टिकोण क्षेत्र में हावी हैं:

रैखिक पूलिंग (Mixture): घनत्वों का अंकगणितीय औसत ( $r=1$ )। यह एक तार्किक "OR" की तरह कार्य करता है, जो विषमता (heterogeneity) को कैप्चर करता है और अक्सर बहु-मोडल (multimodal) वितरणों का परिणाम देता है।
ज्यामितीय पूलिंग (Product-of-Experts): घनत्वों का एक सामान्यीकृत उत्पाद ( $r=0$ )। यह एक तार्किक "AND" की तरह कार्य करता है, जो सहमति वाले क्षेत्रों में घनत्व को तीव्र करता है और उन क्षेत्रों को दंडित करता है जहाँ कोई भी विशेषज्ञ कम संभावना (low probability) देता है।

जबकि ये विधियाँ मानक हैं, इन दोनों के बीच का चुनाव (या अन्य एकत्रीकरण नियम मौजूद हैं या नहीं) एक खुला प्रश्न बना हुआ है। यह शोध पत्र यह निर्धारित करने का प्रयास करता है कि क्या एकत्रीकरण के लिए एक सैद्धांतिक रूप से इष्टतम सीमा (theoretically optimal range) है जो व्यक्तिगत मॉडलों की तुलना में व्यवस्थित सुधार सुनिश्चित करती है, जिसे विशेष रूप से लॉग-लाइक्लीहुड (log-likelihood) (ML में मॉडल फिट के लिए मानक मानदंड) के लेंस के माध्यम से आंका गया है।

2. कार्यप्रणाली (Methodology)

लेखक सामान्यीकृत माध्य (Generalized Means/Power Means) पर आधारित एक एकीकृत ढांचा प्रस्तावित करते हैं, जिसका क्रम $r \in \mathbb{R} \cup \{-\infty, +\infty\}$ है।

परिभाषा: $k$ घनत्वों के लिए, क्रम $r$ का अन-नॉर्मलाइज्ड (unnormalized) सामान्यीकृत माध्य इस प्रकार परिभाषित है:
$M_{k,r}(x) = \left( \frac{1}{k} \sum_{i=1}^k [p^{(i)}(x)]^r \right)^{1/r}$
( $r=0, \pm\infty$ के लिए सीमाएँ शामिल हैं)।
नॉर्मलाइजेशन (Normalization): चूंकि $M_{k,r}$ आवश्यक रूप से 1 के बराबर नहीं होता है, इसलिए एक वैध संभाव्यता घनत्व सुनिश्चित करने के लिए एक नॉर्मलाइजेशन स्थिरांक $Z_{k,r}$ लागू किया जाता है:
$\bar{p}_{k,r}(x) = \frac{1}{Z_{k,r}} M_{k,r}(x)$
मूल्यांकन मीट्रिक: प्रदर्शन का मूल्यांकन नेगेटिव लॉग-लाइक्लीहुड (NLL) का उपयोग करके किया जाता है। लक्ष्य यह निर्धारित करना है कि किन $r$ मानों के लिए एकत्रित मॉडल $\bar{p}_{k,r}$ , व्यक्तिगत मॉडलों के लॉग-लाइक्लीहुड के औसत की तुलना में उच्च लॉग-लाइक्लीहुड प्रदान करता है ("भीड़ की बुद्धिमत्ता" या Wisdom of Crowds प्रभाव)।

3. मुख्य योगदान (Key Contributions)

A. "सुरक्षित" शासन का सैद्धांतिक लक्षण वर्णन (Theoretic Characterization of the "Safe" Regime - $r \in [0, 1]$ )

शोध पत्र का प्राथमिक सैद्धांतिक योगदान थ्योरम 3.1 (Theorem 3.1) है, जो यह सिद्ध करता है कि किसी भी धनात्मक घनत्वों के सेट और किसी भी डेटा बिंदु $x$ के लिए, एकत्रित लॉग-लाइक्लीहुड गारंटीकृत रूप से औसत व्यक्तिगत लॉग-लाइक्लीहुड के बराबर या उससे अधिक होगा यदि और केवल यदि $r \in [0, 1]$ हो।

निहितार्थ: इस अंतराल में ज्यामितीय माध्य ( $r=0$ ) और अंकगणितीय माध्य ( $r=1$ ) दोनों सीमा मामले (boundary cases) शामिल हैं।
तंत्र (Mechanism): $r \in [0, 1]$ के लिए, नॉर्मलाइजेशन स्थिरांक $Z_{k,r} \leq 1$ (विशेष रूप से $\log Z_{k,r} \leq 0$ ) होता है, जिससे यह सुनिश्चित होता है कि नॉर्मलाइजेशन चरण घटकों के औसत से लाइक्लीहुड को कम नहीं करता है।

B. सुरक्षित शासन के बाहर विफलता मोड (Failure Modes Outside the Safe Regime)

लेखक काउंटर-एग्जांपल्स (थ्योरम 3.2) के माध्यम से प्रदर्शित करते हैं कि एकत्रीकरण तब विफल हो जाता है जब $r \notin [0, 1]$ हो:

मामला $r < 0$ (Min-like व्यवहार): एकत्रीकरण असहमति बिंदुओं (disagreement points) पर विफल होता है (जहाँ एक विशेषज्ञ उच्च संभावना देता है और दूसरा लगभग शून्य)। नकारात्मक $r$ की "निराशावादी" प्रकृति इन क्षेत्रों को भारी दंड देती है, जिससे एकत्रित लाइक्लीहुड औसत से नीचे गिर जाता है।
मामला $r > 1$ (Max-like व्यवहार): एकत्रीकरण सहमति बिंदुओं (consensus points) पर विफल होता है (जहाँ विशेषज्ञ सहमत होते हैं)। जबकि अन-नॉर्मलाइज्ड माध्य उच्च मानों को प्राथमिकता देता है, नॉर्मलाइजेशन स्थिरांक $Z_{k,r}$ बड़ा (1 से अधिक) हो जाता है क्योंकि द्रव्यमान (mass) उच्च असहमति वाले क्षेत्रों की ओर पुनर्वितरित होता है। यह सहमति बिंदु पर संभाव्यता द्रव्यमान को पतला (dilute) कर देता है, जिससे लाइक्लीहुड कम हो जाता है।

C. विश्लेषणात्मक सुगमता (Analytical Tractability)

शोध पत्र दिखाता है कि परिशिष्ट D (Appendix D) में, नॉर्मलाइजेशन स्थिरांक $Z_{k,r}$ विशेष रूप से $r=0$ (ज्यामितीय माध्य) और $r=1/n$ (जहाँ $n$ एक पूर्णांक है) के लिए क्लोज्ड-फॉर्म एनालिटिकल समाधान प्रदान करता है। $[0, 1]$ के सुरक्षित अंतराल के बाहर के अन्य $r$ मानों के लिए, समाकलन (integrals) के लिए आम तौर पर संख्यात्मक सन्निकटन (numerical approximation) की आवश्यकता होती है, जो $[0, 1]$ शासन की सैद्धांतिक और व्यावहारिक विशिष्टता को और अधिक उजागर करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन वर्गीकरण बेंचमार्क पर डीप एन्सेम्बल्स का उपयोग करके अपने सिद्धांत को मान्य किया: CIFAR-100 (विज़न), MedMNIST (मेडिकल इमेजिंग), और IMDb (सेंटिमेंट एनालिसिस)।

U-आकार का प्रदर्शन वक्र (U-Shaped Performance Curve): सभी डेटासेट में, टेस्ट क्रॉस-एन्ट्रॉपी (NLL), $r$ $r$ के सापेक्ष एक U-आकार का वक्र प्रदर्शित करता है।
- इष्टतम सीमा (Optimal Range): सर्वोत्तम प्रदर्शन लगातार $r \in [0, 1]$ के भीतर या उसके बहुत करीब पाया गया।
- अत्यधिक गिरावट (Extreme Degradation): $r < 0$ और $r > 10$ के मान व्यक्तिगत मॉडलों की तुलना में काफी खराब प्रदर्शन करते हैं, जो उनके सैद्धांतिक विफलता मोड की पुष्टि करते हैं।
इष्टतम $r$ की परिवर्तनशीलता (Optimal $r$ Variability): जबकि $[0, 1]$ एक विश्वसनीय शासन है, प्रायोगिक रूप से इष्टतम $r$ डेटासेट के अनुसार भिन्न होता है (जैसे, MedMNIST के लिए $r \approx 0.3$ , CIFAR-100 के लिए $r \approx 1.4$ )। यह सुझाव देता है कि जबकि $[0, 1]$ सुधार की गारंटी देता है, कुछ विशिष्ट उच्च-असहमति परिदृश्यों में थोड़ा "आशावादी" ( $r > 1$ ) होना कभी-कभी मामूली लाभ दे सकता है, हालांकि इसमें सैद्धांतिक गारंटी का अभाव है।
विचरण में कमी (Variance Reduction): $r \geq 0$ वाले एन्सेम्बल्स ने व्यक्तिगत मॉडलों की तुलना में कम विचरण दिखाया, जो "भीड़ की बुद्धिमत्ता" प्रभाव का समर्थन करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य मशीन लर्निंग में लीनियर ( $r=1$ ) और ज्यामितीय ( $r=0$ ) पूलिंग के व्यापक उपयोग के लिए एक सिद्धांतिक औचित्य प्रदान करता है।

एकीकरण (Unification): यह इन दो अलग-अलग दृष्टिकोणों को एक एकल सामान्यीकृत माध्य ढांचे के तहत एकीकृत करता है।
सैद्धांतिक गारंटी: यह स्थापित करता है कि $r \in [0, 1]$ एकमात्र ऐसा रेंज है जो किसी भी घनत्वों के सेट के लिए व्यक्तिगत लाइक्लीहुड में व्यवस्थित सुधार की गारंटी देता है।
व्यावहारिक मार्गदर्शन: यह एन्सेम्बल सेटिंग में चरम एकत्रीकरण नियमों (min/max पूलिंग) के उपयोग के विरुद्ध चेतावनी देता है, क्योंकि वे या तो असहमति को अत्यधिक दंडित करके या सहमति को अत्यधिक पतला करके प्रदर्शन को सक्रिय रूप से खराब कर सकते हैं।
भविष्य की दिशा: परिणाम सुझाव देते हैं कि जबकि सुरक्षित अंतराल $[0, 1]$ है, डेटा से इष्टतम $r$ को सीखना (संभावित रूप से अंतराल से थोड़ा बाहर) एक फलदायी दिशा हो सकती है, बशर्ते कि विफलता के जोखिम को प्रबंधित किया जाए।

संक्षेप में, यह शोध पत्र मिश्रणों (mixtures) और उत्पादों (products) के हेयुरिस्टिक (heuristic) तुलना से आगे बढ़कर, एक कठोर गणितीय प्रमाण प्रस्तुत करता है कि एन्सेम्बल एकत्रीकरण के लिए "स्वीट स्पॉट" (sweet spot) ज्यामितीय और अंकगणितीय माध्यों के बीच ही स्थित है।