🤖 machine learning

Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation

यह शोध पत्र $\sigma$ N-Ens को प्रस्तुत करता है, जो एक लागत-कुशल इम्पलिसिट एनसेंबल (implicit ensemble) है जो प्रशिक्षण के दौरान सदस्य विविधता और अंशांकन (calibration) को गतिशील रूप से नियंत्रित करने के लिए सिग्मॉइड-बाउंडेड स्केलर और सॉफ्टमैक्स-टेम्परेचर रेगुलराइज़र का उपयोग करता है, जिससे विभिन्न आर्किटेक्चर और डेटासेट पर काफी कम मापदंडों के साथ डीप एनसेंबल्स के तुलनीय प्रदर्शन प्राप्त होता है।

मूल लेखक: Mihai Suteu, Ovidiu Serban

प्रकाशित 2026-07-28

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mihai Suteu, Ovidiu Serban

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली को हल करने की कोशिश कर रहे हैं, जैसे मौसम की भविष्यवाणी करना या किसी धुंधली तस्वीर में बिल्ली को पहचानना। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक विश्वसनीय उत्तर पाने का सबसे स्मार्ट तरीका अक्सर विशेषज्ञों की एक पूरी टीम से पूछना और यह देखना है कि वे किस बात पर सहमत हैं। इसे "डीप एनसेम्बल" (deep ensemble) कहा जाता है। यदि एक विशेषज्ञ का दिन खराब चल रहा है या वह भ्रमित हो गया है, तो अन्य लोग उसे संतुलित कर सकते हैं, और समूह आपको बता सकता है, "हम इस बारे में काफी आश्वस्त हैं," या "हम पूरी तरह से खो गए हैं।" हालांकि, इसमें एक पेंच है: पूरी टीम को काम पर रखना महंगा है। यदि आप दस विशेषज्ञों की टीम चाहते हैं, तो आपको दस अलग-अलग, विशाल मस्तिष्क बनाने होंगे, जिसमें बहुत अधिक कंप्यूटर मेमोरी और शक्ति खर्च होगी।

पैसे बचाने के लिए, वैज्ञानिकों ने "इम्प्लिसिट एनसेम्बल्स" (implicit ensembles) का आविष्कार किया। दस अलग-अलग मस्तिष्क बनाने के बजाय, वे एक विशाल मस्तिष्क बनाते हैं और उसे कुछ अलग "व्यक्तित्व मुखौटे" (personality masks) देते हैं। ये मुखौटे मस्तिष्क के सोचने के तरीके को बदल देते हैं, जिससे वह एक साथ दस अलग-अलग विशेषज्ञों की तरह व्यवहार करता है। लेकिन एक समस्या है: आमतौर पर, ये मुखौटे तब तय कर दिए जाते हैं जब मस्तिष्क सीखना शुरू करता है। आप प्रशिक्षण के दौरान मुखौटों को यह नहीं कह सकते कि "और अधिक अलग बनो" या "अधिक सहमति रखो"; यह एक ऐसे बैंड को काम पर रखने जैसा है जहाँ वाद्य यंत्रों को एक बार ट्यून कर दिया जाता है और फिर कभी समायोजित नहीं किया जाता; यदि गाने को एक अलग वाइब की आवश्यकता है, तो बैंड अपना अंदाज नहीं बदल सकता। यह पेपर उन मुखौटों को चलते समय (on the fly) ट्यून करने का एक नया तरीका पेश करता है, जिससे AI टीम बिना अतिरिक्त कंप्यूटरों के सहमति और असहमति के सही संतुलन को खोजने में सक्षम होती है।

जादुई तापमान नॉब (The Magic Temperature Knob)

शोधकर्ताओं, इम्पीरियल कॉलेज लंदन के मिहाई सुटेउ और ओविडियू सर्बन ने एक चतुर नई विधि बनाई है जिसे वे σN-Ens कहते हैं। अपने AI मॉडल को एक विशाल, साझा रसोई के रूप में सोचें जहाँ एक अकेला शेफ (मुख्य ढांचा या "backbone") सभी सब्जियां काटता है और मुख्य व्यंजन पकाता है। एक सामान्य टीम में, आपके पास दस अलग-अलग रसोइये दस अलग-अलग रसोईघरों में होंगे। इस नए सेटअप में, आपके पास एक रसोई है, लेकिन आप दस अलग-अलग "सू-शेफ" (एनसेम्बल के सदस्य) को विशेष, जादुई चश्मे देते हैं।

ये चश्मे भोजन को नहीं बदलते; वे बस यह बदलते हैं कि सू-शेफ सामग्री को कैसे देखते हैं। एक सू-शेफ एक टमाटर को देख सकता है और सोच सकता है, "यह शो का स्टार है!" जबकि दूसरा उसी टमाटर को देखकर कह सकता है, "नहीं, बेसिल (तुलसी) अधिक महत्वपूर्ण है।" प्रत्येक सदस्य को साझा रेसिपी के विभिन्न हिस्सों पर कितना ध्यान केंद्रित करना चाहिए, इसे बदलकर, टीम अलग-अलग राय बना सकती है, ठीक वैसे ही जैसे विशेषज्ञों की एक वास्तविक टीम करती है।

पेपर का सबसे बड़ा ब्रेकथ्रू एक नया "तापमान नॉब" (जिसे softmax-temperature या $\tau$ कहा जाता है) है जो यह नियंत्रित करता है कि सू-शेफओं को आपस में कितना असहमत होना चाहिए।

नॉब को नीचे घुमाना (कम तापमान - Low Temperature): सिस्टम सू-शेफों को बहुत चूजी (picky) होने के लिए मजबूर करता है। प्रत्येक एक विशिष्ट सेट की सामग्री पकड़ता है और बाकी को अनदेखा कर देता है। वे एक-दूसरे से बहुत अलग हो जाते हैं, जैसे कि एक ऐसी टीम जहाँ हर कोई केवल एक चीज़ में विशेषज्ञता रखता है।
नॉब को ऊपर घुमाना (उच्च तापमान - High Temperature): सिस्टम सू-शेफों को सब कुछ समान रूप से साझा करने के लिए प्रेरित करता है। वे सभी पूरे व्यंजन को एक ही तरह से देखते हैं, और वे सभी सहमत होते हैं।
गोल्डिलॉक्स स्तर (The Sweet Spot): लेखकों ने पाया कि आप नहीं चाहते कि शेफ पूरी तरह से अलग हों या पूरी तरह से एक जैसे हों। आप असहमति का एक "गोल्डिलॉक्स" स्तर चाहते हैं। इस एकल तापमान नॉब को समायोजित करके, वे टीम को सटीकता (सही उत्तर प्राप्त करना) और कैलिब्रेशन (यह जानना कि आप अनिश्चित कब हैं) के बीच संतुलन बनाने वाली एक वक्र रेखा पर चला सकते हैं।

यह क्यों मायने रखता है: "मॉड्यूलेशन" ट्रिक

पेपर बताता है कि यह विधि एक विशिष्ट प्रकार की अनिश्चितता पैदा करती है जिसे मॉड्यूलेशन अनिश्चितता (modulation uncertainty) कहा जाता है। कल्पना कीजिए कि साझा रसोई एक शहर का बहुत अच्छा नक्शा है। सू-शेफ सभी एक ही नक्शे पर सहमत हैं। यदि कोई पूछता है, "पुस्तकालय कहाँ है?" तो वे सभी एक ही स्थान की ओर इशारा करते हैं। लेकिन यदि कोई पूछता है, "एक ऐसे शहर में पुस्तकालय कहाँ है जो अस्तित्व में ही नहीं है?" तो नक्शा बेकार है।

चूंकि सभी सू-शेफ एक ही बैकबोन (साझा मानचित्र) को देख रहे हैं, इसलिए वे यह बताने में माहिर हैं कि, "हम इस बारे में आश्वस्त हैं," या "हम अनिश्चित हैं," जब प्रश्न एक सामान्य शहर के बारे में हो। हालांकि, यदि आप उनसे पूरी तरह से काल्पनिक शहर (जिसे वैज्ञानिक "आउट-ऑफ-डिस्ट्रीब्यूशन" कहते हैं) के बारे में पूछते हैं, तो वे सभी आत्मविश्वास से गलत जगह की ओर इशारा कर सकते हैं क्योंकि वे सभी एक ही टूटे हुए नक्शे को देख रहे हैं। पेपर स्वीकार करता है कि हालांकि यह विधि सामान्य डेटा पर कैलिब्रेटेड होने के लिए शानदार है, लेकिन यह पूरी तरह से नकली डेटा को पहचानने में दस अलग-अलग शेफ की तुलना में उतनी अच्छी नहीं है।

परिणाम: छोटे पदचिह्न के साथ बड़ी जीत

टीम ने CIFAR-10/100 और ImageNet जैसे प्रसिद्ध इमेज डेटासेट और SST-2 नामक एक टेक्स्ट डेटासेट पर अपने विचार का परीक्षण किया। उन्होंने ResNets और Transformers सहित विभिन्न प्रकार के AI दिमागों का उपयोग किया।

यहाँ उन्हें क्या पता चला:

सस्ता और स्मार्ट: उनके तरीके ने महंगे "दस अलग-अलग शेफ" (Deep Ensembles) के प्रदर्शन की बराबरी की या उससे बेहतर प्रदर्शन किया, जबकि इसके लिए बहुत कम कंप्यूटर मेमोरी का उपयोग किया गया। उदाहरण के लिए, WideResNet मॉडल के साथ CIFAR-100 डेटासेट पर, उनके तरीके ने सर्वश्रेष्ठ सटीकता और सबसे कम त्रुटि दर प्राप्त की, लेकिन केवल लगभग 24 मिलियन पैरामीटर का उपयोग किया, जबकि पूर्ण डीप एनसेम्बल को 146 मिलियन की आवश्यकता थी।
स्केलिंग अप: आमतौर पर, जब आप इन "इम्प्लिसिट" सेटअप में टीम के सदस्यों को जोड़ने की कोशिश करते हैं, तो टीम खराब हो जाती है क्योंकि सबके लिए पर्याप्त जगह नहीं होती। लेकिन इस नए तापमान नॉब के साथ, टीम में अधिक सदस्य जोड़ने पर (16 तक) टीम वास्तव में बेहतर हुई या स्थिर रही, जबकि अन्य तरीके विफल हो गए।
फाइन-ट्यूनिंग का जादू: आप एक प्री-ट्रेंड AI मॉडल (जिसने पहले से बहुत कुछ सीखा है) को इन जादुई चश्मों को जोड़कर और एक संक्षिप्त "फाइन-ट्यून" करके एक स्मार्ट टीम में बदल सकते हैं। आपको शून्य से शुरू करने की आवश्यकता नहीं है।

ट्रेड-ऑफ (समझौता)

पेपर अपनी सीमाओं के बारे में बहुत ईमानदार है। क्योंकि सभी एक ही मस्तिष्क साझा कर रहे हैं, टीम सामान्य चीजों के बारे में अनिश्चित होने (कैलिब्रेशन) के मामले में बहुत अच्छी है, लेकिन वे पूरी तरह से अजीब या नकली चीजों को पहचानने में थोड़े कमजोर हैं (आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन)। यह दोस्तों के एक समूह जैसा है जिन्होंने एक ही किताब पढ़ी है: वे सभी कथानक पर सहमत होंगे, लेकिन यदि आप उनसे उस ट्विस्ट के बारे में पूछते हैं जो किताब में नहीं था, तो वे सभी आत्मविश्वास के साथ एक ही गलत उत्तर बना सकते हैं।

हालांकि, अधिकांश वास्तविक दुनिया के कार्यों के लिए जहाँ हमें विश्वसनीय AI की आवश्यकता होती है और जो अत्यधिक आत्मविश्वासी न हो, यह विधि एक विशाल टीम के लाभों को बिना भारी लागत के प्राप्त करने का एक व्यावहारिक, नियंत्रणीय तरीका प्रदान करती है। यह टीम की "विविधता" को एक निश्चित सेटिंग से बदलकर एक डायल में बदल देता है जिसे आप AI सीखते समय घुमा सकते हैं, जिससे यह सुनिश्चित होता है कि टीम असहमति के सही क्षेत्र में बनी रहे।

तकनीकी सारांश: सॉफ्टमैक्स-तापमान मॉड्यूलेशन के माध्यम से नॉर्मलाइजेशन-आधारित इम्पलिसिट एन्सेम्बल्स में नियंत्रणीय विविधता

समस्या विवरण
डीप एन्सेम्बल्स (Deep ensembles) अनिश्चितता परिमाणीकरण (uncertainty quantification) के लिए डीप लर्निंग में स्वर्ण मानक बने हुए हैं, जो कई स्वतंत्र मॉडलों को प्रशिक्षित करके विश्वसनीय अंशांकन (calibration) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन प्रदान करते हैं। हालांकि, इनके कम्प्यूटेशनल और मेमोरी खर्च मॉडल के सदस्यों की संख्या के साथ रैखिक रूप से बढ़ते हैं, जो बड़े पैमाने के मॉडलों के लिए निषेधकारी हो जाते हैं। इम्पलिसिट एन्सेम्बल्स (Implicit ensembles) एक ही बैकबोन को साझा करके इसे संबोधित करते हैं, जो एकल प्रशिक्षण रन के भीतर एन्सेम्बल व्यवहार को सिम्युलेट करने के लिए प्रति-सदस्य मॉड्यूलेशन या विभाजन (partitioning) पेश करते हैं।

मौजूदा इम्पलिसिट एन्सेम्बल विधियों की एक महत्वपूर्ण सीमा सदस्य विविधता (member diversity) पर नियंत्रण का अभाव है। विविधता, एन्सेम्बल की गुणवत्ता का प्राथमिक निर्धारक है, फिर भी वर्तमान दृष्टिकोण इसे इनिशियलाइजेशन (जैसे कि एडॉप्टर-आधारित विधियाँ जैसे BatchEnsemble) पर स्थिर रखते हैं या आर्किटेक्चर में हार्ड-कोड (जैसे कि पैकिंग विधियाँ जैसे Packed Ensembles) कर देते हैं। फलस्वरूप, प्रशिक्षण के दौरान सटीकता और अंशांकन (calibration) के बीच के ट्रेड-ऑफ को आकार देने या नेविगेट करने के लिए कोई तंत्र नहीं है। इसके अलावा, मौजूदा विधियों के लिए विशिष्ट आर्किटेक्चरल रीडिज़ाइन की आवश्यकता होती है, जिससे उन्हें प्रीट्रेन्ड मॉडलों पर लागू करना कठिन हो जाता है।

कार्यप्रणाली: $\sigma$ N-Ens
लेखक $\sigma$ N-Ens पेश करते हैं, जो एक नॉर्मलाइजेशन-आधारित इम्पलिसिट एन्सेम्बल है जो प्रत्येक सदस्य को मल्टी-टास्क लर्निंग (MTL) फ्रेमवर्क के भीतर एक अलग कार्य के रूप में मानता है।

आर्किटेक्चर ( $\sigma$ Norm): यह विधि एक साझा बैकबोन में मानक नॉर्मलाइजेशन परतों (BatchNorm या LayerNorm) को कार्य-विशिष्ट परतों से बदल देती है। प्रत्येक सदस्य $t$ के लिए, नॉर्मलाइजेशन को एक सिग्मॉइड-बाउंडेड स्केलर द्वारा मॉड्यूलेट किया जाता है:
$\sigma\text{Norm}_t(x) = \sigma(\gamma_t) \odot \text{norm}_t(x)$
जहाँ $\sigma(\gamma_t) = \frac{1}{1 + e^{-\gamma_t}}$ । ये स्केलर प्रति-फीचर महत्व (per-feature importances) के रूप में कार्य करते हैं। क्योंकि केवल नॉर्मलाइजेशन परतें ही पुनरावृत्त (replicated) होती हैं, बैकबोन वेट्स (कन्वोल्यूशनल या ट्रांसफार्मर) पूरी तरह से साझा रहते हैं, जिससे यह विधि किसी भी मानक आर्किटेक्चर को रैप कर सकती है और लघु फाइन-ट्यूनिंग के माध्यम से प्रीट्रेन्ड मॉडलों को अनुकूलित कर सकती है।
सॉफ्टमैक्स-तापमान के माध्यम से नियंत्रणीय विविधता: प्रशिक्षण के दौरान सक्रिय रूप से विविधता को आकार देने के लिए, लेखक प्रत्येक फीचर के लिए सदस्यों के बीच महत्व वेक्टर्स ( $\sigma(\gamma)$ ) पर लागू होने वाला एक सॉफ्टमैक्स-तापमान रेगुलराइज़र पेश करते हैं।
$\mathcal{L}_{div} = \lambda \sum_{\ell \in \mathcal{R}} \sum_{i} \sum_{m=1}^{M} \log \left[ \text{softmax}_{\tau}(\sigma(\gamma_{\cdot, \ell, i})) \right]_m$
यहाँ, $\tau$ एक तापमान हाइपरपैरामीटर के रूप में कार्य करता है जो साझाकरण के संतुलन स्तर को निर्धारित करता है।
- निम्न $\tau$ (Low $\tau$ ): वितरण को 'वन-हॉट' की ओर ले जाता है, जिससे फीचर्स को एक एकल सदस्य के स्वामित्व में धकेला जाता है (अधिकतम विविधता, जो हार्ड पार्टीशनिंग के समान है)।
- उच्च $\tau$ (High $\tau$ ): वितरण को यूनिफॉर्म (एकसमान) की ओर ले जाता है, जिससे फीचर्स को पूरी तरह से साझा करने के लिए प्रोत्साहन मिलता है।
- मध्यवर्ती $\tau$ (Intermediate $\tau$ ): एक "सॉफ्ट $M$ -choose- $k$ " आवंटन बनाता है, जहाँ फीचर्स को $k$ सदस्यों के एक उपसमूह के बीच साझा किया जाता है।
  मानक रेगुलराइजेशन स्ट्रेंथ ( $\lambda$ ) के विपरीत, जो यह निर्धारित करता है कि नेटवर्क को लक्ष्य की ओर कितनी तीव्रता से धकेला जा रहा है, $\tau$ यह चुनता है कि सिस्टम किस संतुलन (equilibrium) में स्थिर होगा। यह चिकित्सकों को $\tau$ को स्वैप करके एक 'एक्यूरेसी-कैलिब्रेशन फ्रंटियर' को ट्रेस करने की अनुमति देता है।
मॉड्यूलेशन अनिश्चितता (Modulation Uncertainty): लेखक इस एन्सेम्बल द्वारा व्यक्त एपिस्टेमिक अनिश्चितता को मॉड्यूलेशन अनसेप्टेन्टी के रूप में पुनर्गठित करते हैं। चूंकि बैकबोन साझा और नियत (deterministic) है, इसलिए अनिश्चितता केवल मॉड्यूलेशन पैरामीटर्स द्वारा साझा फीचर्स के रीवेटिंग (reweighting) से उत्पन्न होती है। यह साझा बैकबोन वाले एन्सेम्बल्स द्वारा व्यक्त विशिष्ट एपिस्टेमिक घटक से संरचनात्मक रूप से भिन्न है।

मुख्य योगदान

नियंत्रणीय विविधता: यह पेपर इम्पलिसिट एन्सेम्बल परिवार में पहली ऐसी विधि प्रस्तुत करता है जो इनिशियलाइजेशन या कंस्ट्रक्शन में इसे फिक्स करने के बजाय, एक एकल हाइपरपैरामीटर ( $\tau$ ) के माध्यम से प्रशिक्षण के दौरान सदस्य विविधता को आकार देती है। यह सटीकता-अंशांकन (accuracy-calibration) पारेटो फ्रंटियर को नेविगेट करने में सक्षम बनाता है।
मॉड्यूलेशन अनिश्चितता: लेखक "मॉड्यूलेशन अनिश्चितता" को परिभाषित करते हैं, जो साझा-बैकबोन एन्सेम्बल्स द्वारा व्यक्त विशिष्ट एपिस्टेमिक घटक है। वे स्थापित करते हैं कि यह अनिश्चितता इनपुट भ्रष्टाचार (corruption) के तहत अंशांकन बनाए रखती है, लेकिन पूर्ण एन्सेम्बल्स की तुलना में कमजोर OOD डिटेक्शन प्रदर्शित करती है, क्योंकि साझा बैकबोन उन इनपुट्स पर भिन्न नहीं हो सकता जिन्हें वह एनकोड नहीं करता है।
आर्किटेक्चर एग्नोस्टिसिज्म और दक्षता: केवल नॉर्मलाइजेशन परतों पर कार्य करके, $\sigma$ N-Ens बिना किसी आक्रामक रीडिज़ाइन के कन्वोल्यूशनल और ट्रांसफार्मर दोनों बैकबोन पर लागू होता है। यह मौजूदा प्रीट्रेन्ड मॉडलों को न्यूनतम फाइन-ट्यूनिंग के साथ कैलिब्रेटेड एन्सेम्बल्स में बदल सकता है, जिससे उन्हें शून्य से प्रशिक्षित करने की आवश्यकता समाप्त हो जाती है।

परिणाम
विधि का मूल्यांकन ResNets, WideResNets और विजन ट्रांसफॉर्मर्स (ViT) के साथ CIFAR-10/100, ImageNet और SST-2 पर किया गया।

प्रदर्शन बनाम लागत: $\sigma$ N-Ens सटीकता और नेगेटिव लॉग-लाइक्लीहुड (NLL) के मामले में डीप एन्सेम्बल्स के बराबर या उनसे बेहतर प्रदर्शन करता है, जबकि यह बहुत कम पैरामीटर काउंट का उपयोग करता है (उदाहरण के लिए, CIFAR-100 पर WideResNet के साथ, यह काफी कम पैरामीटर्स के साथ स्टेट-ऑफ-द-आर्ट सटीकता प्राप्त करता है)।
स्केलेबिलिटी: पार्टीशनिंग विधियों (जैसे Packed Ensembles) के विपरीत, जो क्षमता बाधाओं के कारण सदस्यों ( $M$ ) की संख्या बढ़ने पर खराब हो जाती हैं या कोलैप्स हो जाती हैं, $\sigma$ N-Ens सुचारू रूप से स्केल करता है। जैसे-जैसे $M$ बढ़ता है, सॉफ्ट शेयरिंग मैकेनिज्म क्षमता को प्रभावी ढंग से पूल करता है, जिससे प्रदर्शन सुधारने या संतृप्त होने के बजाय कोलैप्स होने के बजाय बेहतर होता है।
शिफ्ट के तहत अंशांकन: यह विधि वितरण शिफ्ट (इनपुट भ्रष्टाचार) के तहत मजबूत अंशांकन बनाए रखती है, जहाँ एक्सपेक्टेड कैलिब्रेशन एरर (ECE) भ्रष्टाचार की गंभीरता बढ़ने के साथ लगभग स्थिर रहता है।
OOD डिटेक्शन: सैद्धांतिक विश्लेषण के अनुरूप, OOD डिटेक्शन पूर्ण डीप एन्सेम्बल्स की तुलना में कमजोर है, विशेष रूप से उन प्रीट्रेन्ड बैकबोन के मामले में जहाँ फीचर रिप्रेजेंटेशन फिक्स्ड होता है। हालांकि, स्क्रैच से प्रशिक्षण लेने पर डिटेक्शन प्रदर्शन में सुधार होता है, क्योंकि मेंबर्स विविधता के दबाव में साझा रिप्रेजेंटेशन को आकार देते हैं।
हाइपरपैरामीटर संवेदनशीलता: कन्वर्ज होने के बाद अंतिम प्रदर्शन $\lambda$ की रेगुलराइजेशन स्ट्रेंथ के प्रति काफी हद तक असंवेदनशील है, जिससे $\tau$ चिकित्सकों के लिए ट्यून करने हेतु एकमात्र महत्वपूर्ण हाइपरपैरामीटर बन जाता है।

महत्व
यह पेपर तर्क देता है कि नियंत्रणीय विविधता, इम्पलिसिट एन्सेम्बल्स को एक स्टैटिक आर्किटेक्चरल चॉइस से एक डायनेमिक, ट्यूनेबल सिस्टम में बदल देती है। विविधता को इनिशियलाइजेशन और आर्किटेक्चर से अलग करके, $\sigma$ N-Ens पूर्ण डीप एन्सेम्बल्स को प्रशिक्षित करने के एक व्यावहारिक विकल्प के रूप में कार्य करता है, विशेष रूप से जैसे-जैसे मॉडल का आकार बढ़ता है। एक एकल प्रीट्रेन्ड मॉडल को लघु फाइन-ट्यून के साथ एक कैलिब्रेटेड एन्सेम्बल में बदलने की क्षमता, संसाधन-बाधित या जोखिम-संवेदनशील डोमेन में अनिश्चितता-जागरूक डीप लर्निंग को तैनात करने के एक महत्वपूर्ण अंतर को संबोधित करती है। यह कार्य साझा-बैकबोन एन्सेम्बल्स में निहित ट्रेड-ऑफ को स्पष्ट करता है, संरचनात्मक सीमा (साझा फीचर एक्सट्रैक्टर्स) को उनके देखे गए OOD डिटेक्शन की कमजोरी से स्पष्ट रूप से जोड़ता है, जबकि अंशांकन मजबूती (calibration robustness) में उनकी ताकत को उजागर करता है।

जादुई तापमान नॉब (The Magic Temperature Knob)

यह क्यों मायने रखता है: "मॉड्यूलेशन" ट्रिक

परिणाम: छोटे पदचिह्न के साथ बड़ी जीत

ट्रेड-ऑफ (समझौता)

इसी तरह के और पेपर