🤖 machine learning

A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning

यह शोधपत्र यह प्रदर्शित करता है कि बेयसियन डीप लर्निंग में सिंगल-सीड इवैल्यूएशन मेट्रिक्स रिपोर्ट करना अविश्वसनीय है क्योंकि प्रशिक्षण के दौरान महत्वपूर्ण, नॉन-मोनोटोनिक वेरिएंस उतार-चढ़ाव होते हैं, विशेष रूप से उन विधियों में जिनमें लर्नड हेटेरोसेडास्टिक हेड्स होते हैं, और यह सुझाव देता है कि चिकित्सकों को केवल एंडपॉइंट मीन्स के बजाय वेरिएंस ट्रेजेक्टरीज रिपोर्ट करनी चाहिए।

मूल लेखक: Qishi Zhan, Minxuan Hu, Liang He, Guansu Wang, Jiaxin Liu

प्रकाशित 2026-04-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qishi Zhan, Minxuan Hu, Liang He, Guansu Wang, Jiaxin Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

दो विचलन (Variances) की कहानी: आपकी AI का "रिपोर्ट कार्ड" आपसे झूठ क्यों बोल सकता है

कल्पना कीजिए कि आप एक पेशेवर बास्केटबॉल टीम के स्काउट हैं। आप जानना चाहते हैं कि क्या एक नया खिलाड़ी वास्तव में अच्छा है, इसलिए आप उन्हें केवल एक गेम खेलते हुए देखते हैं। उन्होंने 40 अंक बनाए! आप अपनी नोटबुक में लिखते हैं: "यह खिलाड़ी एक सुपरस्टार है।"

लेकिन इसमें एक पेंच है: वह एक गेम उस दिन खेला गया था जब खिलाड़ी ने अतिरिक्त कैफीन लिया था, विपक्षी टीम का स्टार डिफेंडर बीमार था, और बास्केट का रिम "भाग्यशाली" महसूस कर रहा था। यदि आपने उन्हें 50 अलग-अलग गेम खेलते हुए देखा होता, तो आपको एहसास होता कि उनका औसत वास्तव में केवल 15 अंक है।

यह पेपर ठीक इसी समस्या के बारे में है, लेकिन आर्टिफिशियल इंटेलिजेंस (AI) के लिए।

समस्या: "सिंगल-गेम" का जाल

जब वैज्ञानिक AI मॉडल बनाते हैं (विशेष रूप से वे "बायेसियन" मॉडल जो न केवल एक उत्तर देने की कोशिश करते हैं, बल्कि यह भी बताते हैं कि वे कितने निश्चित हैं), तो वे आमतौर पर यह दिखाने के लिए एक एकल स्कोर रिपोर्ट करते हैं कि AI ने कैसा प्रदर्शन किया। यह उस स्काउट द्वारा लिखने जैसा है कि उसने एक 40-पॉइंट वाला गेम देखा।

शोधकर्ताओं ने पाया कि कई मामलों में, वह एकल स्कोर एक झूठ है। यह AI के बारे में कोई स्थिर तथ्य नहीं है; यह केवल एक भाग्यशाली (या दुर्भाग्यपूर्ण) क्षण है।

खोज: AI का "मिड-लाइफ क्राइसिस" (मध्य-जीवन संकट)

शोधकर्ताओं ने इस बात का अध्ययन किया कि जैसे-जैसे आप AI को अधिक डेटा देते हैं, उसका प्रदर्शन कैसे बदलता है। आमतौर पर, आप उम्मीद करेंगे कि जैसे-जैसे एक AI को अधिक "अध्ययन सामग्री" (डेटा) मिलती है, उसका प्रदर्शन अधिक स्थिर और अनुमानित हो जाता है। इसे सुधार की एक सुचारू, नीचे की ओर जाती ढलान होनी चाहिए।

इसके बजाय, उन्होंने कुछ अजीब पाया: द "मिड-लाइफ क्राइसिस" स्पाइक।

कुछ प्रकार के AI के लिए, मध्यम मात्रा में डेटा पर एक "खतरा क्षेत्र" (danger zone) होता है। इस विशिष्ट चरण में, AI अविश्वसनीय रूप से अनिश्चित हो जाता है। एक बार वह शानदार प्रदर्शन करता है; अगली बार, वह बुरी तरह विफल हो जाता है।

रूपक (Metaphor): कल्पना कीजिए कि एक छात्र परीक्षा के लिए पढ़ाई कर रहा है।

चरण 1 (कम डेटा): उसे कुछ नहीं पता। वह हर अभ्यास परीक्षा में फेल हो जाता है। (स्थिर विफलता)।
चरण 2 (मध्यम डेटा - द स्पाइक): उसने कुछ चीजें सीखी हैं, लेकिन वह भ्रमित है। एक दिन उसे लगता है कि वह कैलकुलस समझ गया है; अगले दिन, वह साधारण भाग (long division) भी नहीं कर पाता। उसके स्कोर 0% से 100% तक झूलते रहते हैं। यह खतरा क्षेत्र है।
चरण 3 (बहुत सारा डेटा): अंततः उसे "समझ" आ जाती है। वह लगातार 95% स्कोर करता है। (स्थिर सफलता)।

शोधकर्ताओं ने पाया कि यदि कोई वैज्ञानिक उस "चरण 2" के स्पाइक के दौरान AI का स्कोर रिपोर्ट करता है, तो वे अनजाने में 95% का स्कोर रिपोर्ट कर सकते हैं जबकि AI का वास्तविक औसत वास्तव में 40% है।

ऐसा क्यों होता है? ("कंफ्यूज्ड टीचर" प्रभाव)

पेपर बताता है कि कुछ AI मॉडल को एक विशिष्ट गणितीय विधि (जिसे "हेटरोसेडास्टिक NLL" कहा जाता है) का उपयोग करके सिखाया जाता है जो अनिवार्य रूप से AI को बताती है: "यदि तुम निश्चित नहीं हो, तो बस एक बड़ा मार्जिन ऑफ एरर (त्रुटि का अंतर) मान लो।"

उस "मिड-लाइफ क्राइसिस" चरण में, AI एक लूप में फंस जाता है। वह एक गलती करता है, भ्रमित होता है, निर्णय लेता है कि वह "अनिश्चित" है, और फिर उस अनिश्चितता का उपयोग और भी अधिक गलतियाँ करने के औचित्य के रूप में करता है। यह उस छात्र की तरह है जो, जब वह एक कठिन गणित के सवाल पर आता है, तो तय करता है, "मुझे गणित नहीं आता, इसलिए मैं हर उत्तर के लिए 'शायद' लिख दूँगा," जो उसके ग्रेड को बुरी तरह से ऊपर-नीचे करता है।

समाधान: सिखाने का एक बेहतर तरीका

शोधकर्ताओं ने एक "फिक्स" का परीक्षण किया। उन्होंने प्रशिक्षण के दौरान AI को ग्रेड करने के तरीके को बदल दिया (जिसे $\beta$ -NLL कहा जाता है)।

यह नया "ग्रेडिंग सिस्टम" बहुत अधिक उत्साहजनक है। यह AI को सीखने से बचने के लिए "अनिश्चितता" का उपयोग करने से रोकता है। जब उन्होंने इस पद्धति का उपयोग किया, तो "मिड-लाइफ क्राइसिस" गायब हो गया, और AI की प्रगति एक सुचारू, विश्वसनीय चढ़ाई बन गई।

वास्तविक दुनिया के लिए सीख

पेपर भविष्य बनाने वाले लोगों को एक चेतावनी के साथ समाप्त होता है:

एकल स्कोर पर भरोसा न करें: यदि कोई AI शोधकर्ता आपको एक नंबर दिखाता है, तो उनसे पूछें, "अगर आप परीक्षण को फिर से चलाएं तो वह नंबर कितना हिलेगा?"
"खतरा क्षेत्रों" पर नज़र रखें: यदि आप एक AI को प्रशिक्षित कर रहे हैं, तो यह मान न लें कि क्योंकि यह आज अच्छा दिख रहा है, इसलिए यह कल स्थिर रहेगा। प्रशिक्षण के मध्य चरणों के दौरान स्थिरता की जांच करें।
उद्देश्य (Objective) बदलें: यदि आपका AI अनिश्चित व्यवहार कर रहा है, तो मानक "अनिश्चितता" गणित का उपयोग करना बंद करें और इसे सही रास्ते पर रखने के लिए $\beta$ -NLL पद्धति का प्रयास करें।

तकनीकी सारांश: दो विचरणों की एक कहानी (A Tale of Two Variances)

"ए टेल ऑफ टू वेरिएंसेस: व्हेन सिंगल-सीड बेंचमार्क्स फेल इन बेयसियन डीप लर्निंग" (A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning) बेयसियन डीप लर्निंग में मॉडल के मूल्यांकन के तरीके में एक गंभीर दोष की जांच करता है: सिंगल-सीड एंडपॉइंट मेट्रिक्स (single-seed endpoint metrics) पर अत्यधिक निर्भरता। लेखक तर्क देते हैं कि सीमित-डेटा सेटिंग्स में, एक एकल रिपोर्ट किया गया मान (जैसे कि Continuous Ranked Probability Score, CRPS) एक रैंडम वेरिएबल (random variable) है, जो किसी विधि के वास्तविक अपेक्षित प्रदर्शन का प्रतिनिधित्व करने में विफल हो सकता है।

1. समस्या: बेंचमार्क की अविश्वसनीयता

प्रोबेबिलिस्टिक रिग्रेशन (probabilistic regression) में, बेंचमार्क आमतौर पर एक ही ट्रेनिंग रन से प्राप्त एक मूल्यांकन मीट्रिक (जैसे CRPS) का एकल माध्य मान (mean value) रिपोर्ट करते हैं। हालाँकि, क्योंकि ट्रेनिंग में स्टोकेस्टिक प्रक्रियाएं (डेटा सैंपलिंग, रैंडम इनिशियलाइजेशन) शामिल होती हैं, यह एंडपॉइंट स्वयं एक रैंडम वेरिएबल होता है।

लेखक एक विशिष्ट घटना की पहचान करते हैं: नॉन-मोनोटोन वैरियेंस ट्रेजेक्टरीज (non-monotone variance trajectories)। हालांकि ऐसा अपेक्षित हो सकता है कि अधिक डेटा जोड़ने पर मूल्यांकन अनिश्चितता (evaluation uncertainty) सुचारू रूप से कम हो जाए (एक पावर लॉ का पालन करते हुए), कुछ विधियां मध्यवर्ती प्रशिक्षण आकार (intermediate training sizes) पर "वैरिएंस स्पाइक्स" (variance spikes) प्रदर्शित करती हैं। इन क्षेत्रों में, एक सिंगल-सीड रिपोर्ट विधि के वास्तविक माध्य प्रदर्शन का एक अत्यधिक अविश्वसनीय अनुमान बन जाती है, जिससे संभावित रूप से यह निष्कर्ष गलत निकल सकता है कि कौन सा मॉडल बेहतर है।

2. कार्यप्रणाली (Methodology)

शोधकर्ताओं ने वास्तविक वितरण को पकड़ने के लिए प्रत्येक प्रशिक्षण आकार पर 50 स्वतंत्र पुनरावृत्तियों (repetitions) का उपयोग करते हुए छह रिग्रेशन डेटासेट्स (सिंथेटिक और वास्तविक दुनिया) पर एक व्यापक अनुभवजन्य अध्ययन किया।

रुचि का मीट्रिक: कंटीन्यूअस रैंक प्रोबेबिलिटी स्कोर (CRPS), जिसे अंशांकन (calibration) और शार्पनेस (sharpness) दोनों के मूल्यांकन की क्षमता के लिए चुना गया है।
विधि वर्गीकरण:
- डायरेक्ट पैरामीटराइजेशन मेथड्स: (जैसे MAP, Deep Ensembles) ये एक हेटेरोसेडास्टिक आउटपुट हेड के माध्यम से प्रेडिक्टिव वेरिएंस सीखते हैं (सीधे $\sigma^2$ सीखना)।
- इम्प्लिसिट अनसर्टेंटी मेथड्स: (जैसे MC Dropout, Bayes by Backprop) ये एक समर्पित वेरिएंस हेड के बिना स्टोकेस्टिक एवरेजिंग या पोस्टीरियर सैंपलिंग के माध्यम से अनिश्चितता प्राप्त करते हैं।
विश्लेषणात्मक ढांचा:
- ट्रेजेक्टरी विश्लेषण: वे एक पावर-लॉ फॉर्म ( $Var \approx Cn^{-\alpha}$ ) का उपयोग करके प्रशिक्षण आकार $n$ के फलन के रूप में CRPS के वेरिएंस को मॉडल करते हैं। वे "रेगुलर" या "इरेगुलर" ट्रेजेक्टरीज को वर्गीकृत करने के लिए कोएफिशिएंट ऑफ डिटरमिनेशन ( $R^2$ ) और मोनोटोनिसिटी (monotonicity) का उपयोग करते हैं।
- विश्वसनीयता मात्रा निर्धारण: वे रिलेटिव RMSE का उपयोग करके एक सिंगल रन के "सेल्फ-एस्टिमेशन एरर" को मापते हैं और उस प्रायिकता को मापते हैं जिसमें एक सिंगल रन, रिपीटेड-रन मीन के $\pm 10\%$ के भीतर आता है।
- हस्तक्षेप (Intervention): अस्थिरता के कारण का परीक्षण करने के लिए, उन्होंने मानक हेटेरोसेडास्टिक नेगेटिव लॉग-लाइक्लीहुड (NLL) को एक $\beta$ -NLL ऑब्जेक्टिव से बदल दिया।

3. मुख्य योगदान

वैरिएंस स्पाइक्स की पहचान: वे सिद्ध करते हैं कि डायरेक्ट पैरामीटराइजेशन मेथड्स (MAP, Deep Ensembles) वास्तविक दुनिया के डेटासेट्स पर मध्यवर्ती प्रशिक्षण आकारों पर स्पष्ट, पुनरुत्पादित (reproducible) वेरिएंस पीक्स प्रदर्शित करते हैं।
डायग्नोस्टिक फ्रेमवर्क: वे विश्वसनीयता के लिए दो-स्तरीय दृष्टिकोण प्रस्तावित करते हैं:
- मेथड-लेवल: वैश्विक रूप से अनियमित व्यवहार वाली विधियों की पहचान करने के लिए $R^2$ और मोनोटोनिसिटी का उपयोग करना।
- ट्रेनिंग-साइज लेवल: स्थानीय वेरिएस (local variance) को गलत मापन के जोखिम के प्रत्यक्ष संकेत के रूप में उपयोग करना।
कारण संबंधी अंतर्दृष्टि (Causal Insight): वे प्रमाण प्रदान करते हैं कि मानक हेटेरोसेडास्टिक ट्रेनिंग ऑब्जेक्टिव इस अस्थिरता का प्राथमिक चालक है।
लोकल वेरिएस के प्रेडिक्टर के रूप में सत्यापन: वे सिंगल-सीड अनुमानों के वास्तविक त्रुटि और स्थानीय CRPS वेरिएस के बीच एक लगभग पूर्ण स्पीयरमैन सहसंबंध ( $>0.96$ ) प्रदर्शित करते हैं।

4. मुख्य परिणाम

सिंगल सीड्स की विफलता: Seoul Bike डेटासेट पर, सिंगल-सीड MAP अनुमान का रिलेटिव RMSE वेरिएंस पीक पर 93.6% तक पहुँच जाता है, और परिणाम के वास्तविक मीन के 10% के भीतर होने की प्रायिकता घटकर मात्र 5.9% रह जाती है।
डायरेक्ट बनाम इम्प्लिसिट विभाजन: इम्प्लिसिट मेथड्स (MCD, BBB) आम तौर पर सुचारू, मोनोटोन वेरिएंस कॉन्ट्रैक्शन दिखाते हैं। डायरेक्ट मेथड्स (MAP, Ensembles) वास्तविक डेटा पर कम $R^2$ के साथ अनियमित, नॉन-मोनोटोन ट्रेजेक्टरीज दिखाते हैं।
$\beta$ -NLL प्रभाव: मानक ऑब्जेक्टिव को $\beta$ -NLL (जहाँ $\beta=0.5$ ) से बदलने से ट्रेजेक्टरीज महत्वपूर्ण रूप से रेगुलराइज होती हैं, जिससे सुचारू पावर-लॉ डिके और उच्च $R^2$ मान बहाल होते हैं (उदाहरण के लिए, Kin8nm MAP $R^2$ को 0.158 से बढ़ाकर 0.950 करना)।
मीट्रिक संवेदनशीलता: CRPS और इंटरवल स्कोर इस अस्थिरता के निदान के लिए अत्यधिक विश्वसनीय हैं, जबकि NLL और इंटरवल कवरेज प्रोबेबिलिटी (PICP) बहुत कम सुसंगत हैं।

5. महत्व और व्यावहारिक निहितार्थ

यह शोध पत्र बेंचमार्किंग के परिप्रेक्ष्य को "अंतिम नंबरों की तुलना करने" से बदलकर "मापन प्रक्रिया की स्थिरता का मूल्यांकन करने" की ओर ले जाता है।

अभ्यासकर्ताओं (Practitioners) के लिए:

छोटे-डेटा रिजीम में सिंगल सीड्स पर भरोसा न करें: यदि आपका ट्रेनिंग साइज "मध्यवर्ती" रेंज में है, तो एक सिंगल रन सांख्यिकीय रूप से खतरनाक है।
ट्रेजेक्टरी सारांश रिपोर्ट करें: केवल अंतिम मीन रिपोर्ट करने के बजाय, शोधकर्ताओं को अपने मूल्यांकन मीट्रिक्स की रेगुलरिटी ( $R^2$ और मोनोटोनिसिटी) रिपोर्ट करनी चाहिए।
लक्षित पुनरावृत्तियाँ (Targeted Repetitions): प्रत्येक एकल डेटा बिंदु के लिए 50 सीड्स चलाने के बजाय, अभ्यासकर्ताओं को स्थानीय वेरिएस विश्लेषण द्वारा पहचाने गए उच्च-वैरिएंस क्षेत्रों पर कंप्यूटेशनल संसाधनों को केंद्रित करना चाहिए।
ऑब्जेक्टिव का चुनाव: उन विधियों के लिए जो सीधे वेरिएंस सीखती हैं, $\beta$ -NLL का उपयोग अधिक स्थिर और विश्वसनीय बेंचमार्क सुनिश्चित करने का एक कम लागत वाला तरीका है।