📊 statistics

Is K-fold cross validation the best model selection method for Machine Learning?

यह शोधपत्र एक नवीन K-fold CUBV सांख्यिकीय परीक्षण प्रस्तावित करता है जो विशेष रूप से छोटे नमूना आकार और विषम डेटा वाले परिदृश्यों में, मशीन लर्निंग सटीकता को मान्य करने और प्रभावों का पता लगाने के साथ-साथ अत्यधिक गलत सकारात्मकता (false positives) से बचने के लिए बेयसियन अपर बाउंड्स (Bayesian upper bounds) और एकाग्रता असमानताओं (concentration inequalities) के साथ K-fold क्रॉस-वैलिडेशन को जोड़ता है।

मूल लेखक: Juan M Gorriz, R. Martin Clemente, F Segovia, J Ramirez, A Ortiz, J. Suckling

प्रकाशित 2026-04-24✓ Author reviewed ⓘ

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Juan M Gorriz, R. Martin Clemente, F Segovia, J Ramirez, A Ortiz, J. Suckling

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य प्रश्न: क्या "K-Fold क्रॉस-वैलिडेशन" AI का परीक्षण करने का सबसे अच्छा तरीका है?

कल्पना कीजिए कि आप एक शिक्षक हैं जो किसी छात्र की परीक्षा का ग्रेड देने की कोशिश कर रहे हैं। आप जानना चाहते हैं कि क्या छात्र ने वास्तव में विषय को सीखा है या वह केवल उत्तरों का अनुमान लगाकर भाग्यशाली रहा है।

मशीन लर्निंग (AI) की दुनिया में, K-Fold क्रॉस-वैलिडेशन (K-fold CV) वह सबसे लोकप्रिय तरीका है जिससे शिक्षक यह करते हैं। यह इस प्रकार काम करता है:

आप परीक्षा के कागजों का एक ढेर (आपका डेटा) लेते हैं।
आप उस ढेर को 10 छोटे ढेरों (फोल्ड्स) में काटते हैं।
आप छात्र को 9 ढेरों का अध्ययन करने देते हैं और 10वें ढेर पर टेस्ट लेते हैं।
आप इस प्रक्रिया को घुमाते (rotate) हैं ताकि वे अंततः हर ढेर का अध्ययन करें और हर ढेर पर टेस्ट दें।
आप औसत स्कोर देखते हैं कि वे वास्तव में कितने अच्छे हैं।

समस्या: इस शोध पत्र के लेखक तर्क देते हैं कि हालांकि यह विधि लोकप्रिय है, लेकिन यह दोषपूर्ण है, विशेष रूप से जब आपके पास हो:

छोटी क्लासेज: पर्याप्त छात्र (डेटा) नहीं हैं।
अव्यवस्थित क्लासरूम: बहुत अलग-अलग पृष्ठभूमि के छात्र (विषम डेटा/heterogeneous data)।

जब ये स्थितियाँ मौजूद होती हैं, तो K-fold CV अक्सर एक "झूठा पास" (false pass) दे देता है। यह आपको बताता है कि छात्र प्रतिभाशाली है, जबकि वास्तव में वह केवल अनुमान लगा रहा होता है। इससे फॉल्स पॉजिटिव (False Positives) होते हैं—यानी यह कहना कि आपने एक वास्तविक पैटर्न खोज लिया है, जबकि वह केवल रैंडम शोर (random noise) था।

उपमा (Analogy): "भाग्यशाली सिक्का" बनाम "सबसे खराब स्थिति"

कल्पना कीजिए कि आप एक नए सिक्के का परीक्षण कर रहे हैं कि क्या वह निष्पक्ष है।

मानक K-Fold CV सिक्के को 10 बार उछालने जैसा है, 7 बार 'हेड्स' आना, और यह कहना, "देखो! यह हेड्स की ओर झुका हुआ है!" लेकिन केवल 10 उछालों के साथ, यह केवल भाग्य हो सकता है।
लेखकों का समाधान (K-fold CUBV) यह पूछने जैसा है: "इस सिक्के के लिए सबसे खराब स्थिति (worst-case scenario) क्या है?"

वे एक गणितीय सुरक्षा जाल (जिसे Upper Bound कहा जाता है) का उपयोग करते हैं और पूछते हैं: "भले ही यह सिक्का पूरी तरह से निष्पक्ष हो, इसकी कितनी संभावना है कि हमें यह परिणाम शुद्ध भाग्य से मिला है?" यदि उत्तर है "बहुत अधिक संभावना है," तो वे कहते हैं, "नहीं, यह कोई वास्तविक प्रभाव नहीं है। प्रयोग रोक दें।"

मूल समस्या: "एक-बार की" गलती

यह शोध पत्र आज के विज्ञान में एक प्रमुख मुद्दे को उजागर करता है: पुनरुत्पादकता (Reproducibility)।

कल्पना कीजिए कि दो अलग-अलग लैब (लैब A और लैब B) एक ही चिकित्सा उपचार का परीक्षण करने की कोशिश कर रही हैं। वे दोनों एक ही K-fold विधि का उपयोग करती हैं।

लैब A अपने डेटा को एक तरीके से विभाजित करती है और 90% सफलता दर प्राप्त करती है।
लैब B अपने डेटा को थोड़ा अलग तरीके से विभाजित करती है और 60% सफलता दर प्राप्त करती है।

दोनों लैब "सही" विधि का उपयोग कर रही हैं, लेकिन उन्हें विपरीत परिणाम मिलते हैं। क्यों? क्योंकि छोटे और अव्यवस्थित डेटा के साथ, डेटा को काटने का तरीका (फोल्ड्स) परिणाम को पूरी तरह से बदल देता है। मानक विधि इस अस्थिरता को ध्यान में नहीं रखती है। यह मान लेती है कि डेटा "अच्छा और व्यवस्थित" है (जैसे एक आदर्श बेल कर्व), लेकिन वास्तविक दुनिया का डेटा (जैसे ब्रेन स्कैन या जेनेटिक डेटा) अव्यवस्थित और अराजक होता है।

समाधान: K-fold CUBV (द "सेफ्टी नेट")

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे K-fold Cross Upper Bounding Validation (CUBV) कहा जाता है।

इसे अपने AI परिणामों के लिए एक सीटबेल्ट की तरह समझें।

मानक K-fold आपको आपकी औसत गति बताता है।
CUBV आपको आपकी अधिकतम संभावित गति बताता है यदि आप किसी झटके (bump) से टकराते हैं।

वे एक उन्नत गणित (जिसे Statistical Learning Theory कहा जाता है) का उपयोग करके "सबसे खराब स्थिति की त्रुटि" (worst-case error) की गणना करते हैं।

वे मानक टेस्ट स्कोर लेते हैं।
वे डेटा के छोटा और अव्यवस्थित होने के आधार पर एक "सुरक्षा मार्जिन" (safety margin) जोड़ते हैं।
यदि वह स्कोर उस बड़े सुरक्षा मार्जिन को जोड़ने के बाद भी उच्च रहता है, तो (और केवल तभी) आप कह सकते हैं, "हाँ, यह एक वास्तविक खोज है!"

यदि सुरक्षा मार्जिन जोड़ने के बाद स्कोर रेखा से नीचे गिर जाता है, तो वे कहते हैं, "यह परिणाम बहुत अनिश्चित है। यह केवल भाग्य हो सकता है।"

यह क्यों मायने रखता है?

लेखकों ने इसका परीक्षण MRI ब्रेन स्कैन (अल्जाइमर रोग की तलाश) और सिम्युलेटेड अव्यवस्थित डेटा पर किया।

पुराना तरीका (K-fold): अक्सर ऐसे "प्रभावों" (स्वस्थ और बीमार मस्तिष्क के बीच अंतर) का दावा किया गया जो वास्तव में मौजूद नहीं थे। यह बहुत आशावादी था, जिससे कई झूठे अलार्म लगे।
नया तरीका (CUBV): बहुत अधिक सतर्क था। इसने किसी चीज़ को "खोज" घोषित करने से इनकार कर दिया जब तक कि वह वास्तव में मजबूत (robust) न हो। इसने वास्तविक पैटर्न को खोजने के साथ-साथ झूठे अलार्म को सफलतापूर्वक फ़िल्टर किया।

निष्कर्ष (Takeaway)

शोध पत्र निष्कर्ष निकालता है कि छोटे या अव्यवस्थित डेटासेट के साथ काम करते समय K-fold क्रॉस-वैलिडेशन सबसे अच्छा तरीका नहीं है। यह उन पैटर्न को "भ्रमित होकर देखने" (hallucinating) के प्रति बहुत संवेदनशील है जो वहां मौजूद ही नहीं हैं।

इसके बजाय, वैज्ञानिकों को K-fold CUBV का उपयोग करना चाहिए। यह एक सख्त रेफरी की तरह कार्य करता है जो कहता है, "मुझे परवाह नहीं है कि आपका औसत स्कोर कितना अच्छा दिखता है; मुझे यह जानना है कि क्या आप आपको पास होने का ग्रेड देने से पहले सबसे खराब स्थिति को संभालने में सक्षम हैं।"

संक्षेप में: औसत पर भरोसा न करें। सबसे खराब स्थिति के सुरक्षा जाल (worst-case safety net) पर भरोसा करें। यह विज्ञान को फर्जी खबरों (fake news) को प्रकाशित करने से बचाता है।

यहाँ गोरिज़ एट अल. के शोध पत्र "Is K-Fold Cross Validation the Best Model Selection Method for Machine Learning?" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मशीन लर्निंग (ML) अनुप्रयोगों में, विशेष रूप से न्यूरोइमेजिंग जैसे क्षेत्रों में जहाँ नमूना आकार (sample sizes) अक्सर छोटे होते हैं और डेटा स्रोत विषम (heterogeneous) होते हैं, पुनरुत्पादकता (reproducibility) और बढ़ी हुई टाइप I त्रुटि दरों (Type I error rates) के महत्वपूर्ण मुद्दे को संबोधित करता है।

मानक K-Fold CV की सीमाएँ: जबकि K-fold क्रॉस-वैलिडेशन (CV) मॉडल चयन और प्रदर्शन अनुमान के लिए एक मानक है, लेखक तर्क देते हैं कि यह कठोर सांख्यिकीय अनुमान (statistical inference) के लिए अपर्याप्त है। मानक CV फोल्ड्स के माध्यम से प्रदर्शन के औसत पर निर्भर करता है, जो अक्सर "वास्तविक जोखिम" (actual risk/true error) का कम आकलन करता है, विशेषकर छोटे-नमूने या विषम डेटासेट में।
एर्गोडिसिटी का उल्लंघन (The Ergodicity Violation): छोटे या जटिल डेटासेट में, सीखने की प्रक्रिया अक्सर गैर-एर्गोडिक (non-ergodic) होती है। इसका अर्थ है कि डेटा के एक एकल यथार्थ (single realization) से पूरे सिस्टम के औसत व्यवहार का विश्वसनीय रूप से अनुमान नहीं लगाया जा सकता है। फलस्वरूप, मानक CV आशावादी सटीकता अनुमान (optimistic accuracy estimates) उत्पन्न कर सकता है जो सामान्यीकरण (generalize) करने में विफल रहते हैं, जिससे गलत सकारात्मक (false positives) परिणाम मिलते हैं (जहाँ प्रभाव मौजूद नहीं है वहाँ भी प्रभाव का पता चलना) और विभिन्न प्रयोगशालाओं या डेटा स्प्लिट्स के बीच खराब पुनरावृत्ति (replication) होती है।
परम्यूटेशन टेस्ट की विफलता (Failure of Permutation Tests): भले ही इन्हें नल डिस्ट्रीब्यूशन (null distributions) उत्पन्न करने के लिए परम्यूटेशन टेस्ट के साथ जोड़ा जाए, यदि अंतर्निहित डेटा वितरण स्वतंत्र और समान रूप से वितरित (i.i.d.) नहीं है या यदि नमूना आकार नल डिस्ट्रीब्यूशन को सटीक रूप से मॉडल करने के लिए बहुत छोटा है, तो मानक CV पक्षपाती हो सकता है।

2. कार्यप्रणाली (Methodology)

लेखक एक नया सांख्यिकीय ढांचा प्रस्तावित करते हैं जिसे K-fold Cross Upper Bounding Validation (K-fold CUBV) कहा जाता है। यह विधि K-fold CV को सांख्यिकीय शिक्षण सिद्धांत (Statistical Learning Theory - SLT) के साथ एकीकृत करती है ताकि "सबसे खराब स्थिति" (worst-case scenario) के आधार पर रूढ़िवादी विश्वास अंतराल (conservative confidence intervals) का निर्माण किया जा सके।

मुख्य घटक:

वास्तविक जोखिम का ऊपरी बाउंड बनाना (Upper Bounding Actual Risk): केवल अनुभवजन्य त्रुटि ( $R_N$ ) पर निर्भर रहने के बजाय, यह विधि वास्तविक जोखिम ( $R(f)$ ) के लिए एक ऊपरी सीमा (upper bound) की गणना करती है। लक्ष्य यह सुनिश्चित करना है कि वास्तविक त्रुटि उच्च संभावना के साथ एक निश्चित सीमा से अधिक न हो।
कंसंट्रेशन इनइक्वेलिटीज (Concentration Inequalities): यह विधि अनुभवजन्य त्रुटि और वास्तविक जोखिम के बीच विचलन को सीमित करने के लिए कंसंट्रेशन इनइक्वेलिटीज (विशेष रूप से Chernoff bounds और McDiarmid's inequality) का उपयोग करती है।
- बाउंड को इस प्रकार तैयार किया गया है: $R(f) \leq R_N(f) + \Delta(N, F, Q)$ , जहाँ $\Delta$ एक विचलन पद (deviation term) है जो नमूना आकार ( $N$ ), फंक्शन क्लास ( $F$ ), और डिस्ट्रीब्यूशन ( $Q$ ) पर निर्भर करता है।
PAC-Bayesian Upper Bounds: लीनियर क्लासिफायर (विशेष रूप से Linear SVMs) के लिए, लेखक प्रोबेबली एप्रोक्सिमेटली करेक्ट (PAC)-Bayesian ऊपरी सीमाएं व्युत्पन्न करते हैं। यह दृष्टिकोण क्लासिफायर के चयन को एक रैंडम वेरिएबल के रूप में मानता है, जो विशिष्ट नमूने पर निर्भरता को सुचारू (smooth) बनाता है।
- यह बाउंड क्लासिफायर के पोस्टीरियर डिस्ट्रीब्यूशन और यूनिफॉर्म प्रायर के बीच कुलबैक-लीब्लर (KL) डायवर्जेंस को शामिल करता है।
CUBV टेस्ट मानदंड (The CUBV Test Criterion):
- नल हाइपोथेसिस को केवल तभी खारिज किया जाता है जब वास्तविक जोखिम का ऊपरी बाउंड एक विशिष्ट स्थिति को पूरा करता है (उदाहरण के लिए, बाउंड रैंडम चांस से काफी बेहतर है, आमतौर पर उच्च संभावना $1-\eta$ के साथ $> 0.5$ सटीकता)।
- यह एक "सुरक्षा जाल" (safety net) के रूप में कार्य करता है, यह सुनिश्चित करता है कि एक मॉडल को केवल तभी महत्वपूर्ण माना जाए जब उसका 'वर्स्ट-केस' प्रदर्शन भी मजबूत हो।

3. प्रमुख योगदान (Key Contributions)

K-fold CUBV ढांचा: एक नया सांख्यिकीय परीक्षण जो ML अनुमान के लिए K-fold CV को वर्स्ट-केस रिस्क बाउंडिंग के साथ जोड़ता है।
सैद्धांतिक व्युत्पत्ति (Theoretical Derivation): K-fold CV के साथ विशेष रूप से लीनियर क्लासिफायर के लिए अनुकूलित PAC-Bayesian ऊपरी सीमाओं का व्युत्पन्न, जो बिना Gaussianity या homoscedasticity की धारणा के वास्तविक जोखिम के लिए सैद्धांतिक गारंटी प्रदान करता है।
CV की खामियों का प्रदर्शन: सिमुलेशन के माध्यम से व्यवस्थित प्रदर्शन कि मानक K-fold CV छोटे-नमूने, विषम और मल्टी-मोडल डेटा परिदृश्यों में टाइप I त्रुटियों को नियंत्रित करने में विफल रहता है, जो अक्सर पक्षपाती नल डिस्ट्रीब्यूशन की ओर ले जाता है।
वास्तविक डेटा पर सत्यापन: अल्जाइमर रोग न्यूरोइमेजिंग पहल (ADNI) के वास्तविक डेटा पर इस विधि का अनुप्रयोग, जो स्प्यूरियस निष्कर्षों (spurious findings) से बचते हुए वास्तविक प्रभावों का पता लगाने में इसकी श्रेष्ठता प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न प्रयोगात्मक डिजाइनों में सिंथेटिक डेटा और वास्तविक MRI डेटासेट (ADNI) का उपयोग करके अपने मेथड का मूल्यांकन किया:

नल प्रयोग (कोई प्रभाव नहीं, $d=0$ ):
- मानक K-fold CV: अक्सर रैंडम चांस थ्रेशोल्ड (50%) से ऊपर सटीकता मान उत्पन्न करता था, जिसके परिणामस्वरूप अत्यधिक फाल्स पॉजिटिव (Type I errors) मिले, विशेष रूप से छोटे नमूना आकार और उच्च आयामीता (high dimensionality) के साथ।
- K-fold CUBV: सफलतापूर्वक फाल्स पॉजिटिव दर को महत्व स्तर ( $\alpha = 0.05$ ) से नीचे बनाए रखा, एक रूढ़िवादी और मजबूत फिल्टर के रूप में कार्य किया।
पावर विश्लेषण (प्रभाव का पता लगाना):
- छोटे प्रभाव आकार (effect sizes) वाले परिदृश्यों में, मानक K-fold CV को विश्वसनीय पहचान प्राप्त करने के लिए अव्यावहारिक रूप से बड़ी संख्या में मोंटे कार्लो परीक्षणों (नमूना आकार का 7-20 गुना तक) की आवश्यकता थी।
- K-fold CUBV ने बहुत कम नमूनों और परीक्षणों के साथ महत्वपूर्ण पहचान हासिल की, जो कठिन और विषम स्थितियों में उच्च सांख्यिकीय शक्ति (statistical power) प्रदर्शित करता है।
विषम/मल्टी-मोडल डेटा:
- जब डेटा असंतुलित मल्टी-मोडल डिस्ट्रीब्यूशन से लिया गया था (जो जटिल जैविक डेटा का अनुकरण करता है), तो मानक CV उच्च परिवर्तनशीलता और पूर्वाग्रह दिखाया।
- CUBV ने स्थिरता बनाए रखी और सही ढंग से पहचाना कि कब "वास्तविक प्रभाव" शोर (noise) से अलग करने के लिए बहुत अनिश्चित था।
न्यूरोइमेजिंग (ADNI) अनुप्रयोग:
- अल्जाइमर वर्गीकरण के लिए MRI डेटा के विश्लेषण से पता चला कि मानक CV डेटा में छिपे हुए प्रभावों के कारण अक्सर नल डिस्ट्रीब्यूशन को गलत तरीके से मॉडल करता है।
- CUBV ने अधिक विश्वसनीय सत्यापन प्रदान किया, जो नमूना आकार बढ़ने के साथ सैद्धांतिक त्रुटि मानों की ओर मोनोटोनिक अभिसरण (monotonic convergence) दिखाता है, जबकि मानक CV अनियमित बना रहा।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र निष्कर्ष निकालता है कि कठोर सांख्यिकीय अनुमान के लिए K-fold क्रॉस-वैलिडेशन सबसे अच्छा मॉडल चयन तरीका नहीं है, विशेष रूप से न्यूरोइमेजिंग जैसे छोटे-नमूने, उच्च-आयामी, या विषम डोमेन में।

मजबूती (Robustness): K-fold CUBV वास्तविक जोखिम को बाउंड करके ML मॉडलों को मान्य करने के लिए एक मजबूत मानदंड प्रदान करता है, जो "अत्यधिक फाल्स पॉजिटिव" को प्रभावी ढंग से रोकता है जो वर्तमान ML प्रथाओं को प्रभावित कर रहे हैं।
प्रतिमान परिवर्तन (Paradigm Shift): लेखक औसत प्रदर्शन मेट्रिक्स पर निर्भर रहने के बजाय वर्स्ट-केस रिस्क बाउंडिंग की ओर बढ़ने का आह्वान करते हैं। यह सुनिश्चित करता है कि एक मॉडल का प्रदर्शन केवल एक विशिष्ट डेटा स्प्लिट का आर्टिफैक्ट नहीं है बल्कि सांख्यिकीय रूप से जनसंख्या के लिए मान्य है।
विज्ञान के लिए निहितार्थ: अपने रूढ़िवादी ऊपरी बाउंड को अपनाकर, शोधकर्ता ML निष्कर्षों की पुनरुत्पादकता में सुधार कर सकते हैं, p-हैकिंग को कम कर सकते हैं, और यह सुनिश्चित कर सकते हैं कि न्यूरोसाइंस जैसे क्षेत्रों में रिपोर्ट किए गए "खोज" सांख्यिकीय रूप से ठोस हैं और केवल सांख्यिकीय शोर नहीं हैं।

संक्षेप में, यह शोध पत्र प्रस्तावित करता है कि जबकि K-fold CV मॉडल ट्यूनिंग के लिए उपयोगी है, इसे परिकल्पना परीक्षण (hypothesis testing) और वैज्ञानिक अनुमान के लिए एक वैध उपकरण के रूप में कार्य करने के लिए सांख्यिकीय अपर बाउंडिंग (CUBV) के साथ पूरक किया जाना चाहिए।