🤖 machine learning

Crossing the Validation Crisis: Cross-Validation Reduces Benchmarking Variance Surprisingly Well

यह शोध पत्र "सैंपल गेन" (sample gain) नामक एक अवधारणा के माध्यम से यह प्रदर्शित करके मशीन लर्निंग बेंचमार्किंग में सत्यापन संकट (validation crisis) को संबोधित करता है कि क्रॉस-वैलिडेशन प्रदर्शन अनुमान भिन्नता (performance estimation variance) को महत्वपूर्ण रूप से कम करता है, जो सीमित डेटा के साथ भी सुदृढ़ और विश्वसनीय एल्गोरिदम तुलना प्राप्त करने के लिए एक गतिशील अर्ली-स्टॉपिंग प्रक्रिया प्रदान करता है।

मूल लेखक: Célestin Eve, Gaël Varoquaux, Thomas Moreau

प्रकाशित 2026-06-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Célestin Eve, Gaël Varoquaux, Thomas Moreau

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जज हैं जिसे यह तय करना है कि कौन सा धावक तेज़ है। आपके पास एक बहुत छोटा ट्रैक (एक छोटा डेटासेट) है और देखने के लिए केवल कुछ ही सेकंड हैं। यदि आप उन्हें केवल एक बार दौड़ने देते हैं, तो परिणाम एक इत्तेफाक हो सकता है। शायद तेज़ धावक किसी कंकड़ से टकरा गया, या धीमे धावक को अचानक अनुकूल हवा का साथ मिल गया। आप निश्चित नहीं हो सकते कि वास्तव में कौन बेहतर है।

यही वह समस्या है जिसका सामना आज मशीन लर्निंग शोधकर्ता कर रहे हैं। वे नए AI एल्गोरिदम की तुलना करने की कोशिश कर रहे हैं, लेकिन अक्सर उनके पास परीक्षण के लिए बहुत कम डेटा होता है। क्योंकि डेटा कम है और एल्गोरिदम जटिल हैं (जैसे लाखों पहलुओं वाले पासे फेंकना), एक एकल परीक्षण रन अक्सर केवल "शोर" (noise) होता है। यह एक मैराथन विजेता को केवल एक कदम के आधार पर आंकने जैसा है।

यह शोध पत्र तर्क देता है कि समाधान केवल एक स्नैपशॉट लेने में नहीं, बल्कि कई स्नैपशॉट लेने में है। इसे क्रॉस-वैलिडेशन (Cross-Validation) कहा जाता है, लेकिन लेखक हमें दिखाते हैं कि हम इसका उपयोग सामान्य से कहीं अधिक प्रभावी ढंग से कैसे कर सकते हैं।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "वन-शॉट" (एक बार का) जुआ

अतीत में, शोधकर्ता अक्सर अपने डेटा को एक बार विभाजित करते थे: 80% AI को प्रशिक्षित करने के लिए, और 20% उसका परीक्षण करने के लिए। वे इसे एक बार चलाते थे और एक विजेता घोषित कर देते थे।

दोष: यदि आप एक सिक्के को 10 बार उछालते हैं, तो आपको 7 बार 'हेड्स' मिल सकते हैं। क्या इसका मतलब है कि सिक्का पक्षपाती है? शायद। लेकिन यदि आप इसे 1,000 बार उछालते हैं, तो आपको लगभग 50/50 का परिणाम मिलेगा।
वास्तविकता: कई प्रसिद्ध AI डेटासेट बहुत छोटे होते हैं (कुछ में 1,000 से भी कम नमूने होते हैं)। इतने छोटे नंबरों के साथ, एक एकल परीक्षण सिक्के को 10 बार उछालने जैसा है। परिणाम अस्थिर होते हैं, और आप केवल खराब किस्मत के कारण गलत "विजेता" चुन सकते हैं।

2. समाधान: "सैंपल गेन" (नमूना लाभ)

लेखक एक अवधारणा पेश करते हैं जिसे सैंपल गेन (Sample Gain) कहा जाता है। इसे अपने डेटा के लिए एक "जादुई मल्टीप्लायर" के रूप में समझें।

उपमा: कल्पना कीजिए कि आपके पास कंचों (marbles) का एक छोटा जार है (आपका टेस्ट डेटा)। आप औसत रंग जानना चाहते हैं।
- विधि A (सिंगल स्प्लिट): आप एक बार में 20 कंचे निकालते हैं, उन्हें देखते हैं, और अनुमान लगाते हैं।
- विधि B (क्रॉस-वैलिडेशन): आप 20 कंचे निकालते हैं, रंग रिकॉर्ड करते हैं, उन्हें वापस रखते हैं, जार को हिलाते हैं, और 20 अलग कंचे निकालते हैं। आप ऐसा 20 बार करते हैं।
खोज: शोध पत्र दिखाता है कि इस "हिलाने और निकालने" की विधि को 20 बार करने से आपको केवल 20 गुना अधिक डेटा नहीं मिलता। यह ऐसा काम करता है जैसे आपके पास शुरुआत में ही 10 से 15 गुना बड़ा जार रहा हो!
क्यों? कई अलग-अलग विभाजनों (splits) के परिणामों को औसत निकालकर, आप "बदकिस्मती" (कंकड़ और अनुकूल हवा) को रद्द कर देते हैं। लेखकों ने पाया कि कई एल्गोरिदम के लिए, आप लंबे समय तक ऐसा कर सकते हैं (200 स्प्लिट्स तक!) जब तक कि आप लाभ देखना बंद न कर दें। यह पुराने नियम का खंडन करता है जो कहता था, "एक बार जब आपने प्रत्येक नमूने का एक बार परीक्षण कर लिया, तो आप समाप्त हैं।"

3. "अर्ली स्टॉप" (जल्दी रुकने वाला) ट्रिक

आप पूछ सकते हैं, "यदि मुझे परीक्षण 200 बार करना है, तो क्या इसमें बहुत समय और पैसा बर्बाद नहीं होगा?"

उत्तर: हाँ, इसमें अधिक कंप्यूटिंग पावर लगती है। लेकिन लेखकों ने एक तरीका खोजा है जिससे वे बिना सभी 200 बार चलाए यह जान सकें कि कब रुकना है।
उपमा: कल्पना कीजिए कि आप सूप चख रहे हैं यह देखने के लिए कि इसमें नमक की आवश्यकता है या नहीं। आपको पूरे बर्तन को 200 बार चखने की आवश्यकता नहीं है। केवल दो या तीन चम्मच चखने के बाद, यदि स्वाद हर बार बिल्कुल एक जैसा है, तो आप जानते हैं कि सूप सुसंगत है। आप चखना बंद कर सकते हैं।
उपकरण: उन्होंने एक "रिडंडेंसी स्कोर" (Redundancy Score) बनाया है। केवल 2 या 3 स्प्लिट चलाने के बाद, आप जांच सकते हैं: "क्या ये परिणाम एक ही जानकारी दोहरा रहे हैं?"
- उच्च रिडंडेंसी (High Redundancy): परिणाम समान हैं। रुक जाइए! आगे बढ़ने से आप कुछ भी नया नहीं सीख पाएंगे।
- कम रिडंडेंसी (Low Redundancy): परिणाम अलग हैं। चलते रहें! आप अभी भी मूल्यवान जानकारी पा रहे हैं जो आपके निष्कर्ष को अधिक विश्वसनीय बनाएगी।

4. यह क्यों मायने रखता है (द "रैंकिंग" समस्या)

शोध पत्र ने एल्गोरिदम को रैंक करने के तरीके पर भी गौर किया।

परिदृश्य: एल्गोरिदम A, एल्गोरिदम B से थोड़ा बेहतर है।
सिंगल स्प्लिट: 70% एकल परीक्षणों में, एल्गोरिदम B बेहतर दिखता है क्योंकि यह रैंडम शोर (noise) के कारण होता है। आप गलत वाला चुन लेते हैं।
मल्टी-स्प्लिट: जब हम कई विभाजनों का औसत निकालते हैं, तो शोर समाप्त हो जाता है। अंततः आप देख पाते हैं कि एल्गोरिदम A वास्तव में विजेता है।
परिणाम: कई विभाजनों का उपयोग करने से आपको "गलत विजेता" चुनने से बचने में मदद मिलती है और यह सुनिश्चित होता है कि जब आप कहते हैं, "यह AI बेहतर है," तो आप वास्तव में सही होते हैं।

सारांश

यह शोध पत्र हमें बताता है कि AI की दुनिया में, पुनरावृत्ति (repetition) रेडंडेंसी नहीं है; यह विश्वसनीयता है।

क्रॉस-वैलिडेशन का अधिक आक्रामक रूप से उपयोग करके (सामान्य से अधिक स्प्लिट चलाकर), हम एक छोटे, अस्थिर डेटासेट को एक मजबूत, विश्वसनीय बेंचमार्क में बदल सकते हैं। यह एक धुंधली, एकल फोटो को अलग-अलग कोणों से कई तस्वीरें लेकर एक हाई-डेफिनिशन, 3D मॉडल में बदलने जैसा है।

लेखक हमें एक "स्मार्ट स्टॉप" बटन भी देते हैं: एक तरीका जिससे आप केवल कुछ प्रयासों के बाद जांच सकते हैं कि आपको आगे बढ़ने की आवश्यकता है या आपने पर्याप्त सबूत जुटा लिए हैं। यह प्रक्रिया को सबसे अच्छे AI एल्गोरिदम खोजने के लिए अधिक वैज्ञानिक, कम अनुमान आधारित और बहुत अधिक भरोसेमंद बनाता है।

तकनीकी सारांश: क्रॉस-वैलिडेशन के माध्यम से वैलिडेशन संकट को पार करना

1. समस्या विवरण: वैलिडेशन संकट (The Validation Crisis)

आधुनिक मशीन लर्निंग की प्रगति लर्निंग एल्गोरिदम के मूल्यांकन और तुलना के लिए अनुभवजन्य बेंचमार्किंग (empirical benchmarking) पर बहुत अधिक निर्भर करती है। हालाँकि, यह प्रक्रिया एक "वैलिडेशन संकट" का सामना कर रही है जो दो संचयी कारकों से प्रेरित है:

सांख्यिकीय परिवर्तनशीलता (Statistical Variability): डेटा स्प्लिटिंग, सैंपल ऑर्डरिंग, वेट इनिशियलाइजेशन और हाइपरपैरामीटर ऑप्टिमाइजेशन की यादृच्छिकता (randomness) के कारण मूल्यांकन मेट्रिक्स स्वाभाविक रूप से शोर (noisy) वाले होते हैं।
डेटा की कमी (Data Scarcity): कई महत्वपूर्ण डोमेन (जैसे, मेडिकल इमेजिंग, नेचुरल लैंग्वेज प्रोसेसिंग) सीमित सैंपल साइज वाले डेटासेट्स पर निर्भर करते हैं। मेटा-रिसर्च इंगित करता है कि सबसे अधिक उपयोग किए जाने वाले 50% से अधिक OpenML डेटासेट्स में 1,000 से कम सैंपल हैं।

कम-सैंपल व्यवस्था (small-sample regimes) में, प्रदर्शन अनुमानों की परिवर्तनशीलता (variance) उच्च होती है। फलस्वरूप, सिंगल ट्रेन/टेस्ट स्प्लिट (होल्ड-आउट) अक्सर अविश्वसनीय रैंकिंग प्रदान करते हैं, जहाँ वास्तविक प्रगति शोर के पीछे छिप जाती है, और सांख्यिकीय रूप से अविभेद्य प्रदर्शन वाले एल्गोरिदम को गलत तरीके से रैंक किया जाता है। जबकि क्रॉस-वैलिडेशन (CV) कई स्प्लिट्स पर परिणामों को औसत निकालकर इसे कम करने के लिए एक मानक उपकरण है, इसे आधुनिक अभ्यास में अक्सर कम उपयोग किया जाता है (हेल्थकेयर ML अध्ययनों में से 14% से भी कम CV करते हैं) क्योंकि इसे गणनात्मक लागत (computational cost) का मुद्दा माना जाता है और इस पर स्पष्ट दिशा-निर्देशों की कमी है कि कितने स्प्लिट्स आवश्यक हैं।

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

2.1 बेंचमार्किंग औपचारिकता (Benchmarking Formalism)

यह पेपर स्टैटिक डिसीजन फंक्शन्स के बेंचमार्किंग और लर्निंग एल्गोरिदम के बेंचमार्किंग के बीच अंतर करता है। लर्निंग एल्गोरिदम के लिए, लक्ष्य ओरेकल स्कोर ( $R^*_{n_{tr}}(F_\lambda)$ ) का अनुमान लगाना है, जिसे सभी संभावित प्रशिक्षण सेटों के आकार $n_{tr}$ और आंतरिक एल्गोरिथमिक रैंडम स्टेट्स (seeds) पर अपेक्षित सामान्यीकरण प्रदर्शन (expected generalization performance) के रूप में परिभाषित किया गया है।

लेखक मोंटे-कार्लो क्रॉस-वैलिडेशन (MCCV) का उपयोग करते हैं, जिसे रिपीटेड रैंडम सब-सैंपलिंग भी कहा जाता है, जहाँ डेटासेट को बार-बार प्रशिक्षण और परीक्षण सेटों में विभाजित किया जाता है। एस्टीमेटर $\hat{R}_K$ , $K$ स्वतंत्र मूल्यांकनों का औसत है।

2.2 वेरिएंस डिकंपोजिशन (Variance Decomposition)

MCCV एस्टीमेटर के वेरिएंस को दो घटकों में विभाजित किया गया है:
$\text{Var}[\hat{R}_K] = \frac{1}{K}\sigma^2_{HO} + \frac{K-1}{K}\tau$
जहाँ:

$\sigma^2_{HO}$ एक सिंगल होल्ड-आउट मूल्यांकन का वेरिएंस है।
$\tau$ विभिन्न स्प्लिट्स पर मूल्यांकनों के बीच कोवेरिएंस (covariance) है, जो सीमित डेटा के पुन: उपयोग (विभिन्न स्प्लिट्स के बीच ओवरलैप) के कारण होता है।

जैसे-जैसे $K \to \infty$ होता है, वेरिएंस शून्य नहीं होता है, बल्कि $\tau$ पर अभिसरित (converge) होता है। यह अपरिहार्य वेरिएंस घटक डेटा की सीमित प्रकृति से उत्पन्न होता है।

2.3 सैंपल गेन की अवधारणा (The Concept of Sample Gain)

$K$ बढ़ाने के लाभ को मापने के लिए, लेखक सैंपल गेन ( $G^{\text{test}}_K$ ) पेश करते हैं। यह मेट्रिक क्रॉस-वैलिडेशन द्वारा प्राप्त "आभासी डेटा ऑग्मेंटेशन" (virtual data augmentation) को मापता है। विशेष रूप से, यह वेरिएंस-इक्विवेलेंट टेस्ट साइज ( $N^{\text{equiv}}_K$ ) को परिभाषित करता है: वह आकार जिसे एक सिंगल होल्ड-आउट टेस्ट सेट को $K$ -स्प्लिट CV प्रक्रिया के समान अनुमान वेरिएंस प्राप्त करने के लिए आवश्यक होगा।

$G^{\text{test}}_K = \frac{N^{\text{equiv}}_K}{n_{te}}$
$G^{\text{test}}_K = 10$ का मान यह दर्शाता है कि $K$ स्प्लिट्स करने से अनुमान वेरिएंस में इतनी कमी आती है जो मूल टेस्ट सेट से 10 गुना बड़े टेस्ट सेट के बराबर है।

2.4 अर्ली स्टॉपिंग वाया रेडंडेंसी (Early Stopping via Redundancy)

कंप्यूटेशनल लागत $K$ के साथ रैखिक रूप से बढ़ती है, इसे पहचानते हुए, पेपर एक स्टडी-ओनली रेडंडेंसी स्कोर ( $\hat{\omega}^{\text{study}}_K$ ) प्रस्तावित करता है। यह मेट्रिक एक एकल CV रन के केवल कुछ स्प्लिट्स (जैसे, $k=2$ या $3$) के बाद ही गणनीय है। यह साझा अध्ययन अवलोकनों (shared study observations) पर विभिन्न फोल्ड-विशिष्ट प्रेडिक्टर्स के प्रेडिक्शन और लॉस के बीच सहसंबंध (correlation) को मापता है।

उच्च रेडंडेंसी (High Redundancy): यह इंगित करता है कि अतिरिक्त स्प्लिट्स संभवतः रेडंडेंट जानकारी को औसत बनाएंगे, जो अर्ली स्टॉपिंग का सुझाव देता है।
कम रेडंडेंसी (Low Redundancy): यह सुझाव देता है कि आगे के स्प्लिट्स से अभी भी महत्वपूर्ण वेरिएंस रिडक्शन प्राप्त किया जा सकता है।

3. प्रयोगात्मक मूल्यांकन (Experimental Evaluation)

लेखक सिंथेटिक डेटा, हिस्टोपैथोलॉजिकल इमेज क्लासिफिकेशन (PatchCamelyon), और NLP फाइन-ट्यूनिंग (Yelp Review Full) का उपयोग करके तीन डोमेन में अपने निष्कर्षों को मान्य करते हैं।

3.1 प्रयोगात्मक सेटअप

सिंथेटिक डेटा: अलग-अलग नॉइज़ लेवल और मॉडल कॉम्प्लेक्सिटी (Ridge, GradientBoosting, MLP, आदि) के साथ रिग्रेशन टास्क।
मेडिकल इमेजिंग: CNNs (DenseNet, WideResNet, MobileNet, ViT) का उपयोग करके लिम्फ नोड मेटास्टेसिस का वर्गीकरण (PatchCamelyon डेटासेट पर)।
NLP: Yelp Review Full डेटासेट पर BERT और XLM-RoBERTa की फाइन-ट्यूनिंग।
प्रोटोकॉल: प्रयोगों में बड़े "बेंचमार्किंग सेट्स" (मुख्य अध्ययन सेट से अलग रखे गए) का उपयोग किया गया ताकि ओरेकल स्कोर के करीब पहुँचकर नगण्य शोर के साथ वेरिएंस रिडक्शन का सटीक अनुमान लगाया जा सके।

3.2 मुख्य परिणाम

महत्वपूर्ण सैंपल गेन: स्प्लिट्स की संख्या बढ़ाने से सांख्यिकीय शक्ति (statistical power) में महत्वपूर्ण लाभ होता है।
- सिंथेटिक रिग्रेशन में, $K=200$ स्प्लिट्स के परिणामस्वरूप Ridge और MLP मॉडल्स के लिए लगभग 14 से 15 के सैंपल गेन मिले।
- लाभ $K=5$ या $K=10$ के बाद भी बने रहे, जो इस धारणा का खंडन करते हैं कि प्रत्येक सैंपल को केवल एक बार ही होल्ड-आउट किया जाना चाहिए।
- घटते रिटर्न (diminishing returns) उम्मीद से कहीं अधिक देर से आए; कुछ एल्गोरिदम (जैसे, Ridge, MLP) के लिए, गेन $K=20$ के काफी बाद भी बढ़ते रहे।
एल्गोरिदम निर्भरता: गेन की दर एल्गोरिदम के अनुसार भिन्न होती है। ट्री-बेस्ड एन्सेम्बल्स (ExtraTrees, GradientBoosting) अक्सर न्यूरल नेटवर्क या लीनियर मॉडल्स की तुलना में तेजी से स्थिर होते हैं, जो उच्च $K$ से लाभ प्राप्त करना जारी रखते हैं।
रैंकिंग विश्वसनीयता: मल्टी-स्प्लिट CV एल्गोरिदम की पेयरवाइज रैंकिंग की विश्वसनीयता में काफी सुधार करता है।
- NLP प्रयोगों में, सिंगल-स्प्लिट मूल्यांकन ने XLM-RoBERTa को BERT से 70-80% रन में ऊपर रैंक किया, जबकि BERT का औसत स्कोर अधिक था। यह XLM-RoBERtha के अत्यधिक लो-स्कोर आउटलेयर्स के कारण था।
- जैसे-जैसे $K$ बढ़ा, CV ने सही ढंग से औसत प्रदर्शन के अंतर को पहचाना, जिससे क्वैसी-ओरेकल रैंकिंग को अधिक विश्वसनीय रूप से रिकवर किया गया।
अर्ली स्टॉपिंग प्रभावकारिता: केवल 2 या 3 स्प्लिट्स के बाद गणना किया गया रेडंडेंसी स्कोर अत्यधिक भविष्य कहने वाला (predictive) था कि क्या बड़े लाभ ( $G^{\text{test}}_{20} \ge 10$ ) प्राप्त किए जा सकते हैं। शुरुआती दौर में उच्च रेडंडेंसी होने का अर्थ था कि बड़े भविष्य के लाभ की संभावना लगभग समाप्त हो गई है।

4. मुख्य योगदान (Key Contributions)

CV दक्षता का परिमाणीकरण: सैंपल गेन का परिचय एक व्याख्या योग्य मेट्रिक प्रदान करता है जो क्रॉस-वैलिडेशन के वेरिएंस रिडक्शन को "अतिरिक्त टेस्ट सैंपल्स" की इकाइयों में मापता है।
अनुमानों (Heuristics) के विरुद्ध अनुभवजन्य साक्ष्य: यह कार्य प्रदर्शित करता है कि स्प्लिट्स को सीमित करने वाला सामान्य अनुमान (जैसे, $K=5$ या $K=10$ ) अक्सर बहुत रूढ़िवादी होता है, विशेष रूप से जटिल मॉडल्स और छोटे डेटासेट्स के लिए।
व्यावहारिक अर्ली-स्टॉपिंग प्रक्रिया: एक रेडंडेंसी स्कोर के आधार पर क्रॉस-वैलिडेशन को जारी रखने या रोकने का निर्णय लेने के लिए एक गतिशील तरीका, जो कंप्यूटेशनल लागत और सांख्यिकीय विश्वसनीयता के बीच संतुलन बनाता है।
रैंकिंग स्थिरता: मल्टी-स्पिल्ट CV के लिए मजबूत प्रमाण कि यह छोटे-सैंपल रिजीम में विश्वसनीय एल्गोरिदम रैंकिंग के लिए आवश्यक है, जो मूल्यांकन शोर के कारण भ्रामक निष्कर्षों को रोकता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर तर्क देता है कि क्रॉस-वैलिडेशन मशीन लर्निंग में वैलिडेशन संकट को संबोधित करने के लिए एक महत्वपूर्ण, लेकिन कम उपयोग किया जाने वाला उपकरण है। अधिक स्प्लिट्स के माध्यम से क्रॉस-वैलिडेशन को आगे बढ़ाकर, शोधकर्ता सीमित डेटा के साथ भी मजबूत और विश्वसनीय बेंचमार्किंग प्राप्त कर सकते हैं।

लेखक दावा करते हैं कि:

विश्वसनीयता: मल्टी-स्प्लिट CV लर्निंग एल्गोरिदम की तुलना करने में विश्वास में काफी सुधार करता है, जो अक्सर 10 गुना बड़े टेस्ट सेट के बराबर सांख्यिकीय शक्ति प्रदान करता है।
लागत-लाभ (Cost-Benefit): हालांकि CV कंप्यूटेशनल लागत बढ़ाता है, "सैंपल गेन" मेट्रिक अभ्यासकर्ताओं को सूचित ट्रेड-ऑफ करने की अनुमति देता है। प्रस्तावित रेडंडेंसी स्कोर एक डेटा-संचालित दृष्टिकोण प्रदान करता है ताकि जब गेन स्थिर (plateau) हो जाए तो जल्दी रोका जा सके।
आवश्यकता: कम डेटा वाले डोमेन (जैसे, मेडिकल इमेजिंग) में, सिंगल ट्रेन/टेस्ट स्प्लिट पर निर्भर रहना जोखिम भरा है और गलत श्रेष्ठता के दावे का कारण बन सकता है। यह पेपर मल्टी-स्प्लिट CV को एक मानक अभ्यास के रूप में अपनाने की वकालत करता है, विशेष रूप से जब एल्गोरिदम के बीच प्रदर्शन का अंतर बहुत कम हो।

यह कार्य निष्कर्ष निकालता है कि छोटे-सैंपल डोमेन में कठोर एल्गोरिदम चयन के लिए सिंगल-स्प्लिट मूल्यांकनों से आगे बढ़कर व्यापक क्रॉस-वैलिडेशन की वेरिएंस-रिडक्शन क्षमताओं को अपनाना आवश्यक है।