तकनीकी सारांश: क्रॉस-वैलिडेशन में इष्टतम होल्ड-आउट आकार (Optimal Hold-Out Size)

समस्या विवरण (Problem Statement)

क्रॉस-वैलिडेशन (CV) मॉडल चयन और पैरामीटर ट्यूनिंग के लिए एक मानक प्रक्रिया है, फिर भी होल्ड-आउट आकार का चुनाव (या इसके समतुल्य फोल्ड्स की संख्या $K$) आमतौर पर परंपराओं (जैसे, $K=5, 10$, या 80/20 का विभाजन) द्वारा संचालित होता है न कि किसी सिद्धांतगत मानदंड द्वारा। यह शोध पत्र क्रॉस-वैलिडेशन प्रक्रिया में निहित एक मौलिक ट्रेड-ऑफ (tradeoff) की पहचान करता है: प्रशिक्षण नमूना आकार ($n$) को बढ़ाने से मॉडल की सटीकता में सुधार होता है (भवि 예측 पूर्वाग्रह/predictive bias को कम करता है), जबकि परीक्षण नमूना आकार ($m$) को कम करने से अनिश्चितता (variance) बढ़ जाती है।

कई आधुनिक संदर्भों में—विशेष रूप से लचीले मॉडलों (flexible models), उच्च-आयामी डेटा (high-dimensional data), या फ्लैट परफॉरमेंस कर्व्स के मामले में—$K$ में छोटे बदलाव अलग-अलग चयनित मॉडलों और भिन्न वैज्ञानिक निष्कर्षों की ओर ले जा सकते हैं, भले ही अनुमानित लॉस (estimated losses) लगभग समान हों। मुख्य समस्या यह है कि $K$-फोल्ड CV में मूल्यांकन अनिश्चितता (evaluation uncertainty) अतिरिक्त धारणाओं के बिना देखे गए डेटा से सार्वभौमिक रूप से अनुमानित नहीं की जा सकती है (Bengio और Grandvalet, 2004), जिससे शोधकर्ताओं के पास सटीकता और मूल्यांकन निश्चितता के बीच संतुलन बनाने के लिए कोई सामान्य, परिमित-नमूना (finite-sample), डेटा-विशिष्ट नियम नहीं बचता है।

कार्यप्रणाली (Methodology)

लेखक शुद्ध भविष्यवाणात्मक प्रदर्शन (pure predictive performance - अपरिहार्य शोर/irreducible noise के शुद्ध रूप में) को लक्षित करने वाले निर्णय समस्या के रूप में होल्ड-आउट आकार के चयन को औपचारिक रूप देते हैं। कार्यप्रणाली चार मुख्य चरणों के माध्यम से आगे बढ़ती है:

1. अनिश्चितता का सैद्धांतिक लक्षण वर्णन (Theoretical Characterization of Uncertainty)

लेखक शुद्ध लॉस (pure loss) के निष्पक्ष अनुमानक (unbiased estimator) के विचरण (variance) के लिए परिमित-नमूना व्यंजक (finite-sample expressions) प्राप्त करते हैं।

• सममित त्रुटियाँ (Symmetric Errors): इस धारणा के तहत कि त्रुटियाँ $\epsilon_i$ सममित रूप से वितरित हैं (जैसे, गॉसियन), लेखक लॉस के विचरण के लिए एक सटीक अभिव्यक्ति प्राप्त करते हैं।
• असममित त्रुटियाँ (Asymmetric Errors): सामान्य मामलों (जैसे, गामा वितरण, बाइनरी परिणाम) के लिए, वे एक रूढ़िवादी ऊपरी सीमा (conservative upper bound) प्राप्त करते हैं।
• मुख्य अंतर्दृष्टि: यह दिखाया गया है कि लॉस का विचरण मॉडल के पूर्वाग्रह (bias), अपरिहार्य त्रुटि ($\sigma^2$), और होल्ड-आउट आकार ($m$) का एक फलन (function) है। विशेष रूप से, विचरण $1/m$ और स्क्वेर्ड मॉडल बायस के साथ स्केल करता है। लेखक नोट करते हैं कि जबकि $K$-फोल्ड CV सह-संबंधित (correlated) लॉस का औसत लेता है, एक एकल फोल्ड का विचरण पूर्ण $K$-फोल्ड अनुमान के लिए एक वैध, रूढ़िवादी ऊपरी सीमा के रूप में कार्य करता है।

2. माध्य-विचरण उपयोगिता ढांचा (Mean-Variance Utility Framework)

इष्टतम ट्रेड-ऑफ निर्धारित करने के लिए, लेखक एक वॉन न्यूमैन-मॉर्गनस्टर्न अपेक्षित उपयोगिता ढांचे (von Neumann-Morgenstern expected utility framework) को अपनाते हैं। वे एक उपयोगिता फलन (utility function) को परिभाषित करते हैं जो अपेक्षित लॉस और उस लॉस के विचरण दोनों को दंडित करता है:
$$\text{Utility}(n, m) = - \left( E[\hat{L}_k] + \text{Var}[\hat{L}_k] \right)$$
यह सूत्रीकरण अपरिहार्य शोर पैरामीटर $\sigma^2$ को एक ट्यूनेबल "नॉब" (knob) के रूप में मानता है जो विश्लेषक की मूल्यांकन अनिश्चितता के प्रति सहनशीलता को दर्शाता है।

3. अनुमान रणनीति (Estimation Strategy)

इष्टतम $m$ (और इस प्रकार $K$) को खोजने की प्रस्तावित रणनीति में शामिल है:

1. लॉस कर्व अनुमान (Loss Curve Estimation): तीन एंकर पॉइंट्स पर अनुभवजन्य भविष्यवाणी लॉस (empirical prediction loss) का अनुमान लगाना: लीव-वन-आउट CV ($m \approx 1$), लीव-मोस्ट-आउट CV ($m \approx N/2$), और एक मध्यवर्ती बिंदु (जैसे, 5-फोल्ड)। इन बिंदुओं का उपयोग टेस्ट सेट के आकार के फलन के रूप में एक लॉस कर्व $E\hat{L}(m)$ को इंटरपोलेट करने के लिए किया जाता है।
2. **विचरण कर्व गणना (Variance Curve Calculation):
   व्युत्पन्न सैद्धांतिक सीमाओं का उपयोग करके, अनुमानित लॉस और $\sigma^2$ के आधार पर विचरण कर्व $V\hat{L}(m)$ की गणना की जाती है।
3. अनुकूलन (Optimization): इष्टतम होल्ड-आउट आकार वह $m$ का मान है जो अनुमानित लॉस और उसके विचरण बाउंड के योग को न्यूनतम करता है (उपयोगिता को अधिकतम करता है)।

4. पारेटो फ्रंटियर (The Pareto Frontier)

माना गया $\sigma^2$ बदलकर, लेखक एक पारेटो फ्रंटियर (Pareto frontier) का निर्माण करते हैं। यह मानचित्र विभिन्न शोर व्यवस्थाओं (noise regimes) के लिए इष्टतम $K$ को दर्शाता है, जिससे शोधकर्ताओं को यह देखने की अनुमति मिलती है कि उनके डेटा की गुणवत्ता के बारे में उनकी धारणाओं के आधार पर इष्टतम स्प्लिट कैसे बदलता है।

मुख्य परिणाम (Key Results)

विभिन्न डोमेन (जीव विज्ञान, सामग्री इंजीनियरिंग, सामाजिक विज्ञान) और मॉडलों (लीनियर रिग्रेशन, रैंडम फॉरेस्ट) में अनुभवजन्य विश्लेषण निम्नलिखित निष्कर्ष प्रदान करते हैं:

• संदर्भ-निर्भरता (Context-Dependence): इष्टतम $K$ सार्वभौमिक नहीं है; यह विशिष्ट डेटासेट, मॉडल क्लास और अनुमानित अपरिहार्य शोर के स्तर के आधार पर काफी भिन्न होता है।
• मॉडल जटिलता (Model Complexity): जटिल मॉडल (जैसे, रैंडम फॉरेस्ट) को पूर्वाग्रह को कम करने के लिए बड़े प्रशिक्षण सेट (छोटे $K$) की आवश्यकता होती है, जबकि सरल मॉडल (जैसे, लीनियर रिग्रेशन) मूल्यांकन विचरण को कम करने के लिए बड़े परीक्षण सेट (बड़े $K$) को सहन कर सकते हैं।
• परंपराओं की विफलता (Failure of Conventions): पारंपरिक विकल्प (जैसे, $K=5$) अक्सर उप-इष्टतम होते हैं। कई प्रयोगों में, जटिल मॉडलों के लिए $K=5$ कभी भी इष्टतम विकल्प नहीं था, और सरल मॉडलों के लिए, यह केवल विशिष्ट शोर धारणाओं के तहत ही इष्टतम था।
• $\sigma^2$ की रिवर्स इंजीनियरिंग: यह ढांचा शोधकर्ताओं को एक पारंपरिक स्प्लिट द्वारा निहित शोर स्तर को "रिवर्स इंजीनियर" करने की अनुमति देता है। लेखकों ने पाया कि मानक स्प्लिट अक्सर ऐसे शोर स्तरों का संकेत देते हैं जो देखे गए मॉडल प्रदर्शन के साथ असंगत हैं (उदाहरण के लिए, यह संकेत देना कि $\sigma^2$ देखे गए निम्न एरर का समर्थन करने के लिए बहुत अधिक है), जो यह सुझाव देता है कि विशिष्ट समस्याओं के लिए पारंपरिक $K$ चयन अनुपयुक्त हो सकते हैं।
• वैज्ञानिक प्रभाव (Scientific Impact): एक उच्च-आयामी जीनोमिक्स अनुप्रयोग (TCGA म्यूटेशनल सिग्नेचर एट्रिब्यूशन) में, $K$ के चुनाव ने "विश्वसनीय रूप से मौजूद" म्यूटेशनल सिग्नेचरों के सेट को बदल दिया। उच्च-अनिश्चितता वाले शासन (जो छोटे $K$ का पक्ष लेते हैं) ने उन सिग्नेचरों को बाहर कर दिया जो कम-अनिश्चितता वाले शासन (जो बड़े $K$ का पक्ष लेते हैं) के तहत पता चले थे, यह प्रदर्शित करता है कि $K$ स्पर्सिटी (sparsity) और डाउनस्ट्रीम वैज्ञानिक निष्कर्षों पर एक लीवर के रूप में कार्य करता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र क्रॉस-वैलिडेशन की "एक ही आकार सबके लिए" (one-size-fits-all) वाली परंपरा को एक संदर्भ-विशिष्ट, धारणा-स्पष्ट ढांचे से बदलने का दावा करता है। इसके प्राथमिक योगदान हैं:

1. स्पष्ट ट्रेड-ऑफ: यह प्रशिक्षण सटीकता और मूल्यांकन निश्चितता के बीच निहित ट्रेड-ऑफ को स्पष्ट करता है, जो $K$ चुनने के लिए एक पारदर्शी उपयोगिता-आधारित नियम प्रदान करता है।
2. परिमित-नमूना सिद्धांत (Finite-Sample Theory): यह सटीक परिमित-नमूना विचरण अभिव्यक्तियाँ (समरूपता के तहत) और सामान्य ऊपरी सीमाएँ प्रदान करता है, जो उस अंतर को संबोधित करता है जहाँ पिछले सिद्धांत केवल एसिम्प्टोटिक (asymptotic) विवरण या विशिष्ट-मामला मार्गदर्शन प्रदान करते थे।
3. नैदानिक उपकरण (Diagnostic Tool): $\sigma^2$ को एक पैरामीटर के रूप में मानकर, यह ढांचा संवेदनशीलता विश्लेषण (sensitivity analysis) को सक्षम बनाता है। शोधकर्ता उन $K$ के मजबूत रेंज की पहचान कर सकते हैं जहाँ निष्कर्ष विभिन्न शोर धारणाओं के तहत स्थिर रहते हैं, या यह पता लगा सकते हैं कि क्या एक पारंपरिक स्प्लिट अवास्तविक शोर स्तर का संकेत देता है।
4. वैज्ञानिक कठोरता (Scientific Rigor): लेखक तर्क देते हैं कि चूंकि CV अक्सर इन्फेरेंशियल पाइपलाइन (यह निर्धारित करना कि कौन से चर या तंत्र "समर्थित" हैं) का हिस्सा होता है, इसलिए $K$ का चुनाव डेटा की गुणवत्ता के बारे में डोमेन ज्ञान के अनुरूप एक वैज्ञानिक निर्णय होना चाहिए, न कि एक डिफॉल्ट कम्प्यूटेशनल सेटिंग।

शोध पत्र निष्कर्ष निकालता है कि हालांकि सार्वभौमिक रूप से सटीक इष्टतम $K$ मानों को पकड़ना कठिन है, लेकिन यह ढांचा प्रदर्शित करता है कि इष्टतम स्प्लिट शायद ही कभी चरम परंपराओं (जैसे, LOOCV या 2-फोल्ड) के साथ संरेखित होते हैं और सभी संदर्भों में 5 या 10 जैसे मानक मानों पर स्थिर नहीं होते हैं। इसके बजाय, शोधकर्ताओं को अपने विशिष्ट डेटा और मॉडल विशेषताओं के अनुरूप होल्ड-आउट आकारों की उचित श्रेणियों की पहचान करनी चाहिए।