तकनीकी सारांश: महत्वपूर्ण कार्यों पर बेंचमार्किंग: मॉडल रैंकिंग को संरक्षित करने के लिए डेटासेट चयन

समस्या की परिभाषा

यह शोध पत्र मशीन लर्निंग में मल्टी-डेटासेट बेंचमार्क की बढ़ती संसाधन-गहनता (resource intensity) को संबोधित करता है। जैसे-जैसे डेटासेट्स और मॉडल आर्किटेक्चर (डीप एन्सेम्बल्स सहित) की संख्या बढ़ती है, व्यापक मूल्यांकन अत्यधिक महंगा होता जाता है। अभ्यासकर्ता अक्सर डेटासेट्स के छोटे, मैन्युअल रूप से चयनित उपसमुच्चयों (subsets) पर मॉडलों का मूल्यांकन करने का सहारा लेते हैं। हालांकि, यह अभ्यास दो महत्वपूर्ण मुद्दे पेश करता है:

1. सांख्यिकीय अस्थिरता (Statistical Instability): छोटे उपसमुच्चयों से प्राप्त निष्कर्ष समग्र श्रेष्ठता को विश्वसनीय रूप से प्रतिबिंबित नहीं कर सकते हैं।
2. चयन पूर्वाग्रह (Selection Bias): किसी बेंचमार्क में स्पष्ट "लीडर" विशिष्ट रूप से चुने गए कार्यों का एक आर्टिफैक्ट हो सकता है न कि वास्तविक सुधार, जो "बेंचमार्क लॉटरी" प्रभाव से संबंधित एक घटना है।

मुख्य समस्या को बेंचमार्किंग के लिए डेटासेट उपसमुच्चय चयन के रूप में औपचारिक रूप दिया गया है: $n$ डेटासेट्स के पूर्ण पूल में से $k$ डेटासेट्स ($k \ll n$) का एक छोटा उपसमुच्चय चुनना ताकि उपसमुच्चय द्वारा प्रेरित वैश्विक मॉडल रैंकिंग ($R_S$), पूर्ण बेंचमार्क द्वारा प्रेरित रैंकिंग ($R_D$) को निष्ठापूर्वक संरक्षित कर सके। यह चयन केवल पूर्व-निर्धारित (a priori) डेटासेट निरूपणों (meta-features, embeddings) पर निर्भर होना चाहिए, बिना पूर्ण मॉडल मूल्यांकन परिणामों तक पहुँच के।

कार्यप्रणाली

1. मूल्यांकन प्रोटोकॉल

लेखक चयन रणनीतियों को मजबूती से परखने के लिए एक एकीकृत मूल्यांकन प्रोटोकॉल प्रस्तावित करते हैं:

• बूटस्ट्रैप एग्रीगेशन (Bootstrap Aggregation): प्रोटोकॉल डेटासेट पूल को यादृच्छिक रूप से विचलित करके (डेटासेट्स के एक अंश $\alpha$ को नमूना लेकर) और/या मॉडल पूल को विचलित करके $T$ स्वतंत्र मूल्यांकन परीक्षण उत्पन्न करता है।
• रैंकिंग निर्माण: प्रत्येक परीक्षण और उपसमुच्चय आकार $k$ के लिए, एक चयन रणनीति एक उपसमुच्चय $S$ चुनती है। मॉडलों को $S$ पर रैंक किया जाता है और पूर्ण बेंचमार्क (या चयनित मॉडलों तक सीमित पूर्ण बेंचमार्क) से प्राप्त संदर्भ रैंकिंग के विरुद्ध तुलना की जाती है।
• मेट्रिक्स: प्रदर्शन को रैंक-आधारित विसंगति मेट्रिक्स का उपयोग करके मापा जाता है: रैंकों का माध्य पूर्ण त्रुटि (MAE), स्पीयरमैन का $\rho$, केंडल का $\tau$, NDCG@5, और मीन रेसिप्रोकल रैंक (MRR)।
• एकत्रीकरण (Aggregation): परिणामों को उपसमुच्चय आकारों $k \in [2, 20]$ के लिए प्रदर्शन-बनाम-आकार वक्रों के 'एरिया अंडर द कर्व' (AUC) का उपयोग करके एकत्रित किया जाता है, जिसके साथ 95% विश्वास अंतराल (confidence intervals) भी दिए जाते हैं।

2. चयन रणनीतियाँ

शोध पत्र चार परिवारों की रणनीतियों का मूल्यांकन करता है, जो सभी डेटासेट फीचर वेक्टर्स $x \in \mathbb{R}^p$ पर कार्य करती हैं:

• रैंडम बेसलाइन (Random Baseline): बिना प्रतिस्थापन के समान वितरण (Uniform sampling)।
• क्लस्टरिंग (K-Means): प्रत्येक $k$ क्लस्टरों के सेंट्रॉइड के निकटतम बिंदु का चयन करना।
• ग्रिडी फारेस्ट-फर्स्ट (Greedy Farthest-First - FAFI): पुनरावृत्ति (iteratively) के माध्यम से उस डेटासेट का चयन करना जो पहले से चयनित डेटासेट के निकटतम दूरी को अधिकतम करता है। लेखक कोसाइन (Cosine) और यूक्लिडियन (Euclidean) दोनों दूरियों का परीक्षण करते हैं।
• ऑप्टिमल एक्सपेरिमेंटल डिज़ाइन (A-/D-ऑप्टिमैलिटी): फिशर इंफॉर्मेशन मैट्रिक्स के व्युत्क्रम के ट्रेस (trace) को न्यूनतम करने (A-ऑप्टिमैलिटी) या डिटरमिनेंट को अधिकतम करने (D-ऑप्टिमैलिटी) के आधार पर ग्रिडी चयन, जो चयन को एक लीनियर रिग्रेशन डिज़ाइन समस्या के रूप में मानता है।

3. डेटासेट निरूपण (Dataset Representations)

चयन की प्रभावशीलता डेटासेट एम्बेडिंग की गुणवत्ता पर बहुत अधिक निर्भर करती है:

• टाइम सीरीज़ क्लासिफिकेशन (TSC): सरल सांख्यिकी, TSFRESH, Catch22, Summary, MiniRocket एम्बेडिंग्स, और "लैंडमार्किंग" (सस्ते प्रोब लर्नर्स जैसे डिसीजन स्टम्प्स और 1-NN का प्रदर्शन) का उपयोग करता है।
• रिकमेंडर सिस्टम्स (RecSys): यूजर-आइटम इंटरेक्शन मैट्रिक्स सांख्यिकी (आकार, स्पर्सिटी, गिनी इंडेक्स, लोकप्रियता पूर्वाग्रह) का उपयोग करता है।
• नेचुरल लैंग्वेज प्रोसेसिंग (NLP): BERT-एम्बेडेड स्ट्रक्चर्ड टास्क विवरण और MTEB से सरल स्ट्रक्चर्ड मेटाडेटा का उपयोग करता है।

4. सैद्धांतिक विश्लेषण

FAFI रणनीति के लिए, लेखक प्रतिनिधित्व स्थान में ज्यामितीय कवरेज (geometric coverage) को रैंकिंग सटीकता से जोड़ने वाले सैद्धांतिक बाउंड्स (bounds) व्युत्पन्न करते हैं:

• MSE क्षय (MSE Decay): वे मॉडल प्रदर्शन को एक गॉसियन प्रोसेस (GP) के रूप में मॉडल करते हैं। वे सिद्ध करते हैं कि FAFI चयन, प्रदर्शन भविष्यवाणियों के माध्य वर्ग त्रुटि (Mean Squared Error) पर एक ऊपरी सीमा प्रदान करता है जो चयन के आकार $t$ और चयन के कवरेज रेडियस के फलन के रूप में घटती है।
• रैंकिंग एरर बाउंड: वे दो मॉडलों के बीच अपेक्षित साइन एरर (रैंकिंग इनवर्जन) के अंश पर एक बाउंड व्युत्पन्न करते हैं। बाउंड दिखाता है कि जैसे-जैसे उपसमुच्चय का आकार बढ़ता है और पोस्टीरियर वेरिएंस संकुचित होता है (बेहतर ज्यामितीय कवरेज के कारण), रैंकिंग त्रुटियों की संभावना कम हो जाती है। यह सैद्धांतिक आधार प्रदान करता है कि FAFI क्यों काम करता है जब प्रतिनिधित्व स्थान की ज्यामिति मॉडल प्रदर्शन अंतरों के साथ सह-संबंधित होती है।

मुख्य परिणाम

अध्ययन तीन डोमेन में आयोजित किया गया था: टाइम सीरीज़ क्लासिफिकेशन (112 डेटासेट्स), रिकमेंडर सिस्टम्स (30 डेटासेट्स), और NLP (MTEB से 57 कार्य)।

1. डोमेन-विशिष्ट प्रदर्शन

• टाइम सीरीज़ क्लासिफिकेशन (TSC): चयन रणनीतियाँ रैंडम सैंपलिंग की तुलना में काफी बेहतर प्रदर्शन करती हैं। सबसे अच्छा प्रदर्शन करने वाली रणनीति (MiniRocket एम्बेडिंग्स के साथ यूक्लिडियन FAFI) ने केवल 5 डेटासेट्स का उपयोग करके पूर्ण बेंचमार्क के साथ 0.95 का स्पीयरमैन सहसंबंध प्राप्त किया। विविधता-आधारित विधियाँ (FAFI) और क्लस्टरिंग, रैंडम बेसलाइनों की तुलना में बेहतर रहीं जब प्रतिनिधित्व ने रैंकिंग-प्रासंगिक संरचना को कैप्चर किया।
• नेचुरल लैंग्वेज प्रोसेसिंग (NLP): TSC की तरह, ज्यामिति-आधारित चयन (विशेष रूप से BERT-एम्बेडेड टास्क विवरण के साथ कोसाइन FAFI) ने रैंडम सैंपलिंग की तुलना में, विशेष रूप से छोटे उपसमुच्चय आकारों के लिए, काफी बेहतर प्रदर्शन किया। यह सुझाव देता है कि कार्यों के सिमेंटिक विवरण बेंचमार्क निर्माण के लिए एक उपयोगी ज्यामिति प्रदान करते हैं।
• रिकमेंडर सिस्टम्स (RecSys): रैंडम चयन पर सुधार छोटे और आमतौर पर सांख्यिकीय रूप से महत्वहीन थे। जबकि K-Means ने MAE में मामूली सुधार दिखाया, कोई भी विधि रैंडम सैंपलिंग की तुलना में रैंक क्रम को लगातार बेहतर तरीके से संरक्षित नहीं कर सकी। लेखक निष्कर्ष निकालते हैं कि रिकमेंडर सिस्टम्स में मानक डेटासेट प्रायर (priors), मॉडल विभेदन को चलाने वाले कारकों को कैप्चर करने में विफल रहते हैं।

2. प्रतिनिधित्व की गुणवत्ता की भूमिका

एक सिंथेटिक एब्लेशन अध्ययन ("ओरेकल" बनाम "ब्रोकन" प्रतिनिधित्व) ने पुष्टि की कि ज्यामितीय चयन की सफलता डेटासेट प्रतिनिधित्व और वास्तविक रैंकिंग संरचना के बीच संरेखण (alignment) पर निर्भर करती है:

• जब प्रतिनिधित्व ने प्रदर्शन की लेटेंट ज्यामिति को बारीकी से दर्शाया (Oracle), तो FAFI ने रैंकिंग त्रुटियों को काफी कम कर दिया।
• जब प्रतिनिधित्व शोर (noise) से प्रभावित था (Broken), तो FAFI ने रैंडम सैंपलिंग की तुलना में कोई लाभ नहीं दिया।

3. व्यावहारिक मार्गदर्शन

• उपसमुच्चय आकार (Subset Size): TSC और NLP के लिए, छोटे उपसमुच्चय ($k \approx 5$) पूर्ण बेंचमार्क के साथ उच्च रैंक सहसंबंध ($\rho \ge 0.90$) प्राप्त कर सकते हैं। हालांकि, सख्त लक्ष्यों (जैसे, कम MAE) या रूढ़िवादी विश्वास अंतराल के लिए बड़े उपसमुच्चयों ($k \approx 15-20$) की आवश्यकता होती है।
• सांख्यिकीय महत्व: TSC और NLP में, रैंडम बेसलाइनों पर गैर-रैंडम चयन के लाभ अत्यधिक महत्वपूर्ण हैं ($p < 0.01$)। RecSys में, लाभ सांख्यिकीय रूप से महत्वपूर्ण नहीं हैं।

महत्व और दावे

शोध पत्र यह दावा करता है कि वह डेटासेट उपसमुच्चय चयन को एक अनुमानित सुविधा (heuristic convenience) के बजाय एक मापने योग्य, रैंक-संरक्षण समस्या के रूप में मानने के लिए एक एकीकृत ढांचा (unified framework) प्रदान करता है। इसके प्राथमिक योगदान हैं:

1. प्रोटोकॉल: विभिन्न उपसमुच्चय आकारों और डोमेन में चयन रणनीतियों की तुलना करने के लिए वैध विश्वास अंतराल प्रदान करने हेतु बूटस्ट्रैप एग्रीगेशन का उपयोग करके एक कठोर मूल्यांकन प्रोटोकॉल।
2. सिद्धांत: बेंचमार्किंग सेटिंग्स में रैंकिंग त्रुटियों के क्षय (decay) से जोड़ने के लिए ज्यामितीय कवरेज (FAFI के माध्यम से) को जोड़ने वाले पहले सैद्धांतिक बाउंड्स, जो सरल कवरेज मेट्रिक्स से आगे बढ़कर सांख्यिकीय सटीकता गारंटी की ओर बढ़ते हैं।
3. अनुभवजन्य अंतर्दृष्टि (Empirical Insight): यह प्रदर्शन का प्रमाण कि डेटासेट चयन की प्रभावकारिता सार्वभौमिक नहीं है बल्कि डोमेन-निर्भर और प्रतिनिधित्व-निर्भर है। जहाँ TSC और NLP के लिए प्रभावी है जहाँ समृद्ध डेटासेट डिस्क्रिप्टर मौजूद हैं, वहीं वर्तमान फीचर सेट्स के साथ RecSys के लिए यह बहुत कम लाभ प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य एक नया बेंचमार्क प्रस्तावित नहीं करता है, बल्कि एक ऐसा तरीका प्रदान करता है जिससे कॉम्पैक्ट बेंचमार्क बनाए जा सकें जो पूर्ण-पैमाने के मूल्यांकनों के निष्कर्षों को संरक्षित करते हैं, बशर्ते कि उच्च-गुणवत्ता वाले डेटासेट प्रतिनिधित्व उपलब्ध हों। कोड और प्रोटोकॉल को पुनरुत्पादित (reproducible) और कुशल बेंचमार्किंग की सुविधा के लिए सार्वजनिक किया गया है।