Bias in Filter Feature Selection Evaluation: A Meta-Analysis of Datasets, Baselines, and Experimental Design Choices

कल्पना कीजिए कि मशीन लर्निंग की दुनिया एक विशाल, उच्च-दांव वाली कुकिंग प्रतियोगिता है। इस प्रतियोगिता में, शेफ (शोधकर्ता) लगातार नई रेसिपी (फीचर सिलेक्शन मेथड्स) का आविष्कार कर रहे हैं ताकि वे एक बेहतरीन व्यंजन (डेटा फीचर्स) के लिए सबसे अच्छे अवयवों (सामग्री) को चुन सकें। लक्ष्य व्यंजन के स्वाद को बेहतर बनाना (प्रेडिक्टिव परफॉर्मेंस) है, जबकि समय और पैसा बचाने के लिए कम से कम सामग्री का उपयोग करना है।

यह शोध पत्र अनिवार्य रूप से एक फूड क्रिटिक (खाद्य समीक्षक) की जांच है कि इन कुकिंग प्रतियोगिताओं का निर्णय कैसे किया जाता है। लेखकों, मैलिक एबिएले और उनकी टीम ने 1994 से 2025 के बीच प्रकाशित 28 प्रमुख "कुकिंग कॉन्टेस्ट" (वैज्ञानिक अध्ययनों) का विश्लेषण किया यह देखने के लिए कि क्या जज निष्पक्ष थे या विजेता केवल अपनी पसंद के कारण भाग्यशाली थे।

उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण यहाँ दिया गया है:

1. समस्या: "चेरी-पिक्ड" मेनू (चुनिंदा मेनू)

लेखकों ने एक संदिग्ध प्रवृत्ति देखी। जब एक नई रेसिपी पेश की जाती है, तो शेफ अक्सर दावा करता है कि यह "दुनिया में सबसे अच्छी" है। लेकिन वे इसे कैसे साबित करते हैं?

• पूर्वाग्रह (The Bias): यह ऐसा है जैसे एक शेफ कहे, "मेरा सूप बाकी सभी से बेहतर है!" लेकिन वह केवल तीन अन्य सूपों के साथ तुलना करता है जिन्हें वह जानता है कि वे बहुत खराब हैं, और केवल उन तीन दोस्तों को परोसता है जो सूप पसंद करते हैं।
• वास्तविकता: उनके द्वारा विश्लेषण किए गए वैज्ञानिक शोध पत्रों में, नई विधियाँ लगभग हमेशा जीतती हैं। वास्तव में, "जीत की दर" (कितनी बार एक नई विधि ने दूसरों को हराया) अविश्वसनीय रूप से अधिक थी, जो अक्सर 100% के करीब थी।
• पेंच (The Catch): लेखकों ने पाया कि आप जितने अधिक अवयवों (डेटासेट्स) और जितने अधिक प्रतिस्पर्धियों (बेसलाइन्स) को परीक्षण में जोड़ते हैं, जीतना उतना ही कठिन हो जाता है। यदि कोई अध्ययन केवल 2 या 3 आसान डेटासेट्स के मुकाबले 1 या 2 कमजोर प्रतिस्पर्धियों पर परीक्षण करता है, तो नई विधि एक जीनियस की तरह दिखती है। यदि आप इसे 20 डेटासेट्स और 10 मजबूत प्रतिस्पर्धियों के खिलाफ टेस्ट करते हैं, तो वह "जीनियस" आमतौर पर औसत ही दिखता है।

2. जांच: एक "विजेता" क्या बनाता है?

टीम ने एक सांख्यिकीय विश्लेषण (एक जासूस की तरह जो सुराग ढूंढ रहा हो) चलाया यह देखने के लिए कि वास्तव में कौन से कारक यह निर्धारित करते हैं कि एक नई विधि को "विजेता" के रूप में रिपोर्ट किया गया है। उन्होंने तीन मुख्य चरों (variables) को देखा:

1. कितने व्यंजन टेस्ट किए गए? (डेटासेट्स की संख्या)
2. कितने प्रतिस्पर्धी थे? (बेसलाइन्स की संख्या)
3. एक साथ कितनी नई रेसिपी पेश की गईं? (नई विधियों की संख्या)

बड़ी खोज:
उन्होंने एक स्पष्ट पैटर्न पाया: आप जितना अधिक टेस्ट करेंगे, जीतना उतना ही कठिन होगा।

• यदि कोई अध्ययन बहुत सारे डेटासेट्स और कई मजबूत प्रतिस्पर्धियों का उपयोग करता है, तो नई विधि की जीत की दर काफी गिर जाती है।
• यदि कोई अध्ययन बहुत कम डेटासेट्स और कमजोर प्रतिस्पर्धियों का उपयोग करता है, तो नई विधि लगभग हर बार जीत जाती है।
• लेखकों ने निष्कर्ष निकाला कि इन अध्ययनों में "जीत" का लगभग 33% हिस्सा केवल इस बात से समझाया जा सकता है कि कितनी चीजों का परीक्षण किया गया और कितने प्रतिस्पर्धियों को चुना गया। यह सुझाव देता है कि कई अध्ययन अपने नए तरीके को श्रेष्ठ दिखाने के लिए आसान लक्ष्यों को चुनकर "खेल को फिक्स" (rigging the game) कर रहे हैं।

3. चौंकाने वाला सच: "कुछ न होने से बेहतर" बनाम "सब कुछ से बेहतर"

यहाँ इस शोध पत्र का सबसे आश्चर्यजनक हिस्सा है।

• दावा: नई विधियाँ लगातार अन्य "विशेषज्ञ" विधियों (बेसलाइन्स) को हराने का दावा करती हैं।
• वास्तविकता: जब लेखकों ने यह जांचा कि क्या ये नई विधियाँ वास्तव में सभी अवयवों का उपयोग करने (बिना कुछ हटाए मूल डेटा) से बेहतर थीं, तो नई विधियाँ अक्सर विफल रहीं।
• उपमा: कल्पना कीजिए कि एक शेफ एक फैंसी मसाला मिश्रण बनाता है जो 10 अन्य मसाला मिश्रणों को हरा देता है। शेफ विजय का दावा करता है। लेकिन जब आप बिना किसी मसाले के (केवल कच्चे अवयवों के साथ) व्यंजन का स्वाद लेते हैं, तो फैंसी मिश्रण वाला व्यंजन साधारण व्यंजन की तुलना में वास्तव में स्वाद में खराब होता है।
• सांख्यिकी: उनके द्वारा समीक्षा किए गए अध्ययनों में, अधिकांश नई विधियाँ अपने प्रतिस्पर्धियों को हरा देती हैं, लेकिन वे मूल, पूर्ण डेटासेट (full dataset) को नहीं हरा सकीं। यह सुझाव देता है कि कभी-कभी, डेटा को "सरल बनाना" (फीचर सिलेक्शन) वास्तव में प्रदर्शन को नुकसान पहुँचाता है, फिर भी शोधकर्ता दावा करते हैं कि यह एक सफलता है क्योंकि वे अन्य सरलीकृत विधियों को हरा देते हैं।

4. सिफारिशें: किचन को कैसे ठीक करें

लेखक भविष्य की कुकिंग प्रतियोगिताओं को निष्पक्ष बनाने के लिए तीन नियम सुझाते हैं:

1. कठिन व्यंजनों को न छिपाएं: केवल उन आसान डेटासेट्स को न चुनें जहाँ आपकी विधि काम करती है। यदि आपके पास एक जटिल डेटासेट है (जैसे कि उल्लेखित "nci9" डेटासेट, जो एक बहुत ही पेचीदा, तीखे व्यंजन जैसा है), तो आपको उस पर भी परीक्षण करना चाहिए। यदि आप कठिन वाले को छिपाते हैं, तो आपके परिणाम पक्षपाती होंगे।
2. "साधारण" व्यंजन के विरुद्ध परीक्षण करें: आपको अपने नए तरीके की तुलना "ऑल-फीचर" दृष्टिकोण (सभी अवयवों का उपयोग करना) के विरुद्ध करनी चाहिए। यदि आपका नया तरीका साधारण व्यंजन को नहीं हरा पाता है, तो यह एक सफलता नहीं है, भले ही वह अन्य फैंसी मसाला मिश्रणों को हरा दे। इसके अलावा, हमेशा "KBest" (एक बहुत ही सरल, बुनियादी विधि) को बेसलाइन के रूप में शामिल करें। यदि आपका जटिल तरीका सबसे सरल वाले को भी नहीं हरा पाता, तो इसमें प्रयास करने का कोई लाभ नहीं है।
3. गर्मी को नियंत्रित करें (हाइपरपैरामीटर): कई अध्ययन अपने सेटिंग्स (जैसे कि कितने अवयव चुनने हैं) को केवल एक संख्या पर सेट कर देते हैं। लेखक कहते हैं कि यह आलस है। आपको सर्वोत्तम सेटिंग खोजने के लिए कई अलग-अलग सेटिंग्स का परीक्षण करना चाहिए। यदि आप अपनी सेटिंग्स को ट्यून नहीं करते हैं, तो आप अपने तरीके को निष्पक्ष मौका नहीं दे रहे हैं, और न ही आप अपने प्रतिस्पर्धियों को निष्पक्ष मौका दे रहे हैं।

सारांश

यह शोध पत्र तर्क देता है कि "फिल्टर फीचर सिलेक्शन" का क्षेत्र ऐसे अध्ययनों से भरा है जो कागज पर तो बहुत अच्छे दिखते हैं लेकिन भ्रामक हो सकते हैं। शोधकर्ता अक्सर अपने नए उपकरणों को सुपरहीरो दिखाने के लिए आसान परीक्षण चुनते हैं। लेखक समुदाय से आग्रह करते हैं कि वे आसान लक्ष्यों को चुनना बंद करें, "कुछ न करने" वाले बेसलाइन के विरुद्ध परीक्षण करें, और इस बारे में ईमानदार रहें कि कच्चे डेटा में वास्तव में सुधार करना कितना कठिन है।

संक्षेप में: सिर्फ इसलिए कि एक नई विधि अन्य नई विधियों को हरा देती है, इसका मतलब यह नहीं है कि वह वास्तव में कुछ भी न करने से बेहतर है। हमें स्कोरबोर्ड को फिक्स करना बंद करना होगा।