Widespread data leakage inflates accuracy and corrupts biomarker discovery in cancer drug response prediction
यह शोध पत्र यह प्रदर्शित करता है कि क्रॉस-वैलिडेशन से पहले सुपरवाइज्ड फीचर स्क्रीनिंग (supervised feature screening) लागू करने का व्यापक अभ्यास कैंसर ड्रग रिस्पॉन्स प्रेडिक्शन में गंभीर डेटा लीकेज का कारण बनता है, जो रिपोर्ट की गई सटीकता को व्यवस्थित रूप से बढ़ा देता है और जैविक संकेतों की नकल करने वाले सांख्यिकीय आर्टिफैक्ट्स (statistical artifacts) पेश करके बायोमार्कर डिस्कवरी को दूषित कर देता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो एक नए व्यंजन के लिए एकदम सही रेसिपी बनाने की कोशिश कर रहे हैं। आप दुनिया को परोसने से पहले यह जानना चाहते हैं कि आपकी रेसिपी काम करती है या नहीं। इसे टेस्ट करने के लिए, आप अपने कुछ दोस्तों को "ब्लाइंड टेस्ट" (बिना देखे स्वाद चखना) के लिए घर बुलाते हैं।
समस्या: धोखेबाज शेफ
कैंसर ड्रग रिसर्च की दुनिया में, वैज्ञानिक उन शेफ की तरह हैं। वे उन "गुप्त सामग्रियों" (जेनेटिक मार्कर्स) को खोजने की कोशिश कर रहे हैं जो यह अनुमान लगा सकें कि कौन सी दवा कैंसर कोशिकाओं को मार देगी। अपनी रेसिपी को साबित करने के लिए, वे क्रॉस-वैलिडेशन (Cross-Validation) नामक विधि का उपयोग करते हैं। यह आपकी रेसिपी को दोस्तों के छोटे समूहों में, एक-एक करके देने जैसा है, यह देखने के लिए कि क्या वह सभी को पसंद आती है।
हालांकि, इस नए शोध पत्र से पता चलता है कि कई वैज्ञानिक अनजाने में धोखाधड़ी (Cheating) कर रहे थे।
यह धोखा यहाँ है: टेस्ट शुरू करने से पहले ही, वे पूरी दोस्तों की सूची (पूरा डेटासेट) देखते हैं ताकि यह तय किया जा सके कि कौन सी सामग्रियां महत्वपूर्ण हैं। वे कहते हैं, "ओह, नमक से खाना सामान्य रूप से बेहतर स्वाद देता है, इसलिए मैं रेसिपी में नमक रखूँगा।"
समस्या यह है कि उन्होंने भविष्य की जानकारी (उन दोस्तों की जानकारी जिन्हें उन्होंने अभी तक खाना चखाया भी नहीं है) का उपयोग किया जिससे वे तय कर सकें कि बर्तन में क्या डालना है। यह उस शेफ की तरह है जो खेल शुरू होने से पहले ही अंतिम स्कोरकार्ड देख लेता है और खिलाड़ियों को उनके प्रदर्शन के आधार पर बदल देता है।
परिणाम: सफलता का भ्रम
क्योंकि उन्होंने जवाबों को पहले ही देख लिया था, इसलिए उनके "टेस्ट परिणाम" अद्भुत दिखते हैं। वे दावा करते हैं कि उनकी रेसिपी 99% परफेक्ट है। लेकिन वास्तव में, यह सिर्फ एक इत्तेफाक है।
शोध में पाया गया कि जब उन्होंने धोखाधड़ी करना बंद किया और टेस्ट को सही ढंग से किया (यानी केवल वर्तमान समूह के दोस्तों को देखने के बाद ही सामग्री तय की), तो:
- स्कोर गिर गए: इन दवाओं के पूर्वानुमान की "सटीकता" (Accuracy) लगभग 16% तक बढ़-चढ़कर दिखाई गई थी। यह एक बहुत बड़ा अंतर है। यह उस छात्र के बीच के अंतर जैसा है जिसे परीक्षा के उत्तर पहले ही दिखा दिए गए हों बनाम वह छात्र जिसने वास्तव में विषय को सीखा हो।
- "गुप्त सामग्रियां" नकली थीं: वैज्ञानिकों को लगा कि उन्होंने 18 विशेष सामग्रियां खोज ली हैं जिनसे दवा काम करती है। जब उन्होंने इसे सही ढंग से टेस्ट किया, तो उन्हें एहसास हुआ कि केवल 2 वास्तविक सामग्रियां ही थीं। बाकी 16 केवल रैंडम शोर (Random Noise) थे जो महत्वपूर्ण लग रहे थे क्योंकि शेफ ने जवाब देख लिए थे।
- समय की बर्बादी: इसके कारण, शोधकर्ता उन "बायोमार्कर्स" (गुप्त सामग्रियों) के पीछे भाग रहे हैं जो वास्तव में मौजूद ही नहीं हैं। वे लाखों डॉलर और वर्षों का समय उन समस्याओं को ठीक करने में बिता रहे हैं जो असली हैं ही नहीं।
इस मुद्दे का पैमाना
लेखकों ने केवल एक रेसिपी नहीं देखी; उन्होंने 2017 और 2024 के बीच उपयोग किए गए 32 अलग-अलग "खाना पकाने के तरीकों" (कंप्यूटर मॉडल) का ऑडिट किया।
- 32 में से 23 (लगभग 72%) धोखाधड़ी कर रहे थे।
- इन धोखाधड़ी करने वाले तरीकों को अन्य वैज्ञानिक शोध पत्रों में 3,000 से अधिक बार उद्धृत (Cite) किया गया है।
- यह ऐसा है जैसे किसी शहर के 10 में से 7 प्रसिद्ध शेफ गुप्त रूप से जजों के स्कोरकार्ड देख रहे हों, और बाकी सभी उनके "जीतने वाले" तरीकों की नकल कर रहे हों।
धोखाधड़ी करने के पाँच तरीके
यह पेपर धोखाधड़ी को पाँच श्रेणियों में बांटता है, जिसे एक छात्र द्वारा फाइनल परीक्षा में नकल करने के विभिन्न तरीकों के रूप में समझा जा सकता है:
- द प्रिव्यू (The Preview): पढ़ाई करने से पहले ही पूरी परीक्षा देख लेना (पूरे डेटासेट को प्री-प्रोसेस करना)।
- द प्रैक्टिस टेस्ट (The Practice Test): फाइनल एग्जाम के सवालों का उपयोग अभ्यास के लिए करना और फिर उन्हीं सवालों का उपयोग असली टेस्ट के लिए करना (मॉडल को ट्यून करने के लिए टेस्ट डेटा का उपयोग करना)।
- द कॉपीकैट (The Copycat): अभ्यास और असली टेस्ट दोनों के लिए एक ही छात्र के उत्तरों का अध्ययन करना (डेटा को इस तरह विभाजित करना जिससे ट्रेनिंग और टेस्टिंग आपस में मिल जाएं)।
- द इनसाइडर (The Insider): टेस्ट के स्थान की जानकारी का उपयोग करके प्रश्नों का अनुमान लगाना (मॉडल को अनुकूलित करने के लिए टेस्ट डेटा का उपयोग करना)।
- द चेरी पिकर (The Cherry Picker): 100 अभ्यास दौरों में से सबसे अच्छा स्कोर चुनना और केवल उसी की रिपोर्ट करना (बाद में सबसे अच्छे परिणाम को चुनना)।
अच्छी खबर
लेखक केवल उंगली नहीं उठा रहे हैं; वे ईमानदारी के लिए एक "चीट शीट" भी दे रहे हैं।
- उन्होंने एक "लीकेज टैक्सोनॉमी" (धोखाधड़ी करने के सभी तरीकों की एक सूची) बनाई है।
- उन्होंने एक "लीकेज-मुक्त" (Leakage-Free) कोड रेसिपी प्रदान की है जिसका उपयोग वैज्ञानिक यह सुनिश्चित करने के लिए कर सकते हैं कि वे भविष्य में झाँक नहीं रहे हैं।
- उन्होंने दिखाया कि जब आप धोखाधड़ी करना बंद कर देते हैं, तो मॉडल अभी भी उपयोगी होते हैं, लेकिन आपको इस बात के प्रति ईमानदार रहना होगा कि वे वास्तव में कितने अच्छे हैं।
निष्कर्ष
यह पेपर एक चेतावनी है। यह बताता है कि कैंसर ड्रग रिस्पॉन्स की भविष्यवाणी करने वाले कई "ब्रेकथ्रू" वास्तव में एक सांख्यिकीय गलती के कारण पैदा हुआ भ्रम है। ऐसा नहीं है कि विज्ञान गलत है; बल्कि यह कि टेस्टिंग में हेरफेर की गई थी। टेस्टिंग प्रक्रिया को ठीक करके, हम नकली संकेतों के पीछे भागना बंद कर सकते हैं और वास्तविक इलाज खोजना शुरू कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।