Evidence of Unreliable Data and Poor Data Provenance in Clinical Prediction Model Research and Clinical Practice
यह शोध पत्र चेतावनी देता है कि दो लोकप्रिय कैगल (Kaggle) डेटासेट्स पर आधारित व्यापक रूप से उपयोग किए जाने वाले नैदानिक भविष्यवाणी मॉडल (clinical prediction models) में सत्यापन योग्य डेटा उत्पत्ति (data provenance) का अभाव है और वे कथित तौर पर मनगढ़ंत प्रतीत होते हैं, जिससे संभावित रूप से अविश्वसनीय अनुसंधान और नैदानिक अनुप्रयोग हो सकते हैं, और रोगी देखभाल को सुरक्षित करने के लिए अनिवार्य डेटा उत्पत्ति रिपोर्टिंग का आह्वान करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो एक नई, जीवन बचाने वाली रेसिपी बनाने की कोशिश कर रहे हैं—एक ऐसा सूप जो किसी विशिष्ट बीमारी को ठीक कर सके। इसे करने के लिए, आपको एक ऐसी कुकबुक (पाक पुस्तिका) की आवश्यकता है जिसमें उच्च गुणवत्ता वाली, सत्यापित सामग्री हो।
यह पेपर अनिवार्य रूप से एक खाद्य सुरक्षा निरीक्षण (food safety inspection) है जिसने एक भयानक समस्या का पता लगाया है: कई शेफ एक लोकप्रिय ऑनलाइन कुकिंग फोरम (Kaggle) पर मिली "कुकबुक" का उपयोग कर रहे हैं, जो वास्तव में नकली सामग्री से भरी हुई है।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:
1. "नकली सामग्री" की समस्या
शोधकर्ताओं ने Kaggle पर मौजूद दो बहुत ही लोकप्रिय डेटासेट (जानकारी के संग्रह) को देखा। एक डेटासेट स्ट्रोक (stroke) के बारे में था, और दूसरा मधुमेह (diabetes) के बारे में।
- उपमा: कल्पना कीजिए कि ये डेटासेट बाजार में बेचे जाने वाले आटे की एक बोरी की तरह हैं। लेबल पर लिखा है "100% असली गेहूं का आटा।" लेकिन जब आप करीब से देखते हैं, तो वह आटा वास्तव में चाक की धूल और रेत का मिश्रण है।
- प्रमाण: शोधकर्ताओं ने पाया कि डेटा "बहुत अधिक सटीक" (too perfect) लग रहा था। वास्तविक रोगी का डेटा अव्यवस्थित होता है; लोग फॉर्म भरना भूल जाते हैं, नंबर खो जाते हैं, और उसमें अंतराल होते हैं। इन डेटासेट्स में लगभग कोई भी डेटा गायब नहीं था, और नंबर अजीब, रोबोटिक पैटर्न (जैसे कि किसी डॉक्टर द्वारा दर्ज करने के बजाय एक कंप्यूटर प्रोग्राम द्वारा अनुमानित किए गए नंबर) का पालन कर रहे थे।
- स्रोत: जो लोग ये फाइलें अपलोड कर रहे थे, उन्होंने स्वीकार किया कि वे यह नहीं बता सकते कि डेटा कहाँ से आया। एक व्यक्ति ने तो यहाँ तक कहा, "इसका शोध के लिए उपयोग न करें!" फिर भी, लोगों ने इसका उपयोग किया।
2. "फास्ट-फूड" रिसर्च फैक्ट्री
यह पेपर "फास्ट-चर्न रिसर्च" (तेजी से शोध उत्पादित करने की प्रवृत्ति) नामक एक चलन का वर्णन करता है।
- उपमा: कल्पना कीजिए कि एक फैक्ट्री चाहती है कि वह अमीर बनने के लिए अधिक से अधिक बर्गर बनाए, इसलिए वे यह जांचना बंद कर देते हैं कि मांस सुरक्षित है या नहीं। वे बस एक बन (bun) के ऊपर एक पत्थर रखते हैं, उसे बर्गर कहते हैं, और बेच देते हैं।
- वास्तविकता: शोधकर्ता इन नकली डेटासेट्स को डाउनलोड कर रहे हैं, उन पर कंप्यूटर प्रोग्राम चला रहे हैं, और प्रसिद्ध होने या अनुदान प्राप्त करने के लिए बहुत तेज़ी से शोध पत्र प्रकाशित कर रहे हैं। वे मरीजों की मदद करने की कोशिश नहीं कर रहे हैं; वे केवल पेपर प्रकाशित करने की कोशिश कर रहे हैं।
3. खतरनाक परिणाम
यहीं से कहानी डरावनी हो जाती है। क्योंकि ये "नकली सामग्री" वाले शोध पत्र वैज्ञानिक जर्नल्स में प्रकाशित हुए थे, इसलिए अन्य लोगों ने उन पर भरोसा करना शुरू कर दिया।
- डोमिनो प्रभाव (The Domino Effect):
- 124 शोध पत्र: इस नकली डेटा का उपयोग करके 124 अलग-अलग अध्ययन लिखे गए।
- 86 समीक्षाएँ: इन खराब शोध पत्रों को 86 अन्य समीक्षा लेखों (review articles) में उद्धृत किया गया, जिससे गलत सूचना एक वायरस की तरह फैल गई।
- वास्तविक दुनिया में उपयोग: इससे भी बदतर यह है कि इनमें से तीन मॉडल वास्तव में अस्पतालों या चिकित्सा उपकरणों में वास्तविक रोगियों के बारे में निर्णय लेने के लिए उपयोग किए जा रहे हैं।
- जोखिम: यदि कोई डॉक्टर उस मॉडल का उपयोग करता है जो नकली डेटा पर बना है, तो वे मरीज को यह बता सकते हैं कि वह स्वस्थ है जबकि वह बीमार है, या इसके विपरीत। यह एक ऐसे जीपीएस (GPS) की तरह है जो एक ऐसे शहर के मानचित्र पर बना है जो अस्तित्व में ही नहीं है; यह आपको आत्मविश्वास के साथ खाई में गिरा देगा।
4. "कोई रसीद नहीं" नीति
पेपर बताता है कि "सुपरमार्केट" (Kaggle) और "रेस्टोरेंट्स" (Journals) के पास रसीदें जाँचने के कोई नियम नहीं हैं।
- उपमा: यदि आप एक कार खरीदते हैं, तो आप एक VIN नंबर और एक हिस्ट्री रिपोर्ट की उम्मीद करते हैं। लेकिन चिकित्सा अनुसंधान में, आप एक ऐसा डेटासेट खरीद सकते जिसका कोई इतिहास नहीं है, कोई मालिक नहीं है, और इस बात का कोई प्रमाण नहीं है कि वह कहाँ से आया है।
- विफलता: शोधकर्ताओं ने एक सख्त चेकलिस्ट का उपयोग करके इन दो डेटासेट्स के लिए "रसीदें" (डेटा प्रोवेनेंस/उत्पत्ति) की जाँच की, जिसे TRIPOLD+AI कहा जाता है। दोनों डेटासेट्स हर एक आइटम में विफल रहे। उनके पास इस बारे में कोई जानकारी नहीं थी कि डेटा किसने, कब, कहाँ और क्यों एकत्र किया था।
5. समाधान: एक नया "स्वास्थ्य कोड"
लेखक केवल उंगली नहीं उठा रहे हैं; वे रसोई को ठीक करने के लिए नियमों का एक नया सेट प्रस्तावित कर रहे हैं:
- सुपरमार्केट के लिए (Kaggle): उन्हें अपलोड करने वालों के लिए एक "प्रोवेनेंस शीट" (एक विस्तृत रसीद) भरना अनिवार्य करना चाहिए जो स्पष्ट रूप से बताए कि डेटा कहाँ से आया है। यदि आप यह साबित नहीं कर सकते कि यह असली आटा है, तो आप इसे बेच नहीं सकते।
- रेस्टोरेंट्स के लिए (Jourals): उन्हें तब तक पेपर स्वीकार नहीं करना चाहिए जब तक कि शेफ पहले कच्ची सामग्री (raw ingredients) न दिखा दे। यदि सामग्री नकली दिखती है, तो पेपर को तुरंत खारिज कर दें।
- शेफ के लिए (शोधकर्ता): तेज़ होने की कोशिश छोड़ें। अपनी सामग्री की जाँच करें। यदि कोई डेटासेट बहुत अच्छा लग रहा है, तो शायद वह सच नहीं है।
निष्कर्ष (The Bottom Line)
यह पेपर एक चेतावनी है। यह कहता है कि हम अपने चिकित्सा अनुमानों पर तब तक भरोसा नहीं कर सकते जब तक कि उनका आधार रेत से बना हो।
यदि हम AI और डेटा के साथ जीवन बचाना चाहते हैं, तो हमें "नकली आटे" का उपयोग करना बंद करना होगा और सत्यापित, वास्तविक सामग्री की मांग करनी होगी। अन्यथा, हम एक ऐसा अस्पताल बनाने का जोखिम उठाते हैं जो उस क्षण ढह जाएगा जब कोई वास्तविक मरीज उसके दरवाजे से अंदर कदम रखेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।