Exact and near-duplicate symptom profiles inflate the reported performance of machine learning classifiers for diabetes: a leakage- aware re-evaluation of the UCI Early-Stage Diabetes dataset

मेडिकल टेक्नोलॉजी की दुनिया में, मशीन लर्निंग ने एक ऐसे भविष्य का वादा किया है जहाँ कंप्यूटर केवल लक्षणों की एक सूची पढ़कर मधुमेह (डायबिटीज) जैसी बीमारियों का पता लगा सकते हैं। यह विचार अत्यंत प्रभावशाली है: एक रोगी अपनी भावनाओं का वर्णन करता है—जैसे प्यास लगना, थकान, धुंधली दृष्टि—और एक एल्गोरिदम तुरंत उनके जोखिम की गणना करता है, जिससे संभावित रूप से बीमारी के अपरिवर्तनीय नुकसान पहुँचाने से पहले ही उसे पकड़ा जा सकता है। इन डिजिटल डॉक्टरों को बनाने के लिए, वैज्ञानिक डेटा के विशाल संग्रहों पर भरोसा करते हैं, जहाँ हजारों पिछले रोगी रिकॉर्ड का उपयोग कंप्यूटर को यह सिखाने के लिए किया जाता है कि एक बीमार व्यक्ति और एक स्वस्थ व्यक्ति के बीच क्या अंतर होता है। इन प्रणालियों के परीक्षण के लिए मानक विधि को 'क्रॉस-वैलिडेशन' कहा जाता है। कल्पना कीजिए कि एक शिक्षक एक छात्र को एक अभ्यास परीक्षा देता है, और फिर उसी परीक्षा का एक थोड़ा अलग संस्करण देता है, यह देखने के लिए कि क्या छात्र वास्तव में सामग्री को समझता है या उसने केवल उत्तर रट लिए हैं। वैज्ञानिक समुदाय में, यह प्रक्रिया यह प्रकट करने के लिए होती है कि एक मॉडल नए, अनदेखे रोगियों पर कैसा प्रदर्शन करेगा।

हालाँकि, इस उद्देश्य के लिए उपयोग किए जाने वाले सबसे प्रसिद्ध डेटासेटों में से एक के हालिया पुनर्मूल्यांकन ने यह उजागर किया है कि इन परीक्षणों को आयोजित करने के तरीके में एक सूक्ष्म दोष था। विचाराधीन डेटासेट, जो बांग्लादेश के एक अस्पताल से एकत्र किया गया था, में लोगों के लक्षण और उनके मधुमेह होने या न होने का विवरण शामिल है। वर्षों से, शोधकर्ताओं ने इस डेटा का उपयोग कंप्यूटर मॉडल को प्रशिक्षित करने के लिए किया है, और ऐसी सफलता दर दर्ज की है जो लगभग अविश्वसनीय रूप से अच्छी लग रही थी, अक्सर 97 से 99 प्रतिशत के बीच सटीकता का दावा किया गया। इन नंबरों ने सुझाव दिया कि मॉडल लगभग पूर्ण थे। लेकिन पेरू के शोधकर्ताओं की एक टीम ने अब दिखाया है कि ये उच्च स्कोर प्रतिभा का संकेत नहीं थे, बल्कि परीक्षण प्रक्रिया में हुई एक साधारण गलती का परिणाम थे। उन्होंने पाया कि डेटा में एक ही रोगी प्रोफाइल की कई समान प्रतियां थीं, और जिस तरह से परीक्षण किए गए थे, उससे कंप्यूटर को परीक्षण शुरू होने से पहले ही उत्तर प्राप्त करने का अवसर मिल गया था।

विलियम मारिन-रोड्रिगेज और उनके सहयोगियों के नेतृत्व में शोधकर्ताओं ने 'UCI अर्ली-स्टेज डायबिटीज' डेटासेट का नए सिरे से विश्लेषण किया। यह संग्रह 520 रिकॉर्ड रखता है, जिनमें से प्रत्येक व्यक्ति की आयु और पंद्रह विभिन्न लक्षणों, जैसे बार-बार पेशाब आना या अचानक वजन कम होना, का वर्णन करता है। जब उन्होंने इन लक्षणों के अद्वितीय संयोजनों की गिनती की, तो उन्हें एक चौंकाने वाली बात पता चली: 520 रिकॉर्डों में से केवल 251 वास्तव में अद्वितीय प्रोफाइल थे। इसका अर्थ यह है कि 269 रिकॉर्ड दूसरों की सटीक डुप्लिकेट प्रतियां थे, और कई अन्य रिकॉर्ड समान लक्षण साझा करते थे लेकिन केवल आयु में भिन्न थे। मूल अध्ययनों में, जब डेटा को प्रशिक्षण और परीक्षण समूहों में विभाजित किया गया था, तो ये समान प्रतियां अक्सर बेतरतीब ढंग से बिखरी हुई थीं। एक रिकॉर्ड प्रशिक्षण समूह में जा सकता था, जो कंप्यूटर को उत्तर सिखा रहा था, जबकि उसकी सटीक जुड़वां प्रति परीक्षण समूह में पहुँच जाती थी। जब कंप्यूटर का परीक्षण उस जुड़वां पर किया गया, तो उसे अनुमान लगाने या निदान करने की आवश्यकता नहीं थी; उसने बस उस पैटर्न को पहचान लिया जिसे उसने पहले ही याद कर लिया था।

यह देखने के लिए कि इसने परिणामों को कितना बढ़ा दिया, टीम ने उन्हीं कंप्यूटर मॉडलों को फिर से चलाया, लेकिन इस बार उन्होंने खेल के नियम बदल दिए। डेटा को बेतरतीब ढंग से विभाजित करने के बजाय, उन्होंने समान लक्षण प्रोफाइल वाले सभी रिकॉर्ड्स को एक ही समूह में रखा। इससे यह सुनिश्चित हुआ कि यदि लक्षणों का एक विशिष्ट सेट प्रशिक्षण डेटा में दिखाई देता है, तो वह सटीक सेट कभी भी परीक्षण डेटा में नहीं आ पाएगा। कंप्यूटर को बीमारी के पैटर्न सीखने के लिए मजबूर किया गया, न कि केवल विशिष्ट रोगी सूचियों को रटने के लिए। परिणामों में अंतर नाटकीय था। पुराने, यादृच्छिक (रैंडम) तरीके के तहत, मॉडलों ने 97 और 98 प्रतिशत के बीच सटीकता स्कोर प्राप्त किया, जो पिछले वर्षों की शानदार रिपोर्टों से मेल खाता था। लेकिन जब शोधकर्ताओं ने सख्त, लीकेज-मुक्त नियमों को लागू किया, तो वे सटीकता नंबर गिरकर 90 से 93 प्रतिशत की सीमा में आ गए। हालांकि यह अभी भी प्रभावशाली था, लेकिन इस गिरावट ने खुलासा किया कि पिछले वर्षों के लगभग पूर्ण प्रदर्शन के दावे काफी हद तक डेटा संरचना द्वारा निर्मित एक भ्रम थे।

अध्ययन ने न केवल यह मापने के लिए आगे बढ़ाया कि मॉडल सही थे या गलत, बल्कि यह भी देखा कि वे अपने भविष्यवाणियों में कितने आश्वस्त थे। उन्होंने 'मैथ्यूज कोरिलेशन कोएफिशिएंट' नामक एक विशिष्ट मीट्रिक का उपयोग किया, जो तब प्रदर्शन की अधिक ईमानदार तस्वीर देता है जब बीमार और स्वस्थ लोगों की संख्या असमान होती है। यादृच्छिक परीक्षण पद्धति के तहत, यह स्कोर कृत्रिम रूप से उच्च था, जो कुछ मॉडलों के लिए 0.16 अंक तक अधिक था। जब परीक्षण सेट से डुप्लिकेट हटा दिए गए, तो स्कोर काफी गिर गया। अधिक महत्वपूर्ण बात यह है कि मॉडलों की रैंकिंग बदल गई। पुराने नियमों के तहत जिसे सर्वश्रेष्ठ मॉडल घोषित किया गया था, वह एक जटिल प्रणाली जिसे 'स्टैकिंग एन्सेम्बल' कहा जाता है, नए नियमों के तहत पहले स्थान से गिरकर आठवें स्थान पर आ गया। वह मॉडल जिसने निष्पक्ष परीक्षण के तहत वास्तव में सर्वश्रेष्ठ प्रदर्शन किया, वह 'एक्स्ट्रा ट्रीज़' नामक एक अलग प्रकार का ट्री-आधारित एल्गोरिदम था। इस बदलाव ने सिद्ध किया कि "सर्वश्रेष्ठ" मॉडल का चयन एक ठोस तथ्य नहीं था, बल्कि दोषपूर्ण परीक्षण पद्धति का परिणाम था।

शोधकर्ताओं ने यह भी जांच की कि क्या होता है जब वे "निकट-डुप्लिकेट" (near-duplicates) को ध्यान में रखते हैं। डेटासेट में, कई लोग बिल्कुल समान लक्षण साझा करते थे लेकिन उनकी आयु भिन्न थी। टीम ने एक परिदृश्य का परीक्षण किया जहाँ इन लगभग-समान प्रोफाइल्स को भी एक साथ रखा गया था, जिससे यह रोका जा सके कि कंप्यूटर एक 40 वर्षीय व्यक्ति के लक्षणों से सीखकर एक 45 वर्षीय व्यक्ति के जोखिम की भविष्यवाणी न कर सके। इस सख्त परीक्षण ने हर एक मॉडल के प्रदर्शन को और भी कम कर दिया। दिलचस्प बात यह है कि एक बहुत ही सरल मॉडल, जो पिछले सबसे मिलते-जुलते मामले को खोजने का काम करता है, पहले सख्त परीक्षण के तहत जटिल मॉडलों के लगभग बराबर प्रदर्शन करता था, लेकिन जब निकट-डुप्लिकेट्स को हटाया गया, तो इसका प्रदर्शन पूरी तरह से ध्वस्त हो गया। इससे पता चला कि सरल मॉडल भी बीमारी को वास्तव में समझने के बजाय अपने ही डेटा में प्रतियां खोजने पर निर्भर था।

इस कार्य के निहितार्थ केवल एक डेटासेट तक सीमित नहीं हैं। शोधकर्ताओं का तर्क है कि मधुमेह की भविष्यवाणी के लिए अतीत में रिपोर्ट की गई उच्च सटीकता संख्याएं संभवतः डुप्लिकेट रिकॉर्ड के इसी मुद्दे से बढ़ी हुई थीं। उन्होंने पाया कि पुराने और नए परिणामों के बीच का अंतर इतना बड़ा था कि यह उन मामूली सुधारों को निगल सकता है जिन्हें नए अध्ययन अक्सर खोज बताते हैं। यदि कोई नया एल्गोरिदम पुराने वाले से एक या दो प्रतिशत बेहतर होने का दावा करता है, तो वह सुधार केवल डेटा को विभाजित करने के तरीके के कारण उत्पन्न 'शोर' (noise) हो सकता है, न कि कोई वास्तविक सफलता। टीम ने यह भी नोट किया कि कई मॉडल खराब रूप से कैलिब्रेटेड थे, जिसका अर्थ है कि हालांकि वे अक्सर सही होते थे, लेकिन उनके संभाव्यता स्कोर (probability scores) बीमारी की वास्तविक संभावना को प्रतिबिंबित नहीं करते थे। उदाहरण के लिए, कुछ मॉडल अत्यधिक आत्मविश्वासी थे, जबकि अन्य बहुत संदेही थे, जो खतरनाक हो सकता है यदि कोई डॉक्टर उन नंबरों पर निर्णय लेने के लिए भरोसा करे।

यह पुनर्मूल्यांकन यह नहीं कहता कि मशीन लर्निंग मधुमेह के निदान में मदद नहीं कर सकती, और न ही यह सुझाव देता है कि ये मॉडल बेकार हैं। इसका सीधा सा अर्थ यह है कि जिनका उपयोग उन्हें आंकने के लिए बेंचमार्क के रूप में किया जा रहा था, वे त्रुटिपूर्ण थे। शोधकर्ता इस बात पर जोर देते हैं कि उनके निष्कर्ष एक विशिष्ट डेटासेट पर आधारित आंतरिक अनुमान हैं और यह साबित नहीं करते कि ये मॉडल वास्तविक क्लीनिकों में काम करते हैं। वे बताते हैं कि डेटा एक ही अस्पताल से आया है और इसमें इस बात का विवरण नहीं है कि मधुमेह की पुष्टि कैसे की गई, इसलिए परिणामों को बिना और अधिक परीक्षण के सीधे सामान्य स्क्रीनिंग पर लागू नहीं किया जा सकता है। हालाँकि, यह अध्ययन वैज्ञानिकों के लिए एक स्पष्ट मार्ग प्रदान करता है। वे अनुशंसा करते हैं कि भविष्य के अध्ययनों को डुप्लिकेट रिकॉर्ड की जाँच करनी चाहिए और परीक्षण के दौरान उन्हें एक साथ रखना चाहिए, अपने परिणामों की अनिश्चितता की रिपोर्ट देनी चाहिए, और तब तक किसी एकल "सर्वश्रेष्ठ" मॉडल की घोषणा नहीं करनी चाहिए जब तक कि अंतर सांख्यिकीय रूप से महत्वपूर्ण न हो। अपने परीक्षण प्रक्रिया को साफ करके, वैज्ञानिक समुदाय यह सुनिश्चित कर सकता है कि भविष्य के डिजिटल डॉक्टर उनकी वास्तविक सीखने की क्षमता के आधार पर आंके जाएं, न कि उत्तर प्राप्त करने की उनकी क्षमता के आधार पर।