A Comprehensive Evaluation of Distributional Shift and Concept Drift Across Preprocessing Configurations, Domain Adaptation, and Representation Learning in GDM Prediction

गर्भावस्था गहन जैविक परिवर्तनों का समय है, और कई महिलाओं के लिए, यह गर्भकालीन मधुमेह (जेस्टेशनल डायबिटीज) का जोखिम भी लेकर आती है, जो एक ऐसी स्थिति है जहाँ रक्त शर्करा का स्तर खतरनाक रूप से बढ़ जाता है। यदि इसे अनियंत्रित छोड़ दिया जाए, तो इससे माँ और बच्चे दोनों के लिए गंभीर जटिलताएँ हो सकती हैं। इसे जल्दी पकड़ने के लिए, डॉक्टर अक्सर एक विशिष्ट रक्त परीक्षण पर भरोसा करते हैं जिसे ओरल ग्लूकोज टॉलरेंस टेस्ट कहा जाता है, जिसमें एक मीठे घोल को पिया जाता है और यह देखने के लिए प्रतीक्षा की जाती है कि शरीर उस पर कैसी प्रतिक्रिया देता है। हालाँकि, यह परीक्षण समय लेने वाला है और इसके लिए विशेष उपकरणों की आवश्यकता होती है, जिससे इसे हर क्लिनिक में या सीमित संसाधनों वाले क्षेत्रों में उपयोग करना कठिन हो जाता है। इस कारण से, शोधकर्ताओं ने वर्षों तक ऐसे कंप्यूटर प्रोग्राम बनाने की कोशिश की है जो केवल सरल, नियमित जानकारी जैसे कि आयु, वजन और रक्तचाप का उपयोग करके यह भविष्यवाणी कर सकें कि किसे यह बीमारी होने वाली है। उम्मीद यह रही है कि ये डिजिटल उपकरण एक त्वरित, प्रारंभिक चेतावनी प्रणाली के रूप के रूप में कार्य कर सकेंगे, जो जटिल शुगर टेस्ट की आवश्यकता पड़ने से पहले ही उच्च जोखिम वाले रोगियों की पहचान कर लेंगे।

चुनौती यह है कि ये कंप्यूटर प्रोग्राम अक्सर उस अस्पताल में तो पूरी तरह से काम करते हैं जहाँ उन्हें बनाया गया था, लेकिन जब उन्हें किसी दूसरे क्लिनिक में ले जाया जाता है, तो वे बुरी तरह विफल हो जाते हैं। ऐसा इसलिए होता है क्योंकि अलग-अलग अस्पतालों के लोग एक समान नहीं होते; उनकी उम्र, शारीरिक बनावट और स्वास्थ्य इतिहास अलग-अलग होते हैं। जब एक समूह के लोगों पर प्रशिक्षित मॉडल को दूसरे समूह पर लागू किया जाता है, तो उसके द्वारा सीखी गई अंतर्निहित पैटर्न टूट जाती हैं। यह केवल मॉडल के थोड़ा गलत होने का मामला नहीं है; यह डेटा के व्यवहार में एक मौलिक बदलाव है। शोधकर्ता इसे "कॉन्सेप्ट ड्रिफ्ट" (concept drift) कहते हैं, एक ऐसी स्थिति जहाँ एक जोखिम कारक और बीमारी के बीच का संबंध एक स्थान से दूसरे स्थान पर बदल जाता है। उदाहरण के लिए, एक शहर में मधुमेह की भविष्यवाणी करने वाला एक कारक दूसरे शहर में कोई भविष्यवाणी शक्ति नहीं रख सकता, या उसका प्रभाव विपरीत भी हो सकता है।

यूनिवर्सिटी ऑफ मोंटन (Université de Moncton) के शोधकर्ताओं की एक टीम ने ठीक इसी बात की जांच करने के लिए हाथ मिलाया कि ये मॉडल एक आबादी से दूसरी आबादी में जाने पर क्यों विफल हो जाते हैं। वे जानना चाहते थे कि क्या समस्या केवल यह थी कि मॉडल पर्याप्त परिष्कृत नहीं थे, या मुद्दा अधिक गहरा था, जो स्वयं डेटा में निहित था। इसका उत्तर खोजने के लिए, उन्होंने दो बड़े रोगी रिकॉर्ड एकत्र किए: एक प्राथमिक स्रोत से जिसमें 3,500 से अधिक महिलाएँ थीं, और एक पूरी तरह से अलग क्षेत्र से 1,200 से अधिक महिलाओं का एक दूसरा समूह। फिर उन्होंने एक विशाल प्रयोग किया, जिसमें डेटा तैयार करने के दर्जनों तरीकों और मशीन लर्निंग के पांच अलग-अलग प्रकार के मॉडलों का परीक्षण किया गया। उन्होंने उन उन्नत तकनीकों का भी परीक्षण किया जो मॉडलों को नई आबादी के अनुकूल बनाने के लिए मजबूर करती हैं, और यहाँ तक कि एक आधुनिक डीप लर्निंग दृष्टिकोण का भी परीक्षण किया जो डेटा के "आकार" को अधिक अमूर्त तरीके से सीखने की कोशिश करता है।

परिणाम स्पष्ट और सुसंगत थे। जब मॉडलों का परीक्षण उस डेटा पर किया गया जिस पर उन्हें प्रशिक्षित किया गया था, तो वे लगभग सटीक थे, और लगभग हर मामले की सही पहचान की। लेकिन जैसे ही उन्हें महिलाओं के नए, स्वतंत्र समूह पर लागू किया गया, उनका प्रदर्शन ढह गया। उच्च सटीकता के बजाय, मॉडल का प्रदर्शन यादृच्छिक अनुमान (random guessing) से थोड़ा ही बेहतर था। यह विफलता इस बात पर निर्भर नहीं थी कि मॉडल कितना जटिल था, डेटा को कैसे साफ किया गया था, या क्या शोधकर्ताओं ने दोनों समूहों को संरेखित करने के लिए विशेष गणितीय युक्तियों का उपयोग किया था। यहाँ तक कि सबसे उन्नत डीप लर्निंग सिस्टम भी, जो आमतौर पर छिपे हुए पैटर्न खोजने में बहुत अच्छे होते हैं, उसी पूर्ण विफलता का शिकार हुए। मॉडल केवल तभी अच्छी तरह से काम कर पाए जब शोधकर्ताओं ने प्रशिक्षण से पहले दोनों समूहों के डेटा को आपस में मिला दिया था। इससे यह सिद्ध हुआ कि मॉडल कार्य को सीखने के लिए बहुत सरल नहीं थे; वे बस उस लक्षित समूह के उदाहरण देखे बिना इसे नहीं सीख सकते थे।

शोधकर्ताओं ने पाया कि मुख्य दोषी डेटा में एक विशिष्ट विशेषता थी: ओरल ग्लूकोज टॉलरेंस टेस्ट के परिणाम। पहले समूह की महिलाओं में, यह परीक्षण बीमारी का सबसे शक्तिशाली भविष्यवक्ता था। कंप्यूटर मॉडलों ने इस पर बहुत अधिक निर्भर रहने के लिए सीखा। हालाँकि, दूसरी समूह की महिलाओं में, इस परीक्षण और बीमारी के बीच का संबंध इतनी नाटकीय रूप से बदल गया था कि परीक्षण भविष्यवाणी के लिए लगभग बेकार हो गया। क्योंकि मॉडल इस एक जानकारी पर बहुत अधिक निर्भर थे, उनका पूरा तर्क बिखर गया जब वे नए समूह के सामने आए। जब शोधकर्ताओं ने इस परीक्षण को डेटा से पूरी तरह हटा दिया, तो मॉडल नए परिवेश में थोड़ा बेहतर प्रदर्शन कर रहे थे, हालांकि वे अभी भी संघर्ष कर रहे थे। यह सुझाव देता है कि यदि किसी मॉडल को विभिन्न अस्पतालों में उपयोगी होना है, तो उसे उस विशिष्ट नैदानिक परीक्षण के बिना प्रशिक्षित किया जाना चाहिए जो आबादी के बीच बहुत अधिक भिन्न होता है।

एक अन्य महत्वपूर्ण निष्कर्ष इस बारे में था कि शोधकर्ताओं ने लुप्त जानकारी (missing information) को कैसे संभाला। मेडिकल रिकॉर्ड में, डेटा अक्सर अधूरा होता है; हो सकता है कि किसी मरीज का रक्तचाप दर्ज हो लेकिन उसका वजन नहीं। टीम ने इन अंतरालों को भरने के लिए तीन अलग-अलग तरीकों का परीक्षण किया। उन्होंने पाया कि सबसे परिष्कृत तरीका, जो विभिन्न चरों के बीच संबंधों का उपयोग करके गायब मानों का अनुमान लगाता है, समूहों के बीच जाने पर सबसे अधिक मजबूत (robust) था। सरल तरीके, जो केवल औसत मान से भर देते हैं, डेटा बिंदुओं के बीच के नाजविक संबंधों को तोड़ देते हैं, जिससे मॉडल कम विश्वसनीय हो जाते हैं। यह रेखांकित करता है कि डेटा को कैसे तैयार किया जाता है, वह मॉडल जितना ही महत्वपूर्ण है।

अध्ययन ने उन उन्नत तकनीकों के संबंध में एक आश्चर्यजनक मोड़ भी उजागर किया जिनका उपयोग इन समस्याओं को ठीक करने के लिए किया जाता है। एक लोकप्रिय विधि, जो दो समूहों के सांख्यिकीय गुणों को गणितीय रूप से संरेखित करने का प्रयास करती है, वास्तव में अधिकांश मॉडलों के लिए स्थिति को और खराब कर देती है। इसने एक विशिष्ट प्रकार के मॉडल के प्रदर्शन में सुधार किया लेकिन अन्य के प्रदर्शन को कम कर दिया। यह सुझाव देता है कि केवल दो अलग-अलग आबादी को सांख्यिकीय रूप से समान दिखने के लिए मजबूर करना कोई जादुई समाधान नहीं है। वास्तव में, उन मॉडलों के लिए जो विशिष्ट थ्रेशोल्ड (सीमाओं) के आधार पर निर्णय लेने पर निर्भर करते हैं, यह संरेखण डेटा को इस तरह से विकृत करता है कि मॉडल और भी भ्रमित हो जाता है।

अंततः, यह कार्य एक स्पष्ट निष्कर्ष की ओर संकेत करता है: विभिन्न क्लीनिकों में इन भविष्य कहने वाले उपकरणों का उपयोग करने में बाधा कंप्यूटिंग शक्ति या चतुर एल्गोरिदम की कमी नहीं है। बाधा स्वयं डेटा है। जोखिम कारकों और बीमारी के बीच का संबंध स्थिर नहीं है; यह इस पर निर्भर करता है कि किसका अध्ययन किया जा रहा है। शोधकर्ताओं ने पाया कि यदि आप किसी नए स्थान के लिए एक मॉडल बनाना चाहते हैं, तो आप केवल पुराने डेटा पर प्रशिक्षित होकर और यह उम्मीद करके काम नहीं चला सकते कि वह अनुकूल हो जाएगा। आपको प्रशिक्षण प्रक्रिया में नए आबादी का डेटा शामिल करना होगा, या कम से कम नए डेटा के एक छोटे से हिस्से का उपयोग करके मॉडल को पुन: कैलिब्रेट (recalibrate) करना होगा। जब तक ऐसा नहीं होता, एक स्क्रीनिंग टूल के लिए सबसे विश्वसनीय दृष्टिकोण उस विशिष्ट नैदानिक परीक्षण का उपयोग न करना है जो सबसे अधिक भ्रम पैदा करता है और इसके बजाय उन अधिक स्थिर, बुनियादी स्वास्थ्य संकेतकों पर भरोसा करना है जो विभिन्न समूहों में सुसंगत रहते हैं। यह अध्ययन एक अनुस्मारक के रूप में कार्य करता है कि चिकित्सा AI की दुनिया में, एक मॉडल जो एक कमरे में पूरी तरह से काम करता है, दूसरे कमरे में पूरी तरह से अंधा हो सकता है, और स्पष्ट रूप से देखने का एकमात्र तरीका उन लोगों से सीखना है जिनकी आप मदद करने की कोशिश कर रहे हैं।