Whose Truth Is Ground Truth?: Consequences of Label Choice on Machine Learning Models Predicting Depression
यह अध्ययन प्रदर्शित करता है कि इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड में अवसाद के लेबल का चयन—चाहे वह प्रदाता-कोडित (provider-coded), रोगी-रिपोर्ट किया गया (patient-reported), या सुसंगत (concordant) हो—मशीन लर्निंग मॉडल के प्रदर्शन और फीचर महत्व को महत्वपूर्ण रूप से बदल देता है, जिससे यह पता चलता है कि प्रदाता-व्युत्पन्न लेबल थोड़ा उच्च AUC स्कोर प्रदान करने के बावजूद अनजाने में जनसांख्यिकीय पूर्वाग्रहों को बढ़ा सकते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक विशिष्ट प्रकार के पक्षी को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे हजारों तस्वीरें दिखाते हैं, लेकिन इसमें एक पेंच है: कभी-कभी तस्वीरों को एक पक्षी विशेषज्ञ द्वारा लेबल किया जाता है, और कभी-कभी उस व्यक्ति द्वारा जिसने वास्तव में जंगली परिवेश में उस पक्षी को देखा था। विशेषज्ञ एक पक्षी को मिस कर सकता है क्योंकि वह छिपा हुआ था, या वह एक समान दिखने वाली प्रजाति को गलत पहचान सकता है। जंगल में मौजूद व्यक्ति उत्साहित हो सकता है और सोच सकता है कि उसने एक दुर्लभ पक्षी देखा है जबकि वह केवल एक सामान्य पक्षी था। यदि आप केवल विशेषज्ञ के लेबल का उपयोग करके रोबोट को सिखाते हैं, तो वह वही देखता है जो विशेषज्ञ देखता है, न कि वह जो वास्तव में वहां मौजूद है। यह मशीन लर्निंग नामक एक बढ़ते हुए क्षेत्र के केंद्र में है, जहाँ कंप्यूटर डेटा की विशाल मात्रा में पैटर्न खोजने के लिए सीखते हैं ताकि वे भविष्यवाणियां कर सकें। स्वास्थ्य सेवा में, वैज्ञानिक इन "रोबोट डॉक्टरों" को बनाने की कोशिश कर रहे हैं जो अवसाद (डिप्रेशन) जैसे मानसिक स्वास्थ्य मुद्दों को बिगड़ने से पहले पहचान सकें। लेकिन यहाँ पेचीदा बात यह है: एक टूटी हुई हड्डी के विपरीत जो एक्स-रे पर स्पष्ट रूप से दिखाई देती है, अवसाद अदृश्य है। यह इस पर निर्भर करता है कि एक रोगी कैसा महसूस करता है और एक डॉक्टर उन भावनाओं की व्याख्या कैसे करता है। यह शोध पत्र एक बड़ा, महत्वपूर्ण प्रश्न पूछता है: यदि हम अपने रोबोट डॉक्टरों को डॉक्टर के नोट्स का उपयोग करके "सत्य" के रूप में सिखाते हैं, तो क्या वे उसी तरह सीखेंगे जैसे यदि हमने उन्हें रोगी की अपनी रिपोर्ट के आधार पर सिखाया होता कि वे कैसा महसूस कर रहे हैं?
जॉर्ज मेसन यूनिवर्सिटी के नताशा टोंगे और लीह एडम्स द्वारा किए गए इस अध्ययन के पीछे के शोधकर्ताओं ने इस प्रश्न का परीक्षण करने का निर्णय लिया। उन्होंने 2012 से 2019 के बीच सामुदायिक स्वास्थ्य केंद्रों में जाने वाले 644,000 से अधिक वयस्कों के मेडिकल रिकॉर्ड्स के एक विशाल ढेर का अध्ययन किया। वे यह देखना चाहते थे कि "ग्राउंड ट्रुथ" (वह लेबल जिसका उपयोग यह बताने के लिए किया जाता है कि क्या अवसाद है) ने कंप्यूटर के सीखने के तरीके को कैसे बदला। उन्होंने तीन अलग-अलग संस्करणों वाला एक मशीन लर्निंग मॉडल बनाया, जिनमें से प्रत्येक को अवसाद की एक अलग परिभाषा पर प्रशिक्षित किया गया था:
- डॉक्टर का दृष्टिकोण: मॉडल केवल उन मामलों से सीखा जहाँ एक डॉक्टर ने रोगी के चार्ट में आधिकारिक तौर पर अवसाद का निदान लिखा था।
- रोगी का दृष्टिकोण: मॉडल केवल उन रोगियों से सीखा जिन्होंने एक प्रश्नावली (PHQ-9) पर गंभीर लक्षणों की सूचना दी थी, भले ही डॉक्टर ने कोई निदान न लिखा हो।
- सहमति का दृष्टिकोण: मॉडल केवल उन मामलों से सीखा जहाँ रोगी ने गंभीर लक्षणों की सूचना दी थी और डॉक्टर ने भी निदान लिखा था।
उन्होंने भविष्यवाणी करने के लिए एक प्रकार के कंप्यूटर एल्गोरिदम का उपयोग किया जिसे "ट्री" (इसे एक फ्लोचार्ट की तरह समझें जो निर्णय लेने के लिए हाँ-या-ना वाले प्रश्न पूछता है) कहा जाता है। उन्होंने कंप्यूटर को आयु, नस्ल, लिंग, रक्तचाप और क्या रोगी को चिंता (एंग्जायटी) या अन्य स्वास्थ्य समस्याएं थीं, जैसे डेटा दिया।
यहाँ उन्हें क्या पता चला, और यह थोड़ा आश्चर्यजनक है। सबसे पहले, कंप्यूटर मॉडल चाहे वे किसी भी लेबल का उपयोग करें, अवसाद को पहचानने में पूर्ण नहीं थे। उनकी सटीकता, जिसे AUC नामक स्कोर से मापा जाता है, 0.62 और 0.64 के बीच रही। इसे समझने के लिए, एक पूर्ण स्कोर 1.0 होता है, और एक रैंडम अनुमान 0.5 होता है। इसलिए, मॉडल अनुमान लगाने से बेहतर थे, लेकिन वे अभी भी बहुत से मामलों को मिस कर रहे थे। डॉक्टर के लेबल पर प्रशिक्षित मॉडल उन मामलों को खोजने में सबसे अच्छा था जिन्हें डॉक्टरों ने पहले ही पहचाना था (0.33 की संवेदनशीलता के साथ), लेकिन फिर भी वह उनमें से लगभग दो-तिहाई मामलों को मिस कर रहा था।
सबसे दिलचस्प खोज यह नहीं थी कि मॉडल कितने अच्छे काम करते थे, बल्कि यह थी कि वे क्या महत्वपूर्ण समझते थे। कंप्यूटर का "दिमाग" इस बात पर बदल जाता था कि वह किसकी सुन रहा है।
- जब मॉडल ने डॉक्टर के लेबल को सुना, तो उसने तय किया कि श्वेत होना, महिला होना और अविवाहित होना सबसे बड़े संकेत थे कि किसी व्यक्ति को अवसाद है।
- जब मॉडल ने रोगी के गंभीर लक्षणों पर ध्यान दिया, तो वे जनसांख्यिकीय संकेत कम महत्वपूर्ण हो गए। इसके बजाय, मॉडल ने इस बात पर भारी ध्यान केंद्रित किया कि रोगी को चिंता (एंग्जायटी) थी या नहीं, उनकी आयु, और उनका रक्तचाप क्या था।
- एकमात्र चीज़ जो तीनों मॉडलों में महत्वपूर्ण बनी रही, वह थी चिंता (एंग्जायटी)। यदि किसी रोगी को चिंता थी, तो कंप्यूटर के इस बात की अधिक संभावना थी कि वह उन्हें अवसाद के लिए चिह्नित करेगा, चाहे वह किसी भी लेबल का उपयोग कर रहा हो।
लेखक सुझाव देते हैं कि यह बदलाव एक चेतावनी का संकेत है। यदि हम ऐसे AI उपकरण बनाते हैं जो केवल वही सीखते हैं जो डॉक्टर लिखते हैं, तो AI यह सोचना शुरू कर सकता है कि अवसाद मुख्य रूप से एक निश्चित नस्ल या लिंग के बारे में है, केवल इसलिए क्योंकि अतीत में डॉक्टरों ने इस तरह के निदान किए हैं। यह उन रोगियों को मिस कर सकता है जो पीड़ित हैं लेकिन अभी तक निदान नहीं किए गए हैं। अध्ययन बताता है कि इन AI उपकरणों को निष्पक्ष और भरोसेमंद होने के लिए, उनमें रोगी की अपनी आवाज़ शामिल होनी चाहिए, न कि केवल डॉक्टर के नोट्स। यदि हम ऐसा नहीं करते हैं, तो हम एक डिजिटल प्रणाली बनाने का जोखिम उठाते है जो उन्हीं खामियों और पूर्वाग्रहों को दोहराती है जो वास्तविक दुनिया में मौजूद हैं, जिससे उन लोगों को मदद मिल सकती है जिन्हें इसकी सबसे अधिक आवश्यकता है। शोधकर्ताओं ने यह साबित नहीं किया कि उनमें से एक विधि पूर्ण है, लेकिन उन्होंने स्पष्ट रूप से दिखाया कि "सत्य" को परिभाषित करने का अधिकार किसे दिया जाता है, यह चुनाव रोबोट की समस्या की पूरी समझ को बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।