How Robust Are Machine-Learning Biomarkers of Depression? A Leakage-Controlled Benchmark
यह अध्ययन प्रदर्शित करता है कि जबकि डेटा लीकेज और परिणाम-पश्चात भविष्यवक्ताओं कृत्रिम रूप से अवसाद वर्गीकरण के प्रदर्शन को बढ़ा सकते हैं, कठोर लीकेज-नियंत्रित सत्यापन यह प्रकट करता है कि जटिल मशीन-लर्निंग एल्गोरिदम सरल लॉजिस्टिक रिग्रेशन की तुलना में बहुत कम पूर्वानुमानित लाभ प्रदान करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
चिकित्सा की आधुनिक दुनिया में, डॉक्टर और शोधकर्ता मानसिक स्वास्थ्य स्थितियों को गंभीर होने से पहले पहचानने के लिए कंप्यूटर की ओर तेजी से मुड़ रहे हैं। विचार यह है कि कंप्यूटर को किसी व्यक्ति के बारे में भारी मात्रा में जानकारी—उनकी नींद के पैटर्न, उनकी दैनिक गतिविधि, उनके मूड और उनके मेडिकल इतिहास—से परिचित कराया जाए और मशीन को अवसाद (डिप्रेशन) के उन सूक्ष्म संकेतों को पहचानने के लिए प्रशिक्षित किया जाए जिन्हें एक इंसान शायद छोड़ दे। कम्प्यूटेशनल साइकियाट्री (computational psychiatry) कहा जाने वाला यह क्षेत्र एक ऐसे भविष्य का वादा करता है जहाँ निदान तेज़, अधिक सटीक और सभी के लिए उपलब्ध होगा। हालाँकि, इन कंप्यूटर मॉडलों के उपयोगी होने के लिए, उन्हें उन लोगों के भविष्य की भविष्यवाणी करने में सक्षम होना चाहिए जिनसे वे कभी मिले भी नहीं हैं, न कि केवल उन लोगों के अतीत को याद रखने में जिन्हें वे पहले से जानते हैं। इस कार्य में सबसे बड़ा खतरा 'डेटा लीकेज' (data leakage) नामक एक छिपा हुआ जाल है। यह तब होता है जब एक कंप्यूटर मॉडल को गलती से ऐसी जानकारी दे दी जाती है जो उसे नहीं मिलनी चाहिए थी, जैसे कि निदान के बारे में कोई सुराग जो डॉक्टर के उत्तर जानने के बाद दर्ज किया गया हो। यदि कोई मॉडल इन वर्जित सुरागों का उपयोग करता है, तो वह लैब में अविश्वसनीय रूप से स्मार्ट दिखता है, लेकिन क्लिनिक में वास्तविक रोगी की मदद करने के प्रयास में पूरी तरह विफल हो जाता है।
क्वीन मैरी यूनिवर्सिटी ऑफ लंदन के एक शोधकर्ता ने यह परीक्षण करने का निर्णय लिया कि ये कंप्यूटर मॉडल वास्तव में कितने नाजुक हैं। वास्तविक रोगी रिकॉर्ड का उपयोग करने के बजाय, जो अव्यवस्थित और नियंत्रित करने में कठिन हो सकते हैं, शोधकर्ता ने कंप्यूटर के भीतर एक पूरी तरह से काल्पनिक दुनिया बनाई। इस कृत्रिम दुनिया में 10 अलग-अलग सिम्युलेटेड अस्पतालों में 8,000 काल्पनिक लोगों का डेटा शामिल था। प्रत्येक व्यक्ति के पास उम्र, आय, नींद, हृदय गति और उनकी भावनाओं जैसे विवरणों के साथ एक डिजिटल प्रोफाइल थी। फिर शोधकर्ता ने इस काल्पनिक दुनिया में यह तय करने के लिए एक विशिष्ट नियम बनाया कि किसे डिप्रेशन है: जिसका कुल लक्षण स्कोर एक निश्चित स्तर तक पहुँच जाता था, उसे एक केस के रूप में चिह्नित किया गया। इस पूर्ण, नियंत्रित सेटअप के साथ, शोधकर्ता प्रयोगों की एक श्रृंखला चलाने में सक्षम था ताकि यह देखा जा सके कि जब आप खेल के नियम बदलते हैं तो क्या होता है। लक्ष्य यह देखना था कि क्या कंप्यूटर मॉडल वास्तव में डिप्रेशन को पहचानना सीख रहे हैं, या वे केवल उस जानकारी का उपयोग कर रहे थे जिसे उन्हें नहीं करना चाहिए था।
पहले प्रयोग में भविष्य की जानकारी के उपयोग की शक्ति का परीक्षण किया गया। शोधकर्ता ने दो विशिष्ट जानकारियों को लिया जो डिप्रेशन की स्थिति तय होने के बाद बनाई गई थीं: एक रिकॉर्ड कि क्या डॉक्टर ने मरीज को अधिक सहायता के लिए भेजा था, और एक कोड कि उन्हें कौन सी उपचार योजना प्राप्त हुई। एक वास्तविक दुनिया के परिदृश्य में, एक कंप्यूटर जो किसी नए व्यक्ति में डिप्रेशन की भविष्यवाणी करने की कोशिश कर रहा है, वह अभी तक इन रिकॉर्डों को नहीं देख पाएगा, क्योंकि भविष्यवाणी डॉक्टर के उन निर्णयों लेने से पहले होनी चाहिए। लेकिन इस परीक्षण में, शोधकर्ता ने कंप्यूटर मॉडलों को उन्हें देखने की अनुमति दी। परिणाम नाटकीय था। जब मॉडलों को इन भविष्य के सुरागों को देखने की अनुमति दी गई, तो उनका प्रदर्शन लगभग पूर्ण स्तर तक पहुँच गया। एक सरल मॉडल, जो बुनियादी सांख्यिकी का उपयोग करता है, अचानक लगभग हर बार सही दिखाई देने लगा। आंकड़ों ने दिखाया कि डिप्रेस्ड और गैर-डिप्रेस्ड व्यक्तियों के बीच अंतर करने की मॉडल की क्षमता 1.00 में से लगभग 0.99 के स्कोर तक बढ़ गई। इसने सिद्ध कर दिया कि एक औसत दर्जे का मॉडल भी जीनियस दिख सकता है यदि उसे एक 'चीट शीट' (cheat sheet) दे दी जाए।
इसके बाद, शोधकर्ता ने उन भविष्य के सुरागों को हटा दिया और मॉडलों को बिना उनके फिर से प्रयास करने के लिए कहा। इस बार, मॉडलों को केवल उस जानकारी पर निर्भर रहना था जो वास्तव में निदान से पहले उपलब्ध होती, जैसे कि नींद की आदतें और मूड स्कोर। प्रदर्शन गिर गया, लेकिन यह पूरी तरह ध्वस्त नहीं हुआ। सरल सांख्यिकीय मॉडल ने अभी भी बहुत अच्छा प्रदर्शन किया, लगभग 0.95 के स्कोर के साथ डिप्रेस्ड व्यक्तियों की सही पहचान की। यह एक महत्वपूर्ण खोज थी। इससे पता चला कि मॉडल केवल चीट शीट को रट नहीं रहे थे; उन्होंने वास्तव में अन्य डेटा से डिप्रेशन के बारे में कुछ वास्तविक पैटर्न सीख लिए थे। हालाँकि, स्कोर के लगभग पूर्ण से उच्च-लेकिन-पूर्ण-नहीं तक गिरने से यह पता चला कि भविष्य की जानकारी के उपयोग ने परिणामों को कितना बढ़ा दिया था। शोधकर्ताओं ने पाया कि यह अंतर केवल एक छोटा सा सांख्यिकीय उतार-चढ़ाव नहीं था; यह एक बड़ा बदलाव था जो एक शोधकर्ता को यह सोचने के लिए आसानी से भ्रमित कर सकता था कि मॉडल वास्तविक दुनिया के लिए तैयार है जबकि वह नहीं था।
अध्ययन में यह भी परीक्षण किया गया कि क्या मॉडल वास्तव में सीख रहे हैं या केवल विशिष्ट लोगों को याद रख रहे हैं। कई वास्तविक दुनिया के अध्ययनों में, एक ही व्यक्ति का डेटा कई बार दिखाई दे सकता है, शायद अलग-अलग दिनों में लिए गए विभिन्न मापों के साथ। यदि एक कंप्यूटर मॉडल प्रशिक्षण चरण में एक व्यक्ति का डेटा देखता है और फिर परीक्षण चरण में उसी व्यक्ति को फिर से देखता है, तो वह डिप्रेशन के सामान्य नियमों को सीखने के बजाय उस विशिष्ट व्यक्ति को याद कर सकता है। इसका परीक्षण करने के लिए, शोधकर्ता ने डेटा को इस तरह विभाजित किया कि कोई भी व्यक्ति प्रशिक्षण और परीक्षण समूहों दोनों में न आए। आश्चर्यजनक रूप से, मॉडल खराब नहीं हुए। उनका स्कोर पहले जितना ही ऊंचा बना रहा। यह सुझाव देता है कि इस विशिष्ट सिम्युलेटेड वातावरण में, मॉडल व्यक्तिगत लोगों को याद करने पर निर्भर नहीं थे। वे ऐसे पैटर्न खोज रहे थे जो सभी पर लागू होते थे।
शोधकर्ता ने यह भी परीक्षण किया कि क्या मॉडल अलग-अलग अस्पतालों को संभाल सकते हैं। वास्तविक जीवन में, एक मॉडल जो एक शहर में प्रशिक्षित किया गया है, वह दूसरे शहर में विफल हो सकता है क्योंकि वहाँ के लोग अलग होते हैं या डॉक्टर अलग प्रश्न पूछते हैं। शोधकर्ता ने नौ नकली अस्पतालों के डेटा पर मॉडलों को प्रशिक्षित करके और फिर दसवें अस्पताल पर उनका परीक्षण करके इसे सिम्युलेट किया जिसे उन्होंने कभी नहीं देखा था। एक बार फिर, मॉडल टिके रहे। उनका प्रदर्शन गिरा नहीं। वे उसी उच्च सटीकता के साथ डिप्रेशन की भविष्यवाणी करना जारी रखते रहे। यह एक और आश्चर्य था, क्योंकि कई विशेषज्ञ उम्मीद करते हैं कि नए परिवेश में जाने पर मॉडल संघर्ष करेंगे। इसने सुझाव दिया कि मॉडलों द्वारा सीखे गए पैटर्न इतने मजबूत थे कि वे सिम्युलेटेड अस्पतालों के बीच के अंतर के बावजूद बने रहे।
अंत में, शोधकर्ता ने पूछा कि क्या अधिक जटिल, फैंसी कंप्यूटर एल्गोरिदम सरल वाले से बेहतर हैं। अध्ययन ने सरल सांख्यिकीय मॉडल की तुलना पांच बहुत अधिक जटिल प्रणालियों से की, जिसमें उन्नत न्यूरल नेटवर्क और ट्री-आधारित एल्गोरिदम शामिल थे, जिन्हें डेटा में छिपे हुए, नॉन-लीनियर कनेक्शन खोजने के लिए डिज़ाइन किया गया है। इस क्षेत्र में अक्सर यह अपेक्षा की जाती है कि ये जटिल मशीनें श्रेष्ठ होनी चाहिए। फिर भी, परिणामों ने लगभग कोई अंतर नहीं दिखाया। सरल मॉडल ने जटिल मॉडलों के समान ही प्रदर्शन किया। कुछ मामलों में, सरल मॉडल वास्तव में थोड़ा बेहतर था। फैंसी एल्गोरिदम ने कोई भी ऐसा गुप्त रहस्य नहीं खोज पाए जो सरल मॉडल से छूट गया हो। वे सभी समान सटीकता के स्तर पर पहुँच गए, जो लगभग 0.95 के आसपास था। यह सुझाव देता है कि इस प्रकार की समस्या के लिए, अधिक जटिलता जोड़ने से आपको बेहतर परिणाम नहीं मिलते।
अध्ययन निष्कर्ष निकालता है कि डिप्रेशन प्रेडिक्टर बनाने के लिए सबसे महत्वपूर्ण कारक कंप्यूटर कोड की जटिलता नहीं, बल्कि डेटा की ईमानदारी है। सटीकता के लिए सबसे बड़ा खतरा कंप्यूटिंग पावर की कमी नहीं, बल्कि अनजाने में मिली वह जानकारी है जो उत्तर लीक करती है। जब शोधकर्ता उन लीकेज को हटा देते हैं, तो मॉडल कागज़ पर कम प्रभावशाली हो जाते हैं, लेकिन वे अधिक विश्वसनीय हो जाते हैं। तथ्य यह है कि सरल मॉडल ने जटिल मॉडलों के समान ही प्रदर्शन किया, जिसका अर्थ है कि हमें इस समस्या को हल करने के लिए जटिल 'ब्लैक बॉक्स' बनाने की आवश्यकता नहीं है। ये निष्कर्ष एक चेतावनी के रूप में कार्य करते हैं: एक टेस्ट पर उच्च स्कोर पर्याप्त नहीं है। हमें यह जांचना चाहिए कि वह स्कोर कैसे प्राप्त किया गया। यदि कोई मॉडल एकदम सटीक दिखता है, तो हमें पूछना चाहिए कि क्या वह उस जानकारी का उपयोग कर रहा था जो उसे नहीं करनी चाहिए थी। यदि हम भविष्य की जानकारी के उपयोग को हटाने के बाद भी वह अच्छा दिखता है, तो शायद हमारे पास अंततः एक ऐसा उपकरण होगा जो काम करता है। यह शोध यह साबित नहीं करता है कि हम अभी वास्तविक लोगों में डिप्रेशन की सटीक भविष्यवाणी कर सकते हैं, क्योंकि डेटा पूरी तरह से कृत्रिम था। यह वास्तविक नैदानिक आबादी में सटीकता या त्रुटियों के आकार के बजाय, यह दर्शाता है कि परीक्षण के तरीके कैसे काम करते हैं। लेकिन यह यह साबित करता है कि इन उपकरणों को परखने का तरीका, स्वयं उपकरणों से अधिक महत्वपूर्ण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।