Reliable Evaluation of Transductive Population Graph Neural Networks for Multisite Autism fMRI
यह अध्ययन प्रदर्शित करता है कि जबकि ग्राफ न्यूरल नेटवर्क कोहोर्ट-विशिष्ट संदर्भ और पर्यवेक्षण का लाभ उठाकर मल्टीसाइट fMRI डेटा पर ऑटिज्म वर्गीकरण में उच्च सटीकता प्राप्त कर सकते हैं, वे अनदेखे अधिग्रहण स्थलों (acquisition sites) तक सामान्यीकरण करने में विफल रहते हैं, जो कोहोर्ट-कंडीशन्ड प्रदर्शन और वास्तविक सामान्यीकरण के बीच अंतर करने के लिए कठोर 'लीव-वन-साइट-आउट' मूल्यांकन की महत्वपूर्ण आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
मेडिकल इमेजिंग की दुनिया में, वैज्ञानिक ऑटिज़्म जैसी स्थितियों के निदान में मदद करने के लिए तेजी से आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) की ओर मुड़ रहे हैं। ये सिस्टम मस्तिष्क के स्कैन का अध्ययन करके सीखते हैं, और उन सूक्ष्म पैटर्न की तलाश करते हैं जो एक समूह के लोगों को दूसरे से अलग करते हैं। हालांकि, एक बड़ी चुनौती तब आती है जब इन उपकरणों का परीक्षण विभिन्न अस्पतालों या विभिन्न स्कैनर्स के डेटा पर किया जाता है। एक मॉडल जो एक शहर के डेटा पर पूरी तरह से काम करता है, वह दूसरे शहर का स्कैन देखते ही पूरी तरह विफल हो सकता है, केवल इसलिए क्योंकि वहां की मशीनें या वहां भर्ती किए गए लोग थोड़े अलग थे। इसे सामान्यीकरण (जनरलाइजेशन) की समस्या के रूप में जाना जाता है। इसे हल करने के लिए, शोधकर्ताओं ने 'पॉपुलेशन ग्राफ न्यूरल नेटवर्क' नामक एक चतुर प्रकार का कंप्यूटर प्रोग्राम विकसित किया है। प्रत्येक मस्तिष्क स्कैन को अलग-थलग देखने के बजाय, यह प्रोग्राम एक ऐसा मानचित्र बनाता है जो अध्ययन में शामिल सभी लोगों को आपस में जोड़ता है। यह उन्हें उनके मस्तिष्क स्कैन की समानता और अन्य विवरणों के आधार पर जोड़ता है, जिससे कंप्यूटर को पूरे समूह में एक व्यक्ति से दूसरे व्यक्ति तक जानकारी भेजने की अनुमति मिलती है। इस दृष्टिकोण ने उल्लेखनीय सफलता दिखाई है, कुछ अध्ययनों ने बताया है कि ये मॉडल अत्यधिक उच्च सटीकता के साथ ऑटिज़्म की पहचान कर सकते हैं, जिससे ऐसा लगता है जैसे उन्होंने इन जटिल मस्तिष्क मानचित्रों को पढ़ने की पहेली को सुलझा लिया हो।
लेकिन शोधकर्ताओं की एक टीम ने इस सफलता को और करीब से देखने का निर्णय लिया। वे जानना चाहते थे कि क्या उच्च सटीकता वास्तव में इसलिए थी क्योंकि कंप्यूटर ने ऑटिज़्म के जैविक संकेतों को पहचानना सीख लिया था, या क्या यह गुप्त रूप से उस स्थान से संबंधित शॉर्टकट पर निर्भर था जहाँ से डेटा आया था। बीस अलग-अलग साइटों से मस्तिष्क स्कैन के एक बड़े, प्रसिद्ध संग्रह का उपयोग करके, उन्होंने एक नियंत्रित वातावरण में सफल मॉडल को फिर से बनाया। इसके बाद उन्होंने सावधानीपूर्वक प्रयोगों की एक श्रृंखला चलाई, जो एक वैज्ञानिक की तरह एक समय में एक छोटी चीज़ को बदलकर परिकल्पना का परीक्षण करने जैसा था। उन्होंने पूछा: क्या मॉडल को उस व्यक्ति के विशिष्ट मस्तिष्क स्कैन को देखने की आवश्यकता है जिसका निदान किया जाना है? क्या उसे यह जानने की आवश्यकता है कि वह व्यक्ति किस अस्पताल में गया था? और सबसे महत्वपूर्ण बात यह है कि क्या यह अभी भी काम करता है यदि इसे किसी ऐसे अस्पताल का मस्तिष्क स्कैन दिखाया जाए जिसे इसने पहले कभी नहीं देखा है?
शोधकर्ताओं ने पाया कि ज्ञात समूह के भीतर मॉडल का प्रभावशाली प्रदर्शन वास्तविक था, लेकिन यह नए वातावरण में अनुवादित नहीं हुआ। जब मॉडल को यह जानकारी उपयोग करने की अनुमति दी गई कि प्रतिभागी किस अस्पताल से आया था ताकि वह अपने संबंध बना सके, तो इसने 0.94 का AUC प्राप्त किया। यह उतना ही उच्च था जितना कि उपलब्ध सभी जानकारी का उपयोग करने पर था, जिससे पता चला कि साइट (स्थान) का ज्ञान ही इसकी सफलता की कुंजी थी। हालांकि, जब उन्होंने मॉडल का परीक्षण एक पूरी तरह से नई साइट पर किया—जो बीस मूल समूहों में से एक नहीं थी—तो प्रदर्शन काफी गिर गया। अज्ञात डेटा पर अंतर करने की मॉडल की क्षमता गिरकर लगभग 0.52 के स्तर पर आ गई, जिसके कॉन्फिडेंस इंटरवल (विश्वास अंतराल) 0.5 को शामिल करते हैं, जो यादृच्छिक संयोग (रैंडम चांस) से परे स्पष्ट प्रमाण नहीं देते हैं। यह सरल तरीकों के बिल्कुल विपरीत था जिन्होंने इन जटिल संबंधों का उपयोग नहीं किया था, जो अनदेखे डेटा पर बेहतर, हालांकि अभी भी मामूली स्तर की सटीकता बनाए रखने में सफल रहे, और लगभग 65 प्रतिशत प्राप्त किया।
जांच से पता चला कि शॉर्टकट वास्तव में कहाँ छिपा था। उच्च सटीकता इस बात पर निर्भर थी कि मॉडल परीक्षण विषय को उसी अस्पताल के अन्य लोगों से जोड़ने में सक्षम था जिन्हें पहले ही लेबल किया जा चुका था। एक ग्राफ जिसने केवल साइट (स्थान) की जानकारी का उपयोग किया, उसने समान रूप से उच्च भेदभाव बनाए रखा, जिससे पता चला कि मॉडल ऑटिज़्म के सार्वभौमिक संकेतों के बजाय एक अस्पताल के डेटा के विशिष्ट "फिंगरप्रिंट" को सीख रहा था। जब शोधकर्ताओं ने मॉडल को प्रशिक्षण के दौरान उसी अस्पताल के लेबल का उपयोग करने से रोक दिया, तो AUC गिरकर लगभग 0.48 हो गया, जिससे सिद्ध हुआ कि सिस्टम बीमारी को नहीं, बल्कि डेटा के संदर्भ (कॉन्टेक्स्ट) को सीख रहा था। इसके अलावा, उन्होंने पाया कि यह प्रभाव सूचना को संसाधित करने के तरीके के विशिष्ट था। यदि वे कंप्यूटर प्रोग्राम के उस हिस्से को बदल देते जो लोगों के बीच संबंधों को संभालता था, या यदि वे एक अलग, अधिक मानक प्रकार के नेटवर्क आर्किटेक्चर का उपयोग करते, तो उच्च सटीकता तुरंत गायब हो जाती। मॉडल केवल तभी इतना अच्छा काम करता था जब इसे एक बहुत ही विशिष्ट तरीके से बनाया गया था जो एक ही-साइट समूह की साझा विशेषताओं का लाभ उठाने की अनुमति देता था।
यह अध्ययन चिकित्सा आर्टिफिशियल इंटेलिजेंस के क्षेत्र के लिए एक महत्वपूर्ण वास्तविकता की जांच (रियलिटी चेक) के रूप में कार्य करता है। यह प्रदर्शित करता है कि एक मॉडल एक समूह के लोगों पर परीक्षण किए जाने पर एक शानदार नैदानिक उपकरण के रूप में दिखाई दे सकता है, फिर भी किसी अलग स्थान के नए समूह का सामना करने पर पूरी तरह विफल हो सकता है। शोधकर्ताओं ने दिखाया कि पिछले कार्यों में रिपोर्ट किए गए उच्च स्कोर आवश्यक रूप से इस बात का संकेत नहीं थे कि कंप्यूटर ने ऑटिज़्म की जीव विज्ञान में महारत हासिल कर ली है, बल्कि यह कि उसने उस विशिष्ट डेटासेट के पैटर्न में महारत हासिल कर ली थी जिस पर उसे प्रशिक्षित किया गया था। अपने वर्तमान समूह से सीखने की मॉडल की क्षमता को नए समूहों के लिए सामान्यीकरण करने की क्षमता से अलग करके, टीम ने भविष्य के उपकरणों के मूल्यांकन के लिए एक स्पष्ट रणनीति प्रदान की। उनका काम सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस के लिए वास्तव में विश्वसनीय होने के लिए, इसे न केवल उस डेटा पर परीक्षण किया जाना चाहिए जिसे वह जानता है, बल्कि उस डेटा पर भी जिसे उसने पहले कभी नहीं देखा है। जब तक एक मॉडल उस परीक्षण को पास नहीं कर लेता, उसकी उच्च सटीकता एक भ्रम हो सकती है, जो रोगी की स्थिति के बजाय डेटा की उत्पत्ति का प्रतिबिंब है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।