Default-filled outcome labels in a deployed cognitive-screening programme: an operator-level audit and the construction of twenty-four language-model arms
यह अध्ययन प्रदर्शित करता है कि प्रशिक्षण से पहले ऑपरेटर-स्तरीय पूर्वाग्रह के लिए नैदानिक लेबल (clinical labels) का ऑडिट करना महत्वपूर्ण है, और यह कि सीमित विशेषज्ञ डेटा पर मानक फाइन-ट्यूनिंग और सुदृढीकरण लर्निंग (reinforcement learning) एक पारंपरिक लॉजिस्टिक रिग्रेशन से बेहतर प्रदर्शन करने में विफल रही, जबकि एक फ्रंटियर मॉडल से स्थानीय 4B पैरामीटर वाले मॉडल में नॉलेज डिस्टिलेशन (knowledge distillation) ने श्रेष्ठ प्रदर्शन हासिल किया, जो संज्ञानात्मक-स्क्रीनिंग कार्यक्रमों के लिए एक व्यावहारिक परिनियोजन रेसिपी स्थापित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
चीन के सामुदायिक स्वास्थ्य क्लीनिकों के शांत कोनों में, हर दिन एक विशाल मात्रा में डेटा उत्पन्न होता है। निवासी अपनी स्मृति और सोचने की क्षमता की जांच करने के लिए आते हैं, अपने दैनिक जीवन के बारे में कुछ प्रश्नों के उत्तर देते हैं और लघु संज्ञानात्मक परीक्षण (cognitive tests) पूरे करते हैं। इन उत्तरों को एक डिजिटल प्रणाली में दर्ज किया जाता है, जिससे स्वास्थ्य रिकॉर्ड का एक विशाल पुस्तकालय बन जाता है। वर्षों से, शोधकर्ता इस पुस्तकालय का उपयोग कंप्यूटर को संज्ञानात्मक गिरावट (cognitive decline), जैसे कि हल्की स्मृति हानि या डिमेंशिया, के शुरुआती संकेतों को पहचानने के लिए प्रशिक्षित करने की आशा कर रहे थे, ताकि हर एक फाइल की समीक्षा के लिए विशेषज्ञ डॉक्टर की आवश्यकता न पड़े। विचार सरल है: यदि एक कंप्यूटर हजारों नियमित रिकॉर्ड से सीख सकता है, तो यह उन लोगों की पहचान करने में मदद कर सकता है जिन्हें देखभाल की आवश्यकता है, जो वर्तमान प्रणाली की तुलना में बहुत तेज़ और सस्ता हो सकता है। हालांकि, इन नियमित रिकॉर्ड का उपयोग करने में एक छिपी हुई समस्या है। जो लोग सिस्टम में डेटा टाइप करते हैं, वे हमेशा डॉक्टर नहीं होते; वे अक्सर क्लिनिक के कर्मचारी या स्वयंसेवक होते हैं। उनके द्वारा दर्ज की गई जानकारी की गुणवत्ता इस बात पर बहुत अधिक निर्भर करती है कि टाइपिंग कौन कर रहा है, और कभी-कभी डेटा को बिना मरीज की स्थिति की वास्तव में जांच किए ही स्वतः भर दिया जाता है। यह एक ऐसी स्थिति पैदा करता है जहाँ कंप्यूटर एक ऐसे पाठ्यपुस्तक से सीखने की कोशिश कर रहा है जिसमें कई त्रुटियाँ हैं, जिससे यह जानना कठिन हो जाता है कि कंप्यूटर वास्तव में सत्य सीख रहा है या केवल गलतियों को याद कर रहा है।
शोधकर्ताओं की एक टीम ने एक विशिष्ट, बड़े पैमाने पर चल रहे संज्ञानात्मक स्क्रीनिंग कार्यक्रम को देखकर इस समस्या की सीधे जांच करने का निर्णय लिया। तुरंत एक नया कंप्यूटर मॉडल बनाने के बजाय, उन्होंने पहले ऑडिटर्स की तरह काम किया, कच्चे डेटा (raw data) की जांच की कि इसे कौन दर्ज कर रहा था और प्रविष्टियों की सटीकता कैसी थी। उन्होंने एक चौंकाने वाला पैटर्न खोजा: पूरे डेटाबेस का लगभग चालीस प्रतिशत हिस्सा उन खातों के एक छोटे समूह द्वारा दर्ज किया गया था जिन्होंने कितने भी मरीजों को प्रोसेस किया हो, संज्ञाвनात्मक हानि का एक भी मामला दर्ज नहीं किया था। दूसरे शब्दों में, ये खाते संभवतः सभी के लिए एक डिफॉल्ट "सामान्य" बटन पर क्लिक कर रहे थे, चाहे वास्तविक परीक्षण परिणाम कुछ भी हों। यह कोई रैंडम शोर (random noise) नहीं था; यह विशिष्ट उपयोगकर्ता खातों में केंद्रित एक व्यवस्थित त्रुटि (systematic error) थी। शोधकर्ताओं ने परीक्षण किया और इस विचार को खारिज कर दिया कि यह एक कंप्यूटर ग्लिच के कारण हुआ था जो बल्क में टाइमस्टैम्प भर रहा था, और पुष्टि की कि यह एक मानवीय व्यवहार संबंधी मुद्दा था। एक बार जब उन्होंने इन समस्याग्रस्त खातों की पहचान कर ली, तो उन्होंने उस डेटा को हटा दिया ताकि यह देखा जा सके कि क्या शेष बचा है, जिससे पता चला कि कार्यक्रम में अक्षमता (impairment) की वास्तविक दर कच्चे आंकड़ों की तुलना में बहुत अधिक थी।
इस साफ-सुथरी समझ के साथ, शोधकर्ताओं ने फिर कंप्यूटर को संज्ञानात्मक स्थिति की भविष्यवाणी करने के लिए प्रशिक्षित करने के चौबीस अलग-अलग तरीकों का परीक्षण करने का निर्णय लिया। वे देखना चाहते थे कि क्या आधुनिक आर्टिफिशियल इंटेलिजेंस, विशेष रूप से लार्ज लैंग्वेज मॉडल्स, मौजूदा सरल कंप्यूटर प्रोग्राम से बेहतर प्रदर्शन कर सकते हैं। मौजूदा प्रोग्राम एक सीधा सा सांख्यिकीय उपकरण (statistical tool) था जो बीस एक विशिष्ट चरों (variables), जैसे आयु, शिक्षा और परीक्षण स्कोर, को देखता था ताकि भविष्यवाणी की जा सके। शोधकर्ताओं ने नए मॉडलों का एक मैट्रिक्स बनाया, जिसमें छोटे, स्थानीय रूप से स्थापित कंप्यूटरों से लेकर विशाल, शक्तिशाली आर्टिफिशियल इंटेलिजेंस सिस्टम तक शामिल थे। उन्होंने इन नए मॉडलों को नियमित डेटा का उपयोग करके, केवल विशेषज्ञ डॉक्टरों द्वारा सत्यापित निदानों का उपयोग करके, और यहाँ तक कि दोनों के मिश्रण का उपयोग करके प्रशिक्षित करने का प्रयास किया। उन्होंने उन्नत तकनीकों का भी परीक्षण किया जैसे कि कंप्यूटर को उत्तर देने से पहले "ज़ोर से सोचने" (think out loud) के लिए कहना, या सुदृढीकरण सीखना (reinforcement learning), जो एक ऐसी विधि है जहाँ कंप्यूटर पुरस्कार को अधिकतम करने के लिए प्रयास और त्रुटि (trial and error) से सीखता है।
परिणाम आश्चर्यजनक और स्पष्ट थे। कोई भी जटिल आर्टिफिशियल इंटेलिजेंस मॉडल, जब नियमित डेटा या विशेषज्ञ निदान के छोटे सेट पर प्रशिक्षित किया गया, मौजूदा सरल सांख्यिकीय उपकरण को हराने में सक्षम नहीं था। वास्तव में, उन्नत तकनीकों ने अक्सर मॉडलों को और खराब कर दिया। उदाहरण के लिए, जब शोधकर्ताओं ने मॉडलों से अपने तर्क को चरण-दर-चरण समझाने के लिए कहा, तो सटीकता गिर गई। जब उन्होंने केवल कुछ सौ विशेषज्ञ मामलों पर मॉडलों को फाइन-ट्यून करने के लिए सुदृढीकरण लर्निंग का उपयोग किया, तो प्रदर्शन बेसलाइन से काफी नीचे गिर गया। अध्ययन ने दिखाया कि केवल अधिक शक्तिशाली कंप्यूटर या अधिक जटिल प्रशिक्षण पद्धति होने से बेहतर परिणाम सुनिश्चित नहीं होते हैं यदि डेटा त्रुटिपूर्ण है या यदि प्रशिक्षण सेट जटिल प्रणाली को प्रभावी ढंग से सिखाने के लिए बहुत छोटा है। सरल उपकरण सबसे विश्वसनीय भविष्यवक्ता बना रहा क्योंकि यह अच्छी तरह से कैलिब्रेटेड था और डेटा के शोर से भ्रमित नहीं हुआ था।
हालाँकि, शोधकर्ताओं को एक ऐसा रास्ता मिला जो किसी भी अन्य चीज़ से बेहतर काम करता था। उन्होंने एक शक्तिशाली, अत्याधुनिक आर्टिफिशियल इंटेलिजेंस मॉडल का उपयोग किया, जो क्लिनिकों में सीधे चलाने के लिए बहुत महंगा और धीमा था, एक "शिक्षक" के रूप में। इस शिक्षक मॉडल ने नियमित रिकॉर्ड को देखा और उन्हें एक नया, उच्च-गुणवत्ता वाला लेबल दिया। शोधकर्ताओं ने फिर एक छोटे, स्थानीय आर्टिफिशियल इंटेलिजेंस मॉडल को लिया और उसे शिक्षक के उत्तरों की नकल करने के लिए प्रशिक्षित किया। इस प्रक्रिया को 'नॉलेज डिस्टिलेशन' (knowledge distillation) कहा जाता है, जिसने छोटे मॉडल को अपने स्वयं के प्रशिक्षण के लिए विशेषज्ञ डॉक्टरों के लेबल की आवश्यकता के बिना शिक्षक की विशेषज्ञता से सीखने की अनुमति दी। परिणाम एक छोटा, तेज़ मॉडल था जो एक मानक कंप्यूटर पर चल सकता था, जिसने शिक्षक के स्वयं के प्रदर्शन और साधारण सांख्यिकीय उपकरण दोनों को एक छोटे लेकिन सांख्यिकीय रूप से महत्वपूर्ण अंतर से पीछे छोड़ दिया। यह सफलता इसलिए मिली क्योंकि छोटा मॉडल शिक्षक द्वारा की जाने वाली छोटी त्रुटियों को औसत निकाल (average out) पाने में सक्षम था, जिससे एक अधिक स्थिर और सटीक भविष्यवक्ता बना।
अध्ययन निष्कर्ष निकालता है कि स्वास्थ्य सेवा के लिए जटिल आर्टिफिशियल इंटेलिजेंस सिस्टम बनाने से पहले, पहले डेटा का ऑडिट करना आवश्यक है। शोधकर्ताओं ने पाया कि नियमित लेबल का चालीस प्रतिशत हिस्सा बेकार था क्योंकि वे विशिष्ट खातों द्वारा डिफॉल्ट-भरे गए थे, और इस डेटा पर प्रशिक्षण से कोई लाभ नहीं हुआ। उन्होंने प्रदर्शित किया कि जटिल विधियाँ जैसे सुदृढीकरण लर्निंग या कंप्यूटर को समस्याओं के माध्यम से तर्क करने के लिए कहना, तब मदद नहीं करतीं जब डेटा शोर भरा हो या विशेषज्ञ उदाहरण बहुत कम हों। इसके बजाय, सबसे प्रभावी रणनीति एक शक्तिशाली, ऑफ-द-शेल्फ आर्टिफिशियल इंटेलिजेंस मॉडल का उपयोग नियमित डेटा को साफ करने के लिए एक लेबलिंग टूल के रूप में करना और फिर उस ज्ञान को एक छोटे, तैनात करने योग्य मॉडल में बदलना था। इस दृष्टिकोण ने संज्ञानात्मक हानि की पहचान करने के लिए सबसे सटीक और विश्वसनीय प्रणाली का उत्पादन किया, यह सिद्ध करते हुए कि कभी-कभी उन्नत तकनीक का उपयोग करने का सबसे अच्छा तरीका उसे अंतिम निर्णय लेने देने के बजाय, एक सरल, अधिक व्यावहारिक उपकरण को काम सही ढंग से करने के लिए सिखाना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।