Performance of a domain-specific large language model in answering patient questions in psychiatry

स्वास्थ्य सेवा के आधुनिक परिदृश्य में, रोगी अपनी दवाओं के बारे में जानकारी के लिए तेजी से इंटरनेट की ओर मुड़ रहे हैं, यह स्पष्टता खोजने के लिए कि कोई दवा कैसे काम करती है, किन दुष्प्रभावों की उम्मीद करनी चाहिए, या यह उनके दैनिक जीवन को कैसे प्रभावित कर सकती है। हालांकि बड़े भाषा मॉडल (large language models)—मानव जैसी पाठ उत्पन्न करने में सक्षम शक्तिशाली कंप्यूटर प्रोग्राम—चिकित्सकीय प्रश्नों के उत्तर देने में आशाजनक रहे हैं, लेकिन वे अक्सर नैदानिक देखभाल की विशिष्ट मांगों के साथ संघर्ष करते हैं। ये सामान्य-उद्देश्य वाले उपकरण सुव्यवस्थित और सूचनात्मक उत्तर तो दे सकते हैं, लेकिन कभी-कभी उनमें आवश्यक सूक्ष्मता की कमी होती है, वे महत्वपूर्ण सुरक्षा चेतावनियों को छोड़ देते हैं, या ऐसे तथ्य गढ़ देते हैं जो एक संवेदनशील व्यक्ति को गुमराह कर सकते हैं। मनोरोग विज्ञान (psychiatry) के क्षेत्र में, जहाँ सार्वजनिक जानकारी पहले से ही असंगत है और दवा के प्रति अनुपालन (medication adherence) एक बड़ी चुनौती है, गलत सलाह प्राप्त करने का जोखिम विशेष रूप से अधिक है। डॉक्टरों के पास अक्सर प्रत्येक दौरे के लिए केवल पंद्रह से बीस मिनट होते हैं, जिससे रोगी के हर प्रश्न का समाधान करने के लिए बहुत कम समय बचता है, जो उन्हें अपुष्ट ऑनलाइन स्रोतों से जानकारी खोजने के लिए प्रेरित करता है। शोधकर्ताओं के लिए केंद्रीय प्रश्न यह था कि क्या एक विशेष कंप्यूटर मॉडल, जिसे केवल विश्वसनीय चिकित्सा स्रोतों पर प्रशिक्षित किया गया हो, वह सटीक, सुरक्षित और व्यक्तिगत मार्गदर्शन प्रदान कर सकता है जिसकी रोगियों को आवश्यकता है, बिना उन त्रुटियों के जो सामान्य चैटबॉट्स में आम हैं।

इसकी जांच करने के लिए, लुरी चिल्ड्रन्स हॉस्पिटल ऑफ शिकागो के शोधकर्ताओं की एक टीम ने एक विशेष कृत्रिम बुद्धिमत्ता प्रणाली विकसित की जिसे उन्होंने 'MIND' नाम दिया। सामान्य चैटबॉट्स के विपरीत, जो इंटरनेट के विशाल, अ-क्यूरेटेड हिस्सों पर प्रशिक्षित होते हैं, MIND को बहुत संकीर्ण और सुरक्षित दृष्टिकोण का उपयोग करके बनाया गया था। शोधकर्ताओं ने इस प्रणाली को विशेष रूप से सात आधिकारिक स्रोतों से प्राप्त रोगी शिक्षा सामग्री के संग्रह में फीड किया, जिसमें अमेरिकन साइकियाट्रिक एसोसिएशन, खाद्य एवं औषधि प्रशासन (FDA), और नेशनल लाइब्रेरी ऑफ मेडिसिन शामिल हैं। इस प्रणाली को सख्त सुरक्षा सिद्धांतों के साथ डिजाइन किया गया था: इसे केवल इन सत्यापित दस्तावेजों से ही उत्तर प्राप्त करने, अपने स्रोतों का उल्लेख करने और स्पष्ट रूप से यह बताने के लिए प्रोग्राम किया गया था कि रोगी को कंप्यूटर पर भरोसा करने के बजाय डॉक्टर से परामर्श करना चाहिए। शोधकर्ताओं ने इस नए टूल का परीक्षण दो अन्य प्रसिद्ध प्रणालियों के विरुद्ध किया: एक व्यापक रूप से उपयोग किया जाने वाला सामान्य-उद्देश्य वाला चैटबॉट और एक डॉक्टर-केंद्रित निर्णय लेने वाला प्लेटफॉर्म जो जनता के लिए नहीं है। उन्होंने तीनों प्रणालियों से एस्सिटालोप्राम (escitalopram) नामक एक विशिष्ट एंटीडिप्रेसेंट दवा के बारे में पचास सामान्य प्रश्न पूछे, जिसमें यह विषय शामिल थे कि दवा कैसे कार्य करती है और इसे कैसे लेना है, से लेकर इसके दुष्प्रभाव और गर्भवती महिलाओं या बुजुर्गों जैसे विशेष समूहों के लिए इसकी सुरक्षा तक।

तुलना के परिणाम विश्वसनीयता और पूर्णता के मामले में विशेष मॉडल के लिए एक स्पष्ट लाभ प्रकट करते हैं। जब प्रतिक्रियाओं का मूल्यांकन एक कंप्यूटरीकृत रूब्रिक द्वारा किया गया जो सटीकता, स्पष्टता और सुरक्षा की जांच करता था, तो MIND प्रणाली ने प्रत्येक श्रेणी में सामान्य चैटबॉट और डॉक्टर-केंद्रित प्लेटफॉर्म दोनों को पीछे छोड़ दिया। इसने अधिक पूर्ण उत्तर दिए, अनिश्चितता को अधिक प्रभावी ढंग से स्वीकार किया, और यह बेहतर तरीके से जानता था कि कब रोगी को चिकित्सक के पास भेजने की आवश्यकता है। हालाँकि, कहानी तब अधिक सूक्ष्म हो गई जब शोधकर्ताओं ने दस बोर्ड-प्रमाणित मनोचिकित्सकों से उत्तरों की समीक्षा करने को कहा। जबकि डॉक्टर इस बात पर सहमत थे कि विशेष मॉडल अधिक सुरक्षित और पूर्ण था, उन्होंने पाया कि सामान्य चैटबॉट अपने विशिष्ट दावों में थोड़ा अधिक सटीक था। शायद सबसे आश्चर्यजनक बात यह थी कि मनोचिकित्सकों ने विशेष मॉडल की तुलना में सामान्य चैटबॉट की प्रतिक्रियाओं को अत्यधिक प्राथमिकता दी। यह प्राथमिकता युवा, शुरुआती करियर वाले डॉक्टरों के बीच विशेष रूप से मजबूत थी। शोधकर्ताओं ने नोट किया कि सामान्य चैटबмॉट संक्षिप्त और प्रभावशाली उत्तर देने की प्रवृत्ति रखता था जो अधिक प्रत्यक्ष महसूस होते थे, जबकि विशेष मॉडल लंबे, विस्तृत उत्तर प्रदान करता था जिनमें कभी-कभी ऐसी जानकारी शामिल होती थी जिसे डॉक्टरों ने संक्षिप्त सारांश के संदर्भ में अनावश्यक या थोड़ा गलत समझा।

यह अध्ययन चिकित्सा कृत्रिम बुद्धिमत्ता के डिजाइन में एक जटिल समझौते (trade-off) को उजागर करता है। विशेष मॉडल अपने प्राथमिक लक्ष्य में सफल रहा, जो सत्यापित तथ्यों पर आधारित होना और सामान्य प्रणालियों में होने वाली 'हलुसिनेशन' (hallucinations) से बचना था, फिर भी यह उस संक्षिप्तता और शैली का मुकाबला करने में संघर्ष करता रहा जो मानव विशेषज्ञों को सबसे आकर्षक लगती थी। शोधकर्ताओं ने देखा कि जैसे-जैसे उत्तर अधिक विस्तृत और पूर्ण होते गए, उन्हें कभी-कभी कम सटीक माना गया, जिससे पता चलता है कि आवश्यक संदर्भ जोड़ने से एक मानव पाठक के लिए उत्तर कम सटीक महसूस हो सकता है। इसके अलावा, विशेष मॉडल हर सवाल का जवाब नहीं दे सका; पचास में से बारह प्रश्नों के लिए, इसने सही ढंग से स्वीकार किया कि उसके पास वह जानकारी नहीं है, जबकि अन्य प्रणालियों ने सभी प्रश्नों का उत्तर देने का प्रयास किया। यह अनुमान लगाने से इनकार करना एक जानबूझकर बनाया गया सुरक्षा फीचर था, लेकिन इसका मतलब यह भी था कि यह टूल अपने प्रतिस्पर्धियों की तुलना में कम बहुमुखी था। मनोचिकित्सकों ने यह भी नोट किया कि विशेष मॉडल की प्रतिक्रियाएं सामान्य चैटबॉट की तुलना में उच्च पठन स्तर (reading level) पर लिखी गई थीं, जो इस तथ्य का प्रतिबिंब था कि स्वयं स्रोत दस्तावेज़ एक जटिल स्तर पर लिखे गए थे, जो रोगी सामग्री के लिए अनुशंसित पठन ग्रेड से बहुत ऊपर था।

अंततः, अनुसंधान यह सुझाव देता है कि हालांकि एक विशेष, प्रतिबंधित-कोश (restricted-corpus) मॉडल रोगी शिक्षा के लिए सामान्य चैटबॉट की तुलना में एक सुरक्षित और अधिक पूर्ण आधार प्रदान कर सकता है, लेकिन यह अभी भी मानव निर्णय या चिकित्सकों की पसंदीदा संचार शैली का पूर्ण विकल्प नहीं है। विशेष प्रणाली ने प्रदर्शित किया कि चिकित्सा साक्ष्य का सख्ती से पालन करने वाला और खतरनाक त्रुटियों से बचने वाला कृत्रिम बुद्धिमत्ता बनाना संभव है, लेकिन इसने यह भी दिखाया कि उच्च सटीकता और पूर्णता प्राप्त करने की कीमत कभी-कभी पठनीयता और उपयोगकर्ता की पसंद के रूप में चुकानी पड़ती है। लेखक निष्कर्ष निकालते हैं कि उनका कार्य भविष्य के उपकरण बनाने के लिए एक टेम्पलेट के रूप में कार्य करता है जो मनोरोग देखभाल को बढ़ा सकते हैं, लेकिन वे इस बात पर जोर देते हैं कि इन प्रणालियों को सुरक्षा, सटीकता और सूचना प्राप्त करने के मानवीय तरीके के बीच संतुलन बनाने के लिए और अधिक अनुकूलन (optimization) की आवश्यकता है। आगे का रास्ता इन मॉडलों को उतना विश्वसनीय बनाने की दिशा में है जितना कि विशेष प्रणाली है, लेकिन उतना ही स्पष्ट और आकर्षक बनाने की भी है जितना कि सामान्य चैटबॉट्स, ताकि यह सुनिश्चित किया जा सके कि रोगियों को बिना किसी भ्रम या देरी के उच्च-गुणवत्ता वाली, साक्ष्य-आधारित मार्गदर्शन मिले।