Evaluating Large Language Models for Assessment of Psychosis Risk
यह अध्ययन प्रदर्शित करता है कि ओपन-वेट लार्ज लैंग्वेज मॉडल्स क्लिनिकल इंटरव्यू ट्रांसक्रिप्ट्स से नैदानिक रूप से सार्थक जानकारी को सटीक रूप से निकाल सकते हैं ताकि साइकोसिस जोखिम का आकलन किया जा सके, जो प्रारंभिक पहचान और निवारक देखभाल में सहायता के लिए एक स्केलेबल और विश्वसनीय उपकरण प्रदान करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: कौन सा व्यक्ति साइकोसिस (psychosis) नामक गंभीर मानसिक स्वास्थ्य स्थिति विकसित होने के जोखिम पर है?
वर्तमान में, इस रहस्य को सुलझाने का एकमात्र तरीका एक अत्यधिक प्रशिक्षित विशेषज्ञ (एक "जासूस") को एक व्यक्ति का दो घंटे तक साक्षात्कार करने के लिए भेजना है। जासूस ध्यान से सुनता है, नोट्स लेता है, और फिर अपने वर्षों के अनुभव का उपयोग करके यह निर्णय लेता है कि व्यक्ति जोखिम में है या नहीं। यह एक मास्टर शेफ द्वारा सूप चखने जैसा है ताकि यह तय किया जा सके कि इसमें और नमक डालने की आवश्यकता है या नहीं। यह सटीक है, लेकिन यह धीमा है, महंगा है, और पर्याप्त संख्या में मास्टर शेफ उपलब्ध नहीं हैं। परिणामस्वरूप, कई लोग इस प्रक्रिया से छूट जाते हैं और तब तक मदद नहीं पाते जब तक कि बहुत देर नहीं हो जाती।
यह शोध पत्र एक साहसिक प्रश्न पूछता है: क्या हम एक सुपर-स्मार्ट कंप्यूटर (एक AI) को जासूस बनना सिखा सकते हैं?
यहाँ जो उन्होंने पाया है, उसका सरल विवरण दिया गया है:
1. प्रयोग: AI को सुनना सिखाना
शोधकर्ताओं ने इन साक्षात्कारों की 678 रिकॉर्डिंग (विशेष रूप से बातचीत के पहले 30 मिनट) लीं। उन्होंने इन ट्रांसक्रिप्ट्स को 11 अलग-अलग "लार्ज लैंग्वेज मॉडल्स" (LLMs) में डाला। इन LLMs को एक कक्षा के विभिन्न छात्रों के रूप में समझें:
- "छोटे" छात्र: तेज़, सस्ते, लेकिन शायद थोड़े नादान (जैसे एक स्मार्ट हाई स्कूलर)।
- "मध्यम" छात्र: संतुलित (जैसे एक कॉलेज सीनियर)।
- "बड़े" छात्र: विशाल, शक्तिशाली और महंगे (जैसे एक पीएचडी प्रोफेसर जिनके पास दिमाग में एक लाइब्रेरी हो)।
AI का काम टेक्स्ट को सुनना और दो काम करना था:
- एक स्कोर देना: अजीब विचारों या भावनाओं की गंभीरता और आवृत्ति को रेट करना (0 से 6 के पैमाने पर)।
- एक निर्णय लेना: यह तय करना कि व्यक्ति "जोखिम में है" या "जोखिम में नहीं है।"
2. परिणाम: AI यह काम कर सकता है!
परिणाम आश्चर्यजनक रूप से अच्छे थे।
- बड़े विजेता: सबसे बड़े AI मॉडल (वे "पीएचडी प्रोफेसर") लगभग 80% बार सही साबित हुए। वे चेतावनी के संकेतों को पकड़ने में अविश्वसनीय रूप से अच्छे थे (93% संवेदनशीलता), जिसका अर्थ है कि उन्होंने वास्तव में जोखिम में मौजूद किसी भी व्यक्ति को शायद ही कभी छोड़ा।
- समझौता (Trade-off): क्योंकि वे हर मामले को पकड़ने के लिए बहुत उत्सुक थे, इसलिए वे कभी-कभी उन लोगों के लिए भी अलार्म बजा देते थे जो वास्तव में ठीक थे ("फॉल्स पॉजिटिव")। हालांकि, स्क्रीनिंग की स्थिति में, वास्तविक खतरे को चूकने के बजाय थोड़ा अधिक सतर्क रहना अक्सर बेहतर होता है।
- छोटे छात्र: यहाँ तक कि छोटे, सस्ते AI मॉडल भी काफी अच्छा काम कर रहे थे। वे पूर्ण तो नहीं थे, लेकिन वे आश्चर्यजनक रूप रूप से प्रतिस्पर्धी थे, विशेष रूप से यह देखते हुए कि वे बहुत तेज़ी से चलते हैं और उन्हें संचालित करने की लागत कम है।
3. "हैलुसिनेशन" (Hallucination) की जाँच: क्या AI ने अपनी बातें बनाईं?
AI के साथ एक बड़ा डर यह है कि वह "हैलुसिनेट" कर सकता है—यानी ऐसी बातें बना सकता है जो वहाँ हैं ही नहीं। शोधकर्ताओं ने इसकी सावधानीपूर्वक जाँच की।
- अच्छी खबर: AI टेक्स्ट के प्रति बहुत वफादार था। उसने शायद ही कभी लक्षणों को मनगढ़ंत बताया।
- बुरी खबर: जब भी उसने कोई गलती की, तो उसने आमतौर पर ओवर-डायग्नोस (अति-निदान) किया। उदाहरण के लिए, यदि किसी ने कहा, "मैं संदिग्ध महसूस कर रहा था क्योंकि मुझे डराया-धमकाया गया था," तो AI इसे एक गंभीर मानसिक स्वास्थ्य लक्षण के रूप में चिह्नित कर सकता है, जबकि एक इंसान यह समझ सकता है कि यह डराए जाने की एक सामान्य प्रतिक्रिया है। AI कभी-कभी सामान्य मानवीय चिंताओं को चिकित्सा आपातकाल मान लेता है।
4. क्या AI निष्पक्ष है?
शोधकर्ताओं ने यह भी जाँच की कि क्या AI अलग-अलग समूहों (आयु, जाति, लिंग या जहाँ साक्षात्कार हुआ उसके आधार पर) के साथ निष्पक्ष व्यवहार करता है।
- फैसला: AI आयु, जाति और लिंग के मामले में ज्यादातर निष्पक्ष था।
- गड़बड़ी: AI का प्रदर्शन इस आधार पर अलग था कि साक्षात्कार कहाँ हुआ था। विभिन्न शहरों या क्लीनिकों के साक्षात्कारों के अलग "लहजे" या शैलियाँ थीं, और AI इन क्षेत्रीय अंतरों से भ्रमित हो गया। यह एक ऐसे AI की तरह है जिसे न्यूयॉर्क की अंग्रेजी सिखाई गई है और वह टेक्सास की किसी विशिष्ट बोली को समझने में संघर्ष कर रहा है।
5. "गति बनाम शक्ति" का द्वंद्व
शोधकर्ताओं ने लागत पर भी गौर किया।
- बड़े मॉडल फेरारी की तरह हैं: वे अविश्वसनीय रूप से तेज़ और शक्तिशाली हैं, लेकिन उन्हें एक विशाल ईंधन टैंक (बड़ी कंप्यूटर मेमोरी) और चलाने के लिए बहुत अधिक खर्च की आवश्यकता होती है।
- छोटे मॉडल हाइब्रिड कारों की तरह हैं: वे धीमे और कम शक्तिशाली हैं, लेकिन वे कुशल हैं और उन्हें बहुत छोटे, सस्ते कंप्यूटरों पर चलाया जा सकता है।
- सही संतुलन (Sweet Spot): उन्होंने एक "गोल्डिलॉक्स" मॉडल (एक मध्यम आकार का मॉडल) पाया जो एक बेहतरीन संतुलन प्रदान करता था: अच्छी सटीकता बिना किसी सुपरकंप्यूटर की आवश्यकता के।
निष्कर्ष
यह शोध पत्र दिखाता है कि AI मानसिक स्वास्थ्य स्क्रीनिंग के लिए एक शक्तिशाली सहायक के रूप में कार्य कर सकता है।
एक ऐसे भविष्य की कल्पना करें जहाँ एक डॉक्टर को दो घंटे तक मैन्युअल रूप से साक्षात्कार को स्कोर करने में समय बर्बाद नहीं करना पड़ता। इसके बजाय, AI रिकॉर्डिंग को सुनता है, जोखिम वाले हिस्सों को तुरंत हाइलाइट करता है, एक प्रारंभिक स्कोर देता है और एक सारांश लिखता है। मानव डॉक्टर फिर बस अंतिम निर्णय लेने के लिए AI के काम की समीक्षा करता है।
यह डॉक्टर की जगह नहीं लेता; यह उन्हें एक सुपर-पावर्ड आवर्धक लेंस (magnifying glass) देता है। यह हमें लाखों अधिक लोगों की जांच करने, जोखिमों को जल्दी पकड़ने और लोगों को मदद पहुँचाने में मदद कर सकता है इससे पहले कि उनकी स्थिति बिगड़ जाए।
संक्षेप में: हम कंप्यूटर को हमारी कहानियाँ सुनने और मानसिक बीमारी के चेतावनी संकेतों को पहचानने के लिए सिखा रहे हैं। वे अभी भी पूर्ण नहीं हैं, लेकिन वे बहुत अच्छे हो रहे हैं, और वे जल्द ही मानसिक स्वास्थ्य देखभाल को तेज़ और अधिक सुलभ बनाकर जीवन बचाने में हमारी मदद कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।